CN111226194A - 提供交互界面的方法和系统 - Google Patents

提供交互界面的方法和系统 Download PDF

Info

Publication number
CN111226194A
CN111226194A CN201980004767.2A CN201980004767A CN111226194A CN 111226194 A CN111226194 A CN 111226194A CN 201980004767 A CN201980004767 A CN 201980004767A CN 111226194 A CN111226194 A CN 111226194A
Authority
CN
China
Prior art keywords
user
event
information
electronic device
emotional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980004767.2A
Other languages
English (en)
Inventor
黄寅喆
高炫睦
金纹助
崔馨铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111226194A publication Critical patent/CN111226194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

提供用于通过使用人工智能(AI)系统来提供基于事件‑情感的交互界面的方法和设备。该方法包括通过分析对查询的响应来识别用户对至少一个事件的情感状态，基于用户的情感状态来学习用户对至少一个事件的情感信息，基于用户的情感信息确定至少一个事件的交互类型，以及基于交互类型提供对至少一个事件的通知信息。

Description

提供交互界面的方法和系统
技术领域
本公开涉及一种用于通过使用机器学习算法(诸如深度学习)来模仿人脑的功能(例如，辨识(recognition)和确定)的人工智能(AI)系统及其应用。具体来说，本公开涉及一种用于通过使用AI系统来提供与事件有关的交互界面的方法和设备。
背景技术
人工智能(AI)系统是能够实现人类水平智能的系统，是指与现有的基于规则的智能系统不同，机器可以自主学习、确定和变得更加智能的系统。随着AI系统的迭代，辨识率会增加并且可以更准确地理解用户的偏好，因此基于深度学习的AI系统逐渐取代了现有的基于规则的智能系统。
AI技术包括机器学习(或深度学习)和使用机器学习的要素技术。
机器学习是指用于对输入数据的特征进行分类/学习的算法，要素技术是指通过使用机器学习算法(诸如深度学习)来模仿人脑的功能(例如，辨识和确定)的技术，并且包括语言理解、视觉理解、推理/预测、知识表示和操作控制等技术领域。
AI技术适用的各个领域的示例如下所述。语言理解是指用于辨识和应用/处理人类语言/字符的技术，包括自然语言处理、机器翻译、对话系统、查询和响应、语音辨识/合成等。视觉理解是指用于如人类视觉那样辨识和处理对象的技术，并且包括对象辨识、对象跟踪、图像搜索、人类辨识、场景理解、空间理解、图像增强等。推理/预测是指用于确定信息并逻辑地执行推理和预测的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表示是指一种将人类经验信息自动处理为知识数据的技术，并且包括知识构造(数据生成/分类)、知识管理(数据利用)等。操作控制是指用于控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(例如，导航、避免碰撞或驾驶控制)、操纵控制(动作控制)等。
发明内容
提供了一种用于基于与用户事件有关的用户的情感信息向用户提供情感交互的方法和系统。
附图说明
图1是根据实施例的用于提供基于事件-情感的响应的系统的示意图。
图2是根据实施例的由电子设备执行的提供交互界面的方法的流程图。
图3是根据实施例的用于描述通过深度学习生成基于事件-情感的响应模型(或人工智能(AI)模型)的操作的示意图。
图4是根据实施例的基于用户的话语的语音数据注册新事件的方法的流程图。
图5是根据实施例的用于描述由电子设备执行的响应于用户的话语的操作的示意图。
图6是根据实施例的用于描述由电子设备执行的提取在事件数据库(DB)中注册的用户事件的操作的示意图。
图7是根据实施例的由电子设备执行的基于用户事件的进展阶段来获取用户的情感信息的方法的流程图。
图8是根据实施例的用于描述由电子设备执行的基于用户事件的进展阶段提供通知或响应的操作的示意图。
图9是根据实施例的用于描述由电子设备执行的基于与用户事件有关的人，地点或时间获得用户的情感信息的操作的示意图。
图10和图11是根据实施例的用于描述个性化事件-情感DB的操作的示意图。
图12是根据实施例的用于描述由电子设备执行的基于生物特征信息来修改默认情感信息的操作的示意图。
图13是根据实施例的基于用户的情感信息确定音调的方法的流程图。
图14是根据实施例的用于描述基于用户的情感信息确定的音调的表。
图15是根据实施例的用于描述由电子设备执行的通过使用与用户的情感信息相对应的颜色来提供通知的操作的示意图。
图16和图17是根据实施例的用于描述由电子设备执行的提供日记界面的操作的示意图。
图18和图19是根据实施例的电子设备的框图。
具体实施方式
最佳方式
根据实施例，一种由电子设备执行的提供虚拟助手界面的方法包括：通过使用虚拟助手界面向用户查询日程信息；从用户接收对查询的响应，所述响应包括关于至少一个事件的信息；通过分析对查询的响应来识别用户对至少一个事件的情感状态；基于用户的情感状态，学习用户对至少一个事件的情感信息；基于用户的情感信息，确定至少一个事件的交互类型；以及根据交互类型，通过虚拟助手界面提供对至少一个事件的通知信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：接收用户话语的语音数据，作为对查询的响应；从语音数据中提取与至少一个事件有关的信息；以及通过使用提取的信息在电子设备中将至少一个事件注册为新事件。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：从事件被映射到情感信息的表中获得与至少一个事件有关的默认情感信息；基于通过分析语音数据获得的信息，识别用户对至少一个事件的情感状态；以及基于用户的情感状态，通过修改默认情感信息来学习用户对至少一个事件的情感信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：通过将当前时间与至少一个事件的日程时间进行比较来确定至少一个事件的进展阶段；以及基于至少一个事件的进展阶段，优化用户对至少一个事件的情感信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：在至少一个事件完成之后，从用户获得关于至少一个事件的反馈信息；以及基于获得的反馈信息，优化(refine)用户对至少一个事件的情感信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：通过使用和与至少一个事件有关的人、至少一个事件的日程时间以及与至少一个事件有关的地点中的至少一个有关的信息，学习用户的情感信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：基于用户的情感信息，确定提供对至少一个事件的通知信息的音调。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：选择与用户的情感信息相对应的颜色；以及通过使用选择的颜色显示对至少一个事件的通知信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：基于确定的交互类型，提供对与至少一个事件有关的用户话语的响应。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：考虑用户的状况，确定与至少一个事件有关的通知提供方法；以及基于确定的通知提供方法，提供对至少一个事件的通知信息。
所述由电子设备执行的提供虚拟助手界面的方法可以包括：提供日记界面，所述日记界面包括与至少一个事件有关的用户的情感信息。
根据另一实施例，一种电子设备包括：输出器，被配置为提供虚拟助手界面；以及至少一个处理器，被配置为：通过虚拟助手界面向用户查询日程信息；从用户接收对查询的响应，所述响应包括关于至少一个事件的信息；通过分析对查询的响应来识别用户对至少一个事件的情感状态；基于用户的情感状态，学习用户对至少一个事件的情感信息；基于用户的情感信息，确定至少一个事件的交互类型；以及根据交互类型，通过虚拟助手界面提供对至少一个事件的通知信息。
根据另一实施例，一种计算机程序产品包括记录有用于执行方法的程序的记录介质，所述方法包括：通过虚拟助手界面向用户查询日程信息；从用户接收对查询的响应，所述响应包括关于至少一个事件的信息；通过分析对查询的响应来识别用户对至少一个事件的情感状态；基于用户的情感状态，学习用户对至少一个事件的情感信息；基于用户的情感信息，确定至少一个事件的交互类型；以及根据交互类型，通过虚拟助手界面提供对至少一个事件的通知信息。
根据另一实施例，一种由电子设备执行的提供虚拟助手界面的方法包括：通过虚拟助手界面向用户提供对至少一个事件的通知信息，获得用户对包括在通知信息中的至少一个事件的反馈信息，通过分析用户的反馈信息来识别用户对至少一个事件的情感状态，以及基于用户的情感状态学习用户对至少一个事件的情感信息。
根据另一实施例，一种电子设备包括：输出器，被配置为提供虚拟助手界面；以及至少一个处理器，被配置为通过虚拟助手界面向用户提供对至少一个事件的通知信息，获得用户对包括在通知信息中的至少一个事件的反馈信息，通过分析用户的反馈信息来识别用户对至少一个事件的情感状态，以及基于用户的情感状态学习用户对至少一个事件的情感信息。
根据另一实施例，一种计算机程序产品包括记录有用于执行方法的程序的记录介质，所述方法包括：通过虚拟助手界面向用户提供对至少一个事件的通知信息，获得用户对包括在通知信息中的至少一个事件的反馈信息，通过分析用户的反馈信息来识别用户对至少一个事件的情感状态，以及基于用户的情感状态学习用户对至少一个事件的情感信息。
根据另一个实施例，一种由电子设备执行的提供交互界面的方法包括：获得与在电子设备中注册的用户事件有关的用户的情感信息，基于用户的情感信息确定与用户事件相对应的交互类型，以及基于确定的交互类型提供对与用户事件有关的用户话语的响应。
根据另一实施例，一种电子设备包括：输出器，被配置为提供交互界面；至少一个处理器；以及存储器，存储由至少一个处理器执行的至少一个指令以指示电子设备获得与在电子设备中注册的用户事件有关的用户的情感信息，基于用户的情感信息确定与用户事件相对应的交互类型，以及基于确定的交互类型通过交互界面提供对与用户事件有关的用户话语的响应。
根据另一实施例，一种计算机程序产品包括记录有用于执行方法的程序的记录介质，所述方法包括：获得与在用户事件有关的用户的情感信息，基于用户的情感信息确定与用户事件相对应的交互类型，以及基于确定的交互类型提供对与用户事件有关的用户话语的响应。
在详细描述本公开之前，现在将简要描述本说明书中使用的术语。
尽管在考虑到根据本公开获得的功能的同时，尽可能地从当前广泛使用的通用术语中选择本文中使用的术语，但是这些术语可以基于本领域普通技术人员的意图、习惯、新技术的出现等由其他术语代替。在特定情况下，可以使用由申请人任意选择的术语，并且在这种情况下，可以在详细描述的相应部分中描述这些术语的含义。因此，应注意，本文中使用的术语是基于其实际含义和本说明书的全部内容来解释的，而不是仅基于术语的名称来解释。
将理解，当在本文中使用时，术语“包括”和/或“包含”指定存在所述元素，但是不排除一个或多个其他元素的存在或添加。术语“...单元”或“...模块”用于表示用于执行至少一个功能或操作的实体，并且可以使用硬件、软件或硬件和软件的组合来实现。
在下文中，将通过参照附图解释本公开的实施例来详细描述本公开。然而，本公开可以以许多不同的形式实施，并且不解释为限于本文阐述的本公开的实施例。在附图中，为了清楚说明起见，未示出与本公开的实施例无关的部分，并且相似的附图标记始终表示相似的元件。
图1是根据实施例的用于提供基于事件-情感的响应的系统的示意图。
参照图1，根据实施例的用于提供基于事件-情感的响应的系统可以包括电子设备1000。根据实施例，除了电子设备1000之外，用于提供基于事件-情感的响应的系统还可以包括服务器(未示出)和用于测量用户的生物特征信号的可穿戴设备。下面将参照图12详细描述用于提供基于事件-情感的响应的系统包括电子设备1000和外部可穿戴设备的实施例。
根据实施例的电子设备1000可以以各种形式实现。例如，如本文所使用的，电子设备1000可以包括数字相机、智能电话、膝上型计算机、平板PC、电子书阅读器、数字广播接收器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统或MP3播放器，但不限于此。如本文所使用的，电子设备1000可以是可由用户穿戴的可穿戴设备。可穿戴设备可以包括附件型设备(例如，手表、戒指、腕带、脚腕带、项链、眼镜或隐形眼镜)、头戴式设备(HMD)、织物或衣服集成设备(例如，电子服装)、身体可附接设备(例如，皮肤垫)和可植入身体设备(例如，可植入电路)，但不限于此。在下面的描述中，为便于解释，将以电子设备1000是智能电话的情况为例进行描述。
根据实施例，电子设备1000可以是用于提供交互界面的设备。交互界面可以是用于从用户接收输入(例如，语音输入或文本输入)并对来自用户的输入提供响应的用户界面。根据实施例，交互界面可以包括例如虚拟助手或人工智能(AI)助手，但不限于此。虚拟助手或AI助手可以是用于处理用户所需的任务并提供对用户的专门服务的软件代理。
根据实施例，电子设备1000可以通过使用AI模型来获得(或分析或推断)与用户事件100有关的用户的情感状态，并且基于用户的情感状态通过交互界面自适应地提供响应。例如，当与用户事件100有关的第一用户的情感状态是恐惧状态10时，电子设备1000可以确定第一交互类型，并且基于第一交互类型来对第一用户的话语作出响应。当与用户事件100有关的第一用户的情感状态是生气状态20时，电子设备1000可以确定第二交互类型，并且基于第二交互类型来对第一用户的话语作出响应。当与用户事件100有关的第一用户的情感状态是高兴状态30时，电子设备1000可以确定第三交互类型，并且基于第三交互类型来对第一用户的话语作出响应。在此，第一至第三交互类型可以是不同的类型，因此电子设备1000可以向用户提供基于事件的情感交互。
如本文所使用的，用户事件100可以是与用户有关的事件，例如，在与用户的对话期间由电子设备1000检测的事件，或者是用户在例如日程应用、日历应用、联系人列表应用或社交网络服务(SNS)应用中预先注册的事件。根据实施例，用户事件100可以包括例如与工作有关的事件(例如，会议、宣讲或商务旅行)、与熟人相关的事件(例如，朋友的婚礼、家庭成员的生日聚会或结婚纪念日)、与爱好相关的事件(例如，观看体育比赛、观看电影、预订音乐演出的门票、摄影俱乐部活动、参加网球比赛或参加马拉松比赛)、与名人有关的事件(例如，音乐会或粉丝见面会)或官方事件(例如，总统选举、世界杯或圣诞节)，但不限于此。
使用处理器和存储器来执行根据本公开的与AI有关的功能。处理器可以包括一个或多个处理器。在这种情况下，一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)和数字信号处理器(DSP))，专用图形处理器(诸如图形处理单元(GPU)和视觉处理单元(VPU))或专用AI处理器(诸如数字处理单元(NPU))。一个或多个处理器基于存储在存储器中的预定义操作规则或AI模型来控制输入数据的处理。可选地，当一个或多个处理器是专用AI处理器时，可以以专用于处理特定AI模型的硬件结构来设计专用AI处理器。
预定义操作规则或AI模型是通过训练来制定的。在本文中，通过训练来制定意味着通过使用学习算法基于多条训练数据来训练基本AI模型，从而制定了被配置为实现期望特性(或目的)的预定义操作规则或AI模型。训练可以由根据本公开的具有AI功能的设备执行，或者由单独的服务器和/或系统执行。学习算法可以包括例如监督学习、无监督学习、半监督学习或强化学习，但不限于此。
AI模型可以包括多个神经网络层。多个神经网络层中的每一个具有多个权重值，并且通过在先前层的计算结果与多个权重值之间进行计算来执行神经网络计算。可以通过训练AI模型的结果来优化多个神经网络层的多个权重值。例如，可以修改多个权重值以减少或最小化在训练过程中由AI模型获得的损失值或成本值。人工神经网络可以包括例如卷积神经网络(CNN)、深层神经网络(DNN)、循环神经网络(recurrent neural network，RNN)、受限玻尔兹曼机器(RBM)、深层信念网络(deep belief network，DBN)、双向循环深度神经网络(BRDNN)或深度Q网络，但不限于此。
因此，根据实施例，可以通过对话来检测对用户有意义的事件，并且可以基于检测的事件向用户提供主动的交互或必要的信息，从而提供真实的情感交互。现在将参照图2详细描述由电子设备1000执行的基于用户对用户事件100的情感状态来提供情感交互的操作。
图2是根据实施例的由电子设备1000执行的提供交互界面的方法的流程图。
在操作S210中，电子设备1000可以获得与在电子设备1000中注册的用户事件有关的用户的情感信息。
根据实施例，电子设备1000可以检查在事件数据库(DB)中注册的用户事件。事件DB可以包括或连接到例如日程应用(例如，待办事项列表应用)、日历应用、SNS应用或联系人列表应用。用户事件可以是由用户手动输入的事件，或者是由电子设备1000或服务器自动输入的事件。
根据实施例，电子设备1000可以通过分析来自用户的响应并且学习与用户事件有关的用户的情感信息来获得与用户事件有关的用户的情感信息。例如，电子设备1000可以通过使用虚拟助手界面向用户查询日程信息。在这种情况下，电子设备1000可以从用户接收包括关于至少一个事件的信息的响应。电子设备1000可以通过分析从用户接收的响应来识别用户对至少一个事件的情感状态。电子设备1000可以学习用户对至少一个事件的情感信息。在本文中，用户对至少一个事件的情感信息的学习可以意味着确定关联于至少一个事件的至少一个情感元素的权重。
根据实施例，电子设备1000可以从用户话语的语音数据中提取用户事件，并在事件DB中将提取的用户事件注册为新事件。下面将参照图4详细描述由电子设备1000执行的从用户话语的语音数据中提取用户事件的操作。
根据实施例，与用户事件有关的用户的情感信息可以是关于用户对用户事件的情感状态的信息。在此，用户的情感信息可以是指示单个情感状态的信息，或者指示包括两个或更多个情感的复杂情感状态的信息。例如，情感信息可以包括喜悦、紧张、恐惧、高兴、害怕、不高兴、烦恼、尴尬、难过、沮丧、后悔、嫉妒、失望、自信、爱、仇恨，爱与恨、有趣、激动、稳定、放松和惊悚中的至少一种情感，但不限于此。
根据实施例，电子设备1000可以在检测到与用户事件有关的用户话语时获得与用户事件有关的用户的情感信息。根据另一实施例，电子设备1000可以获得用户对用户事件的情感信息，以在与用户事件有关的用户话语之前主动提供交互。例如，电子设备1000可以检查用户事件的日程时间，并且获得用户对用户事件的当前情感信息，以在用户事件之前10分钟提供与用户事件有关的通知。
根据实施例，电子设备1000可以通过使用AI模型来获得与用户事件有关的用户的情感信息。例如，电子设备1000可以从由AI模型生成(或优化(refined))的事件-情感DB中获得与特定用户事件相对应的用户的情感信息。事件-情感DB可以存储普通人对特定事件的平均情感信息、或者对特定事件的每个用户个性化的情感信息，但是不限于此。
根据实施例，可以基于由专家分析的情感信息和用户的先前情感信息中的至少一个来训练AI模型。AI模型可以存储在电子设备1000中或存储在连接到电子设备1000的服务器(例如，云服务器)中。下面将参照图3详细描述AI模型。
根据实施例，电子设备1000可以通过将当前时间与用户事件的日程时间(scheduled time)进行比较来确定用户事件的进展阶段。在此，当前时间可以包括从用户检测到话语的时间，但是不限于此。例如，电子设备1000可以确定当前时间是用户事件发生之前的时间还是用户事件完成之后的时间。考虑到用户事件的进展阶段，电子设备1000可以获得与用户事件有关的用户的情感信息。例如，当用户事件是参加马拉松比赛时，在用户事件发生之前，电子设备1000可以将用户的情感信息确定为“紧张权重：0.5，喜悦权重：0.5”。另一方面，在用户事件(例如，参加马拉松比赛)结束之后，电子设备1000可以将用户的情感信息确定为“高兴权重：0.3，喜悦权重：0.7”。
根据实施例，电子设备1000可以考虑与用户事件有关的附加信息来获得用户的情感信息。例如，电子设备1000可以考虑与用户事件有关的人，用户事件的日程时间以及与用户事件有关的地点中的至少一个来细分用户的情感信息。在这种情况下，电子设备1000可以通过直接向用户询问附加信息或者通过解析电子邮件、消息等来获得与用户事件有关的附加信息。下面将参照图9详细描述由电子设备1000执行的考虑与用户事件有关的附加信息来细分用户的情感信息的操作。
根据实施例，电子设备1000可以从事件被映射到情感信息的表中获得与用户事件有关的默认情感信息。默认情感信息可以是与用户事件有关的用户先前情感信息、或者普通人对用户事件的平均情感信息。可以将事件被映射到情感信息的表存储在关联于AI模型的事件-情感DB中，但不限于此。
根据实施例，电子设备1000可以通过获得用户的生物特征信息(例如，心率信息、脉搏信息、呼吸信息、眼皮跳动信息、面部表情改变信息、出汗信息、体温变化信息或语音输入)并且基于用户的生物特征信息修改与用户事件相关的默认情感信息，来获得与用户事件有关的用户的实际情感信息。例如，电子设备1000可以从事件被映射到情感信息的表中获得与至少一个事件有关的默认情感信息，基于通过分析用户话语的语音数据获得的信息来识别用户对至少一个事件的情感状态，并且通过基于用户的情感状态修改默认情感信息来学习用户对至少一个事件的情感信息。默认情感信息的修改可以意味着调整与默认情感信息中包括的每个情感元素相对应的权重。例如，当默认情感信息是“紧张权重：0.3，喜悦权重：0.7”时，电子设备1000可以基于用户的生物特征信息将紧张权重从“0.3”增加到“0.6”，并且将喜悦权重从“0.7”减小到“0.4”。
根据实施例，电子设备1000可以通过使用包括在其中的传感器来获得用户的生物特征信息，或者可以从外部设备(例如，外部可穿戴设备)获得用户的生物特征信息。例如，电子设备1000可以通过使用至少一个相机(例如，普通图像传感器、红外传感器或深度传感器)来获得用户的面部图像，并且通过分析用户的面部图像来检测用户的面部表情变化或眼皮跳动(eye twitching)。另外，电子设备1000可以通过使用红外传感器来检测用户的体温的变化。在这种情况下，电子设备1000可以基于用户的面部表情变化或眼皮跳动来预测用户的当前情感状态。此外，电子设备1000可以通过麦克风从用户接收语音数据，并且可以通过分析语音数据来预测用户的实际情感状态。下面将参照图12详细描述由电子设备1000执行的从外部设备接收用户的生物特征信息的操作。
在操作S220中，电子设备1000可以基于用户的情感信息来确定与用户事件相对应的交互类型。
在此，交互类型是指被用来向用户提供响应的交互风格，并且除了与用户事件有关的信息之外要提供的附加信息的范围、用于提供交互的音调等可以根据交互类型而不同。例如，交互类型可以包括鼓励类型(例如，更改主题权重：0.3，振作权重：0.7)，同感(empathize)类型(例如，同感权重：0.9，振作权重：0.1))，控制台类型(例如，控制台权重：0.8，同感权重：0.2)、或振作类型(例如，振作权重：0.9，提供附加信息权重：0.1)，但不限于此。
根据实施例，当用户对于第一事件的情感信息是“紧张权重：0.9”和“喜悦权重：0.1”时，电子设备1000可以将与第一事件相对应的交互类型确定为“鼓励类型”。当用户对第二事件的情感信息是“喜悦权重：0.9”和“紧张权重：0.1”时，电子设备1000可以将与第二事件相对应的交互类型确定为“同感类型”。
根据实施例，电子设备1000可以通过使用AI模型来确定与用户事件相对应的交互类型。例如，电子设备1000可以基于由AI模型生成(或优化)的交互方法DB来确定映射到情感信息的交互类型。交互方法DB可以存储情感信息被映射到交互类型的表，但是不限于此。
根据实施例，电子设备1000可以通过反映用户的偏好来确定交互类型。例如，通过反映用户的偏好，电子设备1000可以确定指示是否使用简单图像(例如，表情符号)来提供交互的信息，交互方法(例如，使用文本的交互方法、使用语音的交互方法或使用通知窗口的交互方法)，或语音颜色(color)。
根据实施例，电子设备1000可以考虑用户的情感信息来确定用于提供关于用户话语的交互的音调。另外，电子设备1000可以考虑用户的情感信息来确定用于提供用户的话语的交互的颜色。将在下面参照图14和图15详细描述由电子设备1000执行的确定音调或颜色的操作。
在操作S230中，电子设备1000可以基于确定的交互类型来提供对与用户事件有关的用户话语的响应。在本文中，提供对用户的话语的响应可以包括用于引起用户的话语的主动交互(例如，提供与用户事件有关的通知)。
根据实施例，电子设备1000可以通过使用AI模型来提供对与用户事件有关的用户话语的响应。例如，电子设备1000可以从由AI模型生成(或优化)的响应DB中提取与用户的话语相对应的响应。响应DB可以存储其中交互类型被映射到用户可输入的短语以及响应短语的表，但是不限于此。
现将以从用户输入第一短语的情况为例进行说明。电子设备1000可以在确定的交互类型是鼓励类型时选择第一响应短语，或者在确定的交互类型是同感类型时选择第二响应短语。
根据实施例，对于不同的交互类型，可以使用不同的附加信息来选择相同的响应短语。现将以从用户输入第一短语的情况为例进行说明。当确定的交互类型是鼓励类型时，电子设备1000可以选择第一响应短语并选择第一文本作为附加信息。否则，当确定的交互类型是同感类型时，电子设备1000可以选择第一响应短语并选择第二文本作为附加信息。
根据实施例，电子设备1000可以在聊天窗口上以文本形式、或以语音形式提供响应。电子设备1000可以在通知窗口(例如，弹出窗口)上以文本形式提供响应，但是不限于此。
根据实施例，电子设备1000可以选择与用户的情感信息相对应的颜色，并通过使用选择的颜色来显示对与用户事件有关的用户话语的响应。例如，当基于用户对第一事件的第一情感信息选择第一颜色时，电子设备1000可以在以第一颜色显示的通知窗口上提供响应。否则，当基于用户对第二事件的第二情感信息选择第二颜色时，电子设备1000可以在以第二颜色显示的通知窗口上提供响应。
根据实施例，电子设备1000可以通过应用用户偏爱的表达风格来提供响应。例如，当可以提供“You can do it(您能做到的)”和“Go for it(努力争取)”作为对用户输入的第一短语的响应时，电子设备1000可以选择与用户偏爱的表达风格相对应的“You can doit”。
电子设备1000可以选择用户偏爱的音调、用户偏爱的语音、用户偏爱的通知方法或用户偏爱的颜色，但不限于此。
根据实施例，电子设备1000可以考虑用户的状况以进行主动交互。例如，电子设备1000可以考虑用户的状况来确定与用户事件有关的通知提供方法。电子设备1000可以基于所确定的通知提供方法来提供与用户事件有关的通知。例如，当用户在下午正在进行宣讲时，电子设备1000可以在屏幕上显示与晚间事件有关的通知(或提醒)而没有声音，然后在当前时间接近晚上事件的日程时间时以振动或声音形式再次提供通知(或提醒)。
根据实施例，电子设备1000可以提供包括与用户事件有关的用户的情感信息的日记界面。例如，电子设备1000可以在用户事件的每个进展阶段提供指示用户的情感信息的简单图像或图形。将在下面参照图16和图17详细描述由电子设备1000执行的提供日记界面的操作。
尽管以上结合图2的示例描述了电子设备1000对用户的语音输入提供响应的情况，但是用户输入不限于此。电子设备1000还可以基于用户的情感信息来提供对用户的文本输入的响应。现将参照图3详细描述AI模型。
图3是根据实施例的用于描述通过深度学习生成基于事件-情感的响应模型(或AI模型)的操作的示意图。
参照图3，根据实施例，包括在电子设备1000或服务器中的AI处理器可以通过训练人工神经网络来生成用于确定交互方法的基于事件-情感的响应模型300。在下面的描述中，为了便于解释，基于事件-情感的响应模型300也可以被称为AI模型或响应模型。人工神经网络的“训练”可能意味着通过基于数据适当地改变权重来构建数学模型，在该数学模型中，人工神经网络中神经元的连接可以做出最佳决策。
根据实施例，AI处理器可以获得专家创建的数据，发布的数据等作为训练数据301，并且通过使用训练数据301来生成基于事件-情感的响应模型300。专家创建的数据可以包括由专家从预测要由用户说出的短语中分析或提取的情感信息。发布的数据可以包括从自网络或SNS服务器收集的文本中分析或提取的情感信息。例如，发布的数据可以包括从短语“Skipped school today skipping school tomorrow haha”中分析/提取的高兴的情感信息。可以将专家创建的数据或发布的数据转换为预设格式，并因此用作训练数据301，用于生成基于事件-情感的响应模型300。
根据实施例，AI处理器可以获得从用户输入的情感信息(例如，反馈信息)，从用户的生物特征信息获得的情感信息等作为个性化训练数据302，并且通过使用个性化训练数据302生成基于事件-情感的响应模型300。从用户输入的情感信息(例如，反馈信息)或从用户的生物特征信息获得的情感信息可以转换为预设格式，因此用作个性化训练数据302，用于生成基于事件-情感的响应模型300。
根据实施例，可以使用训练数据301训练基于事件-情感的响应模型300，以生成事件-情感DB 310、交互方法DB 320和响应DB 330。根据实施例，基于事件-情感的响应模型300可以通过添加或优化(refine)训练数据301来优化事件-情感DB 310、交互方法DB 320和响应DB 330。
根据实施例，事件-情感DB 310是定义事件与情感之间的相关性的DB，并且可以包括事件被映射到情感信息的表。例如，事件-情感DB 310可以包括诸如“第一事件：紧张(0.6)，喜悦(0.4)”和“第二事件：害怕(0.7)，紧张(0.3)”的信息。
根据实施例，事件-情感DB 310可以存储基于与事件有关的时间、人物和地点来细分情感信息的表。例如，基于事件-情感的响应模型300可以考虑与事件有关的时间、人物和地点来细分用户的情感信息。当关于与事件有关的时间、人物和地点的详细信息未存储在事件DB中时，基于事件-情感的响应模型300可以通过向用户查询与事件有关的时间、人物和地点来获得所述信息。下面将参照图9详细描述细分情感信息的表。
根据实施例，交互方法DB 320是定义情感和交互方法之间的相关性的DB，并且可以存储情感信息被映射到交互类型的表。例如，交互方法DB 320可以包括诸如“第一情感信息(紧张(0.6)，喜悦(0.4))-第一交互类型(改变话题(0.3)，鼓励(0.7))”和“第二情感信息(轻松)-第二交互类型(同感(0.9))”的信息。
根据实施例，响应DB 330是定义交互方法(或交互类型)和响应短语之间的相关性的DB，并且可以存储交互类型被映射到响应短语的表。例如，响应DB 330可以包括诸如“第一交互类型(例如，鼓励类型：改变话题(0.3)，鼓励(0.7))-响应短语(Go for it(0.6)/Youcan do it(0.4))”的信息。
根据实施例，基于事件-情感的响应模型300可以获得个性化训练数据302，并且通过使用个性化训练数据302来个性化事件-情感DB 310、交互方法DB 320和响应DB 330。
根据实施例，在用户事件完成之后，电子设备1000可以从用户获得关于用户事件的反馈。电子设备1000可以将关于用户事件的反馈作为个性化训练数据302输入到基于事件-情感的响应模型300。在这种情况下，基于事件-情感的响应模型300可以基于用户事件的反馈优化事件-情感DB 310中包括的其中事件被映射到情感信息的表。例如，当电子设备1000已经将用户对第一事件的情感信息确定为“紧张(0.5)，喜悦(0.5)”，但是从用户输入的反馈指示用户的情感信息为“紧张”(0.8)，喜悦(0.2)”，则电子设备1000可以在事件-情感DB 310中将用户对第一事件的情感信息从“紧张(0.5)，喜悦(0.5)”修改为“紧张(0.8)，喜悦(0.2)”。
根据实施例，电子设备1000可以在用户事件发生之前获得关于用户的情感信息的反馈。在这种情况下，电子设备1000的基于事件-情感的响应模型300可以优化用户事件的每个进展阶段的情感信息，其包括在事件-情感DB310中。
根据实施例，电子设备1000可以获得用户的生物特征信息，并且通过使用基于生物特征信息预测的用户的实际情感信息来个性化事件-情感DB 310。
电子设备1000可以通过获得关于用户偏爱的交互类型或用户偏爱的表达风格的信息来个性化交互方法DB 320和响应DB 330。
现在将参照图4和图5详细描述电子设备1000执行的从用户话语的语音数据中检测新事件并通过使用基于事件-情感的响应模型300来提供对与新事件有关的用户话语的响应的方法。
图4是根据实施例的基于用户话语的语音数据来注册新事件的方法的流程图。
在操作S410中，电子设备1000可以从用户话语的语音数据中提取与用户事件有关的信息。
根据实施例，电子设备1000可以基于自然语言处理来生成数据，作为分析语音数据的结果。例如，电子设备1000可以基于自然语言处理将语音数据转换为文本数据，并从文本数据中检测与用户事件有关的信息。例如，电子设备1000可以通过分析陈述“我的朋友珍娜(Jenna)本周六要举行婚礼”的语音数据检测到“婚礼”作为新的用户事件，并且获得“结婚的人：珍娜，关系：朋友，婚礼日期：本周六(6/30)”作为与新用户事件(例如，婚礼)相关的信息。
在操作S420中，电子设备1000可以通过使用提取的信息将用户事件注册为新事件。例如，电子设备1000可以通过在连接到AI模型的事件DB中存储与从语音数据中检测的用户事件(例如婚礼)有关的信息(例如，“结婚的人：珍娜，关系：朋友，婚礼日期：本周六(6/30)”)，将婚礼注册为新事件。
根据实施例，事件DB可以连接到例如日程应用，日历应用，联系人列表应用或SNS应用，但是不限于此。事件DB是定义对用户有意义的用户事件的DB，并且可以包括关于由用户手动输入的事件的信息以及关于由系统自动注册的事件的信息。
在操作S430中，电子设备1000可以从用户话语的语音数据中提取用户的情感信息。例如，电子设备1000可以基于自然语言处理将语音数据转换为文本数据，并从文本数据中检测与情感状态有关的信息。例如，电子设备1000可以通过分析陈述“我很紧张，要在本周六我朋友珍娜的婚礼上唱歌”的语音数据，检测到“紧张”作为用户的情感信息。
在操作S440中，当没有从语音数据中提取到用户的情感信息时，电子设备1000可以从事件-情感DB获得与用户事件有关的用户的情感信息。操作S440可以对应于图2的操作S220，因此在此不提供其详细描述。
在操作S450中，电子设备1000可以基于用户的情感信息来确定与用户事件相对应的交互类型。
当从用户话语的语音数据中提取用户的情感信息时，电子设备1000可以基于提取的情感信息来确定与用户事件相对应的交互类型。当没有从用户话语的语音数据中提取出用户的情感信息时，电子设备1000可以基于从事件-情感DB获得的用户的情感信息来确定与用户事件相对应的交互类型。
根据实施例，电子设备1000可以基于由AI模型生成(或优化)的交互方法DB来确定映射到情感信息的交互类型。操作S450对应于图2的操作S220，因此在此不提供其详细描述。
在操作S460中，电子设备1000可以基于确定的交互类型来提供对与用户事件有关的用户话语的响应。
根据实施例，电子设备1000可以从由AI模型生成(或优化)的响应DB中提取映射到交互类型的响应，并且通过交互界面将提取的响应提供给用户。操作S460对应于图2的操作S230，因此在此不提供其详细描述。
图5是根据实施例的用于描述由电子设备1000执行的对用户话语作出响应的操作的示意图。
在操作S510中，当用户说话时，电子设备1000可以通过麦克风获得用户的语音数据，并通过分析语音数据来理解用户的语言。也就是说，电子设备1000可以从语音数据中提取用户意图，提取与用户事件有关的信息，以及提取对用户事件的情感信息(S510)。例如，当用户说出“我必须在下午进行重要的宣讲”时，电子设备1000可以提取“注册新事件”作为用户意图，并提取“宣讲，下午”作为与新事件有关的信息。在这种情况下，可能不会从用户的话语中提取到任何情感信息。
在操作S520中，当理解用户的语言时，电子设备1000可以确定交互。例如，电子设备1000可以根据用户意图在事件DB 340中将“宣讲，下午”注册为新事件。在操作S521中，电子设备1000可以从事件-情感DB 310中提取与宣讲相对应的第一情感信息(例如，“紧张权重：0.6，喜悦权重：0.4”)。在操作S522中，电子设备1000可以从交互方法DB 320提取与第一情感信息(例如，“紧张权重：0.6，喜悦权重：0.4”)相对应的第一交互方法(例如，第一交互类型：其他信息(0.3)，振作(0.7))。
在操作S530中，电子设备1000可以设置响应。例如，电子设备1000可以基于用户事件和交互方法来修改响应。在操作S531中，电子设备1000可以从响应DB 330提取“您正在宣讲”作为对用户话语的默认响应，并且提取“祝好运”作为附加响应。电子设备1000可以通过交互界面输出“您正在宣讲。祝好运！”。
因为“宣讲，下午”被注册为新事件，所以电子设备1000可以监视“宣讲”的进展。例如，电子设备1000可以在宣讲之前和之后获得用户的情感信息。电子设备1000可以基于获得的用户的情感信息来优化个人情感DB。例如，电子设备1000可以通过修改事件-情感DB310中包括的默认情感信息来个性化事件-情感DB 310(S540)。
现将描述由电子设备1000执行的基于用户对事件DB 340中预注册的用户事件的情感信息来对用户作出响应的操作。
图6是根据实施例的用于描述由电子设备1000执行的提取在事件DB340中注册的用户事件的操作的示意图。
电子设备1000可以基于用户600的第一话语接收第一语音数据601。例如，电子设备1000可以从用户600接收询问“我今天的日程是什么？”的查询输入。在这种情况下，电子设备1000可以通过分析从用户600接收的第一语音数据601来提取用户600的意图(例如，检查用户600的今天的日程)。
电子设备1000可以访问连接到基于事件-情感的响应模型300的事件DB340，以根据用户600的意图来检查用户600的今天的日程。电子设备1000可以从事件DB 340检查与用户600有关的事件信息(例如，向副总裁宣讲(presentation))，并提供第一响应602。例如，电子设备1000可以提供第一响应602，陈述“今天下午的日程是向副总裁宣讲”。
在这种情况下，电子设备1000可以从已经听到第一响应602的用户600接收第二语音数据603。例如，电子设备1000可以接收陈述“哦，我知道了！我必须做好...”第二语音数据603。为了提供对第二语音数据603的响应，电子设备1000可以从事件-情感DB获得与用户事件“向副总裁宣讲”相对应的默认情感信息(例如，“紧张权重：0.6，喜悦权重：0.4”)。另外，电子设备1000可以从第二语音数据603提取情感信息。例如，电子设备1000可以从第二语音数据603提取“恐惧”作为情感信息。在这种情况下，电子设备1000可以基于从第二语音数据603提取的情感信息(例如，恐惧)，修改默认的情感信息(例如，“紧张权重：0.6，喜悦权重：0.4”)。例如，电子设备1000可以将默认情感信息(例如，“紧张权重：0.6，喜悦权重：0.4”)修改为“紧张权重：0.6，喜悦权重：0.1，恐惧权重：0.3”。
电子设备1000可以基于修改的情感信息(例如，“紧张权重：0.6，喜悦权重：0.1，恐惧权重：0.3”)，将交互类型确定为“鼓励类型(提供必要信息+添加鼓励短语)”。电子设备1000可以提供鼓励类型的第二响应604。例如，电子设备1000可以输出第二响应604，陈述“宣讲在下午3:00(提供必要的信息)。别着急，不要忘记您需要的每种材料。祝好运。(添加鼓励短语)”。
图7是根据实施例的由电子设备1000执行的基于用户事件的进展阶段来获得用户的情感信息的方法的流程图。
在操作S710中，电子设备1000可以通过将当前时间与用户事件的日程时间进行比较来确定用户事件的进展阶段。在此，用户事件的进展阶段可以包括例如事件发生之前的阶段(例如，一天、1小时或10分钟)，事件进行中的阶段或事件完成之后的阶段，但不限于此。
例如，当用户事件的日程时间是下午3:00并且当前时间是下午2:00时，电子设备1000可以将用户事件的进展阶段确定为“用户事件发生前1小时”。
根据实施例，当前时间可以是从用户检测到话语的时间。也就是说，电子设备1000可以确定在用户事件发生之前或在用户事件结束之后是否从用户检测到话语。
在操作S720中，电子设备1000可以基于用户事件的进展阶段来获得与用户事件有关的用户的情感信息。
因为用户对用户事件的情感状态可能在用户事件之前和之后改变，所以电子设备1000可以考虑用户事件的进展阶段来获得用户的情感信息。例如，与用户事件发生之前相比，电子设备1000可以在用户事件完成之后提取低的“紧张权重”。
在操作S730中，电子设备1000可以基于用户的情感信息来确定与用户事件相对应的交互类型。
根据实施例，电子设备1000可以基于由AI模型生成(或优化)的交互方法DB来确定映射到情感信息的交互类型。操作S730对应于图2的操作S220，因此在此不提供其详细描述。
在操作S740中，电子设备1000可以基于确定的交互类型来提供对与用户事件有关的用户话语的响应。
根据实施例，电子设备1000可以从由AI模型生成(或优化)的响应DB中提取映射到交互类型的响应，并且通过交互界面将提取的响应提供给用户。在这种情况下，响应可以包括主动响应(例如，提供对用户事件的通知)。操作S740对应于图2的操作S230，因此在此不提供其详细描述。
图8是根据实施例的用于描述由电子设备1000执行的基于用户事件的进展阶段来提供通知或响应的操作的示意图。
为了检查要在事件DB中注册的任何新事件，电子设备1000可以在每天上午810通过陈述“上午好。您今天有什么日程安排吗？”，开始与用户800的对话。在这种情况下，当从用户800检测到陈述“我必须在今天下午3:00向副总裁宣讲”的第一话语时，电子设备1000可以通过分析用户800的语音数据将“下午3:00向副总裁宣讲”注册作为新事件。电子设备1000可以通过使用AI模型获得与“向副总裁宣讲”相对应的情感信息(例如，喜悦权重：0.4，紧张权重：0.6)，并基于情感信息(例如，喜悦权重：0.4，紧张权重：0.6)确定第一话语的交互类型。例如，电子设备1000可以将第一鼓励类型(例如，振作权重：0.7，改变话题权重：0.3)确定为交互类型。电子设备1000可以基于第一鼓励类型输出对第一话语的响应(例如，我明白了……我会支持你的。不用担心。)。
在向用户800提供与用户事件有关的通知之前，电子设备1000可以将当前时间(例如，下午1:00)与用户事件(向副总裁宣讲)的日程时间(例如，下午3:00)进行比较。电子设备1000可以基于比较结果来确定当前时间对应于用户事件(例如，向副总裁宣讲)发生之前的时间820。
考虑到当前时间对应于用户事件发生之前的时间820，电子设备1000可以获得用户800的情感信息(例如，喜悦权重：0.1，恐惧权重：0.2，紧张权重：0.7)。电子设备1000可以确定第二鼓励类型(例如，振作权重：0.9，改变话题权重：0.1)作为与用户800的情感信息(例如，喜悦权重：0.1，恐惧权重：0.2，紧张权重：0.7)相对应的交互类型。电子设备1000可以基于第二鼓励类型提供主动交互。例如，电子设备1000可以提供陈述“您肯定对宣讲感到紧张。不要忘记您需要的每种材料！”的通知。当用户800响应于电子设备1000的通知说出“谢谢。我会尽力的……”时，电子设备1000可以输出陈述“好的。祝好运！”的响应。
在用户事件完成之后的时间830，电子设备1000可以向用户800查询与用户事件有关的情感信息。例如，电子设备1000可以输出询问“今天的宣讲怎么样？”的查询。当用户800响应于查询而回答“嗯，我做了很多准备，但是我还是被说了”时，电子设备1000可以考虑当前时间对应于用户事件完成之后的时间830来获得用户800的情感信息。在这种情况下，电子设备1000可以从用户800的语音数据中提取情感信息。例如，电子设备1000可以获得“后悔权重：0.4，轻松权重：0.4，喜悦权重：0.2”作为宣讲的情感信息。
电子设备1000可以将同感类型(例如，同感权重：0.9，提供其他信息权重：0.1)确定为与用户800的情感信息(例如，后悔权重：0.4，轻松权重：0.4，喜悦权重：0.2)相对应的交互类型。电子设备1000可以根据确定的交互类型(例如，同感类型)提供陈述“您已经为此努力了。太遗憾了”的第一响应。当用户800响应于第一响应说出“是的。我应该提升自己！”，电子设备1000可以输出陈述“您下次会做得更好”的第二响应。
电子设备1000可以在用户事件完成之后记录用户800的情感信息，并且以后再次使用该情感信息。例如，当稍后用户800发生类似事件时，电子设备1000可以提醒用户800关于与先前用户事件有关的信息，并促使用户800回想起美好的记忆。
图9是根据实施例的用于描述由电子设备1000执行的基于与用户事件有关的人、地点或时间来获得用户的情感信息的操作的示意图。
根据实施例，在连接到AI模型300的事件-情感DB 310中，基于事件900的情感信息可以基于与事件900相关的人、地点或时间而细分。在这种情况下，电子设备1000可以基于与事件900相关的人、地点或时间来获得用户的详细情感信息。
例如，当事件900是宣讲910时，电子设备1000可以默认将用户的情感信息确定为“紧张权重：0.4，喜悦权重：0.6”。然而，当获得关于宣讲910针对的人的信息时，电子设备1000可以考虑关于宣讲910针对的人的信息来确定用户的情感信息。例如，当宣讲910针对的人是首席执行官(CEO)时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.9，喜悦权重：0.1”。否则，当宣讲910针对的人是朋友时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.1，喜悦权重：0.9”。
当获得关于进行宣讲910的地点的信息时，电子设备1000可以考虑该地点来确定用户的情感信息。例如，当在会议室进行宣讲910时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.4，喜悦权重：0.4，恐惧权重：0.2”。否则，当在郊游时进行宣讲910时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.1，喜悦权重：0.9”。
根据另一实施例，当事件900是朋友的婚礼920时，电子设备1000可以默认将用户的情感信息确定为“紧张权重：0.2，喜悦权重：0.8”。然而，当获得朋友的婚礼920的时间信息时，电子设备1000可以考虑朋友的婚礼920的时间信息来确定用户的情感信息。例如，当朋友的婚礼920在上午时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.3，喜悦权重：0.6，懒惰权重：0.1”。否则，当朋友的婚礼920在下午时，电子设备1000可以将用户的情感信息确定为“紧张权重：0.2，喜悦权重：0.8”，或者当朋友的婚礼920在晚上时，将用户的情感信息确定为“紧张权重：0.1，喜悦权重：0.9”。
当获得关于举行朋友的婚礼920的地点的信息时，电子设备1000可以考虑该地点来确定用户的情感信息。例如，当朋友的婚礼920在户外举行时，电子设备1000可以将用户的情感信息确定为“喜悦权重：1”。
根据实施例，电子设备1000可以基于用户关于至少一个事件的反馈信息来学习用户对通知信息中包括的至少一个事件的情感信息。用户的反馈信息是关于用户对至少一个事件的情感状态的信息，并且可以基于用户的输入来获得。例如，电子设备1000可以通过虚拟助手界面向用户提供对至少一个事件的通知信息，并且获得用户关于通知信息中包括的至少一个事件的反馈信息。电子设备1000可以通过分析用户的反馈信息来识别用户对至少一个事件的情感状态，并且基于用户的情感状态来学习用户对至少一个事件的情感信息。现在将参照图10和图11描述由电子设备1000执行的基于用户的反馈信息来学习用户对至少一个事件的情感信息的操作。
图10和图11是根据实施例的用于描述使事件-情感DB 310个性化的操作的示意图。
参照图10，在用户事件发生之前，电子设备1000可以通过通知窗口1010向用户提供与用户事件有关的通知(例如，您在宣讲之前有一个小时)。
在这种情况下，电子设备1000可以提供情感候选列表并在用户事件之前从用户获得实际情感信息。例如，电子设备1000可以提供包括开心、紧张、难过、激动、中立、后悔、生气、烦恼等的情感候选列表，并且接收用于在情感候选列表中选择“紧张”的用户输入。
电子设备1000可以基于用户输入的实际情感信息来个性化存储在事件-情感DB310中的默认情感信息。例如，存储在事件-情感DB 310中的在宣讲之前的用户的情感信息1001可以是“喜悦权重：0.4，紧张权重0.6”。然而，因为用户在通知窗口1010上显示的情感候选列表中选择“紧张”，所以电子设备1000可以通过增加默认情感信息中包括的紧张权重来个性化用户对宣讲的情感信息。例如，对宣讲的个性化情感信息1002可以是“喜悦权重：0.1，紧张权重：0.9”。
参照图11，在用户事件完成之后，电子设备1000可以获得用户对用户事件的反馈。例如，电子设备1000可以提供用于检查对用户事件的情感的查询窗口1110。根据实施例，电子设备1000可以在查询窗口1110上显示包括多个指示情感状态的图像的情感候选列表。在这种情况下，电子设备1000可以从用户接收用于在情感候选列表中选择指示喜悦的图像1103的输入。
电子设备1000可以基于用户输入的实际情感信息来个性化存储在事件-情感DB310中的对宣讲的默认情感信息。例如，存储在事件-情感DB 310中的用户对宣讲的情感信息1101可以是“喜悦权重：0.4，紧张权重0.6”。然而，因为用户已经在查询窗口1110上显示的情感候选列表中选择了指示喜悦的图像1103，所以电子设备1000可以通过增加默认情感信息中包括的喜悦权重来个性化用户对宣讲的情感信息。例如，对宣讲的个性化情感信息1102可以是“喜悦权重：0.9，紧张权重：0.1”。
现在将描述由电子设备1000执行的通过使用外部设备来监视用户的生物特征信息以及基于用户的生物特征信息来修改默认情感信息的操作。
图12是根据实施例的用于描述由电子设备1000执行的基于生物特征信息来修改默认情感信息的操作的示意图。
在操作S1210中，电子设备1000可以从事件-情感DB 310获得与用户事件有关的默认情感信息1201。默认情感信息1201可以是普通人对用户事件的平均情感信息，或者是用户对用户事件的先前情感信息。例如，存储在事件-情感DB 310中的对宣讲的默认情感信息1201可以是“喜悦权重：0.4，紧张权重：0.6”。
在操作S1220中，为了检查用户的实际情感信息，电子设备1000可以从外部设备3000获得用户的生物特征信息。例如，电子设备1000可以从佩戴在用户手腕上的智能手表接收用户的心率信息或体温变化信息。另外，电子设备1000可以接收由智能手表记录的用户的语音数据。电子设备1000可以以预定周期或当发生特定事件时从外部设备3000接收用户的生物特征信息，但不限于此。
根据实施例，电子设备1000可以基于用户的生物特征信息来获得用户的实际情感信息。例如，当用户的心率增加并且用户的体温也增加时，电子设备1000可以确定用户的紧张增加，或者当用户的心率稳定时，电子设备1000可以确定用户的紧张减小。另外，当分析用户的语音数据的结果指示语音正在发抖或使用了很多紧张时使用的单词(例如，好……和呃……)时，电子设备1000可以确定用户的紧张增加。否则，当分析用户的语音数据的结果指示用户欢呼或大笑时，电子设备1000可以确定用户的喜悦增加。
根据实施例，电子设备1000可以在事件DB 340中注册的用户事件之前，期间和之后获得用户的生物特征信息，但是不限于此。在这种情况下，随着用户事件的进展，电子设备1000可以监视用户情感的变化。
在操作S1230中，电子设备1000可以基于用户的生物特征信息来修改存储在事件-情感DB 310中的对宣讲的默认情感信息1201。例如，当用户的心率稳定时，电子设备1000可以将默认情感信息1201中包括的紧张权重从“0.6”减小到“0.2”。因此，修改的情感信息1202可以是“喜悦权重：0.8，紧张权重：0.2”。
图13是根据实施例的基于用户的情感信息来确定音调的方法的流程图。
在操作S1310中，电子设备1000可以获得与用户事件有关的用户的情感信息。
根据实施例，电子设备1000可以在检测到与用户事件有关的用户话语时获得与用户事件有关的用户的情感信息。根据另一实施例，电子设备1000可以获得用户对用户事件的情感信息，以在与用户事件有关的用户话语之前主动提供交互。
根据实施例，电子设备1000可以通过使用AI模型来获得与用户事件有关的用户的情感信息。例如，电子设备1000可以从由AI模型生成(或优化)的事件-情感DB 310获得与特定用户事件相对应的用户的情感信息。事件-情感DB 310可以存储普通人对特定事件的平均情感信息，或者对特定事件的每个用户个性化的情感信息，但不限于此。
操作S1310可以对应于图2的操作S210，因此在此不提供其详细描述。
在操作S1320中，电子设备1000可以基于与用户事件有关的用户的情感信息来确定用于提供对用户话语的响应的音调。例如，电子设备1000可以基于与用户事件有关的用户的情感信息来确定语速、音高(pitch)平均值、音高范围、强度、语音质量、音高变化和发音，但是不限于此。
例如，参照图14中所示的情感表1410，当用户的情感信息表示害怕时，电子设备1000可以确定语速为“快得多”，确定音高平均值为“非常高”，确定音高范围为“宽得多”，确定强度为“正常”，确定语音质量为“不规则发声”，确定音高变化为“正常”，并确定发音为“精确”。
否则，当用户的情感信息表示生气时，电子设备1000可以确定语速为“稍快”，确定音高平均值为“非常高”，确定音高范围为“宽得多”，确定强度为“较高”，确定语音质量为“呼吸胸音(breathy chest tone)”，确定音高变化为“在重读音节上突变(abrupt onstressed syllable)”，并确定发音为“紧张(tense)”。
在操作S1330中，电子设备1000可以以确定的音调提供对与用户事件有关的用户话语的响应。因此，根据实施例，电子设备1000可以基于用户对用户事件的情感信息，通过改变用于提供响应的语音的音调来向用户有效地提供情感交互。
图15是根据实施例的用于描述由电子设备1000执行的通过使用与用户的情感信息相对应的颜色来提供通知的操作的示意图。
根据实施例，电子设备1000可以确定与用户的情感信息相对应的颜色。例如，参考情感颜色表1501，电子设备1000可以对诸如兴奋、精力、激情，动作和欲望的情感确定红色，或者对诸如乐观、振作、恢复活力、友善和有趣的情感确定橙色，但不限于此。
根据实施例，电子设备1000可以调整亮度或饱和度。例如，可以为接近情感颜色表1501的中心的情感确定低亮度或饱和度水平。
根据实施例，电子设备1000可以通过使用确定的颜色来提供通知。例如，当用户事件是“旅行”并且用户的情感状态指示“有趣”时，电子设备1000可以在橙色通知窗口1510上显示指示旅行前一天的文本(例如，您还有1天就旅行了)。否则，当用户事件是“开业”并且用户的情感状态指示“希望”时，电子设备1000可以在绿色通知窗口1520上显示指示开业前一天的文本(例如，您还有1天就开业了)。
图16和图17是根据实施例的用于描述由电子设备1000执行的提供日记界面的操作的示意图。
参照图16的第一屏幕1610，电子设备1000可以在日记界面上显示用户事件的列表。在这种情况下，电子设备1000可以在事件名称的前面显示用户对用户事件的代表情感。例如，当用户对于儿子的生日的代表情感是“开心”时，电子设备1000可以在儿子的生日旁边显示“开心”。另外，当用户对于宣讲的代表情感是“紧张”时，电子设备1000可以在宣讲旁边显示“紧张”。根据实施例，代表情感可以以表情符号的形式显示。
根据实施例，电子设备1000可以按时间顺序或按照情感对用户事件的列表进行排序，但是不限于此。
参照图16的第二屏幕1620，当用户在用户事件的列表中选择儿子的生日时，电子设备1000可以专门向用户提供与儿子的生日有关的情感信息。例如，电子设备1000可以以简单日记的形式提供从用户事件之前到用户事件之后用户情感的变化。在这种情况下，电子设备1000可以以简单表情符号的形式显示用户的情感变化。另外，当电子设备1000包括与用户事件有关的拍摄图像时，电子设备1000可以将拍摄图像添加到用户观看的日记中。电子设备1000可以从用户接收与用户事件有关的附加评论。例如，用户可以添加与儿子的生日有关的有趣情节或拍摄图像。
参照图17，电子设备1000可以在日记界面上提供与每个用户事件相对应的情感图1710。情感图可以是示出从事件之前到事件之后用户的情感变化的图。根据实施例，情感图可以是二维图或三维图，但不限于此。
图18和图19是根据实施例的电子设备1000的框图。
如图18所示，根据实施例的电子设备1000可以包括输出器1100、处理器1300和存储器1700。然而，并非所有示出的元件都是必不可少的元件。与示出的元件相比，电子设备1000可以包括更多或更少数量的元件。
例如，如图19所示，除了包括输出器1100、处理器1300和存储器1700之外，根据实施例的电子设备1000还可以包括传感器1200、通信器1400、音频/视频(A/V)输入器1500和用户输入器1600。
现在将逐一描述上述元件。
输出器1100用于输出音频信号、视频信号或振动信号，并且可以包括例如显示器1111、声音输出器1112和振动马达1113。
声音输出器1112输出从通信器1400接收的或存储在存储器1700中的音频数据。此外，声音输出器1112输出与电子设备1000执行的功能有关的声音信号(例如，来电声音、消息接收声音，或通知声音)。声音输出器1112可以包括例如扬声器或蜂鸣器。根据实施例，声音输出器1112可以提供对与用户事件有关的用户话语的语音响应。
振动马达1113可以输出振动信号。例如，振动马达1113可以输出与音频或视频数据的输出相对应的振动信号(例如，来电声音或消息接收声音)。当输入触摸屏上的触摸时，振动马达1113可以输出振动信号。
输出器1100可以提供交互界面。可以以消息或聊天窗口的形式或以语音输入/输出界面的形式来提供交互界面，但是不限于此。
输出器1100可以提供包括与用户事件有关的用户的情感信息的日记界面。例如，日记界面可以列出与提醒应用或日历应用中注册的每个事件有关的先前情感状态和情节。在这种情况下，先前情感状态可以显示为表情符号或简单图形。
传感器1200可以包括磁传感器1211、加速度传感器1212、倾斜传感器1213、红外传感器1214、陀螺仪传感器1215、位置传感器(例如，全球定位系统(GPS)传感器)1216、温度/湿度传感器1217、接近传感器1218和照度传感器1219中的至少一个，但不限于此。可以通过本领域的普通技术人员从传感器的名称直观地推断出传感器的功能，因此这里不提供其详细描述。
处理器1300通常控制电子设备1000的整体操作。例如，处理器1300可以通过执行存储在存储器1700中的程序来控制所有输出器1100、传感器1200、通信器1400、A/V输入器1500、用户输入器1600和存储器1700。
根据实施例，处理器1300可以包括用于生成学习网络模型的AI处理器，但是不限于此。根据实施例，AI处理器可以被实现为与处理器1300分离的芯片。
处理器1300可以通过使用虚拟助手界面向用户查询日程安排信息，并从用户接收包括关于至少一个事件的信息的响应。处理器1300可以通过分析对查询的响应来识别用户对至少一个事件的情感状态，并且基于用户的情感状态来学习用户对至少一个事件的情感信息。处理器1300可以基于用户的情感信息来确定对至少一个事件的交互类型，并且基于交互类型，通过虚拟助手界面来提供对至少一个事件的通知信息。
处理器1300可以获得与在电子设备1000中注册的用户事件有关的用户的情感信息。根据实施例，电子设备1000可以从基于专家分析的情感信息和用户的先前情感信息中的至少一个训练的AI模型获得与用户事件有关的用户的情感信息。根据实施例，处理器1300可以通过将当前时间与用户事件的日程时间进行比较来确定用户事件的进展阶段，并基于用户事件的进展阶段来获得与用户事件有关的用户的情感信息。
处理器1300可以从用户话语的语音数据中提取与用户事件有关的信息，并且通过使用提取的信息在电子设备1000中将用户事件注册为新事件。处理器1300可以从用户的语音数据中提取用户的情感信息。
处理器1300可以从事件被映射到情感信息的表中获得与用户事件有关的默认情感信息，通过使用传感器1200或外部设备获得用户的生物特征信息，以及基于用户的生物特征信息通过修改默认情感信息获得与用户事件有关的情感信息。处理器1300可以基于通过分析用户的话语的语音数据获得的信息来识别用户对至少一个事件的情感状态，并且可以基于用户的情感状态通过修改默认情感信息来学习用户对至少一个事件的情感信息。
在用户事件完成之后，处理器1300可以通过用户输入器1600从用户获得对用户事件的反馈，并且基于获得的反馈来优化事件被映射到情感信息的表。例如，处理器1300可以通过虚拟助手界面向用户提供对至少一个事件的通知信息，并且获得用户对包括在通知信息中的至少一个事件的反馈信息。处理器1300可以通过分析用户的反馈信息来识别用户对至少一个事件的情感状态，并且基于用户的情感状态来学习用户对至少一个事件的情感信息。
处理器1300可以考虑与用户事件有关的人，用户事件的日程时间以及与用户事件有关的地点中的至少一个来获得用户的情感信息。
处理器1300可以基于用户的情感信息来确定与用户事件相对应的交互类型。根据实施例，处理器1300可以基于与用户事件有关的用户的情感信息，确定对用户话语的响应或用于提供通知信息的音调。
处理器1300可以基于确定的交互类型，控制输出器1100通过交互界面提供对与用户事件有关的用户话语的响应。例如，处理器1300可以选择与用户的情感信息相对应的颜色，并且通过使用选择的颜色来显示对用户话语的响应或与用户事件有关的通知信息。
处理器1300可以通过应用用户偏爱的表达风格来提供响应。处理器1300可以考虑用户的状况来确定与用户事件有关的通知提供方法，并且基于确定的通知提供方法来提供与用户事件有关的通知。例如，当用户在重要会议中时，处理器1300可以仅提供视觉通知，然后在会议结束之后提供振动或声音通知。
通信器1400可以包括一个或多个元件，用于实现电子设备1000与可穿戴设备之间或电子设备1000与服务器(未示出)之间的通信。例如，通信器1400可以包括短距离无线通信器1411、移动通信器1412和广播接收器1413。
短距离无线通信器1411可以包括例如蓝牙通信器、低能耗蓝牙(BLE)通信器、近场通信器(NFC)、无线局域网(WLAN)(或Wi-Fi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi直接(WFD)通信器、超宽带(UWB)通信器和Ant+通信器，但不限于此。
移动通信器1412向移动通信网络中的基站、外部终端设备和服务器中的至少一个发送无线电信号以及从移动通信网络中的基站、外部终端设备和服务器中的至少一个接收无线电信号。在此，无线电信号可以包括基于语音呼叫信号、视频呼叫信号或文本/多媒体消息的发送和接收的各种类型的数据。
广播接收器1413通过广播信道从外部接收广播信号和/或广播相关信息。广播频道可以包括卫星信道和地面信道。根据另一实施例，电子设备1000可以不包括广播接收器1413。
根据实施例，通信器1400可以获得外部设备的用户的生物特征信息。例如，通信器1400可以从连接到电子设备1000的可穿戴设备收集用户的心率信息、呼吸信息和体温信息。
A/V输入器1500用于输入音频信号或视频信号，并且可以包括相机1511和麦克风1512。相机1511可以在视频通话模式或图像捕获模式下通过图像传感器获得图像帧(诸如静止图像或运动图像)。通过图像传感器捕获的图像可以通过处理器1300或单独的图像处理器(未示出)进行处理。由相机1511处理的图像帧可以被存储在存储器1700中，或者可以通过通信器1400被发送到外部。根据实施例，相机1511可以包括可伸缩相机(telescopiccamera)、广角照相机和普通相机中的至少一个，但不限于此。
麦克风1512接收外部声音信号并将其处理为电子语音数据。例如，麦克风1512可以从外部设备或用户接收声音信号。麦克风1512可以使用各种噪声消除算法来消除当接收到外部声音信号时发生的噪声。
用户输入器1600是指用户用来输入数据以控制电子设备1000的装置。例如，用户输入器1600可以包括小键盘、穹顶开关、触摸板(例如，电容性覆盖层、电阻性覆盖层、红外光束、表面声波、积分应变仪或压电触摸板)、拨轮或拨动开关，但不限于此。
存储器1700可以存储用于处理和控制处理器1300的操作的程序，并且存储输入/输出数据(例如，语音数据、照片图像、元数据、个性化训练数据和用户的生物特征信息)。
存储器1700可以包括闪存、硬盘、多媒体卡微型、存储卡(例如，安全数字(SD)或极限数字(XD)卡)、随机访问存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘中的至少一种类型的存储介质。
可以基于其功能将存储在存储器1700中的程序分类为多个模块，例如，响应模型1711。响应模型1711对应于图3的基于事件-情感的响应模型300，因此在此不提供其详细描述。
存储器1700可以包括事件DB 1712。事件DB 1712可以对应于图5的事件DB 340。另外，存储器1700可以存储事件-情感DB 1713、交互方法DB 1714和由响应模型1711生成的响应DB 1715。事件-情感DB 1713、交互方法DB1714和响应DB 1715分别对应于图3的事件-情感DB 310、交互方法DB 320和响应DB 330，因此在此不提供其详细描述。
电子设备1000可以与服务器(未示出)合作以向用户提供响应消息。
在这种情况下，服务器(未示出)可以通过学习用于确定响应状况(例如，用于提供基于事件-情感的响应的状况)的准则来生成基于事件-情感的响应模型，并且电子设备1000可以通过使用基于服务器(未示出)的学习结果生成的基于事件-情感的响应模型来确定响应状况。在这种情况下，电子设备1000可以将基于事件-情感的响应模型的数据提供给服务器(未示出)，并且服务器(未示出)可以确定响应状况并将确定的响应状况提供给电子设备1000。可选地，电子设备1000可以从服务器(未示出)接收用于基于事件-情感的响应模型的数据，并且通过使用接收的基于事件-情感的响应模型来确定响应状况。
根据实施例的方法可以以可以通过各种计算机装置执行的程序命令的形式来实现，并且可以被记录在计算机可读记录介质上。计算机可读记录介质可以包括程序命令、数据文件、数据结构或其组合。记录在计算机可读记录介质上的程序命令可以是出于本公开的目的而专门设计和构造的那些程序命令，或者是计算机软件领域的普通技术人员众所周知并且可用的那些程序命令。计算机可读记录介质的示例包括磁介质(例如，硬盘、软盘和磁带)，光学介质(例如，CD-ROM或DVD)，磁光介质(例如，软盘)和专门配置为存储和执行程序命令的硬件设备(例如，ROM、RAM和闪存)。程序命令的示例包括由编译器生成的机器代码和可以由计算机使用解释器执行的高级语言代码。
一些实施例可以以计算机可读记录介质的形式实现，该计算机可读记录介质包括可由计算机执行的指令，例如，由计算机执行的程序模块。计算机可读记录介质可以是可由计算机访问的任意可用介质，并且其示例包括所有易失性、非易失性、可拆卸和不可拆卸介质。计算机可读记录介质可以包括计算机存储介质和通信介质。计算机存储介质的示例包括使用用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任意方法或技术实现的所有易失性、非易失性、可拆卸和不可拆卸介质。通信介质的示例通常包括计算机可读指令、数据结构、程序模块、诸如载波的调制数据信号的其他数据或其他传输机制，并且包括任意信息传输介质。一些实施例可以被实现为包括可由计算机执行的指令的计算机程序，例如，由计算机执行的计算机程序或计算机程序产品。
尽管已经详细描述了本公开的实施例，但是本领域的普通技术人员将理解，可以在不脱离由所附权利要求限定的范围的情况下在其中进行形式和细节上的各种改变。

Claims (15)

1.一种由电子设备执行的提供虚拟助手界面的方法，所述方法包括：
通过使用虚拟助手界面向用户查询日程信息；
从用户接收对查询的响应，所述响应包括关于至少一个事件的信息；
通过分析对查询的响应来识别用户对所述至少一个事件的情感状态；
基于用户的情感状态，学习用户对所述至少一个事件的情感信息；
基于用户的情感信息，确定所述至少一个事件的交互类型；以及
基于交互类型，通过虚拟助手界面提供对所述至少一个事件的通知信息。
2.根据权利要求1所述的方法，其中，接收对查询的响应包括：
接收用户话语的语音数据，作为对查询的响应；
从语音数据中提取与所述至少一个事件有关的信息；以及
通过使用提取的信息在电子设备中将所述至少一个事件注册为新事件。
3.根据权利要求2所述的方法，其中，学习用户的情感信息包括：
从事件被映射到情感信息的表中获得与所述至少一个事件有关的默认情感信息；
基于通过分析所述语音数据获得的信息，识别用户对所述至少一个事件的情感状态；以及
基于用户的情感状态，通过修改默认情感信息来学习用户对所述至少一个事件的情感信息。
4.根据权利要求1所述的方法，其中，学习用户的情感信息包括：
通过将当前时间与所述至少一个事件的日程时间进行比较来确定所述至少一个事件的进展阶段；以及
基于所述至少一个事件的进展阶段，优化用户对所述至少一个事件的情感信息。
5.根据权利要求1所述的方法，其中，学习用户的情感信息包括：
在所述至少一个事件完成之后，从用户获得关于所述至少一个事件的反馈信息；以及
基于获得的反馈信息，优化用户对所述至少一个事件的情感信息。
6.根据权利要求1所述的方法，其中，学习用户的情感信息包括：通过使用与所述至少一个事件有关的人、所述至少一个事件的日程时间以及与所述至少一个事件有关的地点中的至少一个有关的信息，学习用户的情感信息。
7.根据权利要求1所述的方法，其中，确定交互类型包括：基于用户的情感信息，确定提供对所述至少一个事件的通知信息的音调。
8.根据权利要求1所述的方法，其中，提供通知信息包括：
选择与用户的情感信息相对应的颜色；以及
通过使用选择的颜色显示对所述至少一个事件的通知信息。
9.根据权利要求1所述的方法，还包括：基于确定的交互类型，提供对与所述至少一个事件有关的用户话语的响应。
10.根据权利要求1所述的方法，其中，提供对所述至少一个事件的通知信息包括：
考虑用户的状况，确定与所述至少一个事件有关的通知提供方法；以及
基于确定的通知提供方法，提供对所述至少一个事件的通知信息。
11.根据权利要求1所述的方法，还包括：提供日记界面，所述日记界面包括与所述至少一个事件有关的用户的情感信息。
12.一种电子设备，包括：
输出器，被配置为提供虚拟助手界面；以及
至少一个处理器，被配置为：
通过使用虚拟助手界面向用户查询日程信息；
从用户接收对查询的响应，所述响应包括关于至少一个事件的信息；
通过分析对查询的响应来识别用户对所述至少一个事件的情感状态；
基于用户的情感状态，学习用户对所述至少一个事件的情感信息；
基于用户的情感信息，确定所述至少一个事件的交互类型；以及
基于交互类型，通过虚拟助手界面提供对所述至少一个事件的通知信息。
13.根据权利要求12所述的电子设备，其中，所述至少一个处理器还被配置为：
接收用户话语的语音数据，作为对查询的响应；
从语音数据中提取与所述至少一个事件有关的信息；以及
通过使用提取的信息在电子设备中将所述至少一个事件注册为新事件。
14.根据权利要求13所述的电子设备，其中，所述至少一个处理器还被配置为：
从事件被映射到情感信息的表中获得与所述至少一个事件有关的默认情感信息；
基于通过分析语音数据获得的信息，识别用户对所述至少一个事件的情感状态；以及
基于用户的情感状态，通过修改默认情感信息来学习用户对所述至少一个事件的情感信息。
15.一种计算机可读记录介质，其上记录有用于执行方法的程序，所述方法包括：
通过虚拟助手界面向用户提供对至少一个事件的通知信息；
获得用户关于通知信息中包括的所述至少一个事件的反馈信息；
通过分析用户的反馈信息，识别用户对所述至少一个事件的情感状态；以及
基于用户的情感状态，学习用户对所述至少一个事件的情感信息。
CN201980004767.2A 2018-09-27 2019-09-25 提供交互界面的方法和系统 Pending CN111226194A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180115346 2018-09-27
KR10-2018-0115346 2018-09-27
PCT/KR2019/012440 WO2020067710A1 (ko) 2018-09-27 2019-09-25 대화형 인터페이스를 제공하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN111226194A true CN111226194A (zh) 2020-06-02

Family

ID=69952357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004767.2A Pending CN111226194A (zh) 2018-09-27 2019-09-25 提供交互界面的方法和系统

Country Status (5)

Country Link
US (1) US11423895B2 (zh)
EP (1) EP3705990A4 (zh)
KR (1) KR20200035887A (zh)
CN (1) CN111226194A (zh)
WO (1) WO2020067710A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998725B (zh) * 2018-04-19 2024-04-12 微软技术许可有限责任公司 在对话中生成响应
US11734754B1 (en) * 2019-01-30 2023-08-22 United Services Automobile Association (Usaa) Intelligent loan recommendation agent
JP7248615B2 (ja) * 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US11735206B2 (en) * 2020-03-27 2023-08-22 Harman International Industries, Incorporated Emotionally responsive virtual personal assistant
KR102256383B1 (ko) * 2020-05-18 2021-05-25 권영훈 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템
US20220139562A1 (en) * 2020-07-10 2022-05-05 Modality.Ai, Inc. Use of virtual agent to assess psychological and medical conditions
US11283751B1 (en) 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
KR20220095973A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 음성 입력에 응답하는 방법 및 이를 지원하는 전자 장치
WO2023038559A1 (en) * 2021-09-13 2023-03-16 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to experience-appropriate extended reality notifications
CN116521038A (zh) * 2022-01-24 2023-08-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备以及可读存储介质
US20230343349A1 (en) * 2022-04-20 2023-10-26 Sony Interactive Entertainment Inc. Digital audio emotional response filter
KR102493097B1 (ko) * 2022-08-01 2023-02-01 주식회사 에이펀인터렉티브 영상 데이터를 이용한 메타버스 캐릭터 제작 시스템 및 방법
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2005062240A (ja) * 2003-08-13 2005-03-10 Fujitsu Ltd 音声応答システム
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
KR20140126485A (ko) * 2013-04-23 2014-10-31 네무스텍(주) 감정 반응형 모바일 개인 비서 서비스 방법
CN107003997A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 用于交互式对话系统的情绪类型分类

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
BRPI0924538A2 (pt) * 2009-06-16 2015-08-11 Intel Corp Aplicações de câmera em um dispositivo portátil
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US20160180722A1 (en) 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
CN105931638B (zh) * 2016-04-26 2019-12-24 北京光年无限科技有限公司 面向智能机器人的对话系统数据处理方法及装置
US9947319B1 (en) * 2016-09-27 2018-04-17 Google Llc Forming chatbot output based on user state
US10796217B2 (en) * 2016-11-30 2020-10-06 Microsoft Technology Licensing, Llc Systems and methods for performing automated interviews
US11580350B2 (en) * 2016-12-21 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for an emotionally intelligent chat bot
CA3062326A1 (en) * 2017-05-05 2018-11-08 Liveperson, Inc. Dynamic response prediction for improved bot task processing
US11934937B2 (en) * 2017-07-10 2024-03-19 Accenture Global Solutions Limited System and method for detecting the occurrence of an event and determining a response to the event
CN108039988B (zh) * 2017-10-31 2021-04-30 珠海格力电器股份有限公司 设备控制处理方法及装置
US20200007380A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Context-aware option selection in virtual agent
US20210125610A1 (en) * 2019-10-29 2021-04-29 Facebook Technologies, Llc Ai-driven personal assistant with adaptive response generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2005062240A (ja) * 2003-08-13 2005-03-10 Fujitsu Ltd 音声応答システム
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
KR20140126485A (ko) * 2013-04-23 2014-10-31 네무스텍(주) 감정 반응형 모바일 개인 비서 서비스 방법
CN107003997A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 用于交互式对话系统的情绪类型分类

Also Published As

Publication number Publication date
KR20200035887A (ko) 2020-04-06
US11423895B2 (en) 2022-08-23
EP3705990A1 (en) 2020-09-09
EP3705990A4 (en) 2021-03-03
US20200349938A1 (en) 2020-11-05
WO2020067710A1 (ko) 2020-04-02

Similar Documents

Publication Publication Date Title
CN111226194A (zh) 提供交互界面的方法和系统
CN110998725B (zh) 在对话中生成响应
US10944708B2 (en) Conversation agent
KR102457486B1 (ko) 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류
CN108334583B (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
CN108227932B (zh) 交互意图确定方法及装置、计算机设备及存储介质
US9501745B2 (en) Method, system and device for inferring a mobile user's current context and proactively providing assistance
US10163058B2 (en) Method, system and device for inferring a mobile user's current context and proactively providing assistance
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US20180101776A1 (en) Extracting An Emotional State From Device Data
CN108886532A (zh) 用于操作个人代理的装置和方法
US20180060500A1 (en) Smart health activity scheduling
US10791072B2 (en) Generating conversations for behavior encouragement
US10382907B2 (en) Device and method for providing notification message about call request
WO2019207896A1 (ja) 情報処理システム、情報処理方法、および記録媒体
KR102572701B1 (ko) 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법
US11443738B2 (en) Electronic device processing user utterance and control method thereof
CN110214301B (zh) 信息处理设备、信息处理方法和程序
US20230048149A1 (en) Audio Analysis for Text Generation
US20210304870A1 (en) Dynamic intelligence modular synthesis session generator for meditation
US11929169B2 (en) Personalized sensory feedback
Anderson Laying a Foundation for Computing in Outdoor Recreation
Harg Augmented postphenomenology: a (post) phenomenological and ethical exploration of Google Glass
Astler et al. of Thesis: FACIAL AND EXPRESSION RECOGNITION FOR THE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination