CN107943299A - 情感呈现方法和装置、计算机设备及计算机可读存储介质 - Google Patents

情感呈现方法和装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN107943299A
CN107943299A CN201711285485.3A CN201711285485A CN107943299A CN 107943299 A CN107943299 A CN 107943299A CN 201711285485 A CN201711285485 A CN 201711285485A CN 107943299 A CN107943299 A CN 107943299A
Authority
CN
China
Prior art keywords
emotion
presented
mode
presentation
vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711285485.3A
Other languages
English (en)
Other versions
CN107943299B (zh
Inventor
王慧
王豫宁
朱频频
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhizhen Intelligent Network Technology Co Ltd
Original Assignee
Shanghai Zhizhen Intelligent Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhizhen Intelligent Network Technology Co Ltd filed Critical Shanghai Zhizhen Intelligent Network Technology Co Ltd
Priority to CN201711285485.3A priority Critical patent/CN107943299B/zh
Publication of CN107943299A publication Critical patent/CN107943299A/zh
Priority to US16/052,345 priority patent/US10783329B2/en
Priority to US16/992,284 priority patent/US11455472B2/en
Application granted granted Critical
Publication of CN107943299B publication Critical patent/CN107943299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种情感呈现方法和装置、计算机设备及计算机可读存储介质。该情感呈现方法包括：获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态；以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。本发明能够实现以文本为主的多模态情感呈现方式，因此，提高了用户体验。

Description

情感呈现方法和装置、计算机设备及计算机可读存储介质
技术领域
本发明涉及自然语言处理和人工智能技术领域，尤其涉及一种情感呈现方法和装置、计算机设备及计算机可读存储介质。
背景技术
随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已经开始逐渐替代一些传统的人机交互方式，并成为研究的热点。
目前，现有技术主要集中在对情感信号进行识别得到某种情感状态，或者仅通过观察用户的表情、动作等进行相似或相反情感的回馈呈现，呈现模式单一，用户体验差。
发明内容
有鉴于此，本发明实施例提供一种情感呈现方法和装置、计算机设备及计算机可读存储介质，能够解决上述技术问题。
本发明的一个方面提供一种情感呈现方法，该情感呈现方法包括：获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态；以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。
本发明的另一个方面一种情感呈现装置，其特征在于，包括：获取模块，用于获取第一情感呈现指令，其中所述第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，所述至少一种第一情感呈现模态包括文本情感呈现模态；以及
呈现模块，用于根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述至少一种情感类型中的一种或多种情感类型的情感呈现。
本发明的再一个方面提供一种计算机设备，包括：存储器、处理器及存储在存储器中并可在处理器中运行的可执行指令，其中，处理器执行可执行指令时实现如上所述的情感呈现方法。
本发明的又一个方面提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，可执行指令被处理器执行时实现如上所述的情感呈现方法。
根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了以文本为主的多模态情感呈现方式，因此，提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一示例性实施例示出的一种情感呈现方法的流程图。
图2是根据本发明另一示例性实施例示出的一种情感呈现方法的流程图。
图3是根据本发明一示例性实施例示出的一种情感呈现装置的框图。
图4是根据本发明另一示例性实施例示出的一种情感呈现装置的框图。
图5是根据本发明一示例性实施例示出的用于情感呈现的装置500的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。根据本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
情感呈现是情感计算用户界面的最终表现形式，是基于情感分析识别和情感意图理解(解析)的结果。情感呈现可以针对用户当前的状态并基于情感呈现指令决策过程提供智能的情感反馈，并通过情感输出设备提供给用户。
图1是根据本发明一示例性实施例示出的一种情感呈现方法的流程图。如图1所示，该情感呈现方法包括：
110：获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态。
在本发明实施例中，可以通过对情感信息进行情感分析识别来获取第一情感呈现指令，也可以通过人为设定的方式直接确定第一情感呈现指令，本发明对此不作限制。例如，当想要呈现某种特定的情感时，机器人并不需要识别用户的情感，而是直接通过人为设定的情感呈现指令来呈现。
这里，情感信息的输入方式可以包括但不限于文本、语音、图像、手势等中的一种或多种。例如，用户可以仅以文本的方式输入情感信息，也可以以文本和语音结合的方式输入情感信息，甚至还可以通过采集设备提取用户的面部表情、语音语调和肢体动作等情感信息。
第一情感呈现指令是情感计算用户界面中情感意图理解和情感呈现指令决策的输出，该第一情感呈现指令应当具有明确的可执行含义且容易理解和接受。第一情感呈现指令的内容可以包括至少一种第一情感呈现模态和至少一种情感类型。
具体地，第一情感呈现模态可以包括文本情感呈现模态，也可以包括声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种，本发明对此不作限制。需要说明的是，最终的情感呈现可以仅为一种情感呈现模态，例如文本情感呈现模态；也可以为几种情感呈现模态的结合，例如文本情感呈现模态和声音情感呈现模态的结合，或者文本情感呈现模态、声音情感呈现模态和图像情感呈现模态的结合。
情感类型(也称为情感成分)可以通过分类情感模型和维度情感模型来表示。分类情感模型的情感状态是离散的，因此也称为离散情感模型；多维情感空间中的一个区域和/或至少一个点的集合可以定义为分类情感模型中的一个情感类型。维度情感模型是构建一个多维情感空间，该空间的每个维度对应一个心理学定义的情感因素，在维度情感模型下，情感状态由情感空间中的坐标值表示。另外，维度情感模型可以是连续的，也可以是离散的。
具体地，离散情感模型是情感类型的主要形式和推荐形式，其可以根据领域和应用场景对情感信息所呈现的情感进行分类，并且不同的领域或应用场景的情感类型可以相同，也可以不同。例如，在通用领域，一般采取的基本情感分类体系作为一种维度情感模型，即多维情感空间包括6个维度：高兴(Joy)、悲伤(Sadness)、愤怒(Anger)、惊讶(Surprise)、恐惧(Fear)和厌恶(Disgust)；在客服领域，常用的情感类型可以包括但不限于高兴、悲伤、安慰、劝阻等；而在陪伴看护领域，常用的情感类型可以包括但不限于高兴、悲伤、好奇、安慰、鼓励、劝阻等。
维度情感模型是情感类型的补充方法，目前仅用于连续动态变化和后续情感计算的情况，例如需要实时微调参数、或者对上下文情感状态的计算影响很大的情况。维度情感模型的优势在于方便计算和微调，但是后续需要通过与所呈现的应用参数进行匹配来加以利用。
另外，每个领域都有主要关注的情感类型(情感识别用户信息得到在该领域关注的情感类型)和主要呈现的情感类型(情感呈现或交互指令中的情感类型)，这两者可以是不同的两组情绪分类(分类情感模型)或者不同的情感维度范围(维度情感模型)。在某个应用场景下，通过一定的情感指令决策过程来完成确定该领域所主要关注的情感类型对应的主要呈现的情感类型。
当第一情感呈现指令包括多种情感呈现模态时，优先采用文本情感呈现模态来呈现至少一种情感类型，然后再采用声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的一种或多种情感呈现模态来补充呈现至少一种情感类型。这里，补充呈现的情感类型可以是文本情感呈现模态所未呈现的至少一种情感类型，或者文本情感呈现模态呈现的情感强度和/或情感极性不符合第一情感呈现指令所要求的至少一种情感类型。
需要说明的是，第一情感呈现指令可以指定一种或多种情感类型，并且可以按照每种情感类型的强度进行排序，以确定各情感类型在情感呈现过程中的主次。具体地，如果情感类型的情感强度小于预设的情感强度阈值，则可以认为该情感类型在情感呈现过程中的情感强度不可以大于其它在第一情感呈现指令中情感强度大于或等于情感强度阈值的情感类型。
120：根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。
在本发明实施例中，情感呈现模态的选择取决于以下因素：情感输出设备及其应用状态(例如，是否具备显示文本或图像的显示器、是否连接有扬声器等)、交互场景类型(例如，日常聊天、业务咨询等)、对话类型(例如，常见问题的解答主要以文本回复为主，导航则以图像为主、语音为辅)等。
进一步地，情感呈现的输出方式取决于情感呈现模态。举例来说，如果第一情感呈现模态为文本情感呈现模态，则最终的情感呈现的输出方式为文本的方式；如果第一情感呈现模态为文本情感呈现模态为主，声音情感呈现模态为辅，则最终的情感呈现的输出方式为文本和语音结合的方式。也就是说，情感呈现的输出可以仅包括一种情感呈现模态，也可以包括几种情感呈现模态的结合，本发明对此不作限制。
根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了以文本为主的多模态情感呈现方式，因此，提高了用户体验。
在本发明的另一个实施例中，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，包括：根据至少一种情感类型查找情感呈现数据库以确定至少一种情感类型中的每种情感类型对应的至少一个情感词汇；以及呈现至少一个情感词汇。
具体地，情感呈现数据库可以是预置人工标记的，也可以是通过大数据学习得到的，或者也可以是通过半学习半人工的半监督人机协作得到的，甚至还可以是通过大量情感对话数据训练整个交互系统得到的。需要说明的是，情感呈现数据库允许在线学习和更新。
情感词汇及其情感类型、情感强度和情感极性的参数可以存储在情感呈现数据库中，也可以通过外部接口得到。另外，情感呈现数据库包括多个应用场景的情感词汇的集合以及相应的参数，因此，可以根据实际应用情况对情感词汇进行切换和调整。
情感词汇可以按照应用场景下所关注的用户的情感状态进行分类。也就是说，同一个情感词汇的情感类型、情感强度和情感极性与应用场景有关。例如，在没有特殊应用需求的通用领域中，可以按照上述6种基本情感类型对中文的情感词汇进行分类，并因此得到如表1所示的情感类型以及相应的例词和短语。
表1
编号 情感类型 例词
1 高兴 开心、好、兴奋、幸福、棒棒哒……
2 悲伤 难过、痛苦、郁闷、伤心欲绝……
3 愤怒 气愤、恼火、生气、愤怒……
4 惊讶 奇怪、惊讶、一鸣惊人、瞠目结舌……
5 恐惧 慌张、慌乱、不知所措、心惊胆战……
6 厌恶 讨厌、可恶、痛恨、反感、责备、歉然……
需要说明的是，表1中的例词为通用领域的应用场景下按照情感词汇的主要情感类型划分的推荐例词。上述6种情感类型不是固定的，在实际应用中，可以根据应用场景来调整情感词汇的情感类型，例如，增加特别关注的情感类型，或者删除无特别应用的情感类型。
另外，同一个情感词汇在不同上下文语境中可能有不同的释义来表达不同的情感，即情感类型和情感极性等可能会发生变化，因此，需要根据应用场景和上下文语境对同一个情感词汇进行情感消歧以确定其情感类型。
具体地，可以通过自动、人工、或两者结合的方式对中文的情感词汇进行情感标注。对于具有多种情感类型的词汇，可以基于词性、情感频率、贝叶斯模型等进行情感消歧。此外，还可以通过构建上下文相关特征集合来判断情感词汇在上下文中的情感类型。
在本发明的另一个实施例中，至少一种情感类型中的每种情感类型对应多个情感词汇，第一情感呈现指令还包括：至少一种情感类型中的每种情感类型对应的情感强度和/或至少一种情感类型中的每种情感类型对应的情感极性，其中，根据至少一种情感类型查找情感呈现数据库以确定至少一种情感类型中的每种情感类型对应的至少一个情感词汇，包括：根据情感强度和/或情感极性从多个情感词汇中选择至少一个情感词汇。
具体地，每种情感类型可以对应多个情感词汇，第一情感呈现指令的内容还可以包括每种情感类型对应的情感强度和/或每种情感类型对应的情感极性，以及根据情感强度和/或情感极性从多个情感词汇中选择至少一个情感词汇。
这里，情感强度来源于人对事物所产生的选择倾向性，是心理学上对情感进行描述的一个因素，本申请中用来描述某种情感的程度等级。情感强度可以根据应用场景设置为不同的情感强度级别，例如，2级(即，有情感强度和无情感强度)、3级(即，低情感强度、中等情感强度和高情感强度)或更高级，本发明对此不作限制。
在特定的应用场景下，同一个情感词汇的情感类型和情感强度是一一对应的。在实际应用中，首先要划分第一情感呈现指令的情感强度，因为该情感强度决定了情感呈现最终呈现的情感强度级别；接着，根据第一情感呈现指令的情感强度级别确定情感词汇的强度分级。需要说明的是，本发明的情感强度由情感呈现指令决策过程决定。此外，还需要说明的是，情感强度分析需要与第一情感呈现指令的情感强度级别相匹配，二者的对应关系可以通过一定的运算规则得到。
情感极性可以包括褒义、贬义和中性中的一种或多种。第一情感呈现指令指定的每种情感类型都对应一种或多种情感极性。具体地，以表1中的情感类型“厌恶”为例，在“厌恶”这一情感类型所对应的例词中，“责备”的情感极性为贬义，而“歉然”的情感极性为中性。需要说明的是，本发明的情感极性由情感呈现指令决策过程决定，该情感呈现指令决策过程可以是根据用户的情感状态、交互意图、应用场景等信息中的一个或多个生成输出呈现指令的决策过程；除此之外，情感呈现指令决策过程也可以是根据应用场景及用户需求对情感极性进行调整，并在未捕捉到用户的情感状态和意图信息情况下主动决策情感呈现指令的过程，例如，无论用户的状态和意图如何，迎宾机器人都会固定呈现“喜悦”情感。
在本发明的另一个实施例中，至少一个情感词汇根据不同的情感强度分为不同的级别。
具体地，情感词汇的分级比第一情感呈现指令指定的情感强度的分级更细一些，这样的呈现规则要求没有那么严苛，结果也更容易收敛。也就是说，情感词汇的级别比情感强度的级别更多，但仍必须可以通过一定的运算规则对应到第一情感呈现指令指定的情感强度，而不能超过该第一情感呈现指令指定的情感强度的分级的上限和下限。
举例来说，假设第一情感呈现指令给出的情感强度的分级为呈现情感强度0级(低)、呈现情感强度1级(中)和呈现情感强度2级(高)，情感词汇的分级为词汇情感强度0级、词汇情感强度1级、词汇情感强度2级、词汇情感强度3级、词汇情感强度4级和词汇情感强度5级，那么运算规则需要将当前文本中的情感词汇的情感强度(即，词汇情感强度0至5级)匹配到第一情感呈现指令的情感强度(即，呈现情感强度0至2级)中，而不得超过该第一情感呈现指令的情感强度的范围。如果出现呈现情感强度-1级或呈现情感强度3级的情况，则表示超出了第一情感呈现指令的情感强度的范围，进而说明匹配规则或情感强度的分级不合理。
需要说明的是，通常推荐先划分情感呈现指令的情感强度，因为该情感强度决定了情感呈现最终的情感强度的级别；在情感呈现指令的情感强度的级别确定之后，再确定情感词汇的强度分级。
在本发明的另一个实施例中，至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。
具体地，每个情感词汇拥有一种或多种情感类型，并且同一情感词汇在不同的应用场景下可以具有不同的情感类型和情感强度。以情感词汇“好”为例，在情感类型为“高兴”的情况下，其情感强度为褒义；在情感类型为“愤怒”的情况下，其情感强度为贬义。
此外，同一个情感词汇在不同的上下文语境中可能有不同的释义以表达不同的情感，即情感类型和情感极性等可能会发生变化，因此，需要根据应用场景和上下文语境对同一个情感词汇进行情感消歧以确定其情感类型。
具体地，可以通过自动、人工、或两者结合的方式对中文的情感词汇进行情感标注。对于具有多种情感类型的词汇，可以基于词性、情感频率、贝叶斯模型等进行情感消歧；同时还可以通过构建上下文相关特征集合来判断情感词汇在上下文中的情感类型。
在本发明的另一个实施例中，情感词汇为多元情感词汇，该多元情感词汇包括多个词汇的组合，其中多元情感词汇中的每个词汇单独不具有的情感类型属性。
具体地，词汇本身可能不具有情感类型，但是几个词汇组合在一起可能具有某种情感类型，并且可以用来传达情感信息，这种几个词汇的组合称为多元情感词汇。多元情感词汇可以从预置的情感语义数据库中得到，也可以通过预设的逻辑规则或外部接口得到，本发明对此不作限制。
在本发明的另一个实施例中，该情感呈现方法还包括：根据至少一种第一情感呈现模态中的每种情感呈现模态进行第一情感呈现指令未指定的情感类型的情感呈现，其中未指定的情感类型对应的情感强度低于至少一种情感类型对应的情感强度或者未指定的情感类型的情感极性与至少一种情感类型的情感极性一致。
具体地，除第一情感呈现指令中指定的情感类型之外，文本中的其他情感类型按照既定的情感强度对应关系或公式计算得到的情感强度均低于第一情感呈现指令中所有指定的情感类型的情感强度。也就是说，未指定的情感类型对应的情感强度不影响第一情感呈现指令中各种情感类型的情感呈现。
在本发明的另一个实施例中，该情感呈现方法还包括：确定所述至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小；以及基于所述情感强度的大小判断所述至少一种情感类型的情感强度是否符合所述第一情感呈现指令，其中所述情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：
round[n/N*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，
其中，round(X)表示对X邻近取整，n表示所述第i种情感类型中的情感词汇的数量，N表示所述情感呈现文本中的情感词汇的数量，M表示所述N个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型M的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、N和M为正整数。
具体地，令上式中N＝5，M＝1，n＝5，max{a1,a2,a3,a4,a5}＝5，则情感类型的情感强度＝5。这里，N＝5表示文本中共有5个情感词汇，M＝1表示这5个情感词汇仅有一种情感类型，因此，仅需要计算一次就能得到文本的情感类型的情感强度。
可选地，令上式中N＝5，M＝3，对于第一种情感A，如果n＝3，max{a1,a2,a3}＝4，则情感A的情感类型的情感强度＝2；对于第一种情感B，如果n＝1，max{b1}＝4，则情感B的情感类型的情感强度＝1；对于第一种情感C，如果n＝1，max{c1}＝2，则情感C的情感类型的情感强度＝0。这里，N＝5表示文本中共有5个情感词汇，M＝3表示这5个情感词汇共有三种情感类型，因此，需要计算三次才能得到文本的情感类型的情感强度。
与此同时，该文本中的第i种情感类型的情感极性可以通过下式计算得到：
B＝Sum(x1*(a1/max{a}),x2*(a2/max{a}),…,xn*(an/max{a}))/n，其中，Sum(X)表示对X求和，max{a}表示对M情感类型的所有情感词汇的最大情感强度，a1,a2,…,an表示M情感类型下的n个情感词汇的情感强度，x1,x2,…,xn表示M情感类型下的n个情感词汇的情感极性。
需要说明的是，上述公式需要对每个情感类型M分别计算，得到该情感类型下的情感极性。
进一步地，如果B>0.5，则表示情感极性为褒义；如果B<-0.5，则表示情感极性为贬义；以及如果0.5≥B≥-0.5，则表示情感极性为中性。
需要说明的是，情感极性的量化表示可以为：褒义为+1，贬义为-1，中性为0，或者可以根据需要进行调整。此外，还需要说明的是，情感类型的情感极性不允许出现急剧变化，例如，褒义变成贬义或者贬义变成褒义。
在本发明的另一个实施例中，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，包括：在至少一种第一情感呈现模态符合情感呈现条件时，根据至少一种第一情感呈现模态进行情感呈现。
具体地，第一情感呈现模态符合情感呈现条件是指情感输出设备和用户输出设备都支持第一情感呈现模态所呈现的方式，例如，文本、语音、图片等。这里，以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”和“语音”；接着，对情感输出设备和用户输出设备进行检测，如果检测到情感输出设备和用户输出设备均支持文本、图像和语音这三种呈现方式，则以文本为主、图像和语音为辅的方式将某银行的地址呈现给用户。
在本发明的另一个实施例中，该情感呈现方法还包括：在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的；以及基于至少一种第二情感呈现模态进行情感呈现。
具体地，至少一种第一情感呈现模态不符合情感呈现条件是指情感输出设备和用户输出设备中的至少一个不支持第一情感呈现模态的呈现方式，或者需要根据动态变化(例如，输出设备故障、用户需求变化、后台控制动态变化和/或应用场景需求变化等)临时改变第一情感呈现模态的呈现方式。这时，需要对至少一种第一情感呈现模态进行调整，得到至少一种第二情感呈现模态，并基于至少一种第二情感呈现模态进行情感呈现。
这里，对至少一种第一情感呈现模态进行调整的过程可以称为情感呈现模态的二次调整，该二次调整能够根据动态变化临时调整情感呈现模态的输出策略和优先级等，以便排除故障错误、优化并优先选择情感呈现模态。
至少一种第二情感呈现模态可以包括文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
在本发明的另一个实施例中，在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，包括：在检测到用户输出设备故障影响第一情感呈现模态的呈现或者用户输出设备不支持第一情感呈现模态的呈现时，确定至少一种第一情感呈现模态不符合情感呈现条件；以及对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。
具体地，至少一种第一情感呈现模态不符合情感呈现条件可以包括但不限于用户输出设备故障影响第一情感呈现模态的呈现、用户输出设备不支持第一情感呈现模态的呈现等。因此，在确定至少一种第一情感呈现模态不符合情感呈现条件时，需要调整第一情感呈现指令中的至少一种第一情感呈现模态，得到第二情感呈现指令中的至少一种第二情感呈现模态。
这里，仍以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”和“语音”，情感类型为“愉悦”，情感强度为“中等”；接着，对情感输出设备和用户输出设备进行检测，如果检测到用户输出设备不支持图片(即地图)显示，则认为第一情感呈现模态不符合情感呈现条件，这时，需要对第一情感呈现模态进行调整，得到第二情感呈现模态，该第二情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“语音”，情感类型为“愉悦”，情感强度为“中等”；最终，以文本为主、语音为辅的方式将某银行的地址呈现给用户，并提示用户当前地图无法显示或者当前地图显示不成功，可以通过其他设备查看等。
可选地，作为另一个实施例，在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，包括：根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定至少一种第一情感呈现模态不符合情感呈现条件；以及对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。
具体地，至少一种第一情感呈现模态不符合情感呈现条件的情况还可以包括但不限于用户需求变化、后台控制动态变化和/或应用场景需求变化等。因此，在确定至少一种第一情感呈现模态不符合情感呈现条件时，需要调整第一情感呈现指令中的至少一种第一情感呈现模态，得到第二情感呈现指令中的至少一种第二情感呈现模态。
这里，仍以银行客服为例，假设用户想要询问某银行的地址，情感策略模块首先基于用户的情感信息生成第一情感呈现指令，该第一情感呈现指令为第一情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“语音”，情感类型为“愉悦”，情感强度为“中等”；接着，当接收到用户请求想要以文本和地图结合的方式显示某银行的地址时，确定第一情感呈现模态不符合情感呈现条件，并相应地调整第一情感呈现模态，得到第二情感呈现模态，该第二情感呈现模态的主要呈现方式为“文本”，次要呈现方式为“图像”，情感类型为“愉悦”，情感强度为“中等”；最终，以文本为主、图像为辅的方式将某银行的地址呈现给用户。
对于不符合情感呈现指令的情感呈现，需要反馈对话系统重新调整输出，并再次进行判断，直至输出的文本符合情感呈现指令。这里，对话系统进行回馈调整可以包括但不限于以下两种方式：一种是在不调整句式的情况下直接对当前句子中的个别情感词汇进行调整替换，以达到情感呈现指令的情感呈现标准，这种方式适用于情感类型和情感强度差异不大的情况；另一种是需要对话系统重新生成句子，这种方式适用于情感类型和情感强度差异较大的情况。
需要说明的是，本发明的第一情感呈现模态以文本情感呈现模态为主，但是可以根据用户需求、应用场景等选择或增加声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态等来进行情感呈现。
具体地，声音情感呈现模态可以包括基于文本内容的语音播报，也可以包括基于声音的音乐、声响等，本发明对此不作限制。此时，情感呈现数据库中不仅存储有应用场景下的不同情感类型所对应的情感词汇(该情感词汇用于分析语音对应的文本的情感类型)，还需要包括不同情感类型所对应的音频参数(例如基音频率、共振峰、能量特征、谐波噪声比、发音帧数特征、梅尔倒谱系数等)，或者由训练提取的特定情感类型所对应的音频特征及其参数。
进一步地，语音播报的情感类型来源于两部分，即播报文本的情感类型A和音频信号的情感类型B，A和B的结合得到语音播报的情感类型。举例来说，A的情感类型和情感强度与B的情感类型和情感强度的平均值(或者带有权重的求和等运算)为语音播报的情感类型和情感强度。声音(包括无文本信息的音乐、声响等)，一方面可以通过多种音频参数进行分类，另一方面可以通过人工标签部分音频数据，并通过有监督学习提取特征以对声音的情感类型和情感强度进行判断。
图像情感呈现模态可以包括但不限于人脸、图画表情、图标、图案、动画、视频等。此时，情感呈现数据库中需要包括不同情感类型所对应的图像参数等。图像情感呈现模态可以通过自动检测并结合人工的方式获取图像数据的情感类型和情感强度，也可以通过有监督学习提取特征以对图像的情感类型和情感强度进行判断。
机械运动情感呈现模态可以包括但不限于机器人各个部位的活动和运动、各种硬件输出设备的机械运动等。此时，情感呈现数据库中需要包括不同情感类型所对应的活动和运动参数。这些参数可以预先存储在数据库中，也可以通过在线学习获得扩展和更新，本发明对此不作限制。机械运动情感呈现模态可以在接收到情感呈现指令后，根据其情感类型和情感强度选择合适的活动和运动计划并实施。需要说明的是，机械运动情感呈现模态的输出需要考虑安全性问题。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图2是根据本发明另一示例性实施例示出的一种情感呈现方法的流程图。如图2所示，该情感呈现方法包括：
210：获取用户的情感信息。
在本发明实施例中，可以通过文本、语音、图像、手势等方式获取用户的情感信息。
220：对情感信息进行情感识别，得到情感类型。
在本发明实施例中，根据预设的分词规则对情感信息进行分词处理，得到多个情感词汇。这里，分词规则可以包括正向最大匹配法、逆向最大匹配法、逐词遍历法和词频统计法中的任一种。分词处理可以采用双向最大匹配法、维特比(Viterbi)算法、隐马尔可夫模型(Hidden Markov Model，HMM)算法和条件随机场(Conditional Random Field，CRF)算法中的一种或多种。
接着，将多个情感词汇与情感词汇语义库中存储的多个预设的情感词汇进行相似度计算，并将相似度最高的情感词汇作为匹配的情感词汇。
具体地，如果文本中有情感词汇语义库中的情感词汇，则直接提取相应的情感类型和情感强度。如果文本中没有情感词汇语义库中的情感词汇，则将分词处理的结果逐个与情感词汇语义库中的内容进行相似度计算，或者加入注意力(Attention)机制，从分词处理的结果中选取几个重点词汇与情感词汇语义库中的内容进行相似度计算，如果相似度超过一定阈值，则使用情感词汇语义库中相似度最高的词汇的情感类型和情感强度作为该词汇的情感强度和情感类型。如果既没有在已有的情感词汇语义库中找到情感词汇，也没有相似度超出阈值的情况，则认为该文本中没有情感词汇，因此，输出的情感类型为空或中性，情感强度归零。需要说明的是，这里的输出需要与情感呈现指令决策过程相匹配，也就是说，情感呈现指令决策过程中包括允许情感类型为空或中性的情况。
这里，相似度计算可以采用基于向量空间模型(Vector Space Model，VSM)的计算方法、基于隐形语义索引模型(Latent Semantic Indexing，LSI)的计算方法、基于属性论的语义相似度计算方法和基于汉明距离的语义相似度计算方法中的一种或多种方法的结合。
进一步地，基于匹配的情感词汇，得到情感类型。这里，除了得到情感类型之外，还可以得到情感强度和情感极性等。
230：基于情感类型对情感信息进行意图解析，得到意图。
在本发明实施例中，基于对意图的解析及预设的情感呈现指令决策过程，得到情感类型和情感强度，或者还可以得到情感极性等。意图解析可以通过文字得到，也可以通过捕捉用户的动作得到，本发明对此不作限制。具体地，可以通过对情感信息的文本信息进行分词处理、断句处理或词汇组合得到意图，也可以通过情感和用户信息中的语义内容得到意图，或者还可以通过捕捉用户的表情、动作等情感信息得到意图，本发明对此不作限制。
240：基于意图及预设的情感呈现指令决策过程生成第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态。
在本发明实施例中，情感呈现指令决策过程是根据情感识别得到的情感状态(情感类型)、意图信息、上下文等内容生成情感呈现指令的过程。
250：判断至少一种第一情感呈现模态是否符合情感呈现条件。
260：如果至少一种第一情感呈现模态符合情感呈现条件，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。
270：如果至少一种第一情感呈现模态不符合情感呈现条件，根据第一情感呈现指令生成第二情感呈现指令，该第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的。
280：基于至少一种第二情感呈现模态进行情感呈现。
根据本发明实施例提供的技术方案，能够对第一情感呈现模态是否符合情感呈现条件进行判断，并基于判断结果调整最终的情感呈现模态，因此，改善了实时性，并进一步提高了用户体验。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图3是根据本发明一示例性实施例示出的一种情感呈现装置300的框图。如图3所示，该情感呈现装置300包括：
获取模块310，用于获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态；以及
呈现模块320，用于根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。
根据本发明实施例提供的技术方案，通过获取第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态，以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现，实现了以文本为主的多模态情感呈现方式，因此，提高了用户体验。
在本发明的另一个实施例中，图3的呈现模块320根据至少一种情感类型查找情感呈现数据库以确定至少一种情感类型中的每种情感类型对应的至少一个情感词汇，并呈现至少一个情感词汇。
在本发明的另一个实施例中，至少一种情感类型中的每种情感类型对应多个情感词汇，第一情感呈现指令还包括：至少一种情感类型中的每种情感类型对应的情感强度和/或至少一种情感类型中的每种情感类型对应的情感极性，其中，图3的呈现模块320根据情感强度和/或情感极性从多个情感词汇中选择至少一个情感词汇。
在本发明的另一个实施例中，至少一个情感词汇根据不同的情感强度分为不同的级别。
在本发明的另一个实施例中，至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。
在本发明的另一个实施例中，情感词汇为多元情感词汇，该多元情感词汇包括多个词汇的组合，其中多元情感词汇中的每个词汇单独不具有的情感类型属性。
在本发明的另一个实施例中，图3的呈现模块320根据至少一种第一情感呈现模态中的每种情感呈现模态进行第一情感呈现指令未指定的情感类型的情感呈现，其中未指定的情感类型对应的情感强度低于至少一种情感类型对应的情感强度或者未指定的情感类型的情感极性与至少一种情感类型的情感极性一致。
在本发明的另一个实施例中，图3的呈现模块320确定至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小，并基于情感强度的大小判断至少一种情感类型的情感强度是否符合第一情感呈现指令，其中情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：round[n/N*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，其中，round(X)表示对X邻近取整，n表示第i种情感类型中的情感词汇的数量，N表示情感呈现文本中的情感词汇的数量，M表示N个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型M的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、N和M为正整数。
在本发明的另一个实施例中，情感极性包括以下一种或多种：褒义、贬义和中性。
在本发明的另一个实施例中，图3的呈现模块320在至少一种第一情感呈现模态符合情感呈现条件时，根据至少一种第一情感呈现模态进行情感呈现。
在本发明的另一个实施例中，图3的呈现模块320在确定至少一种第一情感呈现模态不符合情感呈现条件时，根据第一情感呈现指令生成第二情感呈现指令，该第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的，并基于至少一种第二情感呈现模态进行情感呈现。
在本发明的另一个实施例中，图3的呈现模块320在检测到用户输出设备故障影响第一情感呈现模态的呈现或者用户输出设备不支持第一情感呈现模态的呈现时，确定至少一种第一情感呈现模态不符合情感呈现条件，并对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。
在本发明的另一个实施例中，图3的呈现模块320根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定至少一种第一情感呈现模态不符合情感呈现条件，并对第一情感呈现指令中的至少一种第一情感呈现模态进行调整，得到第二情感呈现指令中的至少一种第二情感呈现模态。
在本发明的另一个实施例中，至少一种第二情感呈现模态包括：文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
在本发明的另一个实施例中，至少一种第一情感呈现模态还包括：声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
在本发明的另一个实施例中，当第一情感呈现指令包括多种情感呈现模态时，优先采用文本情感呈现模态来呈现至少一种情感类型；再采用声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的一种或多种情感呈现模态来补充呈现至少一种情感类型。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图4是根据本发明另一示例性实施例示出的一种情感呈现装置400的框图。如图4所示，该情感呈现装置400包括：
获取模块410，用于获取用户的情感信息。
识别模块420，用于对情感信息进行情感识别，得到情感类型。
解析模块430，用于基于情感类型对情感信息进行意图解析，得到意图。
指令生成模块440，用于基于意图及预设的情感呈现指令决策过程生成第一情感呈现指令，该第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态。
判断模块450，用于判断至少一种第一情感呈现模态是否符合情感呈现条件，如果至少一种第一情感呈现模态符合情感呈现条件，根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现；如果至少一种第一情感呈现模态不符合情感呈现条件，根据第一情感呈现指令生成第二情感呈现指令，该第二情感呈现指令包括至少一种第二情感呈现模态，至少一种第二情感呈现模态是对至少一种第一情感呈现模态进行调整得到的。
呈现模块460，用于基于至少一种第二情感呈现模态进行情感呈现。
根据本发明实施例提供的技术方案，能够对第一情感呈现模态是否符合情感呈现条件进行判断，并基于判断结果调整最终的情感呈现模态，因此，改善了实时性，并进一步提高了用户体验。
图5是根据本发明一示例性实施例示出的用于情感呈现的装置500的框图。
参照图5，装置500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述情感呈现方法。
装置500还可以包括一个电源组件被配置为执行装置500的电源管理，一个有线或无线网络接口被配置为将装置500连接到网络，和一个输入输出(I/O)接口。装置500可以操作基于存储在存储器520的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种计算机可读存储介质，当存储介质中的指令由上述装置500的处理器执行时，使得上述装置500能够执行一种情感呈现方法，包括：获取第一情感呈现指令，其中第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，至少一种第一情感呈现模态包括文本情感呈现模态；以及根据至少一种第一情感呈现模态中的每种情感呈现模态进行至少一种情感类型中的一种或多种情感类型的情感呈现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (34)

1.一种情感呈现方法，其特征在于，包括：
获取第一情感呈现指令，其中所述第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，所述至少一种第一情感呈现模态包括文本情感呈现模态；以及
根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述至少一种情感类型中的一种或多种情感类型的情感呈现。
2.根据权利要求1所述的情感呈现方法，其特征在于，所述根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述至少一种情感类型中的一种或多种情感类型的情感呈现，包括：
根据所述至少一种情感类型查找情感呈现数据库以确定所述至少一种情感类型中的每种情感类型对应的至少一个情感词汇；以及
呈现所述至少一个情感词汇。
3.根据权利要求2所述的情感呈现方法，其特征在于，所述至少一种情感类型中的每种情感类型对应多个情感词汇，所述第一情感呈现指令还包括：所述至少一种情感类型中的每种情感类型对应的情感强度和/或所述至少一种情感类型中的每种情感类型对应的情感极性，
其中，所述根据所述至少一种情感类型查找情感呈现数据库以确定所述至少一种情感类型中的每种情感类型对应的至少一个情感词汇，包括：
根据所述情感强度和/或所述情感极性从所述多个情感词汇中选择所述至少一个情感词汇。
4.根据权利要求2所述的情感呈现方法，其特征在于，所述至少一个情感词汇根据不同的情感强度分为不同的级别。
5.根据权利要求4所述的情感呈现方法，其特征在于，所述至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，所述至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。
6.根据权利要求3所述的情感呈现方法，其特征在于，所述情感词汇为多元情感词汇，所述多元情感词汇包括多个词汇的组合，其中所述多元情感词汇中的每个词汇单独不具有的情感类型属性。
7.根据权利要求3所述的情感呈现方法，其特征在于，还包括：
根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述第一情感呈现指令未指定的情感类型的情感呈现，其中所述未指定的情感类型对应的情感强度低于所述至少一种情感类型对应的情感强度或者所述未指定的情感类型的情感极性与所述至少一种情感类型的情感极性一致。
8.根据权利要求7所述的情感呈现方法，其特征在于，还包括：
确定所述至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小；以及
基于所述情感强度的大小判断所述至少一种情感类型的情感强度是否符合所述第一情感呈现指令，
其中所述情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：
round[n/N*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，
其中，round(X)表示对X邻近取整，n表示所述第i种情感类型中的情感词汇的数量，N表示所述情感呈现文本中的情感词汇的数量，M表示所述N个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型M的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、N和M为正整数。
9.根据权利要求3或7所述的情感呈现方法，其特征在于，所述情感极性包括以下一种或多种：褒义、贬义和中性。
10.根据权利要求1至9中任一项所述的情感呈现方法，其特征在于，所述根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述至少一种情感类型中的一种或多种情感类型的情感呈现，包括：
在所述至少一种第一情感呈现模态符合情感呈现条件时，根据所述至少一种第一情感呈现模态进行情感呈现。
11.根据权利要求10所述的情感呈现方法，其特征在于，还包括：
在确定所述至少一种第一情感呈现模态不符合情感呈现条件时，根据所述第一情感呈现指令生成第二情感呈现指令，所述第二情感呈现指令包括至少一种第二情感呈现模态，所述至少一种第二情感呈现模态是对所述至少一种第一情感呈现模态进行调整得到的；以及
基于所述至少一种第二情感呈现模态进行情感呈现。
12.根据权利要求11所述的情感呈现方法，其特征在于，所述在确定所述至少一种第一情感呈现模态不符合情感呈现条件时，根据所述第一情感呈现指令生成第二情感呈现指令，包括：
在检测到用户输出设备故障影响所述第一情感呈现模态的呈现或者所述用户输出设备不支持所述第一情感呈现模态的呈现时，确定所述至少一种第一情感呈现模态不符合情感呈现条件；以及
对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态。
13.根据权利要求11所述的情感呈现方法，其特征在于，所述在确定所述至少一种第一情感呈现模态不符合情感呈现条件时，根据所述第一情感呈现指令生成第二情感呈现指令，包括：
根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定所述至少一种第一情感呈现模态不符合情感呈现条件；以及
对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态。
14.根据权利要求11或12所述的情感呈现方法，其特征在于，所述至少一种第二情感呈现模态包括：文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
15.根据权利要求1至9中任一项所述的情感呈现方法，其特征在于，所述至少一种第一情感呈现模态还包括：声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
16.根据权利要求1至9中任一项所述的情感呈现方法，其特征在于，当所述第一情感呈现指令包括多种情感呈现模态时，优先采用所述文本情感呈现模态来呈现所述至少一种情感类型；
再采用声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的一种或多种情感呈现模态来补充呈现所述至少一种情感类型。
17.一种情感呈现装置，其特征在于，包括：
获取模块，用于获取第一情感呈现指令，其中所述第一情感呈现指令包括至少一种第一情感呈现模态和至少一种情感类型，所述至少一种第一情感呈现模态包括文本情感呈现模态；以及
呈现模块，用于根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述至少一种情感类型中的一种或多种情感类型的情感呈现。
18.根据权利要求17所述的情感呈现装置，其特征在于，所述呈现模块根据所述至少一种情感类型查找情感呈现数据库以确定所述至少一种情感类型中的每种情感类型对应的至少一个情感词汇，并呈现所述至少一个情感词汇。
19.根据权利要求18所述的情感呈现装置，其特征在于，所述至少一种情感类型中的每种情感类型对应多个情感词汇，所述第一情感呈现指令还包括：所述至少一种情感类型中的每种情感类型对应的情感强度和/或所述至少一种情感类型中的每种情感类型对应的情感极性，
其中，所述呈现模块根据所述情感强度和/或所述情感极性从所述多个情感词汇中选择所述至少一个情感词汇。
20.根据权利要求18所述的情感呈现装置，其特征在于，所述至少一个情感词汇根据不同的情感强度分为不同的级别。
21.根据权利要求20所述的情感呈现装置，其特征在于，所述至少一个情感词汇中的每个情感词汇包含一种或多种情感类型，所述至少一个情感词汇中的同一情感词汇在不同的应用场景下具有不同的情感类型和情感强度。
22.根据权利要求19所述的情感呈现装置，其特征在于，所述情感词汇为多元情感词汇，所述多元情感词汇包括多个词汇的组合，其中所述多元情感词汇中的每个词汇单独不具有的情感类型属性。
23.根据权利要求19所述的情感呈现装置，其特征在于，所述呈现模块根据所述至少一种第一情感呈现模态中的每种情感呈现模态进行所述第一情感呈现指令未指定的情感类型的情感呈现，其中所述未指定的情感类型对应的情感强度低于所述至少一种情感类型对应的情感强度或者所述未指定的情感类型的情感极性与所述至少一种情感类型的情感极性一致。
24.根据权利要求23所述的情感呈现装置，其特征在于，所述呈现模块确定所述至少一个情感词汇组成的情感呈现文本中至少一种情感类型的情感强度的大小，并基于所述情感强度的大小判断所述至少一种情感类型的情感强度是否符合所述第一情感呈现指令，其中所述情感呈现文本中的第i种情感类型的情感强度可以通过下式计算得到：
round[n/N*1/[1+exp(-n+1)]*max{a1,a2,…,an}]，
其中，round(X)表示对X邻近取整，n表示所述第i种情感类型中的情感词汇的数量，N表示所述情感呈现文本中的情感词汇的数量，M表示所述N个情感词汇的情感类型的数量，exp(x)表示以自然常数e为底的指数函数，a1,a2,…,an表示n个情感词汇分别对应情感类型M的情感强度，max{a1,a2,…,an}表示情感强度的最大值，其中n、N和M为正整数。
25.根据权利要求19或23所述的情感呈现装置，其特征在于，所述情感极性包括以下一种或多种：褒义、贬义和中性。
26.根据权利要求17至25中任一项所述的情感呈现装置，其特征在于，所述呈现模块在所述至少一种第一情感呈现模态符合情感呈现条件时，根据所述至少一种第一情感呈现模态进行情感呈现。
27.根据权利要求26所述的情感呈现装置，其特征在于，所述呈现模块在确定所述至少一种第一情感呈现模态不符合情感呈现条件时，根据所述第一情感呈现指令生成第二情感呈现指令，所述第二情感呈现指令包括至少一种第二情感呈现模态，所述至少一种第二情感呈现模态是对所述至少一种第一情感呈现模态进行调整得到的，并基于所述至少一种第二情感呈现模态进行情感呈现。
28.根据权利要求27所述的情感呈现装置，其特征在于，所述呈现模块在检测到用户输出设备故障影响所述第一情感呈现模态的呈现或者所述用户输出设备不支持所述第一情感呈现模态的呈现时，确定所述至少一种第一情感呈现模态不符合情感呈现条件，并对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态。
29.根据权利要求27所述的情感呈现装置，其特征在于，所述呈现模块根据用户需求变化、后台控制动态变化和/或应用场景需求变化确定所述至少一种第一情感呈现模态不符合情感呈现条件，并对所述第一情感呈现指令中的所述至少一种第一情感呈现模态进行调整，得到所述第二情感呈现指令中的所述至少一种第二情感呈现模态。
30.根据权利要求27或28所述的情感呈现装置，其特征在于，所述至少一种第二情感呈现模态包括：文本情感呈现模态、声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
31.根据权利要求17至25中任一项所述的情感呈现装置，其特征在于，所述至少一种第一情感呈现模态还包括：声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的至少一种。
32.根据权利要求17至25中任一项所述的情感呈现装置，其特征在于，当所述第一情感呈现指令包括多种情感呈现模态时，优先采用所述文本情感呈现模态来呈现所述至少一种情感类型；
再采用声音情感呈现模态、图像情感呈现模态、视频情感呈现模态、机械运动情感呈现模态中的一种或多种情感呈现模态来补充呈现所述至少一种情感类型。
33.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1至16中任一项所述的情感呈现方法。
34.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至16中任一项所述的情感呈现方法。
CN201711285485.3A 2017-12-07 2017-12-07 情感呈现方法和装置、计算机设备及计算机可读存储介质 Active CN107943299B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711285485.3A CN107943299B (zh) 2017-12-07 2017-12-07 情感呈现方法和装置、计算机设备及计算机可读存储介质
US16/052,345 US10783329B2 (en) 2017-12-07 2018-08-01 Method, device and computer readable storage medium for presenting emotion
US16/992,284 US11455472B2 (en) 2017-12-07 2020-08-13 Method, device and computer readable storage medium for presenting emotion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711285485.3A CN107943299B (zh) 2017-12-07 2017-12-07 情感呈现方法和装置、计算机设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107943299A true CN107943299A (zh) 2018-04-20
CN107943299B CN107943299B (zh) 2022-05-06

Family

ID=61946082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711285485.3A Active CN107943299B (zh) 2017-12-07 2017-12-07 情感呈现方法和装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107943299B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667196A (zh) * 2021-01-28 2021-04-16 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质
US11556720B2 (en) 2020-05-05 2023-01-17 International Business Machines Corporation Context information reformation and transfer mechanism at inflection point

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127042A (zh) * 2007-09-21 2008-02-20 浙江大学 一种基于语言模型的情感分类方法
CN101604204A (zh) * 2009-07-09 2009-12-16 北京科技大学 智能情感机器人分布式认知技术
CN102033865A (zh) * 2009-09-25 2011-04-27 日电（中国）有限公司 基于子句关联的文本情感分类系统和方法
US20140365208A1 (en) * 2013-06-05 2014-12-11 Microsoft Corporation Classification of affective states in social media
CN105378707A (zh) * 2013-04-11 2016-03-02 朗桑有限公司 情感反馈
US20160180722A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置
US20160328384A1 (en) * 2015-05-04 2016-11-10 Sri International Exploiting multi-modal affect and semantics to assess the persuasiveness of a video
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识系统及方法
CN106776566A (zh) * 2016-12-22 2017-05-31 东软集团股份有限公司 情感词汇的识别方法及装置
CN106874363A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 智能机器人的多模态输出方法及装置
CN107340865A (zh) * 2017-06-29 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人交互方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127042A (zh) * 2007-09-21 2008-02-20 浙江大学 一种基于语言模型的情感分类方法
CN101604204A (zh) * 2009-07-09 2009-12-16 北京科技大学 智能情感机器人分布式认知技术
CN102033865A (zh) * 2009-09-25 2011-04-27 日电（中国）有限公司 基于子句关联的文本情感分类系统和方法
CN105378707A (zh) * 2013-04-11 2016-03-02 朗桑有限公司 情感反馈
US20140365208A1 (en) * 2013-06-05 2014-12-11 Microsoft Corporation Classification of affective states in social media
US20160180722A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
US20160328384A1 (en) * 2015-05-04 2016-11-10 Sri International Exploiting multi-modal affect and semantics to assess the persuasiveness of a video
CN105893344A (zh) * 2016-03-28 2016-08-24 北京京东尚科信息技术有限公司 基于用户语义情感分析的应答方法和装置
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识系统及方法
CN106776566A (zh) * 2016-12-22 2017-05-31 东软集团股份有限公司 情感词汇的识别方法及装置
CN106874363A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 智能机器人的多模态输出方法及装置
CN107340865A (zh) * 2017-06-29 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人交互方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENXING ZHANG; JOON S. LIM: "Emotion Recognition Algorithm Based on Neural Fuzzy Network and the Cloud Technology", 《2015 10TH INTERNATIONAL CONFERENCE ON BROADBAND AND WIRELESS COMPUTING, COMMUNICATION AND APPLICATIONS (BWCCA)》 *
宣守盼: "多模态情感数据库的研究与建立", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556720B2 (en) 2020-05-05 2023-01-17 International Business Machines Corporation Context information reformation and transfer mechanism at inflection point
CN112667196A (zh) * 2021-01-28 2021-04-16 百度在线网络技术（北京）有限公司 信息展示方法及装置、电子设备和介质

Also Published As

Publication number Publication date
CN107943299B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
US11455472B2 (en) Method, device and computer readable storage medium for presenting emotion
Gharavian et al. Speech emotion recognition using FCBF feature selection method and GA-optimized fuzzy ARTMAP neural network
CN108326855A (zh) 一种机器人的交互方法、装置、设备以及存储介质
CN109885713A (zh) 基于语音情绪识别的表情图像推荐方法以及装置
US20210193116A1 (en) Data driven dialog management
CN109410927A (zh) 离线命令词与云端解析结合的语音识别方法、装置和系统
CN112799747A (zh) 智能助理评价、推荐方法、系统、终端及可读存储介质
CN111767385A (zh) 一种智能问答方法及装置
Gharavian et al. Audio-visual emotion recognition using FCBF feature selection method and particle swarm optimization for fuzzy ARTMAP neural networks
CN110059170A (zh) 基于用户交互的多轮对话在线训练方法及系统
CN113609264B (zh) 电力系统节点的数据查询方法、装置
US20200364301A1 (en) Affect-enriched vector representation of words for use in machine-learning models
CN110019777A (zh) 一种信息分类的方法及设备
CN112418302A (zh) 一种任务预测方法及装置
DE102021125855A1 (de) Selbstlernende sprachsteuerung durch künstliche intelligenz auf grundlage eines benutzerverhaltens während einer interaktion
CN110852047A (zh) 一种文本配乐方法、装置、以及计算机存储介质
CN116644168A (zh) 一种交互数据构建方法、装置、设备及存储介质
CN113392640A (zh) 一种标题确定方法、装置、设备及存储介质
CN107943299A (zh) 情感呈现方法和装置、计算机设备及计算机可读存储介质
CN116958342A (zh) 虚拟形象的动作生成方法、动作库的构建方法及装置
CN109918636A (zh) 情感信息处理方法、计算机设备及计算机可读存储介质
CN109919292A (zh) 情感信息处理装置以及电子设备
CN110019998A (zh) 情感信息呈现方法、计算机设备及计算机可读存储介质
CN110413745A (zh) 选择代表文本的方法、确定标准问题的方法及装置
Saund et al. CMCF: An architecture for realtime gesture generation by clustering gestures by motion and communicative function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant