CN106570496B - 情绪识别方法和装置以及智能交互方法和设备 - Google Patents
情绪识别方法和装置以及智能交互方法和设备 Download PDFInfo
- Publication number
- CN106570496B CN106570496B CN201611035249.1A CN201611035249A CN106570496B CN 106570496 B CN106570496 B CN 106570496B CN 201611035249 A CN201611035249 A CN 201611035249A CN 106570496 B CN106570496 B CN 106570496B
- Authority
- CN
- China
- Prior art keywords
- mood
- user
- recognition result
- information
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 230000036651 mood Effects 0.000 claims abstract description 181
- 230000001815 facial effect Effects 0.000 claims abstract description 80
- 230000002996 emotional effect Effects 0.000 claims abstract description 72
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 230000001755 vocal effect Effects 0.000 claims description 46
- 230000007935 neutral effect Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 239000002609 medium Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明一实施例提供了一种情绪识别方法和装置以及智能交互方法和设备，解决了现有技术中的智能交互方式无法根据用户的情绪状态不同提供差别化的应答服务的问题。其中的情绪识别方法包括：根据用户的语音消息获取语音情绪识别结果，所述语音情绪识别结果包括预设的至少两种情绪分类的一种；根据用户的面部图像获取面部情绪识别结果，所述面部情绪识别结果也包括预设的所述至少两种情绪分类的一种；以及当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种情绪识别方法和装置以及智能交互方法和设备。
背景技术
随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已逐渐开始替代一些传统的人机交互方式，并且已成为一个研究热点。然而，现有智能交互方式仅能大概分析出用户消息的语义内容，并无法识别用户当前的情绪状态，因而无法根据用户的情绪状态不同提供差别化的应答服务。
发明内容
有鉴于此，本发明实施例提供了一种情绪识别方法和装置以及智能交互方法和设备，解决了现有技术中的智能交互方式无法根据用户的情绪状态不同提供差别化的应答服务的问题。
本发明一实施例提供的一种情绪识别方法包括：
根据用户的语音消息获取语音情绪识别结果，所述语音情绪识别结果包括预设的至少两种情绪分类的一种；
根据用户的面部图像获取面部情绪识别结果，所述面部情绪识别结果也包括预设的所述至少两种情绪分类的一种；以及
当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类。
本发明一实施例提供的一种智能交互方法包括：
获取用户的语音消息所对应的语义信息；
根据如前所述的情绪识别方法识别用户的情绪状态；以及
根据所述获取的语义信息和所述识别的情绪状态确定对应的应答服务信息，其中所述语义信息和所述情绪状态与所述应答服务信息之间的映射关系为预先建立。
本发明一实施例提供的一种情绪识别装置包括：
语音情绪识别模块，配置为根据用户的语音消息获取语音情绪识别结果，所述语音情绪识别结果包括预设的至少两种情绪分类的一种；
面部情绪识别模块，配置为根据用户的面部图像获取面部情绪识别结果，所述面部情绪识别结果也包括预设的所述至少两种情绪分类的一种；以及
情绪决策模块，配置为当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类。
本发明一实施例提供的一种智能交互设备包括：
语义理解装置，配置为获取用户的语音消息所对应的语义信息；
如前所述的情绪识别装置，配置为识别用户的情绪状态；以及
应答服务装置，配置为根据所述获取的语义信息和所述识别的情绪状态确定对应的应答服务信息，其中所述语义信息和所述情绪状态与所述应答服务信息之间的映射关系为预先建立。
本发明实施例提供的一种情绪识别方法和装置以及智能交互方法和设备，综合语音情绪识别结果和面部情绪识别结果两者来确定用户的情绪状态。当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，才判断用户的情绪状态为所述相同的情绪分类。由此可准确地判断出用户当前的情绪状态，并提供对应的应答服务，提高了用户体验效果，使得智能交互更加智能和准确。
附图说明
图1所示为本发明一实施例提供的一种情绪识别方法的流程示意图。
图2所示为本发明一实施例提供的一种情绪识别方法中获取语音情绪识别结果的流程示意图。
图3所示为本发明一实施例提供的一种情绪识别方法中预先建立声音情感模型的流程示意图。
图4所示为本发明一实施例提供的一种情绪识别方法中获取面部情绪识别结果的流程示意图。
图5所示为本发明一实施例提供的一种智能交互方法的流程示意图。
图6所示为本发明一实施例提供的一种情绪识别装置的结构示意图。
图7所示为本发明另一实施例提供的一种情绪识别装置的结构示意图。
图8所示为本发明一实施例提供的一种智能交互设备的结构示意图。
图9所示为本发明一实施例提供的一种智能交互设备中语义理解装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的一种情绪识别方法的流程示意图。如图1所示，该情绪识别方法包括：
步骤101：根据用户的语音消息获取语音情绪识别结果，该语音情绪识别结果包括预设的至少两种情绪分类的一种。
由于用户在不同情绪状态下的用户语音消息会包含不同的声纹特征，通过预学习这些不同情绪状态下的声纹特征即可识别出用户语音消息所体现出的情绪状态，具体的获取语音情绪识别结果的过程在后续实施例中详细阐述。预设的至少两种情绪分类可具体包括以下多个情绪分类中的至少两组：高兴、惊讶、愤怒、痛苦、疲劳、正常和兴奋等。
步骤102：根据用户的面部图像获取面部情绪识别结果，该面部情绪识别结果也包括该预设的至少两种情绪分类的一种。
用户在不同情绪状态下的面部表情也会有所变化，因此通过预学习这些不同情绪状态下的面部表情特征，获取或采集用户的面部图像，并提取面部图像中的面部特征就可识别出用户面部图像的情绪状态，具体的获取面部情绪识别结果的过程也在后续实施例中详细阐述。
步骤103：当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为该相同的情绪分类。
在获取了语音情绪识别结果和面部情绪识别结果后，综合这两种情绪识别结果来确定用户当前的情绪状态。当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，才判断用户的情绪状态为该相同的情绪分类。例如，若面部情绪识别结果为“高兴”的情绪分类，语音情绪识别结果也为“高兴”的情绪分类，则可判断用户当前的情绪状态为高兴。
在本发明一实施例中，当所获取的语音情绪识别结果和所获取的面部情绪识别结果为不同的情绪分类时，为避免做出错误的情绪状态判断以及根据该错误的情绪状态提供错误的应答服务，则认为用户的情绪状态为默认的正常状态。例如，若面部情绪识别结果为“高兴”的情绪分类，而语音情绪识别结果为“痛苦”的情绪分类，为避免做出错误的情绪状态判断并由此导致错误的应答服务，且由于根据“正常”的情绪状态所提供的应答服务可适应于大多数的用户当前需求，因此则认为用户的情绪状态为“正常”。
在本发明一实施例中，还可利用置信度来衡量语音情绪识别结果和面部情绪识别结果的准确性，并通过衡量置信度的大小来衡量最终的用户情绪状态的准确性。在统计学上，置信度也称为可靠度、置信水平、或置信系数。由于样本具有随机性，当利用抽样对总体参数作出估计时，所得出的结论总是不确定的。因此，可采用数理统计中的区间估计法来估计一个估计值与总体参数之间的误差在一定允许的范围以内的概率有多大，这个相应的概率即称作置信度。例如，假设预设的情绪分类与表征语音情绪识别结果的一个变量有关，即，根据该变量值的大小语音情绪识别结果可对应到不同的情绪分类。当要获取语音情绪识别结果的置信度时，先通过多次的语音情绪识别过程得到该变量的多个测量值，然后将该多个测量值的均值作为一个估计值。再通过区间估计法来估计该估计值与该变量的真值之间的误差范围在一定范围内的概率，这个概率值越大说明这个估计值越准确，即当前的语音情绪识别结果的置信度越高。应当理解，上述表征语音情绪识别结果的变量可根据语音情绪识别的具体算法而确定，本发明对此不做限定。
具体而言，可计算所获取的语音情绪识别结果的置信度，并计算所获取的面部情绪识别结果的置信度。只有当语音情绪识别结果的置信度大于第一置信度阈值，面部情绪识别结果的置信度大于第二置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，才判断用户的情绪状态为该相同的情绪分类。这样即使所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类，也并不一定做出最终的情绪状态判断，因为若语音情绪识别结果或面部情绪识别结果的置信度较低的话，语音情绪识别结果或面部情绪识别结果本身可能并不准确。
在本发明另一实施例中，考虑到在不同的应用场景下用户语音消息以及面部图像对最终的情绪状态判断的影响权重可能不同，例如，当前应用场景下所获取的用户语音消息质量较差，而用户的面部图像较清晰时，则面部情绪识别结果对于最终情绪状态判断的影响权重就应大一些，因此可通过设置语音权重系数和面部权重系数来分配语音情绪识别结果和面部情绪识别结果对最终情绪状态判断的影响权重。例如，若语音情绪识别结果的置信度x1，语音权重系数为a，面部情绪识别结果为x2，面部权重系数为b，则可得到y＝ax1+bx2，其中a和b为范围0至1的数值，此时只要y的值大于第三置信度，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，则判断用户的情绪状态为该相同的情绪分类。由此可见，通过设置语音权重系数和面部权重系数，提供了一种根据不同应用场景可灵活调整的情绪识别机制，进一步提高了情绪识别结果的准确性。
应当理解，上述的第一置信度阈值、第二置信度阈值以及第三置信度阈值均可由开发人员根据实际的场景需求和实验经验而确定，本发明并不做具体限定。
还应当理解，用户语音消息和用户面部图像可以通过本地的声音采集装置和图像采集装置获取，也可以通过第三方实时获取，本发明对用户语音消息和用户面部图像的获取方式不做具体限定。
图2所示为本发明一实施例提供的一种情绪识别方法中获取语音情绪识别结果的流程示意图。如图2所示，该获取语音情绪识别结果的流程可包括：
步骤201：提取用户的语音消息中的声纹特征信息。
步骤202：将提取的声纹特征信息与多个预设的声音情感模型中的声纹特征信息相匹配，其中多个预设的声音情感模型分别对应不同的情绪分类。
步骤203：根据匹配的声音情感模型获取对应的情绪分类。
用户在不同情绪状态下所发出的用户语音消息是具备不同的声纹特征信息的，通过提取这些声纹特征信息与预设的声音情感模型中的声纹特征信息相匹配，便可找到相对应的声音情感模型，并由此确定声音情感模型所对应的情绪分类。
在本发明一实施例中，还可基于用户的语音消息中的声纹特征信息与匹配的声音情感模型中的声纹特征信息之间的区别，自适应调整匹配的声音情感模型。这样随着交互层级的不断加深，声音情感模型的匹配度也会越来越高，语音情绪识别结果的准确度也会越来越高。
在本发明一实施例中，声音情感模型可为预先建立。在一进一步实施例中，如图3所示，声音情感模型可通过如下步骤预先建立：
步骤301：采集中性情感语料，基于所采集的中性情感语料中的声纹特征获得中性情感模型，中性情感模型包括与声纹特征对应的多个特征分量。
具体而言，用户被要求以各种不同的情感状态读出语料，其中中性情感语料对应的是用户并不存在情感倾向时的正常情感状态。通过提取该中性情感语料中与声纹特征对应的多个特征分量便可得到中性情感模型，具体的训练过程可通过高斯混合模型训练完成。
步骤302：采集不同情感状态下的语料，将不同情感状态下的语料中的声纹特征与中性情感模型中的各特征分量进行对比。
对于用户所阅读的其他带有情感倾向的语料内容，需要提取这些不同情感状态下的语料中的声纹特征，并将这些声纹特征与中性情感模型中的各特征分量进行对比，确定在各特征分量上与中性情感模型的区别。
步骤303：基于不同情感状态下的语料中的声纹特征与中性情感模型中的各特征分量之间的区别，通过计算获得不同情感状态下的声音情感模型。
具体而言，根据不同情感状态下的语料的声纹特征与中性情感模型中的各特征分量之间的区别来调整中性情感模型的各特征分量，通过该调整过程便可得到不同情感状态下的声音情感模型。其中的每种声音情感模型对应一种情感状态，且包含一种各特征分量的组合。
图4所示为本发明一实施例提供的一种情绪识别方法中获取面部情绪识别结果的流程示意图。如图4所示，该面部情绪识别结果的获取过程包括：
步骤401：提取用户的面部图像中的面部特征信息。
具体而言，面部特征信息可为体现用户面部特征的局部特征的集合，或为用户面部的整体特征。局部特征的集合例如用户的面部图像所包括的多个特征区域和/或特征点相对于无情绪状态面部图像所包括的多个特征区域和/或特征点之间的位置差别信息，用户面部的整体特征例如用户的面部图像相对于无情绪状态面部图像之间的整体灰度差别信息。
步骤402：根据所提取的面部特征信息判别所对应的情绪分类。
面部特征信息与情绪分类之间的映射关系为预先建立，根据所提取到的面部特征信息便可确定对应的情绪分类。该根据预先建立的映射关系判别情绪分类的方法可通过隐马尔可夫模型方法、人工神经网络、支持向量机、AdaBoost算法、贝叶斯决策、线性判别分析法、最近邻法以及核判别分析法等实现。
图5所示为本发明一实施例提供的一种智能交互方法的流程示意图。如图5所示，该智能交互方法包括：
步骤501：获取用户的语音消息所对应的语义信息。
语义消息仅能代表用户的语音消息的语义内容，但并不能反映用户当前的情绪状态，因此需要后续的情绪识别过程识别用户的情绪状态。该语义信息的获取过程可具体包括：对获取的用户的语音信息进行语音识别，得到文字信息；根据所述文字信息与预存的语义模板匹配，以确定匹配的语义模板；以及获取与该匹配的语义模板对应的语义信息，其中语义模板与语义信息之间的映射关系为预先建立，同一语义信息可对应一个或多个语义模板。
在本发明一实施例中，用户语音消息的文本内容可与知识库中的“标准问”对应，“标准问”是用来表示某个知识点的文字，主要目标是表达清晰，便于维护。这里的“问”不应被狭义地理解为“询问”，而应广义地来理解一“输入”，该“输入”具有对应的“输出”。用户在向智能交互机器输入时，最理想的情况是使用标准问，则机器的智能语义识别系统马上能够理解用户的意思。
然而，用户往往并非使用的是标准问，而是标准问的一些变形的形式，即为扩展问。因此，对于智能语义识别而言，知识库里需要有标准问的扩展问，该扩展问与标准问表达形式有略微差异，但是表达相同的含义。因此，在本发明一进一步实施例中，语义模板为表示某一种语义内容的一个或多个抽象语义表达式的集合，由开发人员根据预定的规则结合语义内容生成，即通过一个语义模板就可描述所对应语义内容的多种不同表达方式的语句，以应对用户语音消息的文本内容可能的多种变形。这样将用户消息的文本内容与预设的语义模板进行匹配，避免了利用仅能描述一种表达方式的“标准问”来识别用户消息时的局限性。
抽象语义是对本体类属性的进一步抽象。一个类别的抽象语义通过一组抽象语义表达式的集合来描述一类抽象语义的不同表达，为表达更为抽象的语义，这些抽象语义表达式在组成元素上进行了扩充。当这些扩充的元素一旦被赋予了相应的值就可以表达各种各样的具体语义。
每一个抽象语义表达式主要可包括缺失语义成分和语义规则词。缺失语义成分由语义成分符表示，当这些缺失的语义成分被填充了相应的值(即内容)后可以表达各式各样的具体语义。
抽象语义的语义成分符可包括：
[concept]：表示主体或客体成份的词或短语。
比如：“彩铃如何开通”中的“彩铃”。
[action]：表示动作成分的词或短语。
比如：“信用卡如何办理”中的“办理”。
[attribute]：表示属性成份的词或短语。
比如：“iphone有哪些颜色”中的“颜色”。
[adjective]：表示修饰成分的词或短语。
比如：“冰箱哪个品牌便宜”中的“便宜”。
一些主要的抽象语义类别示例有：
概念说明[concept]是什么
属性构成[concept]有哪些[attribute]
行为方式[concept]如何[action]
行为地点[concept]在什么地方[action]
行为原因[concept]为什么会[action]
行为预测[concept]会不会[action]
行为判断[concept]有没有[attribute]
属性状况[concept]的[attribute]是不是[adjective]
属性判断[concept]是不是有[attribute]
属性原因[concept]的[attribute]为什么这么[adjective]
概念比较[concept1]和[concept2]的区别在哪里
属性比较[concept1]和[concept2]的[attribute]有什么不同之处
问句在抽象语义层面的成份判断可以通过词性标注来做一般的评判，concept对应的词性为名词，action对应的词性为动词、attribute对应的词性为名词、adjective对应的是形容词。
以类别为“行为方式”的抽象语义[concept]如何[action]为例，该类别的抽象语义集合下可包括多条抽象语义表达式：
抽象语义类别：行为方式
抽象语义表达式：
a.[concept][需要|应该？][如何]<才[可以]？><进行？>[action]
b.{[concept]～[action]}
c.[concept]<的？>[action]<方法|方式|步骤？>
d.<有哪些|有什么|有没有><通过|用|在>[concept][action]<的？>[方法]
e.[如何][action]～[concept]
上述a、b、c、d四个抽象语义表达式都是用来描述“行为方式”这一抽象语义类别的。语义符号“|”表示“或”关系，语义符号“？”表示该成分可有可无。
应当理解，虽然上面给出了一些语义成分词、语义规则词和语义符号的示例，但语义成分词的具体内容和词类，语义规则词的具体内容和词类以及语义符号的定义和搭配都可由开发人员根据该智能交互方法所应用的具体交互业务场景而预设，本发明对此并不做限定。
在本发明一实施例中，根据用户语音消息的文本内容确定匹配的语义模板的过程可通过相似度计算过程实现。具体而言，计算用户语音消息的文本内容与多个预设的语义模板之间的多个文本相似度，然后将文本相似度最高的语义模板作为匹配的语义模板。相似度可采用如下计算方法中的一种或多种：编辑距离计算方法，n-gram计算方法，JaroWinkler计算方法以及Soundex计算方法。在一进一步实施例中，当识别出用户语音消息的文本内容中的语义成分词和语义规则词时，用户语音消息和语义模板中所包括语义成分词和语义规则词还可被转化成简化的文本字符串，以提高语义相似度计算的效率。
在本发明一实施例中，如前所述，语义模板可由语义成分词和语义规则词构成，而这些语义成分词和语义规则词又与这些词语在语义模板中的词性以及词语之间的语法关系有关，因此该相似度计算过程可具体为：先识别出用户语音消息文本中的词语、词语的词性以及语法关系，然后根据词语的词性以及语法关系识别出其中的语义成分词和语义规则词，再将所识别出的语义成分词和语义规则词引入向量空间模型以计算用户语音消息的文本内容与多个预设的语义模板之间的多个相似度。在本发明一实施例中，可以如下分词方法中的一种或多种识别用户语音消息的文本内容中的词语、词语的词性以及词语之间的语法关系：隐马尔可夫模型方法、正向最大匹配方法、逆向最大匹配方法以及命名实体识别方法。
在本发明一实施例中，如前所述，语义模板可为表示某一种语义内容的多个抽象语义表达式的集合，此时通过一个语义模板就可描述所对应语义内容的多种不同表达方式的语句，以对应同一标准问的多个扩展问。因此在计算用户语音消息的文本内容与预设的语义模板之间的语义相似度时，需要计算用户语音消息的文本内容与多个预设的语义模板各自展开的至少一个扩展问之间的相似度，然后将相似度最高的扩展问所对应的语义模板作为匹配的语义模板。这些展开的扩展问可根据语义模板所包括的语义成分词和/或语义规则词和/或语义符号而获得。
步骤502：根据如前任一所述的情绪识别方法识别用户的情绪状态。
具体的情绪识别方法如前面的实施例所述，在此不再赘述。
步骤503：根据获取的语义信息和识别的情绪状态确定对应的应答服务信息，其中语义信息和情绪状态与应答服务信息之间的映射关系为预先建立。
这样便可实现根据用户情绪状态不同而提供不同应答服务的智能交互方式。例如，当该智能交互方法应用在一种智能机顶盒上时，若用户A发出的用户语音消息为“推荐一部电影给我吧”，机顶盒根据声纹以及图像综合识别出此时用户A的情绪为不高兴的状态，因此会根据用户的情绪状态推荐节目内容，机顶盒所提供的应答服务便可为：“推荐您一部喜剧片吧：《疯狂的石头》”。再例如，若用户A发出的用户语音消息为“今天8点有什么节目”，机顶盒根据声纹以及图像综合识别出此时用户A的情绪为开心高兴的状态，因此根据用户的情绪状态触发个性化的语音交互，机顶盒所提供的应答服务便可为：“今天8点有您喜欢看的探索频道的荒野求生节目，看您今天这么高兴，要不要陪您聊会天啊。”
图6所示为本发明一实施例提供的一种情绪识别装置的结构示意图。如图6所示，该情绪识别装置60包括语音情绪识别模块61，面部情绪识别模块62以及情绪决策模块63。
语音情绪识别模块61根据用户的语音消息获取语音情绪识别结果，语音情绪识别结果包括预设的至少两种情绪分类的一种。面部情绪识别模块62根据用户的面部图像获取面部情绪识别结果，面部情绪识别结果也包括该预设的至少两种情绪分类的一种。情绪决策模块63从语音情绪识别模块61和面部情绪识别模块62分别获取语音情绪识别结果以及面部情绪识别结果，当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为相同的情绪分类。
由此可见，本发明实施例所提供的情绪识别装置综合了语音情绪识别结果和面部情绪识别结果两者来确定用户的情绪状态，可准确地判断出用户当前的情绪状态，并提供对应的应答服务，提高了用户体验效果，使得智能交互更加智能和准确。
在本发明一实施例中，当情绪决策模块63所获取的语音情绪识别结果和所获取的面部情绪识别结果为不同的情绪分类时，为避免做出错误的情绪状态判断以及根据该错误的情绪状态提供错误的应答服务，且由于根据“正常”的情绪状态所提供的应答服务可适应于大多数的用户当前需求，情绪决策模块63直接判断用户的情绪状态为默认的正常状态。
在本发明一实施例中，如图7所示，情绪决策模块63包括：第一置信度计算单元631、第二置信度计算单元632以及决策单元633。第一置信度计算单元631和第二置信度计算单元632分别计算所获取的语音情绪识别结果和面部情绪识别结果的置信度。决策单元633分别从第一置信度计算单元631和第二置信度计算单元632获取置信度计算结果。当语音情绪识别结果的置信度大于第一置信度阈值，面部情绪识别结果的置信度大于第二置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，决策单元633判断用户的情绪状态为相同的情绪分类；或，当语音情绪识别结果的置信度与语音权重系数的乘积与面部情绪识别结果的置信度与面部权重系数的乘积之和大于第三置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，决策单元633判断用户的情绪状态为相同的情绪分类。通过利用置信度来衡量语音情绪识别结果和面部情绪识别结果的准确性，并通过衡量置信度的大小来衡量最终的用户情绪状态的准确性，可进一步提高情绪识别结果的准确性。
在本发明一实施例中，如图7所示，语音情绪识别模块61包括：声纹提取单元611和声音情绪分类单元612。声纹提取单元611提取用户的语音消息中的声纹特征信息，声音情绪分类单元612将声纹提取单元611所提取的声纹特征信息与多个预设的声音情感模型中的声纹特征信息相匹配，并根据该匹配的声音情感模型获取对应的情绪分类，其中多个预设的声音情感模型分别对应不同的情绪分类。
在本发明一实施例中，如图7所示，该情绪识别装置60进一步包括：用于预先建立声音情感模型的声音情感模型建立模块64。具体而言，声音情感模型建立模块64可包括：中性情感模型建立单元641、对比单元642和模型计算单元643。中性情感模型建立单元641用于采集中性情感语料，基于所采集的中性情感语料中的声纹特征获得中性情感模型，该中性情感模型包括与声纹特征对应的多个特征分量。对比单元642用于采集不同情感状态下的语料，将不同情感状态下的语料中的声纹特征与中性情感模型建立单元641所建立的中性情感模型中的各特征分量进行对比。模型计算单元643用于基于不同情感状态下的语料中的声纹特征与中性情感模型中的各特征分量之间的区别，通过计算获得不同情感状态下的声音情感模型。
在本发明一实施例中，如图7所示，该情绪识别装置60进一步包括：自适应调整模块65，用于基于用户的语音消息中的声纹特征信息与匹配的声音情感模型中的声纹特征信息之间的区别，自适应调整匹配的声音情感模型。这样随着交互层级的不断加深，声音情感模型的匹配度也会越来越高，语音情绪识别结果的准确度也会越来越高。
在本发明一实施例中，如图7所示，面部情绪识别模块62包括：特征提取单元621和面部情绪分类单元622。特征提取单元621提取用户的面部图像中的面部特征信息。面部情绪分类单元622根据特征提取单元621所提取的面部特征信息判别所对应的情绪分类。
在本发明一实施例中，特征提取单元621获取用户的面部图像所包括的多个特征区域和/或特征点相对于无情绪状态面部图像所包括的多个特征区域和/或特征点之间的位置差别信息；多个特征区域和/或特征点为预先设定的。然后，面部情绪分类单元622根据特征提取单元621所获取的位置差别信息获取对应的情绪分类，其中位置差别信息与情绪分类之间的映射关系为预先建立。
在本发明另一实施例中，特征提取单元621获取用户的面部图像相对于无情绪状态面部图像之间的整体灰度差别信息。然后面部情绪分类单元622根据该整体灰度差别信息获取对应的情绪分类，其中整体灰度差别信息与情绪分类之间的映射关系为预先建立。
图8所示为本发明一实施例提供的一种智能交互设备的结构示意图。如图8所示，该智能交互设备80包括：语义理解装置81、如前任一所述的情绪识别装置60和应答服务装置82。语义理解装置81用于获取用户的语音消息所对应的语义信息。情绪识别装置60用于识别用户的情绪状态。应答服务装置82根据语义理解装置81获取的语义信息和情绪识别装置60识别的情绪状态确定对应的应答服务信息，其中语义信息和情绪状态与应答服务信息之间的映射关系为预先建立。由此便可实现根据用户情绪状态不同而提供不同应答服务的智能交互方式。
如附图9所示，在本发明一实施例中，语义理解装置81可包括：语音识别模块811、模板匹配模块812以及语义匹配模块813。语音识别模块811用于对获取的用户的语音信息进行语音识别，得到文字信息。模板匹配模块812用于根据所述文字信息与预存的语义模板匹配，以确定匹配的语义模板。语义匹配模块813用于获取与该匹配的语义模板对应的语义信息，该语义模板与该语义信息之间的映射关系为预先建立的，同一语义信息对应一个或多个语义模板。语义信息可以为标准问，语义模板可以为对应某标准问的抽象语义表达式或对应某标准问的扩展问。
该语义理解装置81通过采用抽象的语义模板，同一个语义模板可对应多个表达方式的语句。当用户输入用户语音消息时，将用户语音消息的文本内容与多个预设的语义模板进行匹配即可，避免了单纯采用的标准问来识别和解析用户语音消息的文本内容，能够实时准确解析多样化的用户语音消息，降低了交互层级，提供了更加自由顺畅的智能交互体验。
在本发明一实施例中，该智能交互设备80可为机顶盒，可根据用户的语音以及用户当前情绪状态为用户推送不同的节目内容。
应当理解，上述实施例所提供的情绪识别装置60中记载的每个模块或单元都与前述情绪识别方法的一个方法步骤相对应，智能交互设备80中记载的每个模块也与前述的智能交互方法的一个方法步骤相对应。由此，前述的方法步骤描述的操作和特征同样适用于情绪识别装置60和智能交互设备80中所包含的对应的模块和单元，重复的内容在此不再赘述。
本发明的教导还可以实现为一种计算机可读存储介质的计算机程序产品，包括计算机程序代码，当计算机程序代码由处理器执行时，其使得处理器能够按照本发明实施方式的方法来实现如本文实施方式所述的情绪识别方法和智能交互方法。计算机存储介质可以为任何有形媒介，例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。
应当理解，虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品，但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
应当理解，尽管在上文的详细描述中提及了装置的若干模块或单元，但是这种划分仅仅是示例性而非强制性的。实际上，根据本发明的示例性实施方式，上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现，反之，上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外，上文描述的某些模块/单元在某些应用场景下可被省略。
应当理解，为了不模糊本发明的实施方式，说明书仅对一些关键、未必必要的技术和特征进行了描述，而可能未对一些本领域技术人员能够实现的特征做出说明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种情绪识别方法，其特征在于，包括：
根据用户的语音消息获取语音情绪识别结果，所述语音情绪识别结果包括预设的至少两种情绪分类的一种；
根据用户的面部图像获取面部情绪识别结果，所述面部情绪识别结果也包括预设的所述至少两种情绪分类的一种；以及
当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；
其中，判断用户的情绪状态为所述相同的情绪分类包括：
计算所获取的语音情绪识别结果的置信度，并计算所获取的面部情绪识别结果的置信度；以及
当所述语音情绪识别结果的置信度大于第一置信度阈值，所述面部情绪识别结果的置信度大于第二置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；或，当所述语音情绪识别结果的置信度与语音权重系数的乘积与所述面部情绪识别结果的置信度与面部权重系数的乘积之和大于第三置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；
根据用户的语音消息获取语音情绪识别结果包括：
提取所述用户的语音消息中的声纹特征信息；
将所述提取的声纹特征信息与多个预设的声音情感模型中的声纹特征信息相匹配，其中所述多个预设的声音情感模型分别对应不同的情绪分类；以及
根据匹配的声音情感模型获取对应的情绪分类；
其中，所述声音情感模型为预先建立，所述声音情感模型通过如下步骤预先建立：
采集中性情感语料，基于所采集的中性情感语料中的声纹特征获得中性情感模型，所述中性情感模型包括与声纹特征对应的多个特征分量；
采集不同情感状态下的语料，将所述不同情感状态下的语料中的声纹特征与所述中性情感模型中的各特征分量进行对比；以及
基于所述不同情感状态下的语料中的声纹特征与所述中性情感模型中的各特征分量之间的区别，通过计算获得不同情感状态下的声音情感模型。
2.根据权利要求1所述的方法，其特征在于，进一步包括，当所获取的语音情绪识别结果和所获取的面部情绪识别结果为不同的情绪分类时，判断用户的情绪状态为默认的正常状态。
3.根据权利要求1所述的方法，其特征在于，所述预设的至少两种情绪分类包括以下几种情绪分类中的至少两种：高兴、惊讶、愤怒、痛苦、疲劳、正常和兴奋。
4.根据权利要求1所述的方法，其特征在于，进一步包括：
基于所述用户的语音消息中的声纹特征信息与所述匹配的声音情感模型中的声纹特征信息之间的区别，自适应调整所述匹配的声音情感模型。
5.根据权利要求1至4中任一所述的方法，其特征在于，根据用户的面部图像获取面部情绪识别结果包括：
提取用户的面部图像中的面部特征信息；以及，
根据所提取的面部特征信息判别所对应的情绪分类。
6.根据权利要求5所述的方法，其特征在于，提取用户的面部图像中的面部特征信息包括：获取用户的面部图像所包括的多个特征区域和/或特征点相对于无情绪状态面部图像所包括的所述多个特征区域和/或所述特征点之间的位置差别信息；所述多个特征区域和/或特征点为预先设定的；
其中根据所提取的面部特征信息判别所对应的情绪分类包括：根据所述位置差别信息获取对应的情绪分类，其中所述位置差别信息与所述情绪分类之间的映射关系为预先建立；
或，提取用户的面部图像中的面部特征信息包括：获取用户的面部图像相对于无情绪状态面部图像之间的整体灰度差别信息；
其中根据所提取的面部特征信息判别所对应的情绪分类包括：根据所述整体灰度差别信息获取对应的情绪分类，其中所述整体灰度差别信息与所述情绪分类之间的映射关系为预先建立。
7.一种智能交互方法，其特征在于，包括：
获取用户的语音消息所对应的语义信息；
根据如权利要求1至4中任一所述的方法识别用户的情绪状态；以及
根据所述获取的语义信息和所述识别的情绪状态确定对应的应答服务信息，其中所述语义信息和所述情绪状态与所述应答服务信息之间的映射关系为预先建立。
8.根据权利要求7所述的方法，其特征在于，
获取用户的语音消息所对应的语义信息包括：
对获取的用户的语音信息进行语音识别，得到文字信息；
根据所述文字信息与预存的语义模板匹配，以确定匹配的语义模板；以及
获取与所述匹配的语义模板对应的语义信息，其中所述语义模板与所述语义信息之间的映射关系为预先建立的，同一语义信息对应一个或多个语义模板。
9.一种情绪识别装置，其特征在于，包括：
语音情绪识别模块，配置为根据用户的语音消息获取语音情绪识别结果，所述语音情绪识别结果包括预设的至少两种情绪分类的一种；
面部情绪识别模块，配置为根据用户的面部图像获取面部情绪识别结果，所述面部情绪识别结果也包括预设的所述至少两种情绪分类的一种；以及
情绪决策模块，配置为当所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；
其中，所述情绪决策模块包括：
第一置信度计算单元，配置为计算所获取的语音情绪识别结果的置信度；
第二置信度计算单元，配置为计算所获取的面部情绪识别结果的置信度；以及
决策单元，配置为当所述语音情绪识别结果的置信度大于第一置信度阈值，所述面部情绪识别结果的置信度大于第二置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；或，当所述语音情绪识别结果的置信度与语音权重系数的乘积与所述面部情绪识别结果的置信度与面部权重系数的乘积之和大于第三置信度阈值，且所获取的语音情绪识别结果和所获取的面部情绪识别结果为相同的情绪分类时，判断用户的情绪状态为所述相同的情绪分类；
所述语音情绪识别模块包括：
声纹提取单元，配置为提取所述用户的语音消息中的声纹特征信息；以及
声音情绪分类单元，配置为将所述提取的声纹特征信息与多个预设的声音情感模型中的声纹特征信息相匹配，其中所述多个预设的声音情感模型分别对应不同的情绪分类；以及根据匹配的声音情感模型获取对应的情绪分类；
所述情绪识别装置进一步包括：声音情感模型建立模块，配置为预先建立所述声音情感模型；
其中，所述声音情感模型建立模块包括：
中性情感模型建立单元，配置为采集中性情感语料，基于所采集的中性情感语料中的声纹特征获得中性情感模型，所述中性情感模型包括与声纹特征对应的多个特征分量；
对比单元，配置为采集不同情感状态下的语料，将所述不同情感状态下的语料中的声纹特征与所述中性情感模型中的各特征分量进行对比；以及模型计算单元，配置为基于所述不同情感状态下的语料中的声纹特征与所述中性情感模型中的各特征分量之间的区别，通过计算获得不同情感状态下的声音情感模型。
10.根据权利要求9所述的装置，其特征在于，其中所述情绪决策模块进一步配置为：
当所获取的语音情绪识别结果和所获取的面部情绪识别结果为不同的情绪分类时，判断用户的情绪状态为默认的正常状态。
11.根据权利要求10所述的装置，其特征在于，进一步包括：
自适应调整模块，配置为基于所述用户的语音消息中的声纹特征信息与所述匹配的声音情感模型中的声纹特征信息之间的区别，自适应调整所述匹配的声音情感模型。
12.根据权利要求9至11中任一所述的装置，其特征在于，所述面部情绪识别模块包括：
特征提取单元，配置为提取用户的面部图像中的面部特征信息；以及，
面部情绪分类单元，配置为根据所提取的面部特征信息判别所对应的情绪分类。
13.根据权利要求12所述的装置，其特征在于，所述特征提取单元进一步配置为：获取用户的面部图像所包括的多个特征区域和/或特征点相对于无情绪状态面部图像所包括的所述多个特征区域和/或所述特征点之间的位置差别信息；所述多个特征区域和/或特征点为预先设定的；
其中所述面部情绪分类单元进一步配置为，根据所述位置差别信息获取对应的情绪分类，其中所述位置差别信息与所述情绪分类之间的映射关系为预先建立；
或，所述特征提取单元进一步配置为：获取用户的面部图像相对于无情绪状态面部图像之间的整体灰度差别信息；
其中所述面部情绪分类单元进一步配置为，根据所述整体灰度差别信息获取对应的情绪分类，其中所述整体灰度差别信息与所述情绪分类之间的映射关系为预先建立。
14.一种智能交互设备，其特征在于，包括：
语义理解装置，配置为获取用户的语音消息所对应的语义信息；
如权利要求9至11中任一所述的情绪识别装置，配置为识别用户的情绪状态；以及
应答服务装置，配置为根据所述获取的语义信息和所述识别的情绪状态确定对应的应答服务信息，其中所述语义信息和所述情绪状态与所述应答服务信息之间的映射关系为预先建立。
15.根据权利要求14所述的智能交互设备，其特征在于，
所述语义理解装置包括：
语音识别模块，配置为对获取的用户的语音信息进行语音识别，得到文字信息；
模板匹配模块，配置为根据所述文字信息与预存的语义模板匹配，以确定匹配的语义模板；以及
语义匹配模块，配置为获取与所述匹配的语义模板对应的语义信息，其中所述语义模板与所述语义信息之间的映射关系为预先建立的，同一语义信息对应一个或多个语义模板。
16.根据权利要求14所述的设备，其特征在于，所述智能交互设备为机顶盒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611035249.1A CN106570496B (zh) | 2016-11-22 | 2016-11-22 | 情绪识别方法和装置以及智能交互方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611035249.1A CN106570496B (zh) | 2016-11-22 | 2016-11-22 | 情绪识别方法和装置以及智能交互方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106570496A CN106570496A (zh) | 2017-04-19 |
| CN106570496B true CN106570496B (zh) | 2019-10-01 |
Family
ID=58542977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611035249.1A Active CN106570496B (zh) | 2016-11-22 | 2016-11-22 | 情绪识别方法和装置以及智能交互方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570496B (zh) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108614987A (zh) * | 2016-12-13 | 2018-10-02 | 深圳光启合众科技有限公司 | 数据处理的方法、装置和机器人 |
| CN108735233A (zh) * | 2017-04-24 | 2018-11-02 | 北京理工大学 | 一种性格识别方法和装置 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN107657964B (zh) * | 2017-08-15 | 2021-01-05 | 西北大学 | 基于声学特征和稀疏数学的抑郁症辅助检测方法及分类器 |
| CN107564541B (zh) * | 2017-09-04 | 2018-11-02 | 南方医科大学南方医院 | 一种便携式婴儿啼哭声识别器及其识别方法 |
| CN107832286B (zh) * | 2017-09-11 | 2021-09-14 | 远光软件股份有限公司 | 智能交互方法、设备及存储介质 |
| CN109935240A (zh) * | 2017-12-18 | 2019-06-25 | 上海智臻智能网络科技股份有限公司 | 通过语音识别情绪的方法 |
| CN109961776A (zh) * | 2017-12-18 | 2019-07-02 | 上海智臻智能网络科技股份有限公司 | 语音信息处理装置 |
| CN109961803A (zh) * | 2017-12-18 | 2019-07-02 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别系统 |
| CN109935241A (zh) * | 2017-12-18 | 2019-06-25 | 上海智臻智能网络科技股份有限公司 | 语音信息处理方法 |
| CN107992199A (zh) * | 2017-12-19 | 2018-05-04 | 广东小天才科技有限公司 | 一种用于电子设备的情绪识别方法、系统及电子设备 |
| CN108197115B (zh) | 2018-01-26 | 2022-04-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN110085262A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音情绪交互方法、计算机设备和计算机可读存储介质 |
| CN110085221A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音情感交互方法、计算机设备和计算机可读存储介质 |
| CN110085220A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 智能交互装置 |
| CN110085211B (zh) * | 2018-01-26 | 2021-06-29 | 上海智臻智能网络科技股份有限公司 | 语音识别交互方法、装置、计算机设备和存储介质 |
| CN108664890A (zh) * | 2018-03-28 | 2018-10-16 | 上海乐愚智能科技有限公司 | 一种矛盾协调方法、装置、机器人及存储介质 |
| CN108664288A (zh) * | 2018-05-14 | 2018-10-16 | 维沃移动通信有限公司 | 一种图像截取方法及移动终端 |
| CN108877357A (zh) * | 2018-06-21 | 2018-11-23 | 广东小天才科技有限公司 | 一种基于家教机的交互方法及家教机 |
| CN109036433A (zh) * | 2018-07-27 | 2018-12-18 | 重庆柚瓣家科技有限公司 | 基于ai的社交辅助系统及方法 |
| CN109036405A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备及存储介质 |
| CN109215679A (zh) | 2018-08-06 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 基于用户情绪的对话方法和装置 |
| CN111048075A (zh) * | 2018-10-11 | 2020-04-21 | 上海智臻智能网络科技股份有限公司 | 智能客服系统及智能客服机器人 |
| CN109360130A (zh) * | 2018-10-29 | 2019-02-19 | 四川文轩教育科技有限公司 | 一种基于人工智能的学生情绪监测方法 |
| CN109191791B (zh) * | 2018-10-30 | 2021-02-09 | 罗普特科技集团股份有限公司 | 一种融合多特征的疲劳检测方法以及装置 |
| CN111145785A (zh) * | 2018-11-02 | 2020-05-12 | 广州灵派科技有限公司 | 一种基于语音的情绪识别方法及装置 |
| CN111192568B (zh) * | 2018-11-15 | 2022-12-13 | 华为技术有限公司 | 一种语音合成方法及语音合成装置 |
| CN111368609B (zh) * | 2018-12-26 | 2023-10-17 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| JP7100575B2 (ja) * | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
| CN109935242A (zh) * | 2019-01-10 | 2019-06-25 | 上海言通网络科技有限公司 | 可打断式语音处理系统和方法 |
| CN109816045A (zh) * | 2019-02-11 | 2019-05-28 | 青岛海信智能商用系统股份有限公司 | 一种商品识别方法及装置 |
| TWI764827B (zh) * | 2019-02-13 | 2022-05-11 | 華南商業銀行股份有限公司 | 輔助情緒判別的客服裝置與方法 |
| TWI740103B (zh) * | 2019-02-13 | 2021-09-21 | 華南商業銀行股份有限公司 | 基於人工智慧的客服輔助裝置與方法 |
| TWI764826B (zh) * | 2019-02-13 | 2022-05-11 | 華南商業銀行股份有限公司 | 提供行銷建議的客服裝置與方法 |
| CN110049155A (zh) * | 2019-03-29 | 2019-07-23 | 中至数据集团股份有限公司 | 图像显示方法、系统、可读存储介质及手机壳 |
| TWI716845B (zh) * | 2019-03-29 | 2021-01-21 | 竹謙設計開發股份有限公司 | 匿名音頻系統及其方法 |
| CN110085229A (zh) * | 2019-04-29 | 2019-08-02 | 珠海景秀光电科技有限公司 | 智能虚拟外教信息交互方法及装置 |
| CN110110653A (zh) * | 2019-04-30 | 2019-08-09 | 上海迥灵信息技术有限公司 | 多特征融合的情绪识别方法、装置和存储介质 |
| CN110163171B (zh) * | 2019-05-27 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 用于识别人脸属性的方法和装置 |
| CN110265062A (zh) * | 2019-06-13 | 2019-09-20 | 上海指旺信息科技有限公司 | 基于情绪检测的智能贷后催收方法及装置 |
| CN110473546B (zh) * | 2019-07-08 | 2022-05-31 | 华为技术有限公司 | 一种媒体文件推荐方法及装置 |
| CN110460903A (zh) * | 2019-07-18 | 2019-11-15 | 平安科技（深圳）有限公司 | 基于语音分析对节目评论的方法、装置和计算机设备 |
| CN110399836A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110399837B (zh) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN112329431B (zh) * | 2019-08-01 | 2023-07-04 | 中国移动通信集团上海有限公司 | 音视频数据处理方法、设备及存储介质 |
| CN110688499A (zh) * | 2019-08-13 | 2020-01-14 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110720934A (zh) * | 2019-10-23 | 2020-01-24 | 合肥盛东信息科技有限公司 | 一种狂躁症监测预警系统 |
| CN110634491B (zh) * | 2019-10-23 | 2022-02-01 | 大连东软信息学院 | 语音信号中针对通用语音任务的串联特征提取系统及方法 |
| CN112809694B (zh) * | 2020-03-02 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 机器人控制方法、装置、存储介质和计算机设备 |
| CN111447124B (zh) * | 2020-04-02 | 2021-03-23 | 深圳华筑人居科技有限公司 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
| CN112006700B (zh) * | 2020-10-27 | 2021-07-16 | 成都大学 | 一种用于眼动仪的情感识别系统及方法 |
| CN112631112A (zh) * | 2020-12-31 | 2021-04-09 | 山东大学 | 一种多功能健康监测智能手表及其控制方法 |
| CN113012717A (zh) * | 2021-02-22 | 2021-06-22 | 上海埃阿智能科技有限公司 | 一种基于语音识别情绪反馈信息推荐系统及方法 |
| CN112967725A (zh) * | 2021-02-26 | 2021-06-15 | 平安科技（深圳）有限公司 | 语音对话数据处理方法、装置、计算机设备及存储介质 |
| CN113392736A (zh) * | 2021-05-31 | 2021-09-14 | 五八到家有限公司 | 提升家政服务安全的监控方法、系统、设备及介质 |
| CN113539261B (zh) * | 2021-06-30 | 2024-10-08 | 大众问问(北京)信息科技有限公司 | 人机语音交互方法、装置、计算机设备和存储介质 |
| CN114446325A (zh) * | 2022-03-11 | 2022-05-06 | 平安普惠企业管理有限公司 | 基于情绪识别的信息推送方法、装置、计算机设备及介质 |
| CN117333913A (zh) * | 2022-06-24 | 2024-01-02 | 上海哔哩哔哩科技有限公司 | 识别情绪类别的方法、装置、存储介质及电子设备 |
| CN115146743B (zh) * | 2022-08-31 | 2022-12-16 | 平安银行股份有限公司 | 性格识别模型的训练方法、性格识别方法、装置及系统 |
| CN116935480B (zh) * | 2023-09-18 | 2023-12-29 | 四川天地宏华导航设备有限公司 | 一种情绪识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1662922A (zh) * | 2002-06-27 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 通过视觉和语音识别测量内容分级 |
| CN102833918A (zh) * | 2012-08-30 | 2012-12-19 | 四川长虹电器股份有限公司 | 基于情绪识别的智能照明交互方法 |
| CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
| CN103902046A (zh) * | 2014-04-10 | 2014-07-02 | 深圳市中兴移动通信有限公司 | 智能提醒方法和终端 |
| CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
| CN104616666A (zh) * | 2015-03-03 | 2015-05-13 | 广东小天才科技有限公司 | 一种基于语音分析改善对话沟通效果的方法及装置 |
| CN105244023A (zh) * | 2015-11-09 | 2016-01-13 | 上海语知义信息技术有限公司 | 课堂教学中教师情绪的提醒系统及方法 |
-
2016
- 2016-11-22 CN CN201611035249.1A patent/CN106570496B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1662922A (zh) * | 2002-06-27 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 通过视觉和语音识别测量内容分级 |
| CN102833918A (zh) * | 2012-08-30 | 2012-12-19 | 四川长虹电器股份有限公司 | 基于情绪识别的智能照明交互方法 |
| CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
| CN103902046A (zh) * | 2014-04-10 | 2014-07-02 | 深圳市中兴移动通信有限公司 | 智能提醒方法和终端 |
| CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
| CN104616666A (zh) * | 2015-03-03 | 2015-05-13 | 广东小天才科技有限公司 | 一种基于语音分析改善对话沟通效果的方法及装置 |
| CN105244023A (zh) * | 2015-11-09 | 2016-01-13 | 上海语知义信息技术有限公司 | 课堂教学中教师情绪的提醒系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106570496A (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570496B (zh) | 情绪识别方法和装置以及智能交互方法和设备 | |
| Zadeh et al. | Memory fusion network for multi-view sequential learning | |
| Tarantino et al. | Self-Attention for Speech Emotion Recognition. | |
| Nemati et al. | A hybrid latent space data fusion method for multimodal emotion recognition | |
| CN106776936A (zh) | 智能交互方法和系统 | |
| CN104951433A (zh) | 基于上下文进行意图识别的方法和系统 | |
| CN110085221A (zh) | 语音情感交互方法、计算机设备和计算机可读存储介质 | |
| CN104750674B (zh) | 一种人机会话满意度预测方法及系统 | |
| CN106649742A (zh) | 数据库维护方法和装置 | |
| Garg et al. | Speech based Emotion Recognition based on hierarchical decision tree with SVM, BLG and SVR classifiers | |
| Kaya et al. | Robust acoustic emotion recognition based on cascaded normalization and extreme learning machines | |
| CN114417097A (zh) | 一种基于时间卷积与自注意力的情感预测方法及系统 | |
| CN117216185A (zh) | 分发内容的评论生成方法、装置、设备及存储介质 | |
| CN108733672B (zh) | 实现网络信息质量评估的方法和系统 | |
| Tiwari et al. | A novel approach for detecting emotion in text | |
| CN109885668A (zh) | 一种可扩展的领域人机对话系统状态跟踪方法及设备 | |
| Siddiqi | An improved Gaussian mixture hidden conditional random fields model for audio-based emotions classification | |
| Wauters et al. | delearyous: An interactive application for interpersonal communication training | |
| JP6178480B1 (ja) | データ分析システム、その制御方法、プログラム、及び、記録媒体 | |
| Karpouzis et al. | Induction, recording and recognition of natural emotions from facial expressions and speech prosody | |
| Elbarougy et al. | Continuous audiovisual emotion recognition using feature selection and lstm | |
| Kafle et al. | Fusion Strategy for Prosodic and Lexical Representations of Word Importance. | |
| Bruchansky | Political footprints: Political discourse analysis using pre-trained word vectors | |
| Hattimare et al. | Maruna Bot: An extensible retrieval-focused framework for task-oriented dialogues | |
| Bertero et al. | Towards Universal End-to-End Affect Recognition from Multilingual Speech by ConvNets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Emotion recognition methods and devices and intelligent interaction methods and devices Effective date of registration: 20230223 Granted publication date: 20191001 Pledgee: China Construction Bank Corporation Shanghai No.5 Sub-branch Pledgor: SHANGHAI XIAOI ROBOT TECHNOLOGY Co.,Ltd. Registration number: Y2023980033272 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |