CN115640323A - 一种基于转移概率的情绪预测方法 - Google Patents

一种基于转移概率的情绪预测方法 Download PDF

Info

Publication number
CN115640323A
CN115640323A CN202211652917.0A CN202211652917A CN115640323A CN 115640323 A CN115640323 A CN 115640323A CN 202211652917 A CN202211652917 A CN 202211652917A CN 115640323 A CN115640323 A CN 115640323A
Authority
CN
China
Prior art keywords
emotion
sequence
binary
preamble
transition probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211652917.0A
Other languages
English (en)
Other versions
CN115640323B (zh
Inventor
周怡
向为
孙凌云
郭天惠
刘宣慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211652917.0A priority Critical patent/CN115640323B/zh
Publication of CN115640323A publication Critical patent/CN115640323A/zh
Application granted granted Critical
Publication of CN115640323B publication Critical patent/CN115640323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于转移概率的情绪预测方法,包括构建二元至n元情绪序列以及对应的转移概率矩阵,获得实际情绪序列,基于实际情绪序列中的当前情绪及其前序情绪构建n‑1元至二元的实际情绪子序列,按照元数递减的顺序,从每种元数的前序情绪序列集或前序情绪集中搜索对应元数的实际情绪子序列,直到在元数最高的前序情绪序列集或前序情绪集中搜索到对应元数的实际情绪子序列,停止搜索,基于搜索到的实际情绪子序列通过所述元数最高的前序情绪序列集或前序情绪集对应的转移概率矩阵获得预测情绪。通过该方法能够能够实时的、动态的、准确的对下一时刻的情绪。

Description

一种基于转移概率的情绪预测方法
技术领域
本发明属于计算机情感数据处理技术领域,具体涉及一种基于转移概率的情绪预测方法。
背景技术
随着设计理念的发展,人们越来越注重使用产品时的用户体验。通过观察、判断和预测人们使用产品时发生的情绪,可以了解到用户的喜好、感受以及购买意愿等,同时也可以帮助设计师发现产品设计中的问题,进而改进产品的设计。
而在用户与产品交互的整个流程中,用户的情绪会进行转移,即由一种情绪连贯地转变为另一种情绪。倘若能准确预测用户下一秒的情绪,我们就可以进行提前干预,给予一些正面引导来避免负面情绪,或给予一些激励机制来保持正向情绪,进而使整个交互过程的体验大大优化。
情绪预测的概念常出现于心理学领域,用于表示人们对未来事件的情绪反应的预测。在计算机领域,情绪预测则指通过计算机技术对人的情绪进行识别、分析、预测。当前有许多技术手段来实现对情绪的识别和分析,如通过收集人脸图像、手势、语音及生理电信号等情绪数据来识别用户的情绪。
专利号为2017106022277的中国专利公开了基于多任务学习与深度学习的人脸情绪分析方法及系统,包括利用卷积神经网络学习人脸库中预设的分析任务的卷积层,得到人脸分析模型;获取待分析人脸图像,利用人脸检测算法对所述待分析人脸图像进行分析,提取待分析人脸图像中人脸区域;利用所述人脸分析模型对所述待分析人脸图像进行预测,得到所述待分析人脸图像中每个人脸区域对应的情绪信息。上述专利应用多任务学习的概念于卷积神经网络上,使得多种和人脸相关的分析任务,可以用同一个分析模型来识别,如此可以减少分析模型的大小和加快识别的时间。另外,上述专利针对人脸的不同部位用不同的卷积层来描述,使得各卷积层的任务较单一且专精,可以达到更好的识别效果。上述专利方法提出了通过卷积神经网络对人脸的情绪进行识别,而未提供如何能够实时、准确预测下一时刻情绪的方法。
涉及预测概念的技术又往往指对于单种或多种情绪数据的静态评估,缺乏动态的评估,如文献杨明浩,陶建华,李昊,巢林林.面向自然交互的多通道人机对话系统[J].计算机科学,2014,41(10):12-1835公开了多通道对话信息整合后的情绪预测;或者文献张莹,王超,郭文雅,等. 基于双向分层语义模型的多源新闻评论情绪预测[J]. 计算机研究与发展,2018,55(5):933-944. DOI:10.7544/issn1000-1239.2018.20160947.公开的通过分析日常文本、语音、艺术作品中的情绪特征来推断其整体情绪表达,因此亟需设计一种能够实时的、动态的、准确的对下一时刻的情绪进行预测的方法。
发明内容
本发明提供了一种基于转移概率的情绪预测方法,通过该方法能够能够实时的、动态的、准确的对下一时刻的情绪。
一种基于转移概率的情绪预测方法,包括:
S1:采用人工标注或计算机情绪识别方法对获得的视频进行逐帧或逐秒的情绪识别得到有时序的情绪序列数据库;
S2:提取情绪序列数据库中的二元情绪序列以构建二元情绪序列集合,每个二元情绪序列包括前序情绪和第一后序情绪,所述前序情绪转换为第一后序情绪,基于二元情绪序列构建二元情绪序列的转移概率矩阵的具体步骤为:将在二元情绪序列集合中的当前二元情绪序列的出现频次与当前前序情绪所在的二元情绪序列的出现频次的比值作为当前二元情绪序列的转移概率,基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵;
S3:从二元情绪序列集合中提取满足出现频次阈值的二元情绪序列以构建二元前序情绪序列集合,基于二元前序情绪序列从情绪序列数据库中筛选三元情绪序列以构建三元情绪序列集合,每个三元情绪序列包括二元前序情绪序列和第二后序情绪,且所述二元前序情绪序列转化为第二后序情绪;采用构建二元情绪序列的转移概率矩阵的方法基于三元情绪序列得到三元情绪序列的转移概率矩阵;
S4:重复步骤S3得到元数从四元至n元情绪序列集合以及相应的转移概率矩阵,直到在n+1元情绪序列集合中的情绪序列的出现频次低于频次阈值时,停止重复;其中,n>3,每个n元情绪序列包括前序n-1元情绪序列和第n-1后序情绪;
应用时,获得实际情绪序列,基于实际情绪序列中的当前情绪及其前序情绪构建n-1元至二元的实际情绪子序列,按照元数递减的顺序,从每种元数的前序情绪序列集或前序情绪集中搜索对应元数的实际情绪子序列,直到在元数最高的前序情绪序列集或前序情绪集中搜索到对应元数的实际情绪子序列,停止搜索,基于搜索到的实际情绪子序列通过所述前序情绪序列集或前序情绪集对应的转移概率矩阵获得预测情绪。
本发明对获得的视频进行情绪识别之前,先通过人工标注或计算机识别方法提取所述视频中的情绪片段,所述情绪片段为用户的情绪由平静开始变化最终归于平静的整个过程,然后采用人工标注或计算机识别方法基于设定的情绪类型对情绪片段进行情绪识别得到有时序的情绪序列,多个情绪序列构建情绪序列数据库。
采用人工标注方法对情绪片段进行情绪识别得到有时序的情绪序列,所述人工标注方法为德尔菲专家调查方法,包括先将所有的情绪片段随机分配专家进行情绪识别,再经过归纳统计后,将每段情绪识别的结果匿名反馈给专家,进行第二次情绪识别,统一不同的情绪识别结果,执行多次情绪识别直至达到情绪识别结果一致性阈值得到情绪序列。
采用计算机识别方法对情绪片段进行情绪识别得到有时序的情绪序列,所述计算机识别方法,包括通过对情绪片段中的用户面部表情视频,逐帧的识别每帧画面中的用户情绪,从而生成有时序的情绪序列,所述计算机识别方法包括Affectiva或Noldus。
本发明提供了二元情绪序列的转移概率
Figure 315182DEST_PATH_IMAGE001
为:
Figure 763481DEST_PATH_IMAGE002
其中,
Figure 277639DEST_PATH_IMAGE003
为在二元情绪序列集合中的第i个前序情绪Xi转换到第j个第一后序 情绪yj的二元情绪序列的出现频次,
Figure 204006DEST_PATH_IMAGE004
为在二元情绪序列集合中第i前序情绪Xi所在的 二元情绪序列的出现频次。
本发明提供下一时刻的情绪与当前时刻情绪的关系存在一定的转移概率,是由概率转移矩阵确定的,则情绪片段中的情绪转移过程可视为马尔可夫过程。基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵P为:
Figure 815116DEST_PATH_IMAGE005
其中,
Figure 903158DEST_PATH_IMAGE006
为由第i个前序情绪Xi转换到第j个第一后序情绪yj的二元情绪序列 的转移概率,D为第一后序情绪的个数,M为前序情绪的个数。
本发明提供了三元情绪序列的转移概率
Figure 966929DEST_PATH_IMAGE007
为:
Figure 696988DEST_PATH_IMAGE008
其中,
Figure 100287DEST_PATH_IMAGE009
为在三元情绪序列集合中由第t二元前序情绪序列zt所在的三元情绪序 列的出现频次,
Figure 624809DEST_PATH_IMAGE010
为在三元情绪序列集合中由第t个二元前序情绪序列zt转换到第s个 第二后序情绪
Figure 910297DEST_PATH_IMAGE011
的三元情绪序列的出现频次。
所述基于搜索到的实际情绪子序列通过所述元数最高的前序情绪序列集或前序情绪集对应的转移概率矩阵获得预测情绪,包括:
将搜索到的实际情绪子序列作为前序情绪序列时,将实际情绪子序列所在的情绪序列集合作为预测情绪序列集合,将预测情绪序列集合通过对应元数的转移概率矩阵得到转移概率最高的预测情绪序列,将转移概率最高的预测情绪序列的后序情绪作为预测情绪。
与现有技术相比,本发明的有益效果为:
本发明获取用户的实际情绪序列,所述实际情绪序列包括多种元数的实际情绪子序列,从本发明构建的前序情绪序列集中搜索到与尽量高元数的实际情绪子序列一致的前序情绪序列,从而使得搜索到的前序情绪序列能够匹配用户尽量长时间的情绪变化,然后从本发明构建的对应的转移概率矩阵中搜索转移概率最高的情绪序列,将该情绪序列中的后序情绪作为预测情绪,本发明提供的预测方法能够识别用户较长时间的情绪变化,并且随着用户使用产品时间的延长,能够找到更多元数的实际情绪子序列的几率增加,从而更能够准确的预测用户的情绪,进而基于用户较长时间的情绪变化来准确、实时的预测用户的下一时刻的情绪。
附图说明
图1为本发明实施例提供的基于转移概率的情绪预测方法的流程图;
图2为本发明实施例提供的构建三元情绪序列的转移概率矩阵中的马尔科夫链状态转移示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。应理解,这些实施例仅用于说明本发明,而不用于限制本发明的范围。
本发明通过构建多元数的转移概率矩阵和对应的前序情绪序列,使得从用户视频中获得的多元数实际情绪子序列能够与对应元数的前序情绪序列相匹配,元数由高到底,将实际情绪子序列和对应元数的前序情绪序列进行逐个比对,获得能够得到与尽量高元数的实际情绪序列匹配的前序情绪序列,从而能够获得尽量长时间的用户情绪变化,将匹配的前序情绪序列所在的对应元数情绪序列集通过对应元数的转移概率矩阵得到转移概率最高的对应元数情绪序列,将转移概率最高的对应元数情绪序列的后序情绪作为预测的情绪,本发明提供的预测方法能够识别用户较长时间的情绪变化,并基于用户较长时间的情绪变化来准确、实时的预测用户的下一时刻的情绪。
本发明提供一种基于转移概率的情绪预测方法,如图1所示,包括:
(1)采用人工标注或计算机情绪识别方法对获得的视频进行逐帧或逐秒的情绪识别得到有时序的情绪序列数据库:
本发明首先获得用户使用产品时的正脸视频,以识别用户的实时情绪,还可以获得用户的操作、语音和姿态来提高情绪的识别准确率。
本发明通过人工标注或计算机识别方法将该正脸视频中的有情绪反应的片段进行提取,情绪片段为用户的情绪由平静开始变化最终归于平静的整个过程;由于用户在自然的交互的过程中情绪的变化非常自由且随机,且大部分时间是平静的状态,因此对于出现的情绪片段需要尽可能完全完整的收集。通过采用人工标注或计算机识别方法基于设定的情绪类型对情绪片段进行情绪识别得到有时序的情绪序列,多个情绪序列构建情绪序列数据库。情绪的类型需要预先给定,取决于产品类型、使用场景等,除了一些基本情绪,还要将对用户体验重要的情绪以及出现较多的情绪包括进来。
本发明提供的人工标注方法为德尔菲专家调查方法,包括先将所有的情绪片段随机分配专家进行情绪识别,再经过归纳统计后,将每段情绪识别的结果匿名反馈给专家,进行第二次情绪识别,统一不同的情绪识别结果,执行多次情绪识别直至达到情绪识别结果一致性阈值得到情绪序列。
本发明提供的计算机识别方法,包括通过对情绪片段中的用户面部表情视频,逐帧的识别每帧画面中的用户情绪,从而生成有时序的情绪序列,所述计算机识别方法包括Affectiva或Noldus。
(2)构建二元情绪序列集合和二元情绪序列的转移概率矩阵:
提取步骤(1)得到的情绪序列数据库中的二元情绪序列以构建二元情绪序列集合,二元情绪序列包括前序情绪和第一后序情绪,且前序情绪转换为第一后序情绪。
本发明提供了基于二元情绪序列构建二元情绪序列的转移概率矩阵的具体步骤为:
本发明将在二元情绪序列集合中的当前二元情绪序列的出现频次与当前前序情绪所在的二元情绪序列的出现频次的比值作为当前二元情绪序列的转移概率,基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵。
二元情绪序列的转移概率
Figure 444047DEST_PATH_IMAGE001
为:
Figure 498590DEST_PATH_IMAGE002
其中,
Figure 662856DEST_PATH_IMAGE003
为在二元情绪序列集合中的第i个前序情绪Xi转换到第j个第一后序 情绪yj的二元情绪序列的出现频次,
Figure 701219DEST_PATH_IMAGE004
为在二元情绪序列集合中第i前序情绪Xi所在的 二元情绪序列的出现频次。
本发明在二元情绪序列的转移概率矩阵中,将前序情绪作为马尔科夫链的当前时刻状态,将第一后序情绪作为下一时刻状态,基于马尔科夫链将前序情绪转换为第一后序情绪的多个转移概率构建马尔科夫链的转移概率矩阵。
本发明基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵P为:
Figure 507501DEST_PATH_IMAGE012
其中,
Figure 682130DEST_PATH_IMAGE006
为由第i个前序情绪Xi转换到第j个第一后序情绪yj的二元情绪序列 的转移概率,D为第一后序情绪的个数,M为前序情绪的个数。其中xi作为马尔科夫链的当前 时刻状态,i∈[1,2,…,M],yj作为马尔科夫链的下一时刻状态,j∈[1,2,…,D]。基于转移 概率公式获得的将xi转换为yj的转移概率以构建转移概率矩阵。
(3)构建三元情绪序列集合和三元情绪序列的转移概率矩阵:
从步骤(2)得到的二元情绪序列集合中提取满足出现频次阈值的二元情绪序列,通过提取的二元情绪序列构建二元前序情绪序列集合,基于二元前序情绪序列从步骤(1)得到的情绪序列数据库中筛选三元情绪序列,通过筛选出的三元情绪序列构建三元情绪序列集合,每个三元情绪序列包括二元前序情绪序列和第二后序情绪,该二元前序情绪序列转换为第二后序情绪。
本发明提供了基于三元情绪序列构建三元情绪序列的转移概率矩阵的具体步骤为:
本发明将在三元情绪序列集合中的当前三元情绪序列的出现频次与当前二元前序情绪序列所在的二元情绪序列的出现频次的比值作为当前三元情绪序列的转移概率,基于多个三元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵。
本发明提供的三元情绪序列的转移概率
Figure 751717DEST_PATH_IMAGE007
为:
Figure 14727DEST_PATH_IMAGE008
其中,
Figure 890279DEST_PATH_IMAGE009
为在三元情绪序列集合中由第t二元前序情绪序列zt所在的三元情绪序 列的出现频次,
Figure 919415DEST_PATH_IMAGE010
为在三元情绪序列集合中由第t个二元前序情绪序列zt转换到第s个 第二后序情绪
Figure 425483DEST_PATH_IMAGE011
的三元情绪序列的出现频次,二元前序情绪序列包括上一时刻情绪和 当前时刻情绪,且该上一时刻情绪转换为当前时刻情绪。
本发明在构建三元情绪序列的转移概率矩阵时,将二元前序情绪序列作为马尔科夫链的当前时刻状态,将第二后序情绪作为下一时刻状态,从而构建了马尔科夫链的转换关系,如图2所示。基于马尔科夫链将二元前序情绪序列转换为第二后序情绪的多个转移概率构建马尔科夫链的转移概率矩阵。
本发明基于多个三元情绪序列的转移概率通过马尔科夫链构建三元情绪序列的转移概率矩阵P’为:
Figure 907280DEST_PATH_IMAGE013
其中,T为二元前序情绪序列的个数,S为第二后序情绪的个数,其中,将 zt作为马 尔科夫链的当前时刻状态,t∈[1,2,…,T],
Figure 320943DEST_PATH_IMAGE014
作为马尔科夫链的下一时刻状态,s∈[1, 2,…,S],基于转移概率公式获得的将zt转换为
Figure 470165DEST_PATH_IMAGE014
的转移概率以构建转移概率矩阵。
(4)构建从四元至n元情绪序列集合以及相应的转移概率矩阵:
重复步骤(3)的方法,得到元数从四元至n元情绪序列集合以及相应的转移概率矩阵,直到在n+1元情绪序列集合中的n+1元情绪序列的出现频次低于频次阈值时,停止重复;其中,n>3,每个n元情绪序列包括前序n-1元情绪序列和第n-1后序情绪。通过从二元至n元情绪序列集合以及相应的转移概率矩阵构建情绪预测模型。
(5)通过情绪预测模型对获得的实际情绪序列进行情绪预测:
(5-1)通过用户使用产品时的正脸视频,收集用户一段时间的实际情绪序列,基于实际情绪序列中的当前情绪及其前序情绪构建n-1元至二元实际情绪子序列,二元实际情绪子序列为用户的前序情绪转换为当前情绪的实际情绪序列,以此类推,n-1元实际情绪子序列为用户的n-2元前序情绪序列转换为当前情绪的实际情绪序列。
(5-2)按照元数递减的顺序搜索实际情绪序列,首先从情绪预测模型中的n-1元前序情绪序列集中搜索n-1元实际情绪子序列,如果搜索到n-1元实际情绪子序列则停止搜索,并将n-1元实际情绪子序列所在的n元情绪序列作为预测情绪序列,多个预测情绪序列作为预测情绪序列集,通过n元转移概率矩阵从预测情绪序列集中筛选转移概率最大的n元情绪序列,将转移概率最大的n元情绪序列中的后序情绪作为用户下一时刻的预测情绪。
(5-3)如果未搜索到n-1元实际情绪子序列,则从情绪预测模型中的前序n-2元情绪序列集中搜索n-2元实际情绪子序列,如果搜索到了n-2元实际情绪子序列则按照步骤(5-2)的方法得到用户下一时刻的预测情绪,如果未搜索到,则按照元数递减的方式,从情绪预测模型中的前序情绪序列集中搜索对应元数的实际情绪子序列,直到搜索到实际情绪子序列为止,或者直到从情绪预测模型中的前序情绪中搜索到用户的当前情绪为止,如果搜索到了对应元数的实际情绪子序列或用户的当前情绪则按照步骤(5-2)的方法得到用户下一时刻的预测情绪。
实施例1
如本文案例的线下互动产品交互中,预先给定了识别逗乐、好奇、惊诧、困惑和厌恶这五种情绪。用户体验设计师需要预测用户在与某类电子产品交互过程中的情绪变化,使用本方法的具体实施方式如下。
(1)获取用户与产品交互视频。通过摄像设备的近距离录制,体验设计师可获取用户在使用该电子产品时的面部交互视频,得原始的用户情绪数据。
(2)将有情绪反应的片段截取出来。通过现有一些情绪识别技术工具,或是人工标注的办法,体验设计师可得到存在情绪反应的大量视频片段。
(3)对截取的片段识别情绪类型。体验设计师可根据需求,设定所需识别的情绪种类,或参考已有的相关关键情绪,将视频片段中所需识别的情绪一一识别标注。识别标注可以人工标注的方式或是机器识别的方式,最终得到以秒为单位的A1组和B1组的情绪序列,如表1所示,可以看出,图2展示的是部分的情绪序列,实际过程会存在大量的情绪序列。
(4)计算情绪转移概率。根据步骤(3)中获得的情绪序列,统计各前序情绪或各前序情绪序列分别转换到后序情绪的发生频次。再根据转移概率公式得到从二元至四元情绪转移概率,进而通过马尔科夫链得到二元至四元情绪转移概率矩阵,如表2、表3和表4所示,体验设计师可得到各情绪在当前场景下二至多元的转移概率(即某情绪或前序情绪序列转化为后序情绪的可能性),得到覆盖所有标注情绪的概率数据组。此处参与计算概率的各情绪数据需不少于出现频次限定阈值。
(5)预测情绪。如当摄像设备收集到3秒的连续实时的实际情绪序列时,依次与步骤(4)获得的各前序情绪或各前序情绪序列进行比对。
如识别到实际情绪子序列为“好奇-困惑-困惑”,则首先从四元情绪转移概率矩阵中搜索为“好奇-困惑-困惑”的三元前序情绪序列,未搜索到,则从三元情绪转移频率矩阵中搜索为“困惑-困惑”的二元前序情绪序列,未搜索到,则从二元情绪转移频率矩阵中搜索为“困惑”的前序情绪,从表1中,可以找到前序情绪为“困惑”的最大转移概率对应的后序情绪为困惑,最大转移概率为0.512,因此将困惑作为下一秒的预测情绪。
最终通过收集情绪片段视频、标注后的情绪序列、各情绪二至多元的转移概率数据组,并根据本方法的实施步骤,体验设计师最终能预测1秒及以上的实时情绪发生后,下一秒最可能出现的情绪。
表1 每一秒视频帧标注结果
Figure 943872DEST_PATH_IMAGE015
表2 二元情绪转移的概率矩阵结果
Figure 912965DEST_PATH_IMAGE016
表3 三元情绪转移的概率矩阵结果(“/”号表示该情绪转移频次过低,不纳入计算)
Figure 864740DEST_PATH_IMAGE017
表4四元情绪转移的概率矩阵结果(“/”号表示该情绪转移频次过低,不纳入计算)
Figure 868468DEST_PATH_IMAGE018

Claims (8)

1.一种基于转移概率的情绪预测方法,其特征在于,包括:
S1:采用人工标注或计算机情绪识别方法对获得的视频进行逐帧或逐秒的情绪识别得到有时序的情绪序列数据库;
S2:提取情绪序列数据库中的二元情绪序列以构建二元情绪序列集合,每个二元情绪序列包括前序情绪和第一后序情绪,所述前序情绪转换为第一后序情绪,基于二元情绪序列构建二元情绪序列的转移概率矩阵的具体步骤为:将在二元情绪序列集合中的当前二元情绪序列的出现频次与当前前序情绪所在的二元情绪序列的出现频次的比值作为当前二元情绪序列的转移概率,基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵;
S3:从二元情绪序列集合中提取满足出现频次阈值的二元情绪序列以构建二元前序情绪序列集合,基于二元前序情绪序列从情绪序列数据库中筛选三元情绪序列以构建三元情绪序列集合,每个三元情绪序列包括二元前序情绪序列和第二后序情绪,且所述二元前序情绪序列转换为第二后序情绪;采用构建二元情绪序列的转移概率矩阵的方法基于三元情绪序列得到三元情绪序列的转移概率矩阵;
S4:重复步骤S3得到元数从四元至n元情绪序列集合以及相应的转移概率矩阵,直到在n+1元情绪序列集合中的情绪序列的出现频次低于频次阈值时,停止重复;其中,n>3,每个n元情绪序列包括前序n-1元情绪序列和第n-1后序情绪;
应用时,获得实际情绪序列,基于实际情绪序列中的当前情绪及其前序情绪构建n-1元至二元的实际情绪子序列,按照元数递减的顺序,从每种元数的前序情绪序列集或前序情绪集中搜索对应元数的实际情绪子序列,直到在元数最高的前序情绪序列集或前序情绪集中搜索到对应元数的实际情绪子序列,停止搜索,基于搜索到的实际情绪子序列通过所述前序情绪序列集或前序情绪集对应的转移概率矩阵获得预测情绪。
2.根据权利要求1所述的基于转移概率的情绪预测方法,其特征在于,对获得的视频进行情绪识别之前,先通过人工标注或计算机识别方法提取所述视频中的情绪片段,所述情绪片段为用户的情绪由平静开始变化最终归于平静的整个过程,然后采用人工标注或计算机识别方法基于设定的情绪类型对情绪片段进行情绪识别得到有时序的情绪序列,多个情绪序列构建情绪序列数据库。
3.根据权利要求2所述的基于转移概率的情绪预测方法,其特征在于,采用人工标注方法对情绪片段进行情绪识别得到有时序的情绪序列,所述人工标注方法为德尔菲专家调查方法,包括先将所有的情绪片段随机分配给专家进行情绪识别,再经过归纳统计后,将每段情绪识别的结果匿名反馈给专家,进行第二次情绪识别,统一不同的情绪识别结果,执行多次情绪识别直至达到情绪识别结果一致性阈值得到情绪序列。
4.根据权利要求2所述的基于转移概率的情绪预测方法,其特征在于,采用计算机识别方法对情绪片段进行情绪识别得到有时序的情绪序列,所述计算机识别方法,包括通过对情绪片段中的用户面部表情视频,逐帧的识别每帧画面中的用户情绪,从而生成有时序的情绪序列,所述计算机识别方法包括Affectiva或Noldus。
5.根据权利要求1所述的基于转移概率的情绪预测方法,其特征在于,二元情绪序列的 转移概率
Figure 676589DEST_PATH_IMAGE001
为:
Figure 132978DEST_PATH_IMAGE002
其中,
Figure 91707DEST_PATH_IMAGE003
为在二元情绪序列集合中的第i个前序情绪Xi转换到第j个第一后序情绪 yj的二元情绪序列的出现频次,
Figure 684363DEST_PATH_IMAGE004
为在二元情绪序列集合中第i前序情绪Xi所在的二元 情绪序列的出现频次。
6.根据权利要求1所述的基于转移概率的情绪预测方法,其特征在于,基于多个二元情绪序列的转移概率通过马尔科夫链构建二元情绪序列的转移概率矩阵P为:
Figure 765451DEST_PATH_IMAGE005
其中,
Figure 443557DEST_PATH_IMAGE006
为由第i个前序情绪Xi转换到第j个第一后序情绪yj的二元情绪序列的转 移概率,D为第一后序情绪的个数,M为前序情绪的个数。
7.根据权利要求1所述的基于转移概率的情绪预测方法,其特征在于,三元情绪序列的 转移概率
Figure 2714DEST_PATH_IMAGE007
为:
Figure 715455DEST_PATH_IMAGE008
其中,
Figure 701866DEST_PATH_IMAGE009
为在三元情绪序列集合中由第t二元前序情绪序列zt所在的三元情绪序列的 出现频次,
Figure 132847DEST_PATH_IMAGE010
为在三元情绪序列集合中由第t个二元前序情绪序列zt转换到第s个第二 后序情绪
Figure 433379DEST_PATH_IMAGE011
的三元情绪序列的出现频次。
8.根据权利要求1所述的基于转移概率的情绪预测方法,其特征在于,所述基于搜索到的实际情绪子序列通过所述元数最高的前序情绪序列集或前序情绪集对应的转移概率矩阵获得预测情绪,包括:
将搜索到的实际情绪子序列作为前序情绪序列时,将实际情绪子序列所在的情绪序列集合作为预测情绪序列集合,将预测情绪序列集合通过对应元数的转移概率矩阵得到转移概率最高的预测情绪序列,将转移概率最高的预测情绪序列的后序情绪作为预测情绪。
CN202211652917.0A 2022-12-22 2022-12-22 一种基于转移概率的情绪预测方法 Active CN115640323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211652917.0A CN115640323B (zh) 2022-12-22 2022-12-22 一种基于转移概率的情绪预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211652917.0A CN115640323B (zh) 2022-12-22 2022-12-22 一种基于转移概率的情绪预测方法

Publications (2)

Publication Number Publication Date
CN115640323A true CN115640323A (zh) 2023-01-24
CN115640323B CN115640323B (zh) 2023-03-17

Family

ID=84949435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211652917.0A Active CN115640323B (zh) 2022-12-22 2022-12-22 一种基于转移概率的情绪预测方法

Country Status (1)

Country Link
CN (1) CN115640323B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198717A1 (en) * 2001-05-11 2002-12-26 Oudeyer Pierre Yves Method and apparatus for voice synthesis and robot apparatus
US20180007101A1 (en) * 2016-07-01 2018-01-04 International Business Machines Corporation Autonomic meeting effectiveness and cadence forecasting
CN108009573A (zh) * 2017-11-24 2018-05-08 北京物灵智能科技有限公司 一种机器人情绪模型生成方法、情绪模型以及交互方法
CN114973209A (zh) * 2021-02-20 2022-08-30 宝马股份公司 识别驾驶员情绪的方法、装置、设备、介质和车辆
CN115292495A (zh) * 2022-08-09 2022-11-04 中国平安人寿保险股份有限公司 情绪分析方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020198717A1 (en) * 2001-05-11 2002-12-26 Oudeyer Pierre Yves Method and apparatus for voice synthesis and robot apparatus
US20180007101A1 (en) * 2016-07-01 2018-01-04 International Business Machines Corporation Autonomic meeting effectiveness and cadence forecasting
CN108009573A (zh) * 2017-11-24 2018-05-08 北京物灵智能科技有限公司 一种机器人情绪模型生成方法、情绪模型以及交互方法
CN114973209A (zh) * 2021-02-20 2022-08-30 宝马股份公司 识别驾驶员情绪的方法、装置、设备、介质和车辆
CN115292495A (zh) * 2022-08-09 2022-11-04 中国平安人寿保险股份有限公司 情绪分析方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CUI X: "Transition Probability Matrices and Forecasting of Long-Term Care Demand" *
饶元;吴连伟;王一鸣;冯聪;: "基于语义分析的情感计算技术研究进展" *

Also Published As

Publication number Publication date
CN115640323B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
Li et al. BiERU: Bidirectional emotional recurrent unit for conversational sentiment analysis
Chou et al. Every rating matters: Joint learning of subjective labels and individual annotators for speech emotion classification
Yu et al. On the integration of grounding language and learning objects
WO2020028760A1 (en) System and method for neural network orchestration
Jayanthi et al. An integrated framework for emotion recognition using speech and static images with deep classifier fusion approach
Mocanu et al. Multimodal emotion recognition using cross modal audio-video fusion with attention and deep metric learning
CN110705490A (zh) 视觉情感识别方法
Geetha et al. Multimodal Emotion Recognition with deep learning: advancements, challenges, and future directions
Wu et al. Estimating the uncertainty in emotion class labels with utterance-specific Dirichlet priors
Dweik et al. Read my lips: Artificial intelligence word-level arabic lipreading system
Zhu et al. Emotion recognition based on brain-like multimodal hierarchical perception
Liu et al. Facial expression recognition for in-the-wild videos
CN113936317A (zh) 一种基于先验知识的人脸表情识别方法
Sadeghi et al. Exploring the capabilities of a language model-only approach for depression detection in text data
Bakhshi et al. Multimodal emotion recognition based on speech and physiological signals using deep neural networks
Teng et al. A transformer-based multimodal network for audiovisual depression prediction
CN115640323B (zh) 一种基于转移概率的情绪预测方法
Sunil et al. Facial emotion recognition using a modified deep convolutional neural network based on the concatenation of xception and resnet50 v2
Thuseethan et al. Multimodal deep learning framework for sentiment analysis from text-image web Data
Lahariya et al. Real-time Emotion and Gender Classification using Ensemble CNN
Ghassemi et al. Unsupervised multimodal learning for dependency-free personality recognition
Alawi et al. Facial age estimation using convolution neural networks
Saraswat et al. Sentiment Analysis of Audio Files Using Machine Learning and Textual Classification of Audio Data
Zhao et al. Video affective impact prediction with multimodal fusion and long-short temporal context
Bertero et al. Towards Universal End-to-End Affect Recognition from Multilingual Speech by ConvNets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant