CN115905977A - 家庭同胞互动过程中负面情绪的监督系统及方法 - Google Patents

家庭同胞互动过程中负面情绪的监督系统及方法 Download PDF

Info

Publication number
CN115905977A
CN115905977A CN202211439223.9A CN202211439223A CN115905977A CN 115905977 A CN115905977 A CN 115905977A CN 202211439223 A CN202211439223 A CN 202211439223A CN 115905977 A CN115905977 A CN 115905977A
Authority
CN
China
Prior art keywords
interaction
sibling
emotion
negative
family
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211439223.9A
Other languages
English (en)
Inventor
刘宣慧
郗宇凡
王可幸
周子洪
陈希
孙凌云
陶冶
周楚轶
杨程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN202211439223.9A priority Critical patent/CN115905977A/zh
Publication of CN115905977A publication Critical patent/CN115905977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及家庭同胞互动过程中负面情绪的监督系统及方法，包括：依次通信连接的数据输入部分、数据处理部分和结果呈现部分；所述数据输入部分包括视频采集模块；所述数据处理部分包括同胞互动监督模块、负面情绪分析模块和数据集；所述结果呈现部分包括负面情绪提示模块和导致负面情绪的关键视频片段呈现模块。本发明的有益效果是：本发明能够针对家庭同胞互动的偶发性和易中断性的特点，能够监督同胞互动中负面情绪的产生。

Description

家庭同胞互动过程中负面情绪的监督系统及方法
技术领域
本发明涉及情绪监督技术领域，更确切地说，它涉及家庭同胞互动过程中负面情绪的监督系统及方法。
背景技术
家庭同胞间拥有大量的一起互动的时间，尤其在孩童阶段，同胞在互动中相互学习、共同进步，但同胞互动具有偶发性和易中断性，互动过程中会由于各种原因产生负面情绪。
2022年公开的专利CN202111290611.0“一种基于表情和语音双模态的儿童情感识别算法”，介绍了利用语音特征和表情特征的情感标签信息构建语义特征空间，通过多尺度特征提取方法从音频、视频中选择出对情感分类有贡献的重要特征，实现儿童情感准确识别。2019年公开的专利CN201811273105.9“基于多重注意力机制长短时记忆网络的儿童情感识别方法”，介绍了通过将注意力机制结合时序的深度的策略引入长短记忆网络，解决儿童情感识别方法中存在的语音长短不一的问题，增加了儿童情感识别方法的灵活性。以上两项专利都集中于以儿童个体为研究对象的算法设计，没有将儿童之间的相互影响考虑在内。
2020年公开的专利CN201810714129.7“一种儿童意图和情感分析的方法和系统”，介绍了结合前端儿童音频的采集设备和后端服务器的系统，后端服务器通过预设时间段抓取儿童音频数据选取对应的语言习惯模型进行分析，改善儿童用户与智能设备的交互效果。2018年公布的专利CN201710350291.0“一种带有情绪识别功能的智能互动教学系统”，介绍了通过对面部追踪系统追踪的数据得出学生的情绪，用于帮助教师调整教学方式和方便家长进行沟通。但以上两项专利中介绍的系统以采取分析音频数据和面部表情的数据用于判断儿童情绪，且尚未考虑儿童之间的互动。
可见，现有技术尚缺少针对家庭同胞互动过程中的负面情绪进行监督，并对家长进行提示的系统与方法。
发明内容
本发明的目的是克服现有技术中的不足，提供了家庭同胞互动过程中负面情绪的监督系统及方法。
第一方面，提供了家庭同胞互动过程中负面情绪的监督系统，包括：依次通信连接的数据输入部分、数据处理部分和结果呈现部分；所述数据输入部分包括视频采集模块；所述数据处理部分包括同胞互动监督模块、负面情绪分析模块和数据集；所述结果呈现部分包括负面情绪提示模块和导致负面情绪的关键视频片段呈现模块。
作为优选，所述数据集包括预收集同胞互动视频和系统在使用过程中收集的同胞互动视频，数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注。
作为优选，所述数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注，包括：在音频部分，参考中文对话情绪语料数据集对收集到的音频数据进行标注，标注内容包括情感类别和情感强度；在图像部分，参考COIN数据集对收集到的图像中的人物互动，人人互动行为进行标注，标注内容包括场景、对象、动作和事件。
第二方面，提供了家庭同胞互动过程中负面情绪的监督方法，由第一方面所述的家庭同胞互动过程中负面情绪的监督系统执行，包括：
步骤1、实时视频采集：通过摄像头对视频进行实时采集；
步骤2、同胞互动开始时间点识别：运用目标检测算法YOLO进行目标识别，并结合隐马尔科夫链模型HMM和混合高斯模型GMM进行语音检测，判断年幼孩童和年长孩童开始互动的行为，并将所述开始互动的行为的时间点记录为同胞互动片段的开始时间点；
步骤3、年长年幼孩童互动轮次拆分：由步骤2得出互动片段中同胞间发起互动的行为人与互动对象，将步骤2得出的同胞互动开始的时间点记为同胞在本互动片段中的第一个互动轮次开始的时间点；互动轮次发起行为人的初始行为和互动对象的行为构成了一个互动轮次，以此为互动轮次的拆分依据，并进行互动轮次拆分；如果互动对象没有表现出任何反应而是呈现无理答的状态，也记录为互动对象的行为；
步骤4、同胞间的双向效应值的计算：建立同胞互动双向效应计算模型，计算同胞互动过程中个体及互动对象的情绪效应值；
步骤5、负面情绪判断：根据所述情绪效应值判断同胞间是否出现了负面情绪；如果出现了负面情绪，进入步骤6.1；如果没有出现负面情绪，进入步骤6.2；
步骤6.1、对同胞间出现的负面情绪对家长进行提示，并进入步骤7.1；
步骤6.2、判断互动是否继续，如果互动继续进行，进入步骤3；如果互动没有持续则进入步骤7.2；
步骤7.1、记录同胞之间出现负面情绪的时间点，并可根据用户选择截取出现负面情绪的前后特定时长的视频用于向家长呈现负面情绪出现前后的同胞的互动，随后进入步骤6.2；
步骤7.2、判断视频是否继续进行拍摄，如果继续进行拍摄，进入步骤2，如果视频拍摄停止则分析结束。
作为优选，步骤3中，通过拆分互动轮次做序列建模，得到同胞互动片段中的情绪序列，包括：
将年幼孩童Y与年长孩童O在各时间点t的互动过程中的情绪特征d输入LSTM网络，使用Softmax函数计算在互动过程中同胞负面情绪B产生的概率，对同胞互动间的情绪特征进行分类：
Figure BDA0003947873100000031
其中k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别，e表示自然常数；在模型训练过程中通过交叉熵误差作为损失函数计算，Loss＝-∑k yk ln ak，其中y是真实的标签,a为Softmax函数的输出；最终的训练识别模型对轮次间的同胞行为作序列建模，得到单个互动片段Pn中的情绪序列(Ydn,Odn)。
作为优选，所述情绪特征d由愉悦度(pleasure)、激活度(arousal)和优势度(dominance)3个维度构成：d＝Ftn(ΔEpleasure,ΔEarousal,ΔEdominance)，其中，Ftn为情绪个性运算符，表示同胞在各时间点t的由于情感个性差异产生的不同情绪表现，ΔEpleasure,ΔEarousal,ΔEdominance分别代表愉悦度、激活度和优势度的特征向量。
作为优选，步骤4中，对于一个互动片段，同胞间的双向效应值R由产生负面情绪的相邻轮次的效应值r累加计算得到；通过数据集数据对模型进行测试调参，得到判断负面情绪效应值的临界值参数a；当计算双向效应之R>a时，判定同胞间产生负面情绪；双向效应值R的计算公式如下：
Figure BDA0003947873100000032
其中，Ln表示预训练的LSTM模型识别的产生负面情绪的同胞互动轮次，r表示在该互动轮次与相邻互动轮次Ln-1中，年幼孩童Y和年长孩童O通过语义特征S和动作特征M的相互影响，计算得到的效应值。
作为优选，步骤4中，效应值r包括同胞个体的行为效果A与互动对象效果C；其中年长孩童对自己下一轮次情绪产生影响的行为效果描述为AO，年长孩童对年幼孩童下一轮次情绪产生影响的互动对象效果描述为CO；年幼孩童对自己下一轮次情绪产生影响的行为效果描述为AY，年幼孩童对年长孩童下一轮次情绪产生影响的互动对象效果描述为CY，表示为：
Figure BDA0003947873100000033
作为优选，情感序列中描述年幼儿童特征序列的Y dn和描述年长儿童特征序列Odn的计算公式如下：
Figure BDA0003947873100000041
Figure BDA0003947873100000042
本发明的有益效果是：
1.本发明能够针对家庭同胞互动的偶发性和易中断性的特点，能够监督同胞互动中负面情绪的产生。
2.本发明通过建立同胞互动双向效应计算模型，将同胞间互动中的语义和动作的相互影响考虑在负面情绪监督中，并能够计算同胞互动过程中个体及互动对象的情绪效应值。
3.本发明通过计算同胞间双向效应值判断同胞间是否产生负面情绪，能够对家长进行提示，并提供负面情绪相关的视频回看。
附图说明
图1为本发明提供的一种家庭同胞互动过程中负面情绪的监督系统的结构示意图；
图2为本发明提供的家庭同胞互动过程中负面情绪的监督方法的流程图；
图3为本发明提供的互动轮次拆分与双向效应值计算的示意图；
图4为本发明提供的另一种家庭同胞互动过程中负面情绪的监督系统的结构示意图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1：
本发明提供了家庭同胞互动过程中负面情绪的监督系统，如图1所示，包括：依次通信连接的数据输入部分、数据处理部分和结果呈现部分。
数据输入部分包括视频采集模块，可使用家用摄像头实时采集同胞互动视频，并将视频传输到数据处理部分。
数据处理部分包括同胞互动监督模块、负面情绪分析模块和数据集。同胞互动监督模块用于识别同胞互动片段与切分同胞互动轮次。负面情绪分析模块在互动监督模块对采集的数据进行预处理的基础上，计算同胞互动各个轮次中受同胞语义和动作影响的个体的行为效果与互动对象效果。数据集包括预收集同胞互动视频和系统在使用过程中收集的同胞互动视频，比如，数据集由发明人预收集的时长达800分钟的同胞互动视频为基础，结合系统在使用过程中收集的同胞互动视频作为补充。以上互动视频源数据被分为音频与图像两个维度进行数据标注，对视频音频进行语音语义标注；对视频图像进行动作标注。在音频部分，参考中文对话情绪语料数据集对收集到的音频数据进行标注，标注内容包括情感类别，情感强度。在图像部分，参考COIN数据集对收集到的图像中的人物互动，人人互动行为进行标注，标注内容包括场景、对象、动作和事件。结合语义与动作，数据集中的视频切片被赋予情感特征，并最终被分类为正面情绪视频切片与负面情绪视频切片；数据集中的标注切片包含的同胞间保持正面情绪和出现负面情绪的语义与动作，并通过在系统的使用过程中逐渐被扩充。
结果呈现部分包括负面情绪提示模块和导致负面情绪的关键视频片段呈现模块。负面情绪提示模块用于在同胞互动中开始出现负面情绪时，及时的提示儿童家长关注同胞互动。导致负面情绪的关键视频片段呈现模块用于家长回看视频时，呈现导致负面情绪的关键视频片段，帮助家长分析同胞互动中断的原因和同胞间负面情绪产生的原因。
实施例2：
家庭同胞互动过程中负面情绪的监督方法的具体步骤如图2所示，包括：
步骤1、实时视频采集：通过摄像头对视频进行实时采集。
在步骤1中，可使用家用监控摄像头对视频进行实时采集，摄像头可以放置在同胞经常一同互动的房间，以便于拍摄到同胞互动的场景用于后续分析。需要说明的是，在实时录制视频的过程中，本发明以预先设定的时间(如5秒)进行图像信息抓取，并通过儿童面部表情的识别得到在这一时刻的儿童情绪，但无法体现出两个儿童之间的相互影响的关系。
步骤2、同胞互动开始时间点识别：运用目标检测算法YOLO进行目标识别，并结合隐马尔科夫链模型HMM和混合高斯模型GMM进行语音检测，判断年幼孩童和年长孩童开始互动的行为，并将开始互动的行为的时间点记录为同胞互动片段的开始时间点。
在步骤2中，目标检测算法YOLO的识别目标包括：同胞出现在同一画面中并伴有肢体互动。结合隐马尔科夫链模型HMM和混合高斯模型GMM进行语音检测的目标包括：同胞之间伴有的语音会话。需要判断的年幼孩童和年长孩童开始互动的行为多种多样，本发明不对此进行限定，比如，同胞中的一位儿童开始进行提问、教学、指挥等行为。
步骤3、年长年幼孩童互动轮次拆分：由步骤2得出互动片段中同胞间发起互动的行为人与互动对象，将步骤2得出的同胞互动开始的时间点记为同胞在本互动片段中的第一个互动轮次开始的时间点；互动轮次发起行为人的初始行为和互动对象的行为构成了一个互动轮次，以此为互动轮次的拆分依据，并进行互动轮次拆分；如果互动对象没有表现出任何反应而是呈现无理答的状态，也记录为互动对象的行为。
步骤4、同胞间的双向效应值的计算：建立同胞互动双向效应计算模型，计算同胞互动过程中个体及互动对象的情绪效应值。
步骤5、负面情绪判断：根据情绪效应值判断同胞间是否出现了负面情绪；如果出现了负面情绪，进入步骤6.1对同胞间出现的负面情绪对家长进行提示；如果没有出现负面情绪，进入步骤6.2判断互动是否继续。
步骤6.1、对同胞间出现的负面情绪对家长进行提示，并进入步骤7.1记录同胞之间出现负面情绪的时间点。
步骤6.2、判断互动是否继续，如果互动继续进行，进入步骤3继续进行互动轮次的拆分和接下来的分析；如果互动没有持续则进入步骤7.2判断视频是否继续进行拍摄。
步骤7.1、记录同胞之间出现负面情绪的时间点，并可根据用户选择截取出现负面情绪的前后特定时长的视频用于向家长呈现负面情绪出现前后的同胞的互动，随后进入步骤6.2判断互动是否继续。
步骤7.2、判断视频是否继续进行拍摄，如果继续进行拍摄，进入步骤2进行互动开始时间点的识别，如果视频拍摄停止则分析结束。
步骤3中，通过拆分互动轮次做序列建模，得到同胞互动片段中的情绪序列。如图3所示，时间T包含多个同胞互动片段P，在互动片段P1中年幼同胞Y与年长同胞O在各时间点t的语音数据与图像数据作为输入，通过LSTM网络得到情绪特征d组成的序列(Ydn,Odn)，具体包括：
将年幼孩童Y与年长孩童O在各时间点t的互动过程中的情绪特征d输入LSTM网络，使用Softmax函数计算在互动过程中同胞负面情绪B产生的概率，对同胞互动间的情绪特征进行分类：
Figure BDA0003947873100000061
其中k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别，e表示自然常数；在模型训练过程中通过交叉熵误差作为损失函数计算，Loss＝-∑k yk ln ak，其中y是真实的标签,a为Softmax函数的输出；最终的训练识别模型对轮次间的同胞行为作序列建模，得到单个互动片段Pn中的情绪序列(Ydn,Odn)。
情绪特征d由愉悦度、激活度和优势度3个维度构成：d＝Ftn(ΔEpleasure,ΔEarousal,ΔEdominance)，其中，Ftn为情绪个性运算符，表示同胞在各时间点t的由于情感个性差异产生的不同情绪表现，ΔEpleasure,ΔEarousal,ΔEdominance分别代表愉悦度、激活度和优势度的特征向量。
通过步骤3中的同胞互动片段的序列建模方法，本申请以同胞间的互动轮次为最小分析单元，依据同胞的动作与语义，对同胞互动中表现出的情绪做多模态序列建模，从而能够分段获取互动片段中的情绪。
步骤4中，对于一个互动片段，同胞间的双向效应值R由产生负面情绪的相邻轮次的效应值r累加计算得到；通过数据集数据对模型进行测试调参，得到判断负面情绪效应值的临界值参数a；当计算双向效应之R>a时，判定同胞间产生负面情绪；双向效应值R的计算公式如下：
Figure BDA0003947873100000071
其中，Ln表示预训练的LSTM模型识别的产生负面情绪的同胞互动轮次，r表示在该互动轮次与相邻互动轮次Ln-1中，年幼孩童Y和年长孩童O通过语义特征S和动作特征M的相互影响，计算得到的效应值(即同胞个体的行为效果与互动对象的行为效果)。
步骤4中，效应值r包括同胞个体的行为效果A与互动对象效果C；如图3所示，其中年长孩童对自己下一轮次情绪产生影响的行为效果描述为AO(年长孩童在第n+1轮次受自身第n轮次的影响)，年长孩童对年幼孩童下一轮次情绪产生影响的互动对象效果描述为CO(第n+1轮次的年幼孩童受第n轮次中年长孩童的影响)；年幼孩童对自己下一轮次情绪产生影响的行为效果描述为AY(年幼孩童在第n+1轮次受自身第n轮次的影响)，年幼孩童对年长孩童下一轮次情绪产生影响的互动对象效果描述为CY(第n+1轮次的年长孩童受第n轮次中年幼孩童的影响)，表示为：
Figure BDA0003947873100000072
在主客体互倚性理论支持下，融合对多个互动轮次，计算在语义特征S和动作特征M相互影响下的行为效果，计算年幼同胞Y和年长同胞O在相邻互动轮次之间的相互效应值r。此外，图3中的UY表示n+1轮次中年幼孩童情感未解释部分，UO表示n+1轮次中年长孩童情感未解释部分。
情感序列中描述年幼儿童特征序列的Y dn和描述年长儿童特征序列O dn的计算公式如下：
Figure BDA0003947873100000081
Figure BDA0003947873100000082
通过步骤4中的互动轮次中同胞间的双向效应评估方法，本发明以同胞互动轮次拆分为基础，提出同胞互动双向效应计算模型，根据同胞互动的情绪序列，计算相邻的互动轮次间同胞个体的行为效果与互动对象效果(即双向效应值)。
实施例3：
一种家庭同胞互动过程中负面情绪的监督系统，如图1所示，该系统由家用摄像头和手机端APP组成：家用摄像头用于实时收集同胞互动的视频；移动端APP用于提醒家长儿童互动中出现了负面情绪，以及呈现可能导致儿童负面情绪的相关互动视频。

Claims (9)

1.家庭同胞互动过程中负面情绪的监督系统，其特征在于，包括：依次通信连接的数据输入部分、数据处理部分和结果呈现部分；所述数据输入部分包括视频采集模块；所述数据处理部分包括同胞互动监督模块、负面情绪分析模块和数据集；所述结果呈现部分包括负面情绪提示模块和导致负面情绪的关键视频片段呈现模块。
2.根据权利要求1所述的家庭同胞互动过程中负面情绪的监督系统，其特征在于，所述数据集包括预收集同胞互动视频和系统在使用过程中收集的同胞互动视频，数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注。
3.根据权利要求2所述的家庭同胞互动过程中负面情绪的监督系统，其特征在于，所述数据集中的同胞互动视频源数据被分为音频与图像两个维度进行数据标注，包括：在音频部分，参考中文对话情绪语料数据集对收集到的音频数据进行标注，标注内容包括情感类别和情感强度；在图像部分，参考COIN数据集对收集到的图像中的人物互动，人人互动行为进行标注，标注内容包括场景、对象、动作和事件。
4.家庭同胞互动过程中负面情绪的监督方法，其特征在于，由权利要求1所述的家庭同胞互动过程中负面情绪的监督系统执行，包括：
步骤1、实时视频采集：通过摄像头对视频进行实时采集；
步骤2、同胞互动开始时间点识别：运用目标检测算法YOLO进行目标识别，并结合隐马尔科夫链模型HMM和混合高斯模型GMM进行语音检测，判断年幼孩童和年长孩童开始互动的行为，并将所述开始互动的行为的时间点记录为同胞互动片段的开始时间点；
步骤3、年长年幼孩童互动轮次拆分：由步骤2得出互动片段中同胞间发起互动的行为人与互动对象，将步骤2得出的同胞互动开始的时间点记为同胞在本互动片段中的第一个互动轮次开始的时间点；互动轮次发起行为人的初始行为和互动对象的行为构成了一个互动轮次，以此为互动轮次的拆分依据，并进行互动轮次拆分；如果互动对象没有表现出任何反应而是呈现无理答的状态，也记录为互动对象的行为；
步骤4、同胞间的双向效应值的计算：建立同胞互动双向效应计算模型，计算同胞互动过程中个体及互动对象的情绪效应值；
步骤5、负面情绪判断：根据所述情绪效应值判断同胞间是否出现了负面情绪；如果出现了负面情绪，进入步骤6.1；如果没有出现负面情绪，进入步骤6.2；
步骤6.1、对同胞间出现的负面情绪对家长进行提示，并进入步骤7.1；
步骤6.2、判断互动是否继续，如果互动继续进行，进入步骤3；如果互动没有持续则进入步骤7.2；
步骤7.1、记录同胞之间出现负面情绪的时间点，并可根据用户选择截取出现负面情绪的前后特定时长的视频用于向家长呈现负面情绪出现前后的同胞的互动，随后进入步骤6.2；
步骤7.2、判断视频是否继续进行拍摄，如果继续进行拍摄，进入步骤2，如果视频拍摄停止则分析结束。
5.根据权利要求4所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，步骤3中，通过拆分互动轮次做序列建模，得到同胞互动片段中的情绪序列，包括：
将年幼孩童Y与年长孩童O在各时间点t的互动过程中的情绪特征d输入LSTM网络，使用Softmax函数计算在互动过程中同胞负面情绪B产生的概率，对同胞互动间的情绪特征进行分类：
Figure FDA0003947873090000021
其中k表示神经网络的多个输出或类别数，v为输出向量，vj为v中第j个输出或类别的值，i表示当前需要计算的类别，e表示自然常数；在模型训练过程中通过交叉熵误差作为损失函数计算，Loss＝-∑kyklnak，其中y是真实的标签,a为Softmax函数的输出；最终的训练识别模型对轮次间的同胞行为作序列建模，得到单个互动片段Pn中的情绪序列(Ydn,Odn)。
6.根据权利要求5所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，所述情绪特征d由愉悦度、激活度和优势度3个维度构成：d＝Ftn(ΔEpleasure,ΔEarousal,ΔEdominance)，其中，Ftn为情绪个性运算符，表示同胞在各时间点t的由于情感个性差异产生的不同情绪表现，ΔEpleasure,ΔEarousal,ΔEdominance分别代表愉悦度、激活度和优势度的特征向量。
7.根据权利要求6所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，步骤4中，对于一个互动片段，同胞间的双向效应值R由产生负面情绪的相邻轮次的效应值r累加计算得到；通过数据集数据对模型进行测试调参，得到判断负面情绪效应值的临界值参数a；当计算双向效应之R>a时，判定同胞间产生负面情绪；双向效应值R的计算公式如下：
Figure FDA0003947873090000022
其中，Ln表示预训练的LSTM模型识别的产生负面情绪的同胞互动轮次，r表示在该互动轮次与相邻互动轮次Ln-1中，年幼孩童Y和年长孩童O通过语义特征S和动作特征M的相互影响，计算得到的效应值。
8.根据权利要求7所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，步骤4中，效应值r包括同胞个体的行为效果A与互动对象效果C；其中年长孩童对自己下一轮次情绪产生影响的行为效果描述为AO，年长孩童对年幼孩童下一轮次情绪产生影响的互动对象效果描述为CO；年幼孩童对自己下一轮次情绪产生影响的行为效果描述为AY，年幼孩童对年长孩童下一轮次情绪产生影响的互动对象效果描述为CY，表示为：
Figure FDA0003947873090000031
9.根据权利要求8所述的家庭同胞互动过程中负面情绪的监督方法，其特征在于，情感序列中描述年幼儿童特征序列的Ydn和描述年长儿童特征序列Odn的计算公式如下：
Figure FDA0003947873090000032
Figure FDA0003947873090000033
CN202211439223.9A 2022-11-17 2022-11-17 家庭同胞互动过程中负面情绪的监督系统及方法 Pending CN115905977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211439223.9A CN115905977A (zh) 2022-11-17 2022-11-17 家庭同胞互动过程中负面情绪的监督系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211439223.9A CN115905977A (zh) 2022-11-17 2022-11-17 家庭同胞互动过程中负面情绪的监督系统及方法

Publications (1)

Publication Number Publication Date
CN115905977A true CN115905977A (zh) 2023-04-04

Family

ID=86490975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211439223.9A Pending CN115905977A (zh) 2022-11-17 2022-11-17 家庭同胞互动过程中负面情绪的监督系统及方法

Country Status (1)

Country Link
CN (1) CN115905977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636219A (zh) * 2023-12-04 2024-03-01 浙江大学 一种家庭同胞互动过程中的协作状态分析方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636219A (zh) * 2023-12-04 2024-03-01 浙江大学 一种家庭同胞互动过程中的协作状态分析方法及其系统

Similar Documents

Publication Publication Date Title
Tao et al. End-to-end audiovisual speech recognition system with multitask learning
CN108399376B (zh) 学生课堂学习兴趣智能分析方法及系统
Fisher et al. Speaker association with signal-level audiovisual fusion
CN110148318B (zh) 一种数字助教系统、信息交互方法和信息处理方法
US9734730B2 (en) Multi-modal modeling of temporal interaction sequences
US20140212854A1 (en) Multi-modal modeling of temporal interaction sequences
Senthilkumar et al. Speech emotion recognition based on Bi-directional LSTM architecture and deep belief networks
Alshamsi et al. Automated facial expression and speech emotion recognition app development on smart phones using cloud computing
CN110991238A (zh) 一种基于语音情感分析和微表情识别的演讲辅助系统
CN112329438A (zh) 基于域对抗训练的自动谎言检测方法及系统
Kaddoura et al. Towards effective and efficient online exam systems using deep learning-based cheating detection approach
CN115905977A (zh) 家庭同胞互动过程中负面情绪的监督系统及方法
Rathi et al. Analysis of user’s learning styles and academic emotions through web usage mining
CN114242235A (zh) 一种基于多层级关键特征行为的孤独症患者画像方法
Jain et al. Student’s Feedback by emotion and speech recognition through Deep Learning
Siam et al. Automated student review system with computer vision and convolutional neural network
Naas et al. Real-time emotion recognition for sales
CN110598607B (zh) 非接触式与接触式协同的实时情绪智能监测系统
CN110956142A (zh) 一种智能交互培训系统
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
CN112948554B (zh) 基于强化学习和领域知识的实时多模态对话情感分析方法
Vayadande et al. LipReadNet: A Deep Learning Approach to Lip Reading
CN114492579A (zh) 情绪识别方法、摄像装置、情绪识别装置及存储装置
Barbadekar et al. Engagement index for classroom lecture using computer vision
Matsufuji et al. Adaptive personalized multiple machine learning architecture for estimating human emotional states

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination