CN114596619B - 基于视频流的情感分析方法、装置、设备及存储介质 - Google Patents

基于视频流的情感分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114596619B
CN114596619B CN202210499492.8A CN202210499492A CN114596619B CN 114596619 B CN114596619 B CN 114596619B CN 202210499492 A CN202210499492 A CN 202210499492A CN 114596619 B CN114596619 B CN 114596619B
Authority
CN
China
Prior art keywords
emotion
target
physiological
preset
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210499492.8A
Other languages
English (en)
Other versions
CN114596619A (zh
Inventor
王小清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yingtong Intelligent Technology Co ltd
Original Assignee
Shenzhen Yingtong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yingtong Intelligent Technology Co ltd filed Critical Shenzhen Yingtong Intelligent Technology Co ltd
Priority to CN202210499492.8A priority Critical patent/CN114596619B/zh
Publication of CN114596619A publication Critical patent/CN114596619A/zh
Application granted granted Critical
Publication of CN114596619B publication Critical patent/CN114596619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及人工智能领域，公开了一种基于视频流的情感分析方法、装置、设备及存储介质，用于提高情感分析的准确率。所述基于视频流的情感分析方法包括：获取待处理视频流，并对待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到标准视频帧；分别将标准视频帧输入生理数据检测模型进行生理指标检测，得到多个生理指标；对标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将多个生理指标和目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到目标用户对应的情感预测结果。

Description

基于视频流的情感分析方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于视频流的情感分析方法、装置、设备及存储介质。
背景技术
随着智能化技术发展，情感分析在安全驾驶、医疗保健特别是心理健康监测、社会保障等领域得到了广泛的应用。通过人工智能向用户进行情感信息方面的交流协助，在日常生活中替代了人与用户进行了交流，实现了情感交流信息处理。
现有方案是通过单模型对人的面部表情进行识别，然而单模型数据处理过程较为单一，因此可靠性无法保证，即现有方案的准确率低。
发明内容
本发明提供了一种基于视频流的情感分析方法、装置、设备及存储介质，用于提高情感分析的准确率。
本发明第一方面提供了一种基于视频流的情感分析方法，所述基于视频流的情感分析方法包括：获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。
可选的，在本发明第一方面的第一种实现方式中，所述获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧，包括：获取预置监控终端拍摄目标用户的待处理视频流；按照预设目标值对所述待处理视频流进行分帧，得到所述待处理视频流对应的多个原始视频帧；基于预置变化率函数对所述多个原始视频帧进行变化率计算，得到目标变化率；根据所述目标变化率对所述多个原始视频帧进行动态调整，得到多个初始视频帧。
可选的，在本发明第一方面的第二种实现方式中，所述分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧，包括：分别对每个初始视频帧进行去噪处理，得到多个去噪后的视频帧；调用预置的包含关系函数对多个初始视频帧进行计算，得到多个初始视频帧之间的包含关系；基于所述多个初始视频帧之间的包含关系对所述多个初始视频帧进行去重，得到多个标准视频帧。
可选的，在本发明第一方面的第三种实现方式中，所述分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标，包括：分别将所述标准视频帧输入预置生理数据检测模型；通过所述生理数据监测模型对每个标准视频帧进行肢体动作识别，得到所述用户的肢体数据；通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据；对所述肢体数据进行分类和比对，得到所述目标用户对应的多个生理指标。
可选的，在本发明第一方面的第四种实现方式中，所述对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布，包括：获取所述标准视频帧对应的时间戳，并提取所述时间戳中的时间信息；提取所述表情数据对应的时间节点；对所述时间信息和所述时间节点进行一一对应处理，得到目标情绪时序分布。
可选的，在本发明第一方面的第五种实现方式中，所述将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果，包括：将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集，其中所述情感分析模型集包括多个情感分析模型；分别通过所述多个情感分析模型对所述多个生理指标和所述目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；对每个情感分析模型对应的初始预测结果进行加权平均计算，得到所述目标用户对应的情感预测结果。
可选的，在本发明第一方面的第六种实现方式中，在所述将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果之后，所述基于视频流的情感分析方法还包括：获取目标用户的对话数据和心率数据；基于所述对话数据和所述心率数据生成目标满意度，所述目标满意度用于指示所述目标用户对所述情感预测结果的满意度；根据所述目标满意度对所述情感预测结果进行调整，得到调整后的情感预测结果。
本发明第二方面提供了一种基于视频流的情感分析装置，所述基于视频流的情感分析装置包括：获取模块，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；处理模块，用于分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；检测模块，用于分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；计算模块，用于对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；分析模块，用于将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：获取预置监控终端拍摄目标用户的待处理视频流；按照预设目标值对所述待处理视频流进行分帧，得到所述待处理视频流对应的多个原始视频帧；基于预置变化率函数对所述多个原始视频帧进行变化率计算，得到目标变化率；根据所述目标变化率对所述多个原始视频帧进行动态调整，得到多个初始视频帧。
可选的，在本发明第二方面的第二种实现方式中，所述处理模块具体用于：分别对每个初始视频帧进行去噪处理，得到多个去噪后的视频帧；调用预置的包含关系函数对多个初始视频帧进行计算，得到多个初始视频帧之间的包含关系；基于所述多个初始视频帧之间的包含关系对所述多个初始视频帧进行去重，得到多个标准视频帧。
可选的，在本发明第二方面的第三种实现方式中，所述检测模块具体用于：分别将所述标准视频帧输入预置生理数据检测模型；通过所述生理数据监测模型对每个标准视频帧进行肢体动作识别，得到所述用户的肢体数据；通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据；对所述肢体数据进行分类和比对，得到所述目标用户对应的多个生理指标。
可选的，在本发明第二方面的第四种实现方式中，所述计算模块具体用于：获取所述标准视频帧对应的时间戳，并提取所述时间戳中的时间信息；提取所述表情数据对应的时间节点；对所述时间信息和所述时间节点进行一一对应处理，得到目标情绪时序分布。
可选的，在本发明第二方面的第五种实现方式中，所述分析模块具体用于：将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集，其中所述情感分析模型集包括多个情感分析模型；分别通过所述多个情感分析模型对所述多个生理指标和所述目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；对每个情感分析模型对应的初始预测结果进行加权平均计算，得到所述目标用户对应的情感预测结果。
可选的，在本发明第二方面的第六种实现方式中，所述基于视频流的情感分析装置还包括：调整模块，用于获取目标用户的对话数据和心率数据；基于所述对话数据和所述心率数据生成目标满意度，所述目标满意度用于指示所述目标用户对所述情感预测结果的满意度；根据所述目标满意度对所述情感预测结果进行调整，得到调整后的情感预测结果。
本发明第三方面提供了一种基于视频流的情感分析设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于视频流的情感分析设备执行上述的基于视频流的情感分析方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于视频流的情感分析方法。
本发明提供的技术方案中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。本发明采用多个模型组成的模型集对用户的生理指标数据进行情感预测分析，提高了情感分析的准确率。
附图说明
图1为本发明实施例中基于视频流的情感分析方法的一个实施例示意图；
图2为本发明实施例中基于视频流的情感分析方法的另一个实施例示意图；
图3为本发明实施例中基于视频流的情感分析装置的一个实施例示意图；
图4为本发明实施例中基于视频流的情感分析装置的另一个实施例示意图；
图5为本发明实施例中基于视频流的情感分析设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于视频流的情感分析方法、装置、设备及存储介质，用于提高情感分析的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于视频流的情感分析方法的第一个实施例包括：
101、获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到多个初始视频帧；
可以理解的是，本发明的执行主体可以为基于视频流的情感分析装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器通过预置的监控系统读取预置的监控摄像头录制的视频流，得到带有目标用户的待处理视频流，服务器通过预置的视频解码算法将带有目标用户的待处理视频流分解为多个图片，得到多个视频帧，其中，视频解码算法可以为高效率视频编码算法(例如，HEVC/H.265)，此处不做具体的限定。
102、分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
具体的，服务器计算多个初始视频帧之间的包含关系，得到多个初始视频帧之间的包含关系，服务器根据多个初始视频帧之间的包含关系，对多个初始视频帧进行去重，得到多个标准视频帧。
需要说明的是，包含关系是指多个不重复初始视频帧之间是否被完整包含，若是被完整包含，则服务器进行替换，得到多个标准视频帧，若不被完整包含，则不对初始视频帧进行处理。
103、分别将标准视频帧输入预置生理数据检测模型进行生理指标检测，得到目标用户对应的多个生理指标；
需要说明的是，预置生理数据检测模型在每个标准视频帧中提取生理指标，生理指标包括表情数据和肢体数据，其中，表情数据是对目标用户的面部血流分布进行处理，其次，肢体数据根据每个标准视频帧中对目标用户进行肢体动作提取，服务器将提取出来的肢体动作与数据库中预先存储的肢体行为数据进行比对，并将比对结果反馈至监控终端，服务器最后对比对后的肢体动作进行数据存储，该生理数据监测模型最终输出目标用户对应的多个生理指标。
104、对标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
需要说明的是，标准视频帧是带有时间戳的视频图像，标准视频帧是由多个通道组成的时序数据。本发明中可以通过长短时记忆网络进行时间序列数据的计算，服务器通过长短时记忆网络学习目标用户情绪数据时间维度上的关系，提取与情绪相关的高维特征数据，得到目标情绪时序分布。
105、将多个生理指标和目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到目标用户对应的情感预测结果。
需要说明的是，预置的情感分析模型集中包括支持向量机模型（support vectormachines，SVM）、多模态情感识别模型和双向控制门循环模型，服务器通过分别通过支持向量机模型、多模态情感识别模型和双向控制门循环模型对生理指标和目标情绪时序分布进行情感分析，分别得到每个模型对应的初始预测结果，服务器再通过预先设置的模型权重对初始预测结果进行加权平均计算，等到情感预测结果，其中，情感预测结果包括目标用户的人格模型，人格模型包括大五人格模型、荣格人格模型、趋向-抑制决策模型、特殊人格特质、患病风险模型和进化人格理论模型。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将标准视频帧输入预置生理数据检测模型进行生理指标检测，得到目标用户对应的多个生理指标；对标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将多个生理指标和目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到目标用户对应的情感预测结果。本发明采用多个模型组成的模型集对用户的生理指标数据进行情感预测分析，提高了情感分析的准确率。
请参阅图2，本发明实施例中基于视频流的情感分析方法的第二个实施例包括：
201、获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到多个初始视频帧；
可选的，该步骤201具体包括：获取预置监控终端拍摄目标用户的待处理视频流；按照预设目标值对待处理视频流进行分帧，得到待处理视频流对应的多个原始视频帧；基于预置变化率函数对多个原始视频帧进行变化率计算，得到目标变化率；根据目标变化率对多个原始视频帧进行动态调整，得到多个初始视频帧。
需要说明的是，服务器计算目标变化率，目标变换率用u表示，首先服务器分别计算当前原始视频帧的图片条目m和上一原始视频帧的图片条目n，服务器计算图片条目m和图片条目n对应的余弦相似度，并将计算结果作为目标变换率u。服务器进行动态调整具体过程包括：当连续两个目标变化率u均大于0.9时，则服务器设置预设目标值为v为2v；当出现连续两个u<0.9，则服务器设置预设目标值v为v/2，若出现其他情况，服务器保持预设目标值v不变，服务器根据目标变化率对目标值进行动态调整，得到多个初始视频帧。
202、分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
可选的，该步骤202具体包括：分别对每个初始视频帧进行去噪处理，得到多个去噪后的视频帧；调用预置的包含关系函数对多个初始视频帧进行计算，得到多个初始视频帧之间的包含关系；基于多个初始视频帧之间的包含关系对多个初始视频帧进行去重，得到多个标准视频帧。
其中，预置的包含关系函数为：S=1–∣Am–An∣/max(∣Am∣,∣An∣)，其中，S为包含关系，Am是当前初始视频帧对应的条目，An是下一初始视频帧对应的条目，m表示第m帧，n表示第n帧。服务器计算（Am–An），当（Am–An）>0.85时，则确定n被m完整包含，服务器将最后一帧替换为m；当（Am–An）<0.85，则认为m被n完整包含，则不做任何处理；若出现其他情况，则服务器插入第m帧作为新帧，得到多个标准视频帧。
203、分别将标准视频帧输入预置生理数据检测模型进行生理指标检测，得到目标用户对应的多个生理指标；
可选的，该步骤203具体包括：分别将标准视频帧输入预置生理数据检测模型；通过生理数据监测模型对每个标准视频帧进行肢体动作识别，得到用户的肢体数据；通过生理数据监测模型对每个标准视频帧进行表情识别，得到用户的表情数据；对肢体数据进行分类和比对，得到目标用户对应的多个生理指标。
具体的，服务器通过生理数据监测模型对每个标准视频帧进行表情识别，得到用户的表情数据，表情数据的获取具体包括：服务器通过对标准视频帧中的人脸数据和ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；将每个标准视频帧进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；确定每个血流分布检测器的最佳脉搏波；将每个血流分布检测器的最佳脉搏波的频谱图与标准心率进行匹配，选取标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征血流分布检测器的血流分布强度的参数，得到面部血流分布；服务器将提取出来的肢体动作与数据库中预先存储的肢体行为数据进行比对，并将比对结果反馈至监控终端，服务器最后对比对后的肢体动作进行数据存储，该生理数据监测模型最终输出目标用户对应的多个生理指标。
进一步地，服务器获取目标用户的肢体动作，本发明实施例以获取目标用户的手部肢体动作为例，服务器首先通过分类得到的手部形状来一一对应确定的语义和控制命令，服务器分割过程包括了对得到的实时视频图像进行逐帧的手部分割，首先得到需要关注的区域，其次在对得到的区域进行细致分割，直到得到所需要的手指和手掌的形状；跟踪过程包括对手部的不断定位和跟踪，并估计下一帧手的位置；识别过程通过对之前的识别部分确定手势的意义，并做出相应的反应；将手势动作的识别得到的特征从而生成肢体行为数据。
204、对标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
可选的，该步骤204具体包括：获取标准视频帧对应的时间戳，并提取时间戳中的时间信息；提取表情数据对应的时间节点；对时间信息和时间节点进行一一对应处理，得到目标情绪时序分布。
其中，标准视频帧是带有时间戳的视频图像，标准视频帧是由多个通道组成的时序数据。本发明中可以通过长短时记忆网络进行时间序列数据的计算，通过长短时记忆网络提前时间戳中的时间信息，服务器提取表情数据对应的时间节点，也就是，当目标用户的面部血流分布发生变化时对应的时间节点，服务器将该时间信息和时间节点进行一一对应，生产目标情绪时序分布图，服务器通过长短时记忆网络学习目标用户情绪数据时间维度上的关系，提取与情绪相关的高维特征数据，得到目标情绪时序分布。
205、将多个生理指标和目标情绪时序分布输入预置的情感分析模型集，其中情感分析模型集包括多个情感分析模型；
具体的，服务器将多个生理指标和目标情绪时序分布输入预置的情感分析模型集，其中情感分析模型集包括多个情感分析模型，该情感分析模型集具体包括支持向量机模型（support vector machines，SVM）、多模态情感识别模型和双向控制门循环模型，支持向量机模型可以通过非线性变换将它转化为某个维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机，多模态情感识别模型通过语音情感、视觉情感、肢体情感、生理指标情感进行情感分析，双向控制门循环模型通过对生理指标数据进行编解码分析最终生成初始预测结果。进一步地，当服务器接收到每个情感分析模型反馈的初始预测结果时，服务器会首先判断该初始预测结果是否在正常范围内：如果在正常范围内，则服务器确定该初始预测结果可以用于生成情感预测结果；如果不在正常范围内，则服务器对该初始预测结果进行回收处理，不进行下一步的情感预测。具体的，服务器计算目标用户的初始预测结果与预设基准阈值的之间差值，然后判断该差值是否处于正常范围之内；服务器也可以计算该差值相对于基准阈值的百分比，然后通过对该百分数求平均值来判断该均值是否处于正常范围之内。
206、分别通过多个情感分析模型对多个生理指标和目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；
具体的，服务器分别通过多个情感分析模型对多个生理指标和目标情绪时序分布进行情感分析，进一步地，服务器通过支持向量机模型对多个生理指标和目标情绪时序分布进行情感分析，得到第一预测结果，服务器通过多模态情感识别模型对多个生理指标和目标情绪时序分布进行情感分析，得到第二预测结果，服务器通过双向控制门循环模型对多个生理指标和目标情绪时序分布进行情感分析，得到第三预测结果，需要说明的是，该第一预测结果、第二预测结果和第三预测结果对应于每个情感分析模型对应的初始预测结果。
207、对每个情感分析模型对应的初始预测结果进行加权平均计算，得到目标用户对应的情感预测结果。
具体的，服务器对上述步骤206中的第一预测结果、第二预测结果和第三预测结果进行加权平均计算，得到该目标用户对应的情感预测结果。需要说明的是，服务器预先对人格模型包括大五人格模型、荣格人格模型、趋向-抑制决策模型、特殊人格特质、患病风险模型和进化人格理论模型进行编号处理，大五人格模型为1、荣格人格模型为2、趋向-抑制决策模型为3、特殊人格特质为4、患病风险模型为5和进化人格理论模型为5，服务器将编码好的人格模型存储至预置的数据库，以供服务器根据该情感分析模型集输出的概率值进行目标人格模型的查询，服务器将数值查询对应的人格模型作为该情感分析模型集的情感预测结果。进一步地，加权平均计算是将所有传感器把各自的信息数据传输给服务器，服务器按预设规则将各传感器信息进行决策。
例如：当第一预测结果、第二预测结果和第三预测结果分别为2、4、2，支持向量机模型的权重为0.3、多模态情感识别模型0.5和双向控制门循环模型0.2时，对第一预测结果、第二预测结果和第三预测结果进行加权平均计算，得到该目标用户对应的情感预测结果为3，查询编号对应情感预测结果为该目标用户对应的人格模型为趋向-抑制决策模型。
可选的，在步骤207之后还包括：获取目标用户的对话数据和心率数据；基于对话数据和心率数据生成目标满意度，目标满意度用于指示目标用户对情感预测结果的满意度；根据目标满意度对情感预测结果进行调整，得到调整后的情感预测结果。
需要说明的是，服务器将情感预测结果反馈至目标用户，实时获取该目标用户对该情感预测结果产生的对话数据和心率数据，服务器根据对话数据和心率数据进行分析，生产该目标用户对该情感预测结果的满意度，得到目标满意度，目标满意度低于预设目标值表示目标用户认为自身情况和该情感预测结果不符合，服务器对情感预测结果和目标用户的自身情况进行调整，打的调整后的情感预测结果，目标满意度大于或等于预设目标值表示目标用户认为自身情况和该情感预测结果符合，则不需要对情感预测结果进行调整。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将标准视频帧输入预置生理数据检测模型进行生理指标检测，得到目标用户对应的多个生理指标；对标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将多个生理指标和目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到目标用户对应的情感预测结果。本发明采用多个模型组成的模型集对用户的生理指标数据进行情感预测分析，提高了情感分析的准确率。
上面对本发明实施例中基于视频流的情感分析方法进行了描述，下面对本发明实施例中基于视频流的情感分析装置进行描述，请参阅图3，本发明实施例中基于视频流的情感分析装置第一个实施例包括：
获取模块301，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；
处理模块302，用于分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
检测模块303，用于分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；
计算模块304，用于对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
分析模块305，用于将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。本发明采用多个模型组成的模型集对用户的生理指标数据进行情感预测分析，提高了情感分析的准确率。
请参阅图4，本发明实施例中基于视频流的情感分析装置第二个实施例包括：
获取模块301，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；
处理模块302，用于分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
检测模块303，用于分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；
计算模块304，用于对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
分析模块305，用于将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。
可选的，获取模块301具体用于：
获取预置监控终端拍摄目标用户的待处理视频流；按照预设目标值对所述待处理视频流进行分帧，得到所述待处理视频流对应的多个原始视频帧；基于预置变化率函数对所述多个原始视频帧进行变化率计算，得到目标变化率；根据所述目标变化率对所述多个原始视频帧进行动态调整，得到多个初始视频帧。
可选的，处理模块302具体用于：分别对每个初始视频帧进行去噪处理，得到多个去噪后的视频帧；调用预置的包含关系函数对多个初始视频帧进行计算，得到多个初始视频帧之间的包含关系；基于所述多个初始视频帧之间的包含关系对所述多个初始视频帧进行去重，得到多个标准视频帧。
可选的，检测模块303具体用于：
分别将所述标准视频帧输入预置生理数据检测模型；通过所述生理数据监测模型对每个标准视频帧进行肢体动作识别，得到所述用户的肢体数据；通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据；对所述肢体数据进行分类和比对，得到所述目标用户对应的多个生理指标。
可选的，计算模块304具体用于：
获取所述标准视频帧对应的时间戳，并提取所述时间戳中的时间信息；提取所述表情数据对应的时间节点；对所述时间信息和所述时间节点进行一一对应处理，得到目标情绪时序分布。
可选的，分析模块305具体用于：
将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集，其中所述情感分析模型集包括多个情感分析模型；分别通过所述多个情感分析模型对所述多个生理指标和所述目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；对每个情感分析模型对应的初始预测结果进行加权平均计算，得到所述目标用户对应的情感预测结果。
可选的，基于视频流的情感分析装置还包括：
调整模块306，用于获取目标用户的对话数据和心率数据；基于所述对话数据和所述心率数据生成目标满意度，所述目标满意度用于指示所述目标用户对所述情感预测结果的满意度；根据所述目标满意度对所述情感预测结果进行调整，得到调整后的情感预测结果。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标；对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果。本发明采用多个模型组成的模型集对用户的生理指标数据进行情感预测分析，提高了情感分析的准确率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于视频流的情感分析装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于视频流的情感分析设备进行详细描述。
图5是本发明实施例提供的一种基于视频流的情感分析设备的结构示意图，该基于视频流的情感分析设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于视频流的情感分析设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于视频流的情感分析设备500上执行存储介质530中的一系列指令操作。
基于视频流的情感分析设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于视频流的情感分析设备结构并不构成对基于视频流的情感分析设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于视频流的情感分析设备，所述基于视频流的情感分析设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于视频流的情感分析方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于视频流的情感分析方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于视频流的情感分析方法，其特征在于，所述基于视频流的情感分析方法包括：
获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；
分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标，其中，所述分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标，包括：分别将所述标准视频帧输入预置生理数据检测模型；通过所述生理数据监测模型对每个标准视频帧进行肢体动作识别，得到所述用户的肢体数据；通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据；对所述肢体数据进行分类和比对，得到所述目标用户对应的多个生理指标；所述通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据，包括：通过所述生理数据监测模型提取所述标准视频帧中的人脸数据，并计算所述人脸数据对应的标准心率；对所述标准视频帧进行等边长分割并将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；确定每个血流分布检测器的最佳脉搏波；将所述最佳脉搏波和标准心率进行匹配，并选取所述标准心率对应的血流分布检测器的最佳脉搏波作为表征血流分布检测器的血流分布强度的参数，得到面部血流分布；根据所述面部血流分布生成所述用户的表情数据；
对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果，其中，所述将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果，包括：将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集，其中所述情感分析模型集包括多个情感分析模型；分别通过所述多个情感分析模型对所述多个生理指标和所述目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；对每个情感分析模型对应的初始预测结果进行加权平均计算，得到所述目标用户对应的情感预测结果，所述预置的情感分析模型集包括：支持向量机模型、多模态情感识别模型和双向控制门循环模型。
2.根据权利要求1所述的基于视频流的情感分析方法，其特征在于，所述获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧，包括：
获取预置监控终端拍摄目标用户的待处理视频流；
按照预设目标值对所述待处理视频流进行分帧，得到所述待处理视频流对应的多个原始视频帧；
基于预置变化率函数对所述多个原始视频帧进行变化率计算，得到目标变化率；
根据所述目标变化率对所述多个原始视频帧进行动态调整，得到多个初始视频帧。
3.根据权利要求1所述的基于视频流的情感分析方法，其特征在于，所述分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧，包括：
分别对每个初始视频帧进行去噪处理，得到多个去噪后的视频帧；
调用预置的包含关系函数对多个初始视频帧进行计算，得到多个初始视频帧之间的包含关系；
基于所述多个初始视频帧之间的包含关系对所述多个初始视频帧进行去重，得到多个标准视频帧。
4.根据权利要求3所述的基于视频流的情感分析方法，其特征在于，所述对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布，包括：
获取所述标准视频帧对应的时间戳，并提取所述时间戳中的时间信息；
提取所述表情数据对应的时间节点；
对所述时间信息和所述时间节点进行一一对应处理，得到目标情绪时序分布。
5.根据权利要求1-4中任一项所述的基于视频流的情感分析方法，其特征在于，在所述将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果之后，所述基于视频流的情感分析方法还包括：
获取目标用户的对话数据和心率数据；
基于所述对话数据和所述心率数据生成目标满意度，所述目标满意度用于指示所述目标用户对所述情感预测结果的满意度；
根据所述目标满意度对所述情感预测结果进行调整，得到调整后的情感预测结果。
6.一种基于视频流的情感分析装置，其特征在于，所述基于视频流的情感分析装置包括：
获取模块，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到多个初始视频帧；
处理模块，用于分别对每个初始视频帧进行标准化处理，得到每个初始视频帧对应的标准视频帧；
检测模块，用于分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标，其中，所述分别将所述标准视频帧输入预置生理数据检测模型进行生理指标检测，得到所述目标用户对应的多个生理指标，包括：分别将所述标准视频帧输入预置生理数据检测模型；通过所述生理数据监测模型对每个标准视频帧进行肢体动作识别，得到所述用户的肢体数据；通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据；对所述肢体数据进行分类和比对，得到所述目标用户对应的多个生理指标；所述通过所述生理数据监测模型对每个标准视频帧进行表情识别，得到所述用户的表情数据，包括：通过所述生理数据监测模型提取所述标准视频帧中的人脸数据，并计算所述人脸数据对应的标准心率；对所述标准视频帧进行等边长分割并将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；确定每个血流分布检测器的最佳脉搏波；将所述最佳脉搏波和标准心率进行匹配，并选取所述标准心率对应的血流分布检测器的最佳脉搏波作为表征血流分布检测器的血流分布强度的参数，得到面部血流分布；根据所述面部血流分布生成所述用户的表情数据；
计算模块，用于对所述标准视频帧进行情绪时序分布计算，得到目标情绪时序分布；
分析模块，用于将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果，其中，所述将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集进行情感分析，得到所述目标用户对应的情感预测结果，包括：将所述多个生理指标和所述目标情绪时序分布输入预置的情感分析模型集，其中所述情感分析模型集包括多个情感分析模型；分别通过所述多个情感分析模型对所述多个生理指标和所述目标情绪时序分布进行情感分析，得到每个情感分析模型对应的初始预测结果；对每个情感分析模型对应的初始预测结果进行加权平均计算，得到所述目标用户对应的情感预测结果，所述预置的情感分析模型集包括：支持向量机模型、多模态情感识别模型和双向控制门循环模型。
7.一种基于视频流的情感分析设备，其特征在于，所述基于视频流的情感分析设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于视频流的情感分析设备执行如权利要求1-5中任一项所述的基于视频流的情感分析方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的基于视频流的情感分析方法。
CN202210499492.8A 2022-05-09 2022-05-09 基于视频流的情感分析方法、装置、设备及存储介质 Active CN114596619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499492.8A CN114596619B (zh) 2022-05-09 2022-05-09 基于视频流的情感分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499492.8A CN114596619B (zh) 2022-05-09 2022-05-09 基于视频流的情感分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114596619A CN114596619A (zh) 2022-06-07
CN114596619B true CN114596619B (zh) 2022-07-12

Family

ID=81821231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499492.8A Active CN114596619B (zh) 2022-05-09 2022-05-09 基于视频流的情感分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114596619B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239527B (zh) * 2022-06-27 2024-05-07 重庆市科学技术研究院 基于知识库的教学特征融合与建模的教学行为分析系统
CN115292528B (zh) * 2022-08-26 2023-05-23 青岛心法传媒科技有限公司 一种新媒体视频的智能化运营方法、设备及存储介质
CN115953724B (zh) * 2023-03-14 2023-06-16 深圳市银弹科技有限公司 一种用户数据分析以及管理方法、装置、设备及存储介质
CN117315745A (zh) * 2023-09-19 2023-12-29 中影年年(北京)文化传媒有限公司 基于机器学习的面部表情捕捉方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099304A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 共感反感箇所検出装置、共感反感箇所検出方法及びプログラム
EP3409205A1 (en) * 2017-05-30 2018-12-05 Koninklijke Philips N.V. Device, system and method for determining an emotional state of a user
CN112580612A (zh) * 2021-02-22 2021-03-30 中国科学院自动化研究所 一种生理信号预测方法
CN113626598A (zh) * 2021-08-11 2021-11-09 平安国际智慧城市科技股份有限公司 视频文本生成方法、装置、设备及存储介质
CN113827240A (zh) * 2021-09-22 2021-12-24 北京百度网讯科技有限公司 情绪分类方法和情绪分类模型的训练方法、装置及设备
CN114297384A (zh) * 2021-12-29 2022-04-08 完美世界(北京)软件科技发展有限公司 评论文本分析方法、模型训练方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791795B (zh) * 2014-12-24 2018-01-26 北京三星通信技术研究有限公司 立体图像处理方法、装置以及立体视频显示设备
US10335045B2 (en) * 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US20210015417A1 (en) * 2018-03-21 2021-01-21 Limbic Limited Emotion data training method and system
CN109009052A (zh) * 2018-07-02 2018-12-18 南京工程学院 基于视觉的嵌入式心率测量系统及其测量方法
US11282297B2 (en) * 2019-09-10 2022-03-22 Blue Planet Training, Inc. System and method for visual analysis of emotional coherence in videos
CN112102949A (zh) * 2020-08-31 2020-12-18 安徽大学 面部血流脉冲信号和面部器官运动特征提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099304A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 共感反感箇所検出装置、共感反感箇所検出方法及びプログラム
EP3409205A1 (en) * 2017-05-30 2018-12-05 Koninklijke Philips N.V. Device, system and method for determining an emotional state of a user
CN112580612A (zh) * 2021-02-22 2021-03-30 中国科学院自动化研究所 一种生理信号预测方法
CN113626598A (zh) * 2021-08-11 2021-11-09 平安国际智慧城市科技股份有限公司 视频文本生成方法、装置、设备及存储介质
CN113827240A (zh) * 2021-09-22 2021-12-24 北京百度网讯科技有限公司 情绪分类方法和情绪分类模型的训练方法、装置及设备
CN114297384A (zh) * 2021-12-29 2022-04-08 完美世界(北京)软件科技发展有限公司 评论文本分析方法、模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114596619A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN114596619B (zh) 基于视频流的情感分析方法、装置、设备及存储介质
CN110458101B (zh) 基于视频与设备结合的服刑人员体征监测方法及设备
Chakladar et al. A multimodal-Siamese Neural Network (mSNN) for person verification using signatures and EEG
Kong et al. A system of driving fatigue detection based on machine vision and its application on smart device
Sharif et al. An overview of biometrics methods
US20220280087A1 (en) Visual Perception-Based Emotion Recognition Method
CN113101125B (zh) 一种床垫调节方法、装置、电子设备及存储介质
CN106485232B (zh) 一种基于呼吸过程中鼻子图像特征的人员识别方法
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN115089179A (zh) 一种心理情绪洞察分析方法及系统
Ghadi et al. Improving the ambient intelligence living using deep learning classifier
Chiu et al. A micro-control capture images technology for the finger vein recognition based on adaptive image segmentation
Meena et al. Seq2Dense U-Net: Analysing Sequential Inertial Sensor data for Human Activity Recognition using Dense Segmentation Model
Bhattacharya et al. Edge-enhanced bi-dimensional empirical mode decomposition-based emotion recognition using fusion of feature set
Kwaśniewska et al. Real-time facial features detection from low resolution thermal images with deep classification models
Tivatansakul et al. Healthcare system focusing on emotional aspect using augmented reality: Emotion detection by facial expression
CN115116617A (zh) 状态识别模型训练方法、状态识别方法、装置及设备
Shdefat et al. Human activities recognition via smartphones using supervised machine learning classifiers
Vinola et al. Smile intensity recognition in real time videos: fuzzy system approach
Yang et al. Superimposed semantic communication for iot-based real-time ecg monitoring
CN114495292A (zh) 身份识别方法、装置、设备及可读存储介质
JPH0676058A (ja) 表情のコード化装置と情緒の判別装置
Smitha et al. Low complexity FPGA implementation of emotion detection for autistic children
Jenifa et al. Deep learning based voice assistance in hospitals using face recognition
Huang et al. Episode-level prediction of freezing of gait based on wearable inertial signals using a deep neural network model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant