CN113822184A - 一种基于表情识别的无感情绪异常检测方法 - Google Patents

一种基于表情识别的无感情绪异常检测方法 Download PDF

Info

Publication number
CN113822184A
CN113822184A CN202111052326.5A CN202111052326A CN113822184A CN 113822184 A CN113822184 A CN 113822184A CN 202111052326 A CN202111052326 A CN 202111052326A CN 113822184 A CN113822184 A CN 113822184A
Authority
CN
China
Prior art keywords
predicted
individual
emotional
model
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111052326.5A
Other languages
English (en)
Inventor
黄杰
饶轩横
孙晓
汪萌
吴枫
康宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202111052326.5A priority Critical patent/CN113822184A/zh
Publication of CN113822184A publication Critical patent/CN113822184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于表情识别的无感情绪异常检测方法，属于计算机软件技术领域，包括采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。本发明为每个个体建立不同的个体情绪异常等级预测模型，判断个体相对于自身在一个时期内的情绪异常情况，可根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗。

Description

一种基于表情识别的无感情绪异常检测方法
技术领域
本发明涉及计算机软件技术领域，特别涉及一种基于表情识别的无感情绪异常检测方法。
背景技术
情绪异常检测是监听个体的心理状态并做出针对性的跟踪和治疗的有效方式，目前已有采用基于深度神经网络的情绪异常检测方案被提出，但这种方式存在的缺陷在于：(1)利用情绪识别模型的全连接层输出特征作为人群情绪异常检测模型的输入，未做到异常等级的判定；(2)只做到了个体相较于群体是否异常的判定，并没有针对个体建立个体情绪常模用于判断个体当次检测基于自身的情绪常模是否稳定；(3)基于深度学习的异常检测框架不具有可解释性。
发明内容
本发明的目的在克服现有技术存在的缺陷，以检测出个体情绪相较于自身情绪的异常等级。
为实现以上目的，本发明采用一种基于表情识别的无感情绪异常检测方法，包括：
采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；
将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；
将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。
进一步地，所述采集待预测个体在某时间T段内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项，包括：
采集所述待预测个体在某时间段T内的面部图像帧数据；
采用N分类-表情识别模型对所述图像帧进行处理，得到每一图像帧对应的N维表情概率分布；
将所述待预测个体身份ID对应的全部表情概率分布按照每一表情维度求平均值，得到所述待预测个体身份ID对应的N维表情概率分布；
将所述待预测个体身份ID、时间段T以及对应的N维表情概率分布构建为所述待测数据项。
进一步地，所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少一个。
进一步地，还包括：
将所述待预测数据项作为预先构建的群体情绪异常等级预测模型的输入，预测所述待预测个体的群体情绪异常等级，所述群体情绪异常等级预测模型包括第二多维高斯模型。
进一步地，在所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少两个时，所述将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级，包括：
将所述待预测数据项分别作为所述第一多维高斯模型、孤立森林模型和PCA模型中的至少两个模型的输入，将各模型输出的情绪异常等级预测结果进行叠加，得到所述待预测个体的个体情绪异常等级。
进一步地，所述第一多维高斯模型对所述待预测数据项进行处理过程包括：
对于所述待预测数据项，通过以下公式计算得到概率密度函数值ρ(x)：
Figure BDA0003253207460000021
其中，x为待预测数据项，Σ1为协方差矩阵，μ为N维度均值，m为样本数量；
将所述概率密度函数值ρ(x)与阈值ε1进行比较，判断所述待预测个体的情绪异常等级u1；
所述孤立森林模型对所述待预测数据项进行处理的过程包括：
根据所述待预测数据项，综合所述孤立森林模型每棵树的计算结果，计算异常得分s1：
Figure BDA0003253207460000031
其中，x为所述待预测数据项，h(x)为x在每棵树的高度，c(n)为所述孤立森林模型构建时给定样本数n路径的平均长度值；
将异常得分s1与阈值ε2进行比较，判断所述待预测个体的情绪异常等级u2。
进一步地，利用所述PCA模型对所述待预测数据项进行处理的过程包括：
基于重构方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure BDA0003253207460000032
基于偏离方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure BDA0003253207460000033
根据所述待预测数据项的情绪异常等级
Figure BDA0003253207460000034
和所述待预测数据项的情绪异常等级
Figure BDA0003253207460000035
计算所述待预测个体的情绪异常等级u3。
进一步地，还包括：
对于已录入系统的样本对象，采集多个时间段内个体身份ID对应的面部图像帧；
对样本对象身份ID对应的面部图像帧进行情感分布预测，构建每个样本对象对应的训练数据项，并存入数据表；
根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型。
进一步地，所述根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型，包括：
将所述每一样本对象在数据表中的全部训练数据项进行数学变换，使其满足近似符合正态分布；
计算所有所述样本对象在数据表中的全部训练数据项的N维度均值μ以及协方差矩阵Σ1；
基于所述每一样本对象对应的N维度均值μ以及协方差矩阵Σ1，构建所述每一样本对象对应的第一多维高斯模型；
基于所有所述样本对象的N维度均值μ以及协方差矩阵Σ1，构建所述第二多维高斯模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型。
进一步地，所述根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型，包括：
对所述每一样本对象在数据表中的全部训练数据项进行预处理，作为所述孤立森林模型的训练数据；
从所述训练数据中随机选择v个点作为子样本，放入一颗孤立树的根节点，随机指定一个维度在其最大值与最小值之间产生一个切割点p；
切割点p将当前节点数据空间划分为两个子空间，当前维度下小于p的点放在当前节点的左分支，大于p的点放在当前节点的右分支；
在节点的左右分支节点递归进行2-3，直到无法再继续划分为止；
不断进行2-4，直到获得t个孤立树，在获得t个孤立树后，结束单棵树的训练，构建得到所述孤立森林模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型，包括：
对所述每一样本对象在数据表中的全部训练数据项进行预处理,并计算X的协方差矩阵Σ2：
求出协方差矩阵Σ2的特征值λ1,λ2,...,λN以及特征向量e1,e2,...,eN，按照特征值从大到小，将对应的特征向量从左到右进行排序，前k个特征向量形成矩阵Pk，后(N-k)个特征向量形成矩阵Pr，0≤k≤N；
计算所述每一样本对象在数据表中的全部训练数据项经过降维后的新数据集
Figure BDA0003253207460000051
Figure BDA0003253207460000052
为前k个特征向量形成矩阵Pk的转置矩阵。
与现有技术相比，本发明存在以下技术效果：本发明以表情识别模型为基础，为每个个体建立不同的个体情绪异常等级预测模型，用于判断个体相对于自身在一个时期内的情绪异常情况，可根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗，可有效预防因个体情绪异常而诸如暴力事件等情况的出现。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种基于表情识别的无感情绪异常检测方法的流程图；
图2是另一种基于表情识别的无感情绪异常检测方法的流程图；
图3一种基于表情识别的无感情绪异常检测方法的整体流程图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种基于表情识别的无感情绪异常检测方法，包括如下步骤S1至S2：
S1、采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；
S2、将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。
需要说明的是，本实施例针对个体建立个体情绪异常检测模型用于判断个体当次检测基于自身的情绪常模是否稳定，并根据得到的异常等级有效的监听个体的心理状态并做出针对性的跟踪和治疗。
作为进一步优选的技术方案，上述步骤S1：采集待预测个体在某时间T段内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项，包括如下细分步骤S11至S14：
S11、采集所述待预测个体在某时间段T内的面部图像帧数据；
S12、采用N分类-表情识别模型对所述图像帧进行处理，得到每一图像帧对应的N维表情概率分布；
需要说明的是，本实施例利用公共数据集对N分类-表情识别模型进行训练，利用训练好的N分类-表情识别模型对采集到的面部图像帧进行表情识别，得到每一帧的N维表情分布概率分布。
S13、将所述待预测个体身份ID对应的全部表情概率分布按照每一表情维度求平均值，得到所述待预测个体身份ID对应的N维表情概率分布；
S14、将所述待预测个体身份ID、时间段T以及对应的N维表情概率分布构建为所述待测数据项。
作为进一步优选的技术方案，所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少一个。
需要说明的是，多元高斯分布模型能够自动的捕获特征之间的相关性；孤立森林隔离数据点中的异常值，而不是分析正常的数据点，和其他正常的数据点相比，异常数据点的树路径更短，因此在孤立森林中的树不需要太大的深度，所以可以用更小的最大深度，从而降低内存需求。本实施例通过综合采用多种模型来识别对象的个体情绪异常等级，识别结果准确。
作为进一步优选的技术方案，如图3所示，在步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级之前，还包括：构建所述个体情绪异常等级预测模型，具体包括：
对于已录入系统的样本对象，采集多个时间段内个体身份ID对应的面部图像帧；
对样本对象身份ID对应的面部图像帧进行情感分布预测，构建每个样本对象对应的训练数据项，并存入数据表；
根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型。
需要说明的是，本实施例通过监控摄像头采集每个时间段已录入系统内的身份id个体的面部图片帧，并进行人脸关键点对齐以及人脸裁剪，并对每个时间段采集到的不同id个体的面部图片帧进行分组处理；利用在公共数据集上进行训练后的N分类表情识别模型对采集到的所有图片帧进行表情识别，得到每一帧的表情分布概率分布；将每个个体身份下对应的全部表情概率按照每一个表情维度求取均值，得到每个个体在对应时间段的一个N维表情概率分布；将个体id、相应的时间段以及该个体当前时间段的N维表情概率分布作为一个数据项，存入对应的数据表。根据每个个体在表中的全部数据项，构建第一多维高斯模型、孤立森林模型和PCA模型。
具体来说，个体情绪异常等级预测模型的构建过程包括：
(1)构建第一多维高斯模型：
将所述每一样本对象在数据表中的全部训练数据项进行数学变换，使其满足近似符合正态分布；
计算所有所述样本对象在数据表中的全部训练数据项的N维度均值μ以及协方差矩阵Σ1：
Figure BDA0003253207460000081
Figure BDA0003253207460000082
其中，
Figure BDA0003253207460000083
m表示样本数量；
基于所述每一样本对象对应的N维度均值μ以及协方差矩阵Σ1，构建所述每一样本对象对应的第一多维高斯模型为：
Figure BDA0003253207460000084
其中，x为待预测数据项，Σ1为协方差矩阵，μ为N维度均值。
需要说明的是，使用多维高斯分布模型对采集到的所有表情概率分布数据进行群体常模构建，基于整体的情绪分布划分每个情绪异常等级的阈值ε1，并且之后根据新数据动态调节阈值即阈值为动态判断，将所有样本计算的概率密度函数分布从左到右的方式按照从小到大进行排列，取在百分之1.5位置的概率密度函数为异常阈值ε1。
(2)构建孤立森林模型：
对所述每一样本对象在数据表中的全部训练数据项进行平均化和方差归一化等预处理操作，作为所述孤立森林模型的训练数据；
从所述训练数据中随机选择v个点作为子样本，放入一颗孤立树的根节点，随机指定一个维度在其最大值与最小值之间产生一个切割点p；
切割点p将当前节点数据空间划分为两个子空间，当前维度下小于p的点放在当前节点的左分支，大于p的点放在当前节点的右分支；
在节点的左右分支节点递归进行2-3，直到无法再继续划分为止；
不断进行2-4，直到获得t个孤立树，在获得t个孤立树后，结束单棵树的训练，构建得到所述孤立森林模型。
(3)构建PCA模型：
对所述每一样本对象在数据表中的全部训练数据项进行平均化和方差归一化等预处理操作；
将X去均值化、方差归一化，并计算X的协方差矩阵Σ2：
Figure BDA0003253207460000091
其中，m为用于构建PCA模型的样本数量，XΤ表示数据样本矩阵的转置矩阵，X表示数据样本矩阵；
求出协方差矩阵Σ2的特征值λ1,λ2,...,λN以及特征向量e1,e2,...,eN，按照特征值从大到小，将对应的特征向量从左到右进行排序，前k个特征向量形成矩阵Pk，后(N-k)个特征向量形成矩阵Pr，0≤k≤N；
需要说明的是，本实施例具体可采用N分类表情识别模型，N分类表情具体为愤怒，快乐，悲伤，厌恶，惊讶，平静和害怕。
计算所述每一样本对象在数据表中的全部训练数据项经过降维后的新数据集
Figure BDA0003253207460000092
Figure BDA0003253207460000093
为前k个特征向量形成矩阵Pk的转置矩阵。
作为进一步优选的技术方案，本实施例还包括：
根据个体ID，遍历每一个体的所有N维表情概率分布；
判断当前个体对应的N维表情概率分布数目是否符合建模要求；
若是，则进行模型构建；
若否，不进行该个体的模型构建。
作为进一步优选的技术方案，在所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少两个时，上述步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级，包括：
将所述待预测数据项分别作为所述第一多维高斯模型、孤立森林模型和PCA模型中的至少两个模型的输入，将各模型输出的情绪异常等级预测结果进行叠加，得到所述待预测个体的个体情绪异常等级。
比如，对于第一多维高斯分布异常检测模型，输出为该模型预测的异常等级u1(0或1)，0表示正常，1表示异常；对于孤立森林模型，输出为该模型预测的异常等u2(0或1)，0表示正常，1表示异常；对于PCA模型，输出为该模型预测的异常等级u3(0或1)，0表示正常，1表示异常；将所有模型判断的异常等级进行叠加，得到最后的异常等级。
需要说明的是，本实施例通过将多个有效的情绪异常检测模型的输出结果进行相加，最终确定个体的情绪异常等级，提高了个体情绪异常等级判断的准确性。
作为进一步优选的技术方案，所述第一多维高斯模型对所述待预测数据项进行处理过程包括：
对于所述待预测数据项，通过以下公式计算得到概率密度函数值ρ(x)：
Figure BDA0003253207460000101
其中，x为所述待预测数据项；
将所述概率密度函数值ρ(x)与阈值ε1进行比较，判断所述待预测个体的情绪异常等级u1；
所述孤立森林模型对所述待预测数据项进行处理的过程包括：
根据所述待预测数据项，综合所述孤立森林模型每棵树的计算结果，计算异常得分s1：
Figure BDA0003253207460000111
其中，x为所述待预测数据项，h(x)为x在每棵树的高度，c(n)为所述孤立森林模型构建时给定样本数n路径的平均长度值；
将异常得分s1与阈值ε2进行比较，判断所述待预测个体的情绪异常等级u2。
需要说明的是，将所有样本计算异常得分s1按照从小到大进行排列，取在百分之1.5位置的得分为异常阈值ε2。
作为进一步优选的技术方案，利用所述PCA模型对所述待预测数据项进行处理的过程包括：
当需要预测的新数据在残差子空间的投影长度很长，大于设置的阈值后则判断该数据为异常数据，即基于重构方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure BDA0003253207460000112
具体为：
基于所述待预测数据项，计算其残差子空间上的投影长度为||xr||，其中xr表示投影向量，
Figure BDA0003253207460000113
x表示待预测数据项；
将投影长度与设置的阈值ε3比较，判断所述待预测个体情绪异常等级
Figure BDA0003253207460000114
需要说明的是，将所有样本计算的投影长度按照从小到大进行排列，取在百分之1.5位置的得分为异常阈值ε3。
因PCA提取了数据的主要特征成分，当待测数据项无法被重构，则说明这个数据主要特征与大部分数据不一致，就是异常数据，即基于偏离方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure BDA0003253207460000115
具体为：
基于所述待预测数据，利用如下公式计算其异常得分s2：
Figure BDA0003253207460000121
其中，X'＝(Pk·YΤ)Τ，x表示待测数据项，λi和λj表示协方差矩阵Σ2的特征值，.表示矩阵点乘，T表示转置符号；
将异常得分s2与设置的阈值ε4比较，判断所述待预测个体情绪异常等级
Figure BDA0003253207460000122
将所述待预测数据项的情绪异常等级
Figure BDA0003253207460000123
和所述待预测数据项的情绪异常等级
Figure BDA0003253207460000124
叠加，得到所述待预测个体的情绪异常等级u3。
需要说明的是，将所有样本计算异常得分s2按照从小到大进行排列，取在百分之1.5位置的得分为异常阈值ε4。
作为进一步优选的技术方案，如图3所示，在上述步骤S2：将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级之后，还包括步骤S3：
S3、将所述待预测数据项作为预先构建的群体情绪异常等级预测模型的输入，预测所述待预测个体的群体情绪异常等级，所述群体情绪异常等级预测模型包括第二多维高斯模型。
具体为：将数据项送入已构建的群体多维高斯模型，通过群体多维高斯模型的概率密度函数值进行异常等级划分，得到该个体的群体情绪异常等级
需要说明的是，本实施例为每个个体建立不同的模型用于判断个体相对于自身在一个时期内的情绪异常情况；同时利用群体中所有数据建立群体情绪异常等级预测模型用于判断个体相对于群体情绪在一个时期内的情绪异常情况，并且可以根据出现异常的等级和次数给予监控着对应的心理干预方案，可有效预防因个体情绪异常而诸如暴力事件等情况的出现。
作为进一步优选的技术方案，群体情绪异常等级预测模型的构建过程具体为：
基于所有所述样本对象的N维度均值μ以及协方差矩阵Σ1，构建所述第二多维高斯模型。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于表情识别的无感情绪异常检测方法，其特征在于，包括：
采集待预测个体在某时间段T内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项；
将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级。
2.如权利要求1所述的基于表情识别的无感情绪异常检测方法，其特征在于，所述采集待预测个体在某时间T段内的面部图像帧数据，并进行图像帧的情感分布预测，构建待预测数据项，包括：
采集所述待预测个体在某时间段T内的面部图像帧数据；
采用N分类-表情识别模型对所述图像帧进行处理，得到每一图像帧对应的N维表情概率分布；
将所述待预测个体身份ID对应的全部表情概率分布按照每一表情维度求平均值，得到所述待预测个体身份ID对应的N维表情概率分布；
将所述待预测个体身份ID、时间段T以及对应的N维表情概率分布构建为所述待测数据项。
3.如权利要求1所述的基于表情识别的无感情绪异常检测方法，其特征在于，所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少一个。
4.如权利要求1所述的基于表情识别的无感情绪异常检测方法，其特征在于，还包括：
将所述待预测数据项作为预先构建的群体情绪异常等级预测模型的输入，预测所述待预测个体的群体情绪异常等级，所述群体情绪异常等级预测模型包括第二多维高斯模型。
5.如权利要求3所述的基于表情识别的无感情绪异常检测方法，其特征在于，在所述个体情绪异常等级预测模型包括第一多维高斯模型、孤立森林模型和PCA模型中的至少两个时，所述将待预测数据项作为预先构建的个体情绪异常等级预测模型的输入，预测所述待预测个体的个体情绪异常等级，包括：
将所述待预测数据项分别作为所述第一多维高斯模型、孤立森林模型和PCA模型中的至少两个模型的输入，将各模型输出的情绪异常等级预测结果进行叠加，得到所述待预测个体的个体情绪异常等级。
6.如权利要求3所述的基于表情识别的无感情绪异常检测方法，其特征在于，所述第一多维高斯模型对所述待预测数据项进行处理过程包括：
对于所述待预测数据项，通过以下公式计算得到概率密度函数值ρ(x)：
Figure FDA0003253207450000021
其中，x为待预测数据项，Σ1为协方差矩阵，μ为N维度均值，m为样本数量；
将所述概率密度函数值ρ(x)与阈值ε1进行比较，判断所述待预测个体的情绪异常等级u1；
所述孤立森林模型对所述待预测数据项进行处理的过程包括：
根据所述待预测数据项，综合所述孤立森林模型每棵树的计算结果，计算异常得分s1：
Figure FDA0003253207450000022
其中，x为所述待预测数据项，h(x)为x在每棵树的高度，c(n)为所述孤立森林模型构建时给定样本数n路径的平均长度值；
将异常得分s1与阈值ε2进行比较，判断所述待预测个体的情绪异常等级u2。
7.如权利要求3所述的基于表情识别的无感情绪异常检测方法，其特征在于，利用所述PCA模型对所述待预测数据项进行处理的过程包括：
基于重构方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure FDA0003253207450000031
基于偏离方式的所述PCA模型对所述待预测数据项进行处理，判断所述待预测数据项的情绪异常等级
Figure FDA0003253207450000032
根据所述待预测数据项的情绪异常等级
Figure FDA0003253207450000033
和所述待预测数据项的情绪异常等级
Figure FDA0003253207450000034
计算所述待预测个体的情绪异常等级u3。
8.如权利要求4所述的基于表情识别的无感情绪异常检测方法，其特征在于，还包括：
对于已录入系统的样本对象，采集多个时间段内个体身份ID对应的面部图像帧；
对样本对象身份ID对应的面部图像帧进行情感分布预测，构建每个样本对象对应的训练数据项，并存入数据表；
根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型。
9.如权利要求8所述的基于表情识别的无感情绪异常检测方法，其特征在于，所述根据每一样本对象在数据表中的全部训练数据项，构建所述个体情绪异常等级预测模型和所述群体情绪异常等级预测模型，包括：
将所述每一样本对象在数据表中的全部训练数据项进行数学变换，使其满足近似符合正态分布；
计算所有所述样本对象在数据表中的全部训练数据项的N维度均值μ以及协方差矩阵Σ1；
基于所述每一样本对象对应的N维度均值μ以及协方差矩阵Σ1，构建所述每一样本对象对应的第一多维高斯模型；
基于所有所述样本对象的N维度均值μ以及协方差矩阵Σ1，构建所述第二多维高斯模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型。
10.如权利要求9所述的基于表情识别的无感情绪异常检测方法，其特征在于，所述根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的孤立森林模型，包括：
对所述每一样本对象在数据表中的全部训练数据项进行预处理，作为所述孤立森林模型的训练数据；
从所述训练数据中随机选择v个点作为子样本，放入一颗孤立树的根节点，随机指定一个维度在其最大值与最小值之间产生一个切割点p；
切割点p将当前节点数据空间划分为两个子空间，当前维度下小于p的点放在当前节点的左分支，大于p的点放在当前节点的右分支；
在节点的左右分支节点递归进行2-3，直到无法再继续划分为止；
不断进行2-4，直到获得t个孤立树，在获得t个孤立树后，结束单棵树的训练，构建得到所述孤立森林模型；
根据所述每一样本对象在数据表中的全部训练数据项，构建所述每一样本对象对应的PCA模型，包括：
对所述每一样本对象在数据表中的全部训练数据项进行预处理，并计算X的协方差矩阵Σ2：
求出协方差矩阵Σ2的特征值λ1,λ2,...,λN以及特征向量e1,e2,...,eN，按照特征值从大到小，将对应的特征向量从左到右进行排序，前k个特征向量形成矩阵Pk，后(N-k)个特征向量形成矩阵Pr，0≤k≤N；
计算所述每一样本对象在数据表中的全部训练数据项经过降维后的新数据集
Figure FDA0003253207450000051
Figure FDA0003253207450000052
为前k个特征向量矩阵Pk的转置矩阵。
CN202111052326.5A 2021-09-08 2021-09-08 一种基于表情识别的无感情绪异常检测方法 Pending CN113822184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111052326.5A CN113822184A (zh) 2021-09-08 2021-09-08 一种基于表情识别的无感情绪异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111052326.5A CN113822184A (zh) 2021-09-08 2021-09-08 一种基于表情识别的无感情绪异常检测方法

Publications (1)

Publication Number Publication Date
CN113822184A true CN113822184A (zh) 2021-12-21

Family

ID=78914245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111052326.5A Pending CN113822184A (zh) 2021-09-08 2021-09-08 一种基于表情识别的无感情绪异常检测方法

Country Status (1)

Country Link
CN (1) CN113822184A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN108256016A (zh) * 2018-01-08 2018-07-06 合肥工业大学 基于个人微博的个人异常情绪检测方法及装置
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN110393539A (zh) * 2019-06-21 2019-11-01 合肥工业大学 心理异常检测方法、装置、存储介质及电子设备
CN110464367A (zh) * 2019-08-06 2019-11-19 合肥工业大学 基于多通道协同的心理异常检测方法和系统
CN112699785A (zh) * 2020-12-29 2021-04-23 中国民用航空飞行学院 基于维度情感模型的群体情感识别与异常情感检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN108256016A (zh) * 2018-01-08 2018-07-06 合肥工业大学 基于个人微博的个人异常情绪检测方法及装置
CN110393539A (zh) * 2019-06-21 2019-11-01 合肥工业大学 心理异常检测方法、装置、存储介质及电子设备
CN110464367A (zh) * 2019-08-06 2019-11-19 合肥工业大学 基于多通道协同的心理异常检测方法和系统
CN112699785A (zh) * 2020-12-29 2021-04-23 中国民用航空飞行学院 基于维度情感模型的群体情感识别与异常情感检测方法

Similar Documents

Publication Publication Date Title
US11768866B2 (en) Dark web content analysis and identification
EP3594860A1 (en) Sparse neural network based anomaly detection in multi-dimensional time series
CN109271958B (zh) 人脸年龄识别方法及装置
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
CN105354198B (zh) 一种数据处理方法及装置
CN112527604A (zh) 一种基于深度学习的运维检测方法、系统、电子设备及介质
US20230385699A1 (en) Data boundary deriving system and method
US20190087248A1 (en) Anomaly detection and automated analysis using weighted directed graphs
CN106778714B (zh) 基于非线性特征和模型合并的lda人脸识别方法
CN109558298B (zh) 基于深度学习模型的告警执行频率优化方法及相关设备
CN112580555B (zh) 一种自发微表情识别方法
CN116662817B (zh) 物联网设备的资产识别方法及系统
CN113221282A (zh) 基于贝叶斯残差卷积网络的航空发动机寿命预测方法
CN111612491B (zh) 状态分析模型构建方法、分析方法及装置
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN117992953A (zh) 基于操作行为跟踪的异常用户行为识别方法
CN104537383A (zh) 一种基于粒子群的海量组织机构数据分类方法及系统
CN117095247B (zh) 基于数控加工的加工姿态运行优化方法、系统及介质
Lee Generating Additive Clustering Models with Minimal Stochastic Complexity.
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
Hasanbelliu et al. Online learning using a Bayesian surprise metric
CN113822184A (zh) 一种基于表情识别的无感情绪异常检测方法
CN110941542A (zh) 基于弹性网络的序列集成高维数据异常检测系统及方法
CN116226693A (zh) 基于密度峰值聚类的高斯混合模型核电运行工况划分方法
CN115510248A (zh) 基于深度学习的人员行为特征知识图谱构建与分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination