CN110298301B - 一种组织人员心态预测方法 - Google Patents

一种组织人员心态预测方法 Download PDF

Info

Publication number
CN110298301B
CN110298301B CN201910565673.4A CN201910565673A CN110298301B CN 110298301 B CN110298301 B CN 110298301B CN 201910565673 A CN201910565673 A CN 201910565673A CN 110298301 B CN110298301 B CN 110298301B
Authority
CN
China
Prior art keywords
data
expression
facial
mental state
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910565673.4A
Other languages
English (en)
Other versions
CN110298301A (zh
Inventor
李斌
倪春
王择青
张寒
孙渊远
胡军
陈莉
苗泉竹
钦林文
韦瑜华
赵敏
盛文斌
周洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Brightease Technology Co ltd
State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Beijing Brightease Technology Co ltd
State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Brightease Technology Co ltd, State Grid Jiangsu Electric Power Co Ltd filed Critical Beijing Brightease Technology Co ltd
Publication of CN110298301A publication Critical patent/CN110298301A/zh
Application granted granted Critical
Publication of CN110298301B publication Critical patent/CN110298301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种组织人员心态预测方法，包括获取组织员工的在一个时间周期内的组合数据，将组合数据进行预处理形成待识别的组合数据特征，将组合数据特征送入一个预先建立的心态预测神经网络模型，心态预测神经网络模型分析输出心态预测数据，心态预测数据经一个心态预测识别库输出对应心态预测数据的心态值；本发明摆脱了以往仅通过实地走访、问卷答题质性评估心态的形式，实现了对心态预测的量化且可大规模应用。提升了表情识别在自然状态下的精度，实现在自然状态下常见表情识别精度平均达到65%以上，进而实现在工作场景中自然状态下的大规模应用，以更为客观、非侵入式的方式采集情绪数据，保证了心态数据的真实性和易操作性。

Description

一种组织人员心态预测方法
技术领域
本发明涉及一种组织人员心态预测方法。
背景技术
在以往的研究中没有对工作心态进行量化的测评与分析技术，对个体工作心态的测量目前仍是世界性的难题。而个体工作心态的测量是群体工作心态测量的基础，对群体工作心态的测量更是处于无人探索的空白区域。现有关于心态的分析研究较多的是对社会心态的研究，且多为质性研究，停留在对社会心态的概念分析、功能研究等方面。而对于工作心态的研究，多停留在各个群体对应具备什么样的工作心态的探讨层面。而具体到每个个体或群体的心态分析，则更多地是采用思想动态分析，通过深入群众、实地走访、问卷调查等方式了解员工队伍的心理动态，不但调研间隔时间长，而且被调研员工多心存顾忌而敷衍应付、被动作答，致使定性分析多于定量分析。总之，对于心态的研究，多停留在质性研究阶段，都缺乏将心态具体化、量化的工作。
发明内容
本发明的目的在于提出一种组织人员心态预测方法，通过本方法实现了对心态预测的量化。
为了实现上述目的，本发明的技术方案是：
一种组织人员心态预测方法，包括获取组织员工的在一个时间周期内的
组合数据，将组合数据进行预处理形成待识别的组合数据特征，将组合数据特征送入一个预先建立的心态预测神经网络模型，心态预测神经网络模型分析输出心态预测数据，心态预测数据经一个心态预测识别库输出对应心态预测数据的心态值；其中，所述组合数据是心理特征点数据和面目情绪数据；
所述心理特征点数据：是通过心理学量表方式采集的数字表现数据，心理学量表将心理问题用数字区分不同表现类别及等级，通过对类别及等级的选择形成由多个数字组组成的心理特征点数据；
所述面目情绪数据：是通过情绪测量方法获取员工的表情状态，然后将表情状态转为数字表现形成面目情绪数据；
所述将组合数据进行预处理形成待识别的组合数据特征：是将组合数据中的心理特征点数据和面目情绪数据转化为统一格式数据，形成组合数据特征；
所述心态预测神经网络模型的预先建立包括：
第一步：按照分层抽样划分组织人员总数中一部分员工作为建模员工样本，
获取建模员工在建模时间周期内的每位员工的所述组合数据和心态评判数据，将组合数据进行所述预处理形成所述组合数据特征，所述心态评判数据是通过问卷表格的方式采集的对所述建模时间周期内每位员工表现进行评判的数据，再将心态评判数据进行所述预处理转化对应所述组合数据特征的比对数值表；
第二步：将每一位员工的组合数据特征输入神经网络学习得到每一位员工的心态预测值输出，将每一位员工的心态预测值输出与比对数值表中对应员工的评判心态值进行对比，得到每位员工的心态值对比误差，并得到建模员工心态值对比误差平均值；
第三步：使用对比误差平均值对神经网络进行反向传播调节网络权值，判断心态值对比误差平均值是否是最小值拐点值，如果不是，返回第二步；如果是，将此时的心态预测值输出所对应的比对数值作为被识别的心态值输入并形成所述心态预测识别库，完成预测神经网络模型的建立。
方案进一步是：所述预处理包括：对数据进行归一化处理形成0至1的统一数据格式。
方案进一步是：所述预处理进一步包括：在归一化处理形成0至1的数据格式后再进行降噪处理去掉冗余信息数据。
方案进一步是：所述心理特征点数据有317组、所述面目情绪数据有7组、所述心态评判数据有5组；经预处理形成的组合数据特征中：所述心理特征点数据是有0至1的7组数据、所述面目情绪数据是0至1的5组数据、所述心态评判数据是0至1的5组数据，建模员工0至1的5组数据形成了对应所述组合数据特征的比对数值表。
方案进一步是：当心态预测值输出以及比对数值为多组数据时，所述心态预测识别库中的心态值是通过V＝f(X)关系式将多组数据转化为一组数据形成的心态值，其中：V代表对应心态预测数据的心态值，X代表多组数据。
方案进一步是：所述情绪测量方法是：通过建立组织人员面部表情类别识别模型实现在所述时间周期内对组织人员表情状态的识别并将表情数据转换为情绪数据；包括：使用人脸识别建立组织人员档案数据包以及对组织人员面部表情类别的分类并完成表情数据到情绪数据的转换；
所述建立组织人员面部表情类别识别模型的步骤包括：
步骤一：通过在组织人员工作区域设置图像采集装置实时采集组织中每一个人的个人面部图像，获取个人面部识别过程中的人脸图像；
步骤二：按照所述面部表情类别的分类，人工划分人脸图像表情代表的所述表情类别；
步骤三：获取划分好类别的人脸图像的热力图像数据特征；
步骤四：使用卷积神经网络对热力图像数据特征学习形成个人表情类别识别模型；
所述实现在所述时间周期内对组织人员表情状态的识别并完成表情到情绪数据转换的步骤包括：
第一步：在所述时间周期内实时采集经过图像采集装置的人脸图像，对人脸图像进行人脸识别，确定人脸图像对应的个人档案数据包；
第二步：将被识别人脸图像转换为人脸热力图像形成热力图像数据特征；
第三步：将被识别人脸图像的像热力图像数据特征输入个人表情类别识别模型，个人表情类别识别模型对输入的热力图像数据特征进行面部表情类别分类，并将分类的结果存入对应的个人档案数据包；
第四步：查询所述时间周期内个人档案数据包，累计计算个人档案数据包中所述时间周期内各种表情类别出现的频率，记录各种表情类别出现的频率形成所述情绪数据，完成表情数据到情绪数据的转换。
方案进一步是：所述人面部表情类别分为7类，分别是：平静、愤怒、开心、惊讶、厌恶、生气、悲伤。
方案进一步是：所述将被识别人脸图像转换为人脸热力图像形成热力图像数据特征是：读取被识别人脸图像；确定人脸识别过程中的特征识别点；获取围绕特征识别点的边缘点形成人脸图像的热力图像数据特征。
方案进一步是：所述人工划分人脸图像表情代表的所述表情类别是：组织经过训练的至少5个人，将人脸图像分发至所述5个人，5个人背靠背按照人面部表情类别确定人脸图像的表情所代表的类别，当5个人中所确定的类别相同不少于三人时，则认为该表情属于该类别。
方案进一步是：所述方法进一步包括：在所述时间周期内对组织人员表情状态的识别步骤中，如果当组织人员面部表情类别识别模型不能对输入的热力图像数据特征进行面部表情类别分类时，则将被识别人脸图像送至建立组织人员面部表情类别识别模型步骤中的步骤二，并依次执行接下来的步骤三、步骤四，进一步完善组织人员面部表情类别识别模型。
本发明的有益效果是：本发明提升了表情识别在自然状态下的精度，实现在自然状态下常见表情识别精度平均达到65％以上，进而实现在工作场景中自然状态下的大规模应用，以更为客观、非侵入式的方式采集情绪数据，保证了心态数据的真实性和易操作性。摆脱了以往仅通过实地走访、问卷答题质性评估心态的形式，实现了对心态预测的量化且大规模应用。
具体实施方式
一种组织人员心态预测方法，本方法将采集的数据自动汇总，通过计算出量化的心态值，最终形成工作心态智能感知系统，通过系统可以实现员工工作心态的实时、持续、智能检测，从而实现工作心态的研究的落地与应用。包括获取组织员工的在一个时间周期内的组合数据，将组合数据进行预处理形成待识别的组合数据特征，将组合数据特征送入一个预先建立的心态预测神经网络模型，心态预测神经网络模型分析输出心态预测数据，心态预测数据经一个心态预测识别库输出对应心态预测数据的心态值；其中，所述组合数据是心理特征点数据和面目情绪数据；
所述心理特征点数据：是通过心理学量表方式采集的数字表现数据，心理学量表将心理问题用数字区分不同表现类别及等级，通过对类别及等级的选择形成由多个数字组组成的心理特征点数据；例如：将心理问题分为317个题目，部分题目1-5计分，部分题目1-2计分，员工根据每个题目不同分数的描述选取一个适合自己的分数，这样每个人都得到317条数据，即所有员工中每个人都有317条的心理特点数据；如：题目1，当事情出错时，我常觉得沮丧，想要放弃。请选择：1分-非常不同意；2分-不同意；3分-无意见；4分-同意；5分-非常同意。
所述面目情绪数据：是通过情绪测量方法获取员工的表情状态，然后将表情状态转为数字表现形成面目情绪数据；情绪测量方法在后面具体介绍。
所述将组合数据进行预处理形成待识别的组合数据特征：是将组合数据中的心理特征点数据和面目情绪数据转化为统一格式数据，形成组合数据特征；
所述预处理包括：对数据进行归一化处理形成0至1的统一数据格式。还以上述将心理问题分为317个题目为例，心理特点数据收集到的原始数据为1-5之间(1-153题和216-317题)，和1-2之间(154-215题)的数据，将所有心理数据归一化都转换成0-1之间的一个数值。归一化的公式如下：
xi＝(ti-ti min)(1-0)/(ti max-ti min),i＝1,2,3,4,5......317
xi为向量第i维的值，ti为量表第i项的值，ti min为采集到的所有量表第i项的最小值，ti max为采集到的所有量表第i项的最大值。
1-153维和216-317维的数据的取值范围都是1-5，即最小值都是1，最大值都是5，所以转换的公式都是xi＝(ti-1)(1-0)/(5-1)
216-317维的数据取值范围都是1-2，即最小值都是1，最大值都是2，所以转换公式都是xi＝(ti-1)(1-0)/(2-1)
如，某个员工在题目1(第1维)上的值为5，套入公式进行归一化，归一化后该员工在心理数据第1维上的值为1.
x1＝(5-1)(1-0)/(5-1)＝1
另一员工在题目216(第216维)上的值为1，套入公式进行归一化，归一化后另一员工在心理数据第216维上的值为0.
x216＝(1-1)(1-0)/(2-1)＝0
依次，将所有员工317维心理数据都完成归一化。
所述预处理进一步还包括：在归一化处理形成0至1的数据格式后再进行降噪处理去掉冗余信息数据。降噪处理是通过自动编码网络来实现，自动编码网络主要有两个过程：压缩和解压。通过学习去掉冗余信息，提取出可以代表源数据的主要成分，这些主要的特征可以经过解码还原为原始信息，提取主要的成分更有利于后面我们心态的预测，以防不必要信息的影响。
自编码降维是编码再解码的过程：
Figure BDA0002109511170000061
网络预先设定参数(W1,B1,W2,B2)，以上述317维(组)心理数据为例，编码时将317维的心理特点数据I输入自编码网络，计算如下：
编码＝将心理数据I输入*权重值W1+偏置B1
编码后进行解码还原数据信息，计算如下：
解码＝编码*W2+偏置B2
通过解码得到自编码网络的预测值，预测值与其原样本进行平方差计算得到误差值
Figure BDA0002109511170000062
从而优化模型参数(W1,B1,W2,B2)：
Figure BDA0002109511170000071
反复重复以上过程，当模型参数达到最优时，最终的自动编码网络形成。最优的自动编码网络为输入317维心理特点数据输出7维心理特点数据。
将所有员工的317维的心理特点数据输入，输出所有员工的7维的心理数据。
对于表情状态，将面目情绪数据分为7种，分别是：平静、愤怒、开心、惊讶、厌恶、生气、悲伤。将七种具体的情绪转换为数据的形式，形成7种情绪每种在该时间段内出现的频次。
如某员工在一个星期中被系统采集到100个表情，其中93个是平静、3个开心、1个愤怒，1个惊讶，0个厌恶，2个悲伤，0个恐惧。计算出该员工每种情绪出现的频率，平静的频率0.93，开心的频率0.03，愤怒的频率0.01，惊讶的频率0.01，厌恶的频率0，悲伤的频率0.02，恐惧的频率0。即为该员工在这个星期中的情绪数据。以此类推，所有员工中每个人都有7条的情绪数据。
由于情绪数据本身取值范围都是0-1之间的数值，因此不需要再进行归一化处理，接下来进行降噪处理去掉冗余信息数据，方法如前所述，最优的自动编码网络为输入7维(组)情绪数据输出5维(组)情绪数据。
所述心态预测神经网络模型的预先建立包括：
第一步：按照分层抽样划分抽取组织人员总数中一部分员工作为建模员工样本，获取建模员工在建模时间周期内的每位员工的所述组合数据和心态评判数据，将组合数据进行所述预处理形成所述组合数据特征，所述心态评判数据是通过问卷表格的方式采集的对所述建模时间周期内每位员工表现进行评判的数据，再将心态评判数据进行所述预处理转化对应所述组合数据特征的比对数值表；
第二步：将每一位员工的组合数据特征输入神经网络学习得到每一位员工的心态预测值输出，将每一位员工的心态预测值输出与比对数值表中对应员工的评判心态值进行对比，得到每位员工的心态值对比误差，并得到建模员工心态值对比误差平均值；
第三步：使用对比误差平均值对神经网络进行反向传播调节网络权值，判断心态值对比误差平均值是否是最小值拐点值，如果不是，返回第二步；如果是，将此时的心态预测值输出所对应的比对数值作为被识别的心态值输入并形成所述心态预测识别库，完成预测神经网络模型的建立。其中的使用对比误差平均值对神经网络进行反向传播调节网络权值，判断心态值对比误差平均值是否是最小值拐点值是已知技术这里不再赘述。
其中：所述心态评判数据，是通过员工的直属领导根据员工的日常表现对每个员工的打分，实施例的问卷表格共5个题目，每道题1-5计分，员工的直属领导根据员工的日常表现对每个员工的5个题目分别打分，这样每个人都得到一个5个分数的心态表现数据。即用于建模的样本员工中每个人都有5条的心态外在表现数据。如，题目3，遇到困难时，会快速地调整不良情绪，专注于解决问题。请回答该员工的表现符合以下哪项，1-完全不符合；2-基本不符合；3-有点符合；4-基本符合；5-完全符合。领导给某员工评的是4分，认为其基本符合，那某员工在题目3上的得分是4分，每个员工在5个题目上都有一个分数。心态表现收集到的原始心态评判数据为1-5之间的数据，将所有心态评判数据都归一化转换成0-1之间的一个数值。
实施例中：所述心理特征点数据有317组、所述面目情绪数据有7组、所述心态评判数据有5组；经预处理形成的组合数据特征中：所述心理特征点数据是有0至1的7组数据、所述面目情绪数据是0至1的5组数据、所述心态评判数据是0至1的5组数据，建模员工0至1的5组数据形成了对应所述组合数据特征的比对数值表。
实施例中：当心态预测值输出以及比对数值为多组数据时，所述心态预测识别库中的心态值是通过V＝f(X)关系式将多组数据转化为一组数据形成的心态值，是用数字表示的心态趋势值，例如将心态坏与好用0至1的区间值来表示，接近于1的值表示心态好，而接近于0的值表示心态不好，根据心态趋势可以分析员工的这一时间段的工作状态，为领导的工作提供依据。其中：V代表对应心态预测数据的心态值，X代表多组数据，例如5组数据。
其中以5维为例，V＝f(X)关系式具体是：
V＝1+e-(WX+b)
其中W为5维的行向量，b为一个标量。
W，b的具体数值，由如下优化模型获得：
Figure BDA0002109511170000091
其中
Figure BDA0002109511170000092
Xj是数据集中第j个量表归一化之后得到的向量，W1和b1是5维的列向量，符号||A,B||表示求向量A-B的L1范数，即所有元素绝对值的和。
所述心态预测神经网络模型的预先建立的过程还包括对建立好的心态预测神经网络模型进行验证，将获取所述组合数据的建模员工分为两组，其中的80％用于建模，剩余的20％用于将所述组合数据特征输入建立好的心态预测神经网络模型进行验证。
实施例中：所述情绪测量方法是：通过建立组织人员面部表情类别识别模型实现在所述时间周期内对组织人员表情状态的识别并将表情数据转换为情绪数据；包括：使用人脸识别建立组织人员档案数据包以及对组织人员面部表情类别的分类并完成表情数据到情绪数据的转换；
所述建立组织人员面部表情类别识别模型的步骤包括：
步骤一：通过在组织人员工作区域设置图像采集装置实时采集组织中每一个人的个人面部图像，获取个人面部识别过程中的人脸图像；
步骤二：按照所述面部表情类别的分类，人工划分人脸图像表情代表的所述表情类别；
步骤三：获取划分好类别的人脸图像的热力图像数据特征；
步骤四：使用卷积神经网络对热力图像数据特征学习形成个人表情类别识别模型；
所述实现在所述时间周期内对组织人员表情状态的识别并完成表情到情绪数据转换的步骤包括：
第一步：在所述时间周期内实时采集经过图像采集装置的人脸图像，对人脸图像进行人脸识别，确定人脸图像对应的个人档案数据包；
第二步：将被识别人脸图像转换为人脸热力图像形成热力图像数据特征；
第三步：将被识别人脸图像的像热力图像数据特征输入个人表情类别识别模型，个人表情类别识别模型对输入的热力图像数据特征进行面部表情类别分类，并将分类的结果存入对应的个人档案数据包；
第四步：查询所述时间周期内个人档案数据包，累计计算个人档案数据包中所述时间周期内各种表情类别出现的频率，记录各种表情类别出现的频率形成所述情绪数据，完成表情数据到情绪数据的转换。
其中：所述人面部表情类别分为7类，分别是：平静、愤怒、开心、惊讶、厌恶、生气、悲伤。
实施例中：所述将被识别人脸图像转换为人脸热力图像形成热力图像数据特征是：读取被识别人脸图像；确定人脸识别过程中的特征识别点；获取围绕特征识别点的边缘点形成人脸图像的热力图像数据特征。
其中：所述人工划分人脸图像表情代表的所述表情类别是：组织经过训练的至少5个人，将人脸图像分发至所述5个人，5个人背靠背按照人面部表情类别确定人脸图像的表情所代表的类别，当5个人中所确定的类别相同不少于三人时，则认为该表情属于该类别。
所述方法进一步包括：在所述时间周期内对组织人员表情状态的识别步骤中，如果当组织人员面部表情类别识别模型不能对输入的热力图像数据特征进行面部表情类别分类时，则将被识别人脸图像送至建立组织人员面部表情类别识别模型步骤中的步骤二，并依次执行接下来的步骤三、步骤四，进一步完善组织人员面部表情类别识别模型。
实施例中：所述图像采集装置在工作区域的设置，至少能够获得在组织的每一个人每一天除了报道时人脸识别图像外的一个面部图像，例如图像采集装置除了在组织进门处设置外，还在工作区域设置。
实施例中：在读取被识别人脸图像后首先对图像进行预处理，预处理包括光照归一化处理、正面化处理、旋转、剪切处理。
实施例中：所述获取围绕特征识别点的边缘点形成人脸图像的热力图像数据的过程是：以每个人脸识别过程中的特征识别点为中心，生成一个二维高斯分布，每个特征识别点对应热力图的一个通道，通过python的concat函数进行连接形成热力图像数据。
以下是对所述情绪测量方法实施例的进一步说明：
实施例提出了基于人脸识别特征点定位结合距离测量来提取表情敏感特征，采用DenseNet作为多信息融合网络网络结构，提高特征复用率，同时提高分类器的表现，以缓解有标注样本较少的问题。通过归一化和人脸对齐的方法解决光照和姿态的问题。通过对原始数据进行清洗和增广以解决样本分布不均的问题。
对于热力图像的获取：
1，从人脸识别的图像文件中读取原始图像。
2，对原始图像进行预处理。
3，对预处理后图像进行特征点检测，提取能够表示人脸识别信息的68个特征关键点，并利用68个特征关键点获取围绕它的边缘点。
4，基于检测到的边缘点生成热力图，用热力图表征人脸中更受重视的区域，并以此指导多信息融合网络的训练。
5，将热力图输入多信息融合网络，即表情类别识别模型，输出原始图像中人脸的表情类别。
其中，表情识别的核心为选择构建和训练多信息融合网络，例如深度置信网络(Deep Belief Networks，DBN)、堆叠式自编码器(Stacked Auto Encoder，SAE)、卷积神经网络(Convolutiona丨 NeuralNetworks，CNN)等，使其能够充分融合热力图信息，输出正确的表情类别。
实施例中采用的人工划分人脸图像表情代表的所述表情类别是五盲标注置信度：
五个人分别对同一张图片进行标注，选择其中多数人标注的表情标签作为该图片的表情标签，例如五个人有三个人标注该图为平静，两人为惊讶，则表情标签为平静，五盲标注置信度为0.6。
以往表情识别系统的数据训练集都是采用的通用的表情数据集，通用的表情数据集的表情一般都比较夸张，各种表情的特点都很鲜明，而实际工作中很少有比较夸张的表情，表情特点不是很明显，因此，对自然场景中，人员的表情图像进行人工标定，形成自然状态下的表情数据集，再以其为基础，在技术层面进行机器的深度学习。
五盲法：为排除个人主观性的影响，采用五盲法进行人工标定，经过专业表情识别培训的5人为一小组，对同一批表情图片单独进行评定，排除相互之间的主观影响，当5人标定的结果一致率达到80％及以上时(即5人中有4人或5人对同一张图片的表情判断一致时)，完成此张图片的标定，当5人标定的一致率低于80％时，图片返回重新标定，重新标定的一致率仍低于80％时，图片作废，不再进行标定。
五盲法的工作流程是：明确7种表情的面部特点，并根据7种表情的面部特点对标定人员进行表情识别的专业培训。标定人员根据培训结果对图片进行标定，5个人分别将标定完的图片放入五个文件夹，ABCDE。A、B、C、D、E五个文件夹，分别代表五个人对同一幅图片的标注情况，利用Python的os库通过五个人的标注计算该图片的表情标签和置信度，同时在txt文件中输出该图片的路径、表情标签和置信度。最后，在txt文件中输出所有训练图片的路径、表情标签、置信度。
对于热力图像的处理进行的步骤包括：
一，图像预处理，目的是减少人脸姿态不同、光照变化、样本分布不均等因素对表情识别精度造成的影响。
实现流程是：
1，光照归一化：通过高斯差分减小光照的差异；
2，人脸对齐：正面化每张人脸；
3，数据清洗和增广：适当减少数量过多的表情类别图片，对数量较少的表情类别图片通过旋转、剪切等方法进行增广；
二，图像特征点检测，目的是通过检测特征点的方法提取预处理后图像人脸的关键信息，用以进行后续热力图的生成。
实现流程：
1，读取人脸识别后的图片；
2，将图片转化成灰度图；
3，使用Dlib开源库进行特征点检测，得到人脸的特征点。
三，热力图生成，目的：保留关键点间的位置关系，提取表情敏感特征。
优点：没有损失关键点之间的相对位置关系，相当于用关键点之间距离测量的方法做表情分类问题；通过这种方法可以提取到表情敏感的特征，有效缓解类间差大于类内差的问题。
实现流程：
1，生成热力图：以每个特征点为中心，生成一个二维高斯分布，每个关键点对应热力图的一个通道，通过python的concat函数进行连接，将连接后得到的热力图作为多信息融合网络的输入。
2，可视化处理：将生成的热力图的通道进行相互叠加生成可视化的热力图。
3，可视化存储：对叠加并归一化生成的热力图可视化地表征并存储。采用opencv的applyColorMap函数对生成的热力图进行可视化地展现，然后通过opencv的imwrite函数将生成的热力图写入文件中
二维独立高斯分布：
Figure BDA0002109511170000141
其中：
x和y分别可代表图像每个像素的横坐标和纵坐标；
μX，μY分别为对应特征点的横坐标和纵坐标；
Figure BDA0002109511170000142
分别为对应特征点和图像横坐标、纵坐标的方差。
归一化处理：
对所有生成的二维高斯分布f(x，y)进行叠加并归一化处理，使得生成高斯图所有像素的值在(0～1)之间，生成热力图
Figure BDA0002109511170000143
其中：
p(x，y)为二维高斯分布叠加后对应(x，y)点处的像素值；
max为二维高斯分布叠加后高斯图中像素的最大值；
min为二维高斯分布叠加后高斯图中像素的最小值。
多信息融合网络参数训练：
目的：训练多信息融合网络的参数，使在测试表情识别阶段，输入热力图，多信息融合网络能够输出原图像的表情类别标签。
多信息融合网络参数训练的优点是充分利用已有信息，进一步提高表情识别准确度。
实现流程：
1，依次从训练数据中读取原始图像、置信度、ID信息和表情类别标签；
2，原始图像分别进行特征点检测和热力图生成，得到相应的热力图；
3；将热力图输入多信息融合网络中，得到表情类别的概率
4；将得到的表情类别概率和训练数据中读取到的表情类别标签输入损失函数，得到一个误差值；
5；以最小化损失函数的误差值为目标，运用梯度下降法调整多信息融合网络的参数；
6；依次重复1～5步操作，直到依次读取了txt文件中的所有训练数据；
7；重复1～6步操作，直到循环次数达到了设定的值。
注：
表情类别概率：输出原始图像表情属于表情类别标签的概率。
损失函数：采用交叉熵作为损失函数，得到误差值：
Figure BDA0002109511170000151
其中：
C为损失函数的误差值；
y对应表情类别标签的值为1，非类别标签为0；
a为输出表情类别为表情类别标签的概率；
x表示样本；
n表示样本总数；
反向传播训练网络参数：采用随机梯度下降的方法对网络参数进行训练；
多信息融合网络网络结构：采用CVPR2017的oral文章中提出的DenseNet作为多信息融合网络的主要网络结构。
表情数据转换为情绪数据：
通过摄像头采集人脸图片，共识别7种表情，分别为平静、开心、悲伤、厌恶、愤怒、惊讶、恐惧，由于识别出的数据仅仅为表情数据，还需要将表情数据转换为情绪数据。根据以往研究，对情绪的分析主要考虑其频率，因此根据7种表情数据，计算一段时间内各种表情出现的频率，将表情数据转换为情绪数据。分别为一段时间内每个个体出现的平静情绪的频率、开心情绪的频率、悲伤情绪的频率、厌恶情绪的频率、愤怒情绪的频率、惊讶情绪的频率、恐惧情绪的频率，最终获得每个个体7种情绪出现的频率，即外在的情绪表现数据。
通过表情识别系统采集到的是员工一天中的各个时间点的表情，单独的一个个表情数据需要转换成情绪数据才能在建模过程中使用，通过各个表情出现的次数，计算出各个表情的频率，即7种情绪出现的频率，完成表情数据到情绪数据的转换，摄像头采集的各个时间点的表情数据，能否反映其真实的情绪，我们进行了如下实验进行验证。
采用情绪观察法，设置观察员观察员工情绪，通过对比观察员感知到的员工的情绪，与表情采集系统采集的结果，来验证表情采集系统通过面部表情分析识别个体情绪的准确性。
采用方便取样法选取19个样本群体作为情绪观察对象，根据样本人员分布选取6名观察员进行观察培训，然后在自然条件下对选取样本的情绪状态进行观察记录，一方面观察员每天记录被观察人员一天整体的一个情绪状态，另一方面，通过表情识别系统记录的表情数据计算员工每天的情绪状态，以当天情绪频率最高的情绪为其当天整体的情绪状态(如，根据表情识别系统计算的结果，某员工某天7种的情绪频率为平静80％，开心10％，低落5％，惊讶5％，愤怒0％，厌恶0％，最终判断表情识别系统识别的其一天整体的一个情绪状态为平静)。最终获得情绪观察员和表情采集系统共有的数据量90份，二者判断一致的数量为51份，一致率为56.7％。说明，以人为感知的情绪为标准，通过表情识别系统在工作场所的出入口采集的表情能够反映其当天情绪状态的精度为56.7％。

Claims (8)

1.一种组织人员心态预测方法，包括获取组织员工的在一个时间周期内的
组合数据，将组合数据进行预处理形成待识别的组合数据特征，将组合数据特征送入一个预先建立的心态预测神经网络模型，心态预测神经网络模型分析输出心态预测数据，心态预测数据经一个心态预测识别库输出对应心态预测数据的心态值；其特征在于，所述组合数据是心理特征点数据和面目情绪数据；
所述心理特征点数据：是通过心理学量表方式采集的数字表现数据，心理学量表将心理问题用数字区分不同表现类别及等级，通过对类别及等级的选择形成由多个数字组组成的心理特征点数据；
所述面目情绪数据：是通过情绪测量方法获取员工的表情状态，然后将表情状态转为数字表现形成面目情绪数据；
所述将组合数据进行预处理形成待识别的组合数据特征：是将组合数据中的心理特征点数据和面目情绪数据转化为统一格式数据，形成组合数据特征；
所述心态预测神经网络模型的预先建立包括：
第一步：按照分层抽样抽取组织人员总数中一部分员工作为建模员工样本，获取建模员工在建模时间周期内的每位员工的所述组合数据和心态评判数据，将组合数据进行所述预处理形成所述组合数据特征，所述心态评判数据是通过问卷表格的方式采集的对所述建模时间周期内每位员工表现进行评判的数据，再将心态评判数据进行预处理转化为对应所述组合数据特征的比对数值表；
第二步：将每一位员工的组合数据特征输入神经网络学习得到每一位员工的心态预测值输出，将每一位员工的心态预测值输出与比对数值表中对应员工的评判心态值进行对比，得到每位员工的心态值对比误差，并得到建模员工心态值对比误差平均值；
第三步：使用对比误差平均值对神经网络进行反向传播调节网络权值，判断心态值对比误差平均值是否是最小值拐点值，如果不是，返回第二步；如果是，将此时的心态预测值输出所对应的比对数值作为被识别的心态值输入并形成所述心态预测识别库，完成预测神经网络模型的建立；
所述情绪测量方法是：通过建立组织人员面部表情类别识别模型实现在所述时间周期内对组织人员表情状态的识别并将表情数据转换为面目情绪数据；包括：使用人脸识别建立组织人员档案数据包以及对组织人员面部表情类别的分类并完成表情数据到面目情绪数据的转换；
所述建立组织人员面部表情类别识别模型的步骤包括：
步骤一：通过在组织人员工作区域设置图像采集装置实时采集组织中每一个人的个人面部图像，获取个人面部识别过程中的人脸图像；
步骤二：按照所述面部表情类别的分类，人工划分人脸图像表情代表的所述面部表情类别；
步骤三：获取划分好类别的人脸图像的热力图像数据特征；
步骤四：使用卷积神经网络对热力图像数据特征学习形成面部表情类别识别模型；
所述实现在所述时间周期内对组织人员表情状态的识别并将表情数据转换到面目情绪数据的步骤包括：
第一步：在所述时间周期内实时采集经过图像采集装置的人脸图像，对人脸图像进行人脸识别，确定人脸图像对应的个人档案数据包；
第二步：将被识别人脸图像转换为人脸热力图像形成热力图像数据特征；
第三步：将被识别人脸图像的热力图像数据特征输入面部表情类别识别模型，面部表情类别识别模型对输入的热力图像数据特征进行面部表情类别分类，并将分类的结果存入对应的个人档案数据包；
第四步：查询所述时间周期内个人档案数据包，累计计算个人档案数据包中所述时间周期内各种面部表情类别出现的频率，记录各种面部表情类别出现的频率形成所述面目情绪数据，完成表情数据到面目情绪数据的转换；
所述人工划分人脸图像表情代表的所述面部表情类别是：组织经过训练的至少5个人，将人脸图像分发至所述5个人，5个人背靠背按照人面部表情类别确定人脸图像的表情所代表的类别，当5个人中所确定的类别相同不少于三人时，则认为该表情属于该类别。
2.根据权利要求1所述的心态预测方法，其特征在于，所述预处理包括：对数据进行归一化处理形成0至1的统一数据格式。
3.根据权利要求2所述的心态预测方法，其特征在于，所述预处理进一步包括：在归一化处理形成0至1的数据格式后再进行降噪处理去掉冗余信息数据。
4.根据权利要求3所述的心态预测方法，其特征在于，所述心理特征点数据有317组、所述面目情绪数据有7组、所述心态评判数据有5组；经预处理形成的数据中：所述心理特征点数据是有0至1的7组数据、所述面目情绪数据是0至1的5组数据、所述心态评判数据是0至1的5组数据，建模员工心态评判0至1的5组数据形成了对应所述组合数据特征的比对数值表。
5.根据权利要求1或4所述的心态预测方法，其特征在于，当心态预测值输出以及比对数值为多组数据时，所述心态预测识别库中的心态值是通过V=f(X)关系式将多组数据转化为一组数据形成的心态值，其中：V代表对应心态预测数据的心态值，X代表多组数据。
6.根据权利要求1所述心态预测方法，其特征在于，所述人面部表情类别分为7类，分别是：平静、愤怒、开心、惊讶、厌恶、生气、悲伤。
7.根据权利要求1所述心态预测方法，其特征在于，所述将被识别人脸图像转换为人脸热力图像形成热力图像数据特征是：读取被识别人脸图像；确定人脸识别过程中的特征识别点；获取围绕特征识别点的边缘点形成人脸图像的热力图像数据特征。
8.根据权利要求1所述心态预测方法，其特征在于，所述方法进一步包括：在所述时间周期内对组织人员表情状态的识别步骤中，如果当组织人员面部表情类别识别模型不能对输入的热力图像数据特征进行面部表情类别分类时，则将被识别人脸图像送至建立组织人员面部表情类别识别模型步骤中的步骤二，并依次执行接下来的步骤三、步骤四，进一步完善组织人员面部表情类别识别模型。
CN201910565673.4A 2019-04-17 2019-06-27 一种组织人员心态预测方法 Active CN110298301B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910306950 2019-04-17
CN201910306950X 2019-04-17

Publications (2)

Publication Number Publication Date
CN110298301A CN110298301A (zh) 2019-10-01
CN110298301B true CN110298301B (zh) 2021-09-07

Family

ID=68029003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910565673.4A Active CN110298301B (zh) 2019-04-17 2019-06-27 一种组织人员心态预测方法

Country Status (1)

Country Link
CN (1) CN110298301B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098729B (zh) * 2020-08-27 2023-11-10 中国科学院心理研究所 基于心脏间期的情绪状态客观测量方法
CN112069964A (zh) * 2020-08-31 2020-12-11 天津大学 基于图像识别技术的异常人物关系网络挖掘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN109472608A (zh) * 2018-10-16 2019-03-15 深圳壹账通智能科技有限公司 基于情绪识别的交易认证方法及终端设备
CN109583419A (zh) * 2018-12-13 2019-04-05 深圳市淘米科技有限公司 一种基于深度卷积网络的情绪预测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN109472608A (zh) * 2018-10-16 2019-03-15 深圳壹账通智能科技有限公司 基于情绪识别的交易认证方法及终端设备
CN109583419A (zh) * 2018-12-13 2019-04-05 深圳市淘米科技有限公司 一种基于深度卷积网络的情绪预测系统

Also Published As

Publication number Publication date
CN110298301A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110287895B (zh) 一种基于卷积神经网络进行情绪测量的方法
KR101969540B1 (ko) 인지 기능 재활 훈련 방법 및 장치
RU2292839C2 (ru) Способы и устройство для анализа поведения человека
CN109801096A (zh) 一种多模态客户满意度综合评价系统、方法
CN113069080B (zh) 一种基于人工智能的困难气道评估方法及装置
KR102240485B1 (ko) 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법
CN110298301B (zh) 一种组织人员心态预测方法
CN110210380A (zh) 基于表情识别与心理学测试生成性格的分析方法
CN110598607B (zh) 非接触式与接触式协同的实时情绪智能监测系统
CN110705523B (zh) 一种基于神经网络的创业者路演能力测评方法及其测评系统
Chintalapudi et al. Speech emotion recognition using deep learning
Malviya et al. Visual and statistical methods to calculate interrater reliability for time-resolved qualitative data: Examples from a screen capture study of engineering writing patterns
CN115905977A (zh) 家庭同胞互动过程中负面情绪的监督系统及方法
CN115238166A (zh) 一种基于云计算的学生分科用辅助系统
CN113506027A (zh) 基于学生视觉注意及教师行为的课程质量评估与提升方法
Dissanayake et al. AI-based Behavioural Analyser for Interviews/Viva
CN112818740A (zh) 一种用于智能面试的心理素质维度评价方法及装置
CN111723752A (zh) 基于情绪识别的驾驶员上岗驾驶检测方法及装置
Sánchez-Ancajima et al. Gesture Phase Segmentation Dataset: An Extension for Development of Gesture Analysis Models.
Metgud et al. Real-time Student Emotion and Performance Analysis
Kumar et al. VGG 16 Based Human Emotion Classification Using Thermal Images Through Transfer Learning
Beltrán et al. A multiplatform application for automatic recognition of personality traits for Learning Environments
Kumar et al. Estimate Height Weight and Body Mass Index From Face Image Using Machine Learning
CN117671774B (zh) 一种人脸情绪智能识别分析设备
Chen Construction of a learning engagement evaluation model based on multi-modal data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant