CN110889332A - 一种基于面试中微表情的说谎检测方法 - Google Patents

一种基于面试中微表情的说谎检测方法 Download PDF

Info

Publication number
CN110889332A
CN110889332A CN201911047515.6A CN201911047515A CN110889332A CN 110889332 A CN110889332 A CN 110889332A CN 201911047515 A CN201911047515 A CN 201911047515A CN 110889332 A CN110889332 A CN 110889332A
Authority
CN
China
Prior art keywords
sample
layer
formula
function
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911047515.6A
Other languages
English (en)
Inventor
胡庆浩
吴其蔓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Institute of Automation of Chinese Academy of Science
Original Assignee
Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences, Institute of Automation of Chinese Academy of Science filed Critical Nanjing Artificial Intelligence Chip Innovation Institute Institute Of Automation Chinese Academy Of Sciences
Priority to CN201911047515.6A priority Critical patent/CN110889332A/zh
Publication of CN110889332A publication Critical patent/CN110889332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于面试中微表情的说谎检测方法，首先模型以皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种表情进行训练，对每一类表情数据打上标签；接着输入脸部微表情的图像到预训练好的以VGG16作为骨干的SSD网络中，让图片经过卷积神经网络提取特征，并生成特征图；然后对每个特征图都执行卷积操作来评估默认边界框，对每个边界框预测偏移量和分类概率；接着将不同特征图获得的边界框结合起来，执行非极大值抑制的方法过滤一部分重叠或者不正确的边框，生成最终的边界框集合；最后对检测结果用分类器分类。本发明同时使用高层次和低层次的视觉特征，与人类相比，在预测欺骗方面明显更好；比人类的肉眼的判断不仅速度更快，技术精准度更高。

Description

一种基于面试中微表情的说谎检测方法
技术领域
本发明涉及一种基于面试中微表情的说谎检测方法，属于图像信息处理技术领域。
背景技术
面试过程中说谎与欺骗现象时常发生，如何有效的识别谎言显得非常重要。虽然说谎是一种司空见惯的现象，但是，说谎时人的微表情与正常交谈时是有所不同的，一些微小的表情变化和脸部微妙的肌肉跳动很容易在无意识间暴露真实的想法，专业的微表情专家能够捕捉这些微表情，进而判断面试过程中是否存在说谎与欺骗。
然而面试过程中因为容易受到各种因素干扰，这种依赖人工探测是否说谎的准确性经常会大打折扣，而传统的机器人脸识别因为没有对微表情进行特殊优化，容易收到面部其它特征的干扰，无法直接运用在微表情判断上。
发明内容
发明目的：提供一种基于面试中微表情的说谎检测方法，解决了现有技术存在的上述问题。
技术方案：一种基于面试中微表情的说谎检测方法，包括以下步骤：
步骤1、制作数据标签：模型以皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种表情进行训练，对每一类表情数据打上标签；
步骤2、特征提取：输入脸部微表情的图像到预训练好的以VGG16作为骨干的SSD网络中，让图片经过卷积神经网络提取特征，并生成特征图；
步骤3、评估边界：对每个特征图都执行卷积操作来评估默认边界框，对每个边界框预测偏移量和分类概率；
步骤4、重生边界：将不同特征图获得的边界框结合起来，执行非极大值抑制的方法过滤一部分重叠或者不正确的边框，生成最终的边界框集合，即检测结果；
步骤5、结果分类：对检测结果用分类器分类。
在进一步的实施例中，所述步骤1进一步为：
步骤1-1、模型提取皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种人脸图像的特征向量，对人脸图像中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，对于剩余的未匹配先验框，若某个ground truth的大于阈值0.5，则该先验框也与这个ground truth进行匹配；
步骤1-2、将人脸图像裁剪为尺寸256×256像素，对像素内的人脸图像进行肤色识别，将单位像素的RGB色彩空间转换为YCrCb色彩空间，将32×32像素的区域定义为一个Block，为每个Block分别建立肤色特征向量；对该图像进行梯度运算，对于连续的图像函数f(x，y)，其在任意像素点(x，y)处的梯度值为矢量：
Figure BDA0002254487640000021
式中，Gx表示图像沿x方向的梯度，Gy表示图像沿y方向的梯度，梯度幅值是f(x，y)在其最大变化率方向上的单位距离增加的量；
梯度幅值用
Figure BDA0002254487640000022
表示，表达式如下：
Figure BDA0002254487640000023
式中，f(x+1，y)表示y方向不变，x方向累加一个像素点的图像函数，f(x，y+1)表示x方向不变，y方向累加一个像素点的图像函数，其它含义同上；
方向角用
Figure BDA0002254487640000024
表示，表达式如下：
Figure BDA0002254487640000025
式中，各符号含义同上；
步骤1-3、根据提取出的模型特征作为训练样本，计算输入量与输出量之间关联性的估计函数，训练系统对于不同输出量的预测能力，在函数{f(x，ω)}中求得最优函数f(x，ω0)对变量y与x的关联性估计，并使得期望风险R(ω)为最小值：
Figure BDA0002254487640000026
式中，f(x，ω)表示预测函数，{f(x，ω)}表示预测函数的集合，ω表示广义参数，L(y，f(x，ω))表示使用函数f(x，ω)对输出量y进行预测与实际输出相比所造成的损失，h表示所预测的函数集的最大训练能力，n为训练样本，η∈[0，1]。通过本算法将样本训练成经验风险，通过函数集和样本数量为参数的置信区间，在样本有限的情况下通过自我学习能够使得期望风险R(ω)降低为最小值。
在进一步的实施例中，所述步骤2进一步为：
步骤2-1、选择重要的特征子集，使用压缩搜索空间的启发式算法逼近最优解，该最优解作为特征子集，保留该特征子集并删除其余特征，对特征子集进行降维处理：
Figure BDA0002254487640000031
式中，
Figure BDA0002254487640000032
表示在高维数据中第i个样本分布在样本j周围的概率，
Figure BDA0002254487640000033
表示在低维数据中第i个样本分布在样本j周围的概率，xi表示在高维数据中第i个样本，xj表示在高维数据中第j个样本，xk表示在高维数据中第k个样本，yi表示在低维数据中第i个样本，yj表示在低维数据中第j个样本，yk表示在低维数据中第k个样本，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，f(∑Wiai-1+bi)表示以权值向量、偏置向量、输入量作为变量产生的非线性输入映射函数；
步骤2-2、对每个人脸图像的位置误差和置信度误差加权，得出损失函数：
Figure BDA0002254487640000034
式中，N表示先验框的正样本数量，c表示类别置信度预测值，l表示先验框所对应边界框的位置预测值，g表示ground truth的位置参数，W表示训练时得到的参数，y是样本真实标签值，m表示训练样本的数量，λ为正则化系数；
其中，αLloc(x，l，g)]的定义如下：
Figure BDA0002254487640000035
Figure BDA0002254487640000036
式中，xij k＝1时表示第i个先验框与第j个ground truth的类别为p；
Lconf(x，c)可表示为预测框的损失函数与真实框的损失函数之和再取相反数，公式如下：
Figure BDA0002254487640000041
式中，前项
Figure BDA0002254487640000042
表示预测框i与真实框j关于类别p匹配的预测值，后项
Figure BDA0002254487640000043
表示预测框没有真实物体时的背景预测值；
步骤2-3、以卷积核大小3×3、步长为1建立第一层卷积，卷积后得到30×30的特征图；将特征图的输入池化层进行化核大小为2×2、步长为2的最大池化之后，得到大小为15×15的特征图，将得到的15×15的特征图输入到第二层卷积层中，经过卷积核大小为4×4、步长为1的卷积操作之后，输出大小为12×12的特征图：
其中，第一层卷积池的计算步骤如下：
pool1：xl 1，j(1≤j≤15)＝g(down(xl 1，j(1≤j≤30)))
第一层向量卷积运算如下：
conv1：xl 1＝f(xl·W1，j+b1，j)
第二层卷积池的计算步骤如下：
pool1：xl 2，j(1≤j≤1)＝g(down(xl 2，j(1≤j≤15)))
第二层向量卷积运算如下：
conv1：xl 2＝f(xl·W2，j+b2，j)
式中，xl 1，j表示第1层的第l个输入样本，xl 2，j表示第2层的第l个输入样本，down(xl 1，j(1≤j≤30)表示在第1层的第l个输入样本中的下采样函数，down(xl 2，j(1≤j≤15)表示在第2层的第l个输入样本中的下采样函数，W1，j表示第1层卷积核的权值，b1，j表示第1层卷积核的偏置，W2，j表示第2层卷积核的权值，b2，j表示第2层卷积核的偏置。通过该算法，对输入的训练样本经过多次交替的卷积层和池化层处理，自动提取出具有特征的样本数据，进而对该样本经过全连接层进行数据处理，并输出至输出层中，在输出层计算分类概率，将差异情况输入损失函数转化为损失值，并通过不断调节权重促使优化器不断向损失较小的方向调节，在优化的过程中更新参数值，最终反馈至全连接层，经过多次迭代。
在进一步的实施例中，所述步骤3进一步为：
步骤3-1、采用边框预测公式预测偏移量：
Figure BDA0002254487640000044
Figure BDA0002254487640000051
步骤3-2、在步骤3-1的基础上继续计算分类概率：
Figure BDA0002254487640000052
Figure BDA0002254487640000053
式中，cx、cy表示grid cell的左上角坐标，tx和ty表示预测的坐标偏移值，dx、dy表示grid cell的右下角坐标，tw和th表示缩放尺度，pw和ph表示预设的anchor box的在feature map上的宽和高，Gw、Gh表示grid cell的左下角坐标。用sigmoid将tx和ty压缩到[0，1]区间，确保目标中心处于执行预测的网格单元中，防止偏移过多。
在进一步的实施例中，所述步骤4进一步为：
步骤4-1、根据检测框与预选取检测框的loU值与阈值T对比：
Figure BDA0002254487640000054
式中，μi表示检测框i的比例惩罚因子，IoU(Pm·Pi)表示检测框Pi与置信度分度最大检测框Pm的IoU值，当IoU值小于给定阈值T时，检测框的比例惩罚因子为1。该算法相比于传统的算法，能够减小对阈值的影响，稳定度更高。
在进一步的实施例中，所述步骤5进一步为：
步骤5-1、利用高斯核SVM构造出k个独立二元分类器k类数据进行分类，第m个二元分类器通过使用第m类的数据作为正训练样本，其余k-1个数据为负训练样本，对于训练数据xi和对应标签yi，判定函数为：
Figure BDA0002254487640000055
式中，ωT+b表示分离超平面，ω表示与分离超平面垂直的权向量，b表示超平面的偏置向量，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，m表示训练样本的数量，
Figure BDA0002254487640000056
表不超平面之间的边缘带；
步骤5-2、添加一个全卷积层，以生成位置敏感分数图的score bank，运行一个全卷积RPN网络，以生成感兴趣区域；
步骤5-3、对于步骤5-2中的感兴趣区域，检查其中的score bank值，判断感兴趣区域是否匹配具体目标的对应位置，一旦每个k2感兴趣区域都具备目标匹配值，则求感兴趣区域的平均值，得到每个类的分数：
Figure BDA0002254487640000061
式中，wk T表示感兴趣区域k的权重矩阵，xi表示第i个训练样本，b表示超平面的偏置向量；
将分数转化为概率值：
Figure BDA0002254487640000062
式中，m表示模型的采样数，
Figure BDA0002254487640000063
表示第i个训练样本的第k次迭代；
步骤5-4、对剩下C+1个维度向量进行softmax回归，完成分类。
有益效果：本发明涉及一种基于面试中微表情的说谎检测方法，与现有技术相比，本发明具有以下优点：同时使用高层次和低层次的视觉特征，与人类相比，在预测欺骗方面明显更好；比人类的肉眼的判断不仅速度更快，技术精准度更高。相比于传统的人脸检测算法，本发明针对面部微表情优化，通过机器学习不断优化识别率，对输入的训练样本经过多次交替的卷积层和池化层处理，自动提取出具有特征的样本数据，进而对该样本数据处理，将差异情况输入损失函数转化为损失值，并通过不断调节权重而不断向损失较小的方向调节；将样本训练成经验风险，通过函数集和样本数量为参数的置信区间，在样本有限的情况下通过自我学习能够使得期望风险R(ω)降低为最小值。
附图说明
图1为本发明的流程图。
图2为本发明步骤3中边框预测的示意图。
图3为本发明步骤2的流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案做进一步具体说明。
如图1所示，本发明公开了一种基于面试中微表情的说谎检测方法，包括制作数据标签、特征提取、评估边界、重生边界、结果分类五个步骤。下面分别对上述五个步骤做具体阐述：
步骤一、制作数据标签：
首先，模型以皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种表情进行训练，对每一类表情数据打上标签。模型提取皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种人脸图像的特征向量，对人脸图像中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，对于剩余的未匹配先验框，若某个ground truth的大于阈值0.5，则该先验框也与这个ground truth进行匹配。将人脸图像裁剪为尺寸256×256像素，对像素内的人脸图像进行肤色识别，将单位像素的RGB色彩空间转换为YCrCb色彩空间，将32×32像素的区域定义为一个Block，为每个Block分别建立肤色特征向量；对该图像进行梯度运算，对于连续的图像函数f(x，y)，其在任意像素点(x，y)处的梯度值为矢量：
Figure BDA0002254487640000071
式中，Gx表示图像沿x方向的梯度，Gy表示图像沿y方向的梯度，梯度幅值是f(x，y)在其最大变化率方向上的单位距离增加的量；
梯度幅值用
Figure BDA0002254487640000072
表示，表达式如下：
Figure BDA0002254487640000073
式中，f(x+1，y)表示y方向不变，x方向累加一个像素点的图像函数，f(x，y+1)表示x方向不变，y方向累加一个像素点的图像函数，其它含义同上；
方向角用
Figure BDA0002254487640000074
表示，表达式如下：
Figure BDA0002254487640000075
式中，各符号含义同上。
根据提取出的模型特征作为训练样本，计算输入量与输出量之间关联性的估计函数，训练系统对于不同输出量的预测能力，在函数{f(x，ω)}中求得最优函数f(x，ω0)对变量y与x的关联性估计，并使得期望风险R(ω)为最小值：
Figure BDA0002254487640000076
式中，f(x，ω)表示预测函数，{f(x，ω)}表示预测函数的集合，ω表示广义参数，L(y，f(x，ω))表示使用函数f(x，ω)对输出量y进行预测与实际输出相比所造成的损失，h表示所预测的函数集的最大训练能力，n为训练样本，η∈[0，1]。
步骤二、特征提取：
输入脸部微表情的图像到预训练好的以VGG16作为骨干的SSD网络中，让图片经过卷积神经网络提取特征，并生成特征图。选择重要的特征子集，使用压缩搜索空间的启发式算法逼近最优解，该最优解作为特征子集，保留该特征子集并删除其余特征，对特征子集进行降维处理：
Figure BDA0002254487640000081
式中，
Figure BDA0002254487640000082
表示在高维数据中第i个样本分布在样本j周围的概率，
Figure BDA0002254487640000083
表示在低维数据中第i个样本分布在样本j周围的概率，xi表示在高维数据中第i个样本，xj表示在高维数据中第j个样本，xk表示在高维数据中第k个样本，yi表示在低维数据中第i个样本，yj表示在低维数据中第j个样本，yk表示在低维数据中第k个样本，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，f(∑Wiai-1+bi)表示以权值向量、偏置向量、输入量作为变量产生的非线性输入映射函数。
对每个人脸图像的位置误差和置信度误差加权，得出损失函数：
Figure BDA0002254487640000084
式中，N表示先验框的正样本数量，c表示类别置信度预测值，l表示先验框所对应边界框的位置预测值，g表示ground truth的位置参数，W表示训练时得到的参数，y是样本真实标签值，m表示训练样本的数量，λ为正则化系数；
其中，αLloc(x，l，g)]的定义如下：
Figure BDA0002254487640000085
式中，xij k＝1时表示第i个先验框与第j个ground truth的类别为p；
Lconf(x，c)可表示为预测框的损失函数与真实框的损失函数之和再取相反数，公式如下：
Figure BDA0002254487640000092
式中，前项
Figure BDA0002254487640000093
表示预测框i与真实框j关于类别p匹配的预测值，后项
Figure BDA0002254487640000094
表示预测框没有真实物体时的背景预测值。
以卷积核大小3×3、步长为1建立第一层卷积，卷积后得到30×30的特征图；将特征图的输入池化层进行化核大小为2×2、步长为2的最大池化之后，得到大小为15×15的特征图，将得到的15×15的特征图输入到第二层卷积层中，经过卷积核大小为4×4、步长为1的卷积操作之后，输出大小为12×12的特征图：
其中，第一层卷积池的计算步骤如下：
pool1：xl 1，j(1≤j≤1)＝g(down(xl 1，j(1≤j≤30)))
第一层向量卷积运算如下：
conv1：xl 1＝f(xl·W1，j+b1，j)
第二层卷积池的计算步骤如下：
pool1：xl 2，j(1≤j≤1)＝g(down(xl 2，j(1≤j≤15)))
第二层向量卷积运算如下：
conv1：xl 2＝f(xl·W2，j+b2，j)
式中，xl 1，j表示第1层的第l个输入样本，xl 2，j表示第2层的第l个输入样本，down(xl 1，j(1≤j≤3)表示在第1层的第l个输入样本中的下采样函数，down(xl 2，j(1≤j≤15)表示在第2层的第l个输入样本中的下采样函数，W1，j表示第1层卷积核的权值，b1，j表示第1层卷积核的偏置，W2，j表示第2层卷积核的权值，b2，j表示第2层卷积核的偏置。
步骤三、评估边界：
对每个特征图都执行卷积操作来评估默认边界框，对每个边界框预测偏移量和分类概率。采用边框预测公式预测偏移量：
Figure BDA0002254487640000101
Figure BDA0002254487640000102
计算分类概率：
Figure BDA0002254487640000103
Figure BDA0002254487640000104
式中，cx、cy表示grid cell的左上角坐标，tx和ty表示预测的坐标偏移值，dx、dy表示grid cell的右下角坐标，tw和th表示缩放尺度，pw和ph表示预设的anchor box的在feature map上的宽和高，Gw、Gh表示grid cell的左下角坐标。
步骤四、重生边界：
将不同特征图获得的边界框结合起来，执行非极大值抑制的方法过滤一部分重叠或者不正确的边框，生成最终的边界框集合，即检测结果。根据检测框与预选取检测框的loU值与阈值T对比：
Figure BDA0002254487640000105
式中，μi表示检测框i的比例惩罚因子，IoU(Pm·Pi)表示检测框Pi与置信度分度最大检测框Pm的IoU值，当IoU值小于给定阈值T时，检测框的比例惩罚因子为1。
步骤五、结果分类：
对检测结果用分类器分类。利用高斯核SVM构造出k个独立二元分类器k类数据进行分类，第m个二元分类器通过使用第m类的数据作为正训练样本，其余k-1个数据为负训练样本，对于训练数据xi和对应标签yi，判定函数为：
Figure BDA0002254487640000106
式中，ωT+b表示分离超平面，ω表示与分离超平面垂直的权向量，b表示超平面的偏置向量，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，m表示训练样本的数量，
Figure BDA0002254487640000107
表示超平面之间的边缘带。添加一个全卷积层，以生成位置敏感分数图的score bank，运行一个全卷积RPN网络，以生成感兴趣区域。对于感兴趣区域，检查其中的score bank值，判断感兴趣区域是否匹配具体目标的对应位置，一旦每个k2感兴趣区域都具备目标匹配值，则求感兴趣区域的平均值，得到每个类的分数。最好，对剩下C+1个维度向量进行softmax回归，完成分类。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (6)

1.一种基于面试中微表情的说谎检测方法，其特征是包括以下步骤：
步骤1、制作数据标签：模型以皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种表情进行训练，对每一类表情数据打上标签；
步骤2、特征提取：输入脸部微表情的图像到预训练好的以VGG16作为骨干的SSD网络中，让图片经过卷积神经网络提取特征，并生成特征图；
步骤3、评估边界：对每个特征图都执行卷积操作来评估默认边界框，对每个边界框预测偏移量和分类概率；
步骤4、重生边界：将不同特征图获得的边界框结合起来，执行非极大值抑制的方法过滤一部分重叠或者不正确的边框，生成最终的边界框集合，即检测结果；
步骤5、结果分类：对检测结果用分类器分类。
2.根据权利要求1所述的一种基于面试中微表情的说谎检测方法，其特征在于，所述步骤1进一步为：
步骤1-1、模型提取皱眉、抬眉毛、抿嘴、嘟嘴、歪头五种人脸图像的特征向量，对人脸图像中每个ground truth，找到与其IOU最大的先验框，该先验框与其匹配，对于剩余的未匹配先验框，若某个ground truth的大于阈值0.5，则该先验框也与这个ground truth进行匹配；
步骤1-2、将人脸图像裁剪为尺寸256×256像素，对像素内的人脸图像进行肤色识别，将单位像素的RGB色彩空间转换为YCrCb色彩空间，将32×32像素的区域定义为一个Block，为每个Block分别建立肤色特征向量；对该图像进行梯度运算，对于连续的图像函数f(x，y)，其在任意像素点(x，y)处的梯度值为矢量：
Figure FDA0002254487630000011
式中，Gx表示图像沿x方向的梯度，Gy表示图像沿y方向的梯度，梯度幅值是f(x，y)在其最大变化率方向上的单位距离增加的量；
梯度幅值用
Figure FDA0002254487630000013
表示，表达式如下：
Figure FDA0002254487630000012
式中，f(x+1，y)表示y方向不变，x方向累加一个像素点的图像函数，f(x，y+1)表示x方向不变，y方向累加一个像素点的图像函数，其它含义同上；
方向角用
Figure FDA0002254487630000021
表示，表达式如下：
Figure FDA0002254487630000022
式中，各符号含义同上；
步骤1-3、根据提取出的模型特征作为训练样本，计算输入量与输出量之间关联性的估计函数，训练系统对于不同输出量的预测能力，在函数{f(x，ω)}中求得最优函数f(x，ω0)对变量y与x的关联性估计，并使得期望风险R(ω)为最小值：
Figure FDA0002254487630000023
式中，f(x，ω)表示预测函数，{f(x，ω)}表示预测函数的集合，ω表示广义参数，L(y，f(x，ω))表示使用函数f(x，ω)对输出量y进行预测与实际输出相比所造成的损失，h表示所预测的函数集的最大训练能力，n为训练样本，η∈[0，1]。
3.根据权利要求1所述的一种基于面试中微表情的说谎检测方法，其特征在于，所述步骤2进一步为：
步骤2-1、选择重要的特征子集，使用压缩搜索空间的启发式算法逼近最优解，该最优解作为特征子集，保留该特征子集并删除其余特征，对特征子集进行降维处理：
Figure FDA0002254487630000024
式中，
Figure FDA0002254487630000025
表示在高维数据中第i个样本分布在样本j周围的概率，
Figure FDA0002254487630000026
表示在低维数据中第i个样本分布在样本j周围的概率，xi表示在高维数据中第i个样本，xj表示在高维数据中第j个样本，xk表示在高维数据中第k个样本，yi表示在低维数据中第i个样本，yj表示在低维数据中第j个样本，yk表示在低维数据中第k个样本，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，f(∑Wiai-1+bi)表示以权值向量、偏置向量、输入量作为变量产生的非线性输入映射函数；
步骤2-2、对每个人脸图像的位置误差和置信度误差加权，得出损失函数：
Figure FDA0002254487630000031
式中，N表示先验框的正样本数量，c表示类别置信度预测值，l表示先验框所对应边界框的位置预测值，g表示ground truth的位置参数，W表示训练时得到的参数，y是样本真实标签值，m表示训练样本的数量，λ为正则化系数；
其中，αLloc(x，l，g)]的定义如下：
Figure FDA0002254487630000032
Figure FDA0002254487630000033
式中，xij k＝1时表示第i个先验框与第j个ground truth的类别为p；
Lconf(x，c)可表示为预测框的损失函数与真实框的损失函数之和再取相反数，公式如下：
Figure FDA0002254487630000034
式中，前项
Figure FDA0002254487630000035
表示预测框i与真实框j关于类别p匹配的预测值，后项
Figure FDA0002254487630000036
表示预测框没有真实物体时的背景预测值；
步骤2-3、以卷积核大小3×3、步长为1建立第一层卷积，卷积后得到30×30的特征图；将特征图的输入池化层进行化核大小为2×2、步长为2的最大池化之后，得到大小为15×15的特征图，将得到的15×15的特征图输入到第二层卷积层中，经过卷积核大小为4×4、步长为1的卷积操作之后，输出大小为12×12的特征图：
其中，第一层卷积池的计算步骤如下：
pool1：xl 1，j(1≤j≤1)＝g(down(xl 1，j(1≤j≤30)))
第一层向量卷积运算如下：
conv1：xl 1＝f(xl·W1，j+b1，j)
第二层卷积池的计算步骤如下：
pool1：xl 2，j(1≤j≤1)＝g(down(xl 2，j(1≤j≤1)))
第二层向量卷积运算如下：
conv1：xl 2＝f(xl·W2，j+b2，j)
式中，xl 1，j表示第1层的第l个输入样本，xl 2，j表示第2层的第l个输入样本，down(xl 1，j(1≤j≤30)表示在第1层的第l个输入样本中的下采样函数，down(xl 2，j(1≤j≤1)表示在第2层的第l个输入样本中的下采样函数，W1，j表示第1层卷积核的权值，b1，j表示第1层卷积核的偏置，W2，j表示第2层卷积核的权值，b2，j表示第2层卷积核的偏置。
4.根据权利要求1所述的一种基于面试中微表情的说谎检测方法，其特征在于，所述步骤3进一步为：
步骤3-1、采用边框预测公式预测偏移量：
Figure FDA0002254487630000041
Figure FDA0002254487630000042
步骤3-2、在步骤3-1的基础上继续计算分类概率：
Figure FDA0002254487630000043
Figure FDA0002254487630000044
式中，cx、cy表示grid cell的左上角坐标，tx和ty表示预测的坐标偏移值，dx、dy表示grid cell的右下角坐标，tw和th表示缩放尺度，pw和ph表示预设的anchor box的在featuremap上的宽和高，Gw、Gh表示grid cell的左下角坐标。
5.根据权利要求1所述的一种基于面试中微表情的说谎检测方法，其特征在于，所述步骤4进一步为：
步骤4-1、根据检测框与预选取检测框的1oU值与阈值T对比：
Figure FDA0002254487630000045
式中，μi表示检测框i的比例惩罚因子，IoU(Pm·Pi)表示检测框Pi与置信度分度最大检测框Pm的IoU值，当IoU值小于给定阈值T时，检测框的比例惩罚因子为1。
6.根据权利要求1所述的一种基于面试中微表情的说谎检测方法，其特征在于，所述步骤5进一步为：
步骤5-1、利用高斯核SVM构造出k个独立二元分类器k类数据进行分类，第m个二元分类器通过使用第m类的数据作为正训练样本，其余k-1个数据为负训练样本，对于训练数据xi和对应标签yi，判定函数为：
Figure FDA0002254487630000051
式中，ωT+b表示分离超平面，ω表示与分离超平面垂直的权向量，b表示超平面的偏置向量，Wi表示第i个输入单元和隐藏单元相关联的权值向量，bi表示与隐藏单元相关联的偏置向量，ai-1表示网络中隐藏层的输入量，m表示训练样本的数量，
Figure FDA0002254487630000052
表示超平面之间的边缘带；
步骤5-2、添加一个全卷积层，以生成位置敏感分数图的score bank，运行一个全卷积RPN网络，以生成感兴趣区域；
步骤5-3、对于步骤5-2中的感兴趣区域，检查其中的score bank值，判断感兴趣区域是否匹配具体目标的对应位置，一旦每个k2感兴趣区域都具备目标匹配值，则求感兴趣区域的平均值，得到每个类的分数：
scorek(xi)＝wk Txi+b
式中，wk T表示感兴趣区域k的权重矩阵，xi表示第i个训练样本，b表示超平面的偏置向量；
将分数转化为概率值：
Figure FDA0002254487630000053
式中，m表示模型的采样数，
Figure FDA0002254487630000054
表示第i个训练样本的第k次迭代；
步骤5-4、对剩下C+1个维度向量进行softmax回归，完成分类。
CN201911047515.6A 2019-10-30 2019-10-30 一种基于面试中微表情的说谎检测方法 Pending CN110889332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911047515.6A CN110889332A (zh) 2019-10-30 2019-10-30 一种基于面试中微表情的说谎检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911047515.6A CN110889332A (zh) 2019-10-30 2019-10-30 一种基于面试中微表情的说谎检测方法

Publications (1)

Publication Number Publication Date
CN110889332A true CN110889332A (zh) 2020-03-17

Family

ID=69746712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911047515.6A Pending CN110889332A (zh) 2019-10-30 2019-10-30 一种基于面试中微表情的说谎检测方法

Country Status (1)

Country Link
CN (1) CN110889332A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476225A (zh) * 2020-06-28 2020-07-31 平安国际智慧城市科技股份有限公司 基于人工智能的车内人脸识别方法、装置、设备及介质
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111709310A (zh) * 2020-05-26 2020-09-25 重庆大学 一种基于深度学习的手势跟踪与识别方法
CN111931865A (zh) * 2020-09-17 2020-11-13 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质
CN112347843A (zh) * 2020-09-18 2021-02-09 深圳数联天下智能科技有限公司 一种训练皱纹检测模型的方法及相关装置
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
CN113255551A (zh) * 2021-06-04 2021-08-13 广州虎牙科技有限公司 一种人脸编辑器的训练、人脸编辑、直播方法及相关装置
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法
WO2021196831A1 (zh) * 2020-03-30 2021-10-07 深圳壹账通智能科技有限公司 基于视频信息的数据验证方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109657542A (zh) * 2018-11-09 2019-04-19 深圳壹账通智能科技有限公司 面试人员的性格预测方法、装置、计算机设备及计算机存储介质
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN109961054A (zh) * 2019-03-29 2019-07-02 山东大学 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法
CN110009475A (zh) * 2019-02-12 2019-07-12 平安科技（深圳）有限公司 风险稽核监察方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN107679526A (zh) * 2017-11-14 2018-02-09 北京科技大学 一种人脸微表情识别方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109657542A (zh) * 2018-11-09 2019-04-19 深圳壹账通智能科技有限公司 面试人员的性格预测方法、装置、计算机设备及计算机存储介质
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN110009475A (zh) * 2019-02-12 2019-07-12 平安科技（深圳）有限公司 风险稽核监察方法、装置、计算机设备及存储介质
CN109961054A (zh) * 2019-03-29 2019-07-02 山东大学 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIRUI JIAO 等: "An Ensemble of VGG Networks for Video-based facial Expression Recognition", 《2018 FIRST ASIAN CONFERENCE AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION》 *
徐峰 等: "人脸微表情识别综述", 《自动化学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196831A1 (zh) * 2020-03-30 2021-10-07 深圳壹账通智能科技有限公司 基于视频信息的数据验证方法、装置及存储介质
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111523530B (zh) * 2020-04-13 2021-04-02 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111709310A (zh) * 2020-05-26 2020-09-25 重庆大学 一种基于深度学习的手势跟踪与识别方法
CN111709310B (zh) * 2020-05-26 2024-02-02 重庆大学 一种基于深度学习的手势跟踪与识别方法
CN111476225B (zh) * 2020-06-28 2020-10-02 平安国际智慧城市科技股份有限公司 基于人工智能的车内人脸识别方法、装置、设备及介质
CN111476225A (zh) * 2020-06-28 2020-07-31 平安国际智慧城市科技股份有限公司 基于人工智能的车内人脸识别方法、装置、设备及介质
CN111931865A (zh) * 2020-09-17 2020-11-13 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质
CN111931865B (zh) * 2020-09-17 2021-01-26 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质
CN112347843A (zh) * 2020-09-18 2021-02-09 深圳数联天下智能科技有限公司 一种训练皱纹检测模型的方法及相关装置
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
CN113255551A (zh) * 2021-06-04 2021-08-13 广州虎牙科技有限公司 一种人脸编辑器的训练、人脸编辑、直播方法及相关装置
CN113379606A (zh) * 2021-08-16 2021-09-10 之江实验室 一种基于预训练生成模型的人脸超分辨方法

Similar Documents

Publication Publication Date Title
CN110889332A (zh) 一种基于面试中微表情的说谎检测方法
CN111695469B (zh) 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN106815566B (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN104537393B (zh) 一种基于多分辨率卷积神经网络的交通标志识别方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN107145857B (zh) 人脸属性识别方法、装置和模型建立方法
JP6788264B2 (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
US20230080031A1 (en) Face Recognition Method and Face Recognition Apparatus
CN100375108C (zh) 一种人脸特征点自动定位方法
CN108615010A (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN110363253A (zh) 一种基于卷积神经网络的热轧带钢表面缺陷分类方法
CN106485214A (zh) 一种基于卷积神经网络的眼睛和嘴部状态识别方法
CN101236608A (zh) 基于图片几何结构的人脸检测方法
CN111507227B (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN112395442A (zh) 移动互联网上的低俗图片自动识别与内容过滤方法
CN109101108A (zh) 基于三支决策优化智能座舱人机交互界面的方法及系统
CN107622261A (zh) 基于深度学习的人脸年龄估计方法及装置
CN113205103A (zh) 一种轻量级的文身检测方法
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及系统
CN113436174A (zh) 一种人脸质量评估模型的构建方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211000 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Applicant after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Address before: 211000 3rd floor, building 3, 266 Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Applicant before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317