CN112329648B - 基于面部表情交互的人际关系行为模式识别方法 - Google Patents
基于面部表情交互的人际关系行为模式识别方法 Download PDFInfo
- Publication number
- CN112329648B CN112329648B CN202011237259.XA CN202011237259A CN112329648B CN 112329648 B CN112329648 B CN 112329648B CN 202011237259 A CN202011237259 A CN 202011237259A CN 112329648 B CN112329648 B CN 112329648B
- Authority
- CN
- China
- Prior art keywords
- expression
- interaction
- neural network
- interpersonal relationship
- relationship behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 65
- 230000006399 behavior Effects 0.000 title claims abstract description 50
- 230000008921 facial expression Effects 0.000 title claims abstract description 16
- 238000012567 pattern recognition method Methods 0.000 title claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims abstract description 56
- 230000015654 memory Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000007787 long-term memory Effects 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000002790 cross-validation Methods 0.000 claims description 4
- 206010048909 Boredom Diseases 0.000 claims description 3
- 235000004240 Triticum spelta Nutrition 0.000 claims description 3
- 230000008451 emotion Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000002474 experimental method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于面部表情交互的人际关系行为模式识别方法，首先从给定的视频序列中分离出特定的表情交互序列，并利用动态时间规整算法计算每一表情交互序列的共情度量值，用来构建样本集，然后采用长短期记忆网络模型对采集的双人交互数据进行训练，通过输入表情交互序列，判断双方当前的具体人际关系行为模式，本发明采用长短期记忆网络模型作为训练模型，同时引入共情这一概念，提出对其进行量化的方法，将其量化值融入到模型中，进一步提高了模型的识别准确率。
Description
技术领域
本发明计算机视觉技术领域，具体涉及一种基于面部表情交互的人际关系行为模式识别方法。
背景技术
一直以来，基于视觉的人的行为识别是一个非常活跃的研究领域，在人的行为识别中，人与人交互行为识别是一个重要组成部分。目前，双人交互行为识别的研究在智慧教育、智能安防、视频监控领域中有很大的应用前景，尤其是多种神经网络模型的提出推动了深度学习技术在双人交互行为识别上的应用。但双人交互行为识别方法重点关注人的身体行为(如握手、拥抱、斗殴等)所引起的交互活动，对面部表情引起的交互问题研究的很少。
瑞士IDIAP研究院提出了社交信号处理网络，能够获得大量有关个体的情感、意图及社会关系的社交信息。该研究表明，多种非语言行为都可以作为表达人的情感、意图的社交信号。在人与人之间的互动中，大量的信息不是靠人与人之间的明确交流，而是通过人与人之间说话的方式、面部表情、手势和其他方式。
另一方面，为满足人机交互的需求，表情识别技术经过几十年发展，取得了显著成果。无论是基于静态图片的识别技术以及基于动态视频序列的识别技术，都已经相对成熟。但是，这方面的研究主要是针对个人的表情识别，没有考虑表情交互问题。
同时研究表明人类识别他人感受的能力与一个人的模仿能力有关，并且似乎是基于一种天生的能力，这种能力将一个人看到的另一个身体动作和面部表情与自己产生相应的动作或表情的本体感受相关联，共情即人类识别他人的感受能力。从心理学的角度来看，交互过程实质上是分为两个步骤：第一步，区分他人的情感状态；第二步，在考虑到他人的情感状态下，做出自己的情感反应，也就是感同身受。目前针对如何对交互过程中的共情程度进行量化尚没有一个明确的标准。
发明内容
针对现有技术的不足，本发明提出一种基于面部表情交互的人际关系行为模式识别方法，包括以下步骤：
步骤1：采集n段双人表情交互视频片段，构建长短期记忆神经网络模型的样本集，包括：
步骤1.2：确定每段视频片段的表情交互序列；
步骤1.3：利用动态时间规整算法计算每一表情交互序列的共情度量值；
步骤1.4：确定每段视频对应的人际关系行为模式，并标记为不同的标签；
步骤1.5：将同一段视频片段对应的表情交互序列、共情度量值、人际关系行为模式对应的标签作为一组样本数据；
步骤1.6：统计n段视频片段对应的n组样本数据，构成样本集；
步骤2：采用十折交叉验证技术将样本集划分为训练集和测试集两部分；
步骤3：设置长短期记忆神经网络层的超参数，并构建长短期记忆神经网络模型，所述长短期记忆神经网络模型包括输入层、长短期记忆神经网络层、全连接层、输出层，所述超参数包括长短期记忆神经网络层的单元数目及层数、学习率、学习次数、批量大小；
步骤4：利用训练集训练长短期记忆神经网络模型，得到训练后的模型；
步骤5：利用测试集验证训练后的模型的准确率，将准确率最高的模型作为最优模型；
步骤6：利用最优模型对待识别的双人表情交互视频片段进行人际关系行为模式的识别。
所述步骤1.3包括：
步骤1.3.1：将第q段双人表情交互视频片段平均划分为m个时间序列，定义视频中的人A、人B对应的表情交互序列分别为SAq＝{xA1,xA2,…,xAt,…,xAm}、SBq＝{xB1,xB2,…,xBt,…,xBm}，t＝1,2,…,m，xAt表示视频中的人A在第t个时间序列内的表情所对应的One-hot编码值，xBt表示视频中的人B在第t个时间序列内的表情所对应的One-hot编码值，q＝1,2,…,n；
步骤1.3.2：计算每组样本中人A、人B对应的表情交互序列中的任意两个编码值tAi、tBj的欧式距离为d(tAi,tBj)；
步骤1.3.3：令i＝1,2,…,m，j＝1,2,…,m，计算出所有的欧式距离，并构成一个m×m的矩阵D＝(di,j)，di,j表示矩阵D中第i行、第j列对应的元素d(tAi,tBj)，即di,j＝d(tAi,tBj)；
步骤1.3.4：利用公式(1)计算得到累计距离值d’i,j，其中，令d'0,0＝d'0,j＝d’i,0＝0；
d’i,j＝di,j+min{d’i,j-1,d’i-1,j,d’i-1,j-1} (1)
步骤1.3.5：令i＝1,2,…,m，j＝1,2,…,m，利用公式(1)迭代计算得到d'm,m，则累计距离值d'm,m即为第q段双人表情交互视频片段对应的共情度量值e。
3、所述人际关系行为模式包括：1)由管理、教育引起对方的尊敬和服从；2)由帮助、同情引起对方的信任和接受；3)由赞同、合作引起对方的协助和友好；4)由尊敬、求助引起对方的帮助；5)由怯懦、服从导致对方的欺侮、控制；6)由反抗、厌倦导致对方的惩罚、拒绝；7)由攻击、责骂导致对方的仇恨和反抗；8)由夸张、拒绝导致对方的不信任、自卑；9)不属于1)～8)中的交互类别，但仍属于可识别出的人际关系行为模式；10)不可识别的人际关系行为模式。
本发明的有益效果是：
本发明提出了一种基于面部表情交互的人际关系行为模式识别方法，首次将表情交互行为和人际关系行为模式这两种概念相关联，采用长短期记忆网络模型(简称LSTM模型)，利用采集的双人交互数据进行训练，通过输入表情交互序列，可判断出双方当前的具体人际关系行为模式。本发明引入共情这一概念，提出对其进行量化的方法，将其量化值融入到LSTM模型中，进一步提高了模型的识别准确率。
附图说明
图1为本发明中基于面部表情交互的人际关系行为模式识别方法流程图；
图2为本发明中基于面部表情交互的人际关系行为模式识别示意图；
图3为本发明中人工识别表情示意图；
图4为本发明中对比实验2的准确率对比图；
图5为本发明中对比实验3的准确率对比图；
图6为本发明中全连接神经网络(FCN)模型的混淆矩阵；
图7为本发明中卷积神经网络(CNN)模型的混淆矩阵；
图8为本发明中长短期记忆神经网络(LSTM)模型混淆矩阵。
具体实施方式
为解决表情面部表情交互问题，本发明提出从给定的视频序列中分离出特定的表情交互序列，通过分类学习，判别交互双方的人际关系行为模式，为解决双人交互识别问题提供新的思路。同时本发明引用共情这一概念，提出对其进行量化的方法，并将情感计算融入到识别模型中。下面结合附图和具体实施实例对发明做进一步说明。
如图1～图2所示，一种基于面部表情交互的人际关系行为模式识别方法，包括如下步骤：
步骤1：采集n段双人表情交互视频片段，构建长短期记忆神经网络模型的样本集，包括：
步骤1.2：确定每段视频片段的表情交互序列；
步骤1.3：利用动态时间规整算法计算每一表情交互序列的共情度量值，包括：
步骤1.3.1：将第q段双人表情交互视频片段平均划分为m个时间序列，定义视频中的人A、人B对应的表情交互序列分别为SAq＝{xA1,xA2,…,xAt,…,xAm}、SBq＝{xB1,xB2,…,xBt,…,xBm}，t＝1,2,…,m，xAt表示视频中的人A在第t个时间序列内的表情所对应的One-hot编码值，xBt表示视频中的人B在第t个时间序列内的表情所对应的One-hot编码值，q＝1,2,…,n；
步骤1.3.2：计算每组样本中人A、人B对应的表情交互序列中的任意两个编码值xAi、xBj的欧式距离为d(xAi,xBj)；
步骤1.3.3：令i＝1,2,…,m，j＝1,2,…,m，计算出所有的欧式距离，并构成一个m×m的矩阵D＝(di,j)，di,j表示矩阵D中第i行、第j列对应的元素d(xAi,xBj)，即di,j＝d(xAi,xBj)；
步骤1.3.4：利用公式(1)计算得到累计距离值d’i,j，其中，令d'0,0＝d'0,j＝d’i,0＝0；
d’i,j＝di,j+min{d’i,j-1,d’i-1,j,d’i-1,j-1} (1)
步骤1.3.5：令i＝1,2,…,m，j＝1,2,…,m，利用公式(1)迭代计算得到d'm,m，则累计距离值d'm,m即为第q段双人表情交互视频片段对应的共情度量值e。
步骤1.4：确定每段视频对应的人际关系行为模式，并标记为不同的标签；
步骤1.5：将同一段视频片段对应的表情交互序列、共情度量值、人际关系行为模式对应的标签作为一组样本数据；
步骤1.6：统计n段视频片段对应的n组样本数据，构成样本集；
本实施方式中构建样本集的过程如下：
进行一次粗略调查从而确定时间窗口即视频时长范围，首先采集50个60s的双人表情交互视频，然后从大学生中随机采访5个普通人，每人对其中的10段视频进行观察，并分别记录他们在观察10段视频过程中判定标签的最短识别时间和最长维持时间，标签为美国社会心理学家概括出的八种代表性的人际关系行为模式，另外，根据实际情况定义两个其他类型的标签，主要有：1)8种标签不能包涵的其他类别，但其仍属于人际关系行为模式，例如，由一方的兴致勃勃导致另一方的挖苦甚至愤怒，或者由一方的伤心难过导致另一方的兴奋甚至嘲笑；2)不可识别的类型。在这类场景中一方行为未能明显影响或改变另一方行为，交互双方情感色彩过于平淡，比如交互双方一问一答，并未流露过多情感，因此这一类别不属于人际关系行为模式。十种标签类别如下：
1由管理、教育引起对方的尊敬和服从
2由帮助、同情引起对方的信任和接受
3由赞同、合作引起对方的协助和友好
4由尊敬、求助引起对方的帮助
5由怯懦、服从导致对方的欺侮、控制
6由反抗、厌倦导致对方的惩罚、拒绝
7由攻击、责骂导致对方的仇恨和反抗
8由夸张、拒绝导致对方的不信任、自卑
9不属于以上交互类别(可识别)
10无法识别(感情过于平淡)
按照表1给出的表情与序列号的关系表，为每个时间片下的表情打标签，图3中，在当前时间片下，两个人的表情都为高兴happy，因此该时间片下叠加后的表情交互序列为0002000，其他时间片下的两人表情也按照上述方式进行叠加，最终得到视频片段的表情交互序列。
表1表情与序列号关系表
表2记录了5人A、B、C、D、E对于10段视频的标签最短识别时间均值和最长维持时间均值，同时对于5个人的标签识别时间均值和标签持续时间均值再次求平均值。调查显示，对于一段60s的双人交互视频，通常在17.3s左右，人们可以给视频打出一个较为合理的标签，而对于该标签，其维持的时间大约在31.5s左右，超过一定时长，标签有很大概率将会发生改变，因此时间窗口设定在15-30s范围内。
表2标签识别时间及标签维持时间记录表
人工采集1000个时长30s的表情交互片段并且人工完成表情识别和人际关系行为模式类别的标注，同时由于规定每隔3s记录一次两人交互表情，则相应的时间序列数m＝{5,6,7,8,9,10}，因此视频片段的前15s、18s、21s、24s、27s、30s依次作为不同时间窗口下的样本集。
步骤2：采用十折交叉验证技术将样本集划分为训练集和测试集两部分；
步骤3：设置长短期记忆神经网络层(简称LSTM层)的超参数，并构建长短期记忆神经网络模型(简称LSTM模型)，所述长短期记忆神经网络模型包括输入层、长短期记忆神经网络层、全连接层、输出层，所述超参数包括长短期记忆神经网络层的单元数目及层数、学习率、学习次数、批量大小；其中，LSTM层单元数目设置为128，LSTM层层数设置为1，学习率设置为0.001，学习次数设置为2000，批量大小设置为50。
步骤4：利用训练集训练长短期记忆神经网络模型，得到训练后的模型；
定义Sq＝{x1,x2,…,xt,…,xm}，xt＝xAt+xBt，相应地，cell数目与时间序列数目相同等于m，LSTM模型通过遗忘门ft、输入门it、输出门ot按照公式(3)、(4)、(5)、(6)、(7)选择性地筛选数据，完成对cell状态Ct的不断更新，对于每一个样本，xt作为输入矩阵经过m次迭代后，最后一个时间序列下的ht即为LSTM层的输出。
ft＝σ(Wf[ht-1,xt]+bf) (3)
ot＝σ(Wo[ht-1,xt]+bo) (6)
ht＝ot*tanh(Ct) (7)
式中，xt为视频中的人A在第t个时间序列内的表情所对应的One-hot编码值xAt与人B在第t个时间序列内的表情所对应的One-hot编码值xBt叠加得到的编码值，x0初始值设定为0，Wf，Wi，Wc，Wo初始值为随机初始化的权重向量，bf，bi，bc，bo初始值为随机初始化的偏置向量。
经过LSTM层后，数据再按照公式(8)通过全连接层完成分类。
Pq＝Wh+b (8)
式中，h为最后一个时间序列下LSTM层的输出值，W初始值为随机初始化的权重向量，b初始值为随机初始化的偏置向量。
采用Adam优化器完成数据在长短期记忆神经网络模型中的后向传播从而完成权重向量和偏置向量的迭代更新。
步骤5：利用测试集验证训练后的模型的准确率，将准确率最高的模型作为最优模型；
步骤6：利用最优模型对待识别的双人表情交互视频片段进行人际关系行为模式的识别。
本实施方式中设计了三个对比实验来验证本发明给出的识别方法的有效性，具体实验过程如下：
在对比实验1中，基于全连接神经网络(FCN)、卷积神经网络(CNN)、长短期记忆神经网络(LSTM)三种神经网络模型采用十折交叉验证技术对每个时间窗口下的表情交互序列进行训练，并测试相应的准确率，不同时间窗口下的准确率如表3所示，结果表明时间窗口为27s时，基于3种模型进行训练并测试的准确率最高，因此设定27s为最佳时间窗口。
表3三种神经网络下不同时间窗口的数据测试准确率记录表
图4为6种模型测试结果的对比图，在对比实验2中，除了3种神经网络模型外本发明还采用了3种传统的机器学习模型，分别为朴素贝叶斯模型(NBS)、K近邻模型(KNN)和决策树模型(DT)，对27s即最佳时间窗口下的数据进行训练并测试。对比实验2的结果表明LSTM模型相比于传统机器学习模型具有一定的优越性。
在对比实验3中，采用动态时间规整算法(DTW算法)对每一表情交互序列的共情程度进行量化，将共情量化值融入到神经网络模型中，作为新增加的特征值，重新对数据进行训练和测试，并将其结果与引入共情概念前的实验结果进行对比。
图5为3种神经网络模型引入共情量化值e前后测试结果的对比图，图中NOE代指未引入共情量化值e，E代指引入共情量化值。初始分类后的预测结果为p1，引入参数值e后得到的预测结果为p2，可定义为公式(9)、(10)，其中w为权重。
p1＝f(w1 T(S)) (9)
式中，w1、w2分别表示神经网络模型中的全连接层中表情交互序列S和共情量化值e对应的权重向量，f()表示神经网络的最终输出值到预测值的映射函数，先采用softmax函数将输出值转换成一个概率分布，然后取概率值最大的作为样本的预测分类值。
对比实验3结果的提高表明交互双方的共情能力在某种程度上与人际关系行为模式存在着一定的联系，同时可以起到改进模型的效果。最终本方法的识别准确率较高，可以达到75.2％。
其中模型建立的实验环境如下：处理器为Intel(R)Core(TM)i5-5200U CPU@2.20GHz，安装内存(RAM)为4.00GB，系统类型为64位操作系统，深度学习框架为tensorflow1.2.1，编程语言采用python 3.6.8。其中卷积神经网络模型的卷积层数为1，卷积核大小设定为3*1，即对前一时间片、当前时间片及后一时间片的特征进行提取，池化层采用最大池化层，大小设定为2*1。K近邻模型(KNN)中K值取3。朴素贝叶斯模型(NBS)中alpha值设定为1。除此之外其他模型的参数均为默认值或经验值。
此外本发明还统计了3类神经网络模型在其中一次测试中的混淆矩阵。如图6、图7、图8所示。整体来看，LSTM神经网络模型效果要好于全连接神经网络模型和卷积神经网络模型，这是因为LSTM相比CNN具有记忆的能力，其最大的优势在于每一时间步的输出都考虑到之前所有的输入，CNN神经网络模型中的卷积核虽然也可以提取数据在时间维度上的特征，但其大小是固定的，且并未考虑数据在时间维度上的长期依赖性。
Claims (3)
1.一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，包括如下步骤：
步骤1：采集n段双人表情交互视频片段，构建长短期记忆神经网络模型的样本集，包括：
步骤1.2：确定每段视频片段的表情交互序列；
步骤1.3：利用动态时间规整算法计算每一表情交互序列的共情度量值；
步骤1.4：确定每段视频对应的人际关系行为模式，并标记为不同的标签；
步骤1.5：将同一段视频片段对应的表情交互序列、共情度量值、人际关系行为模式对应的标签作为一组样本数据；
步骤1.6：统计n段视频片段对应的n组样本数据，构成样本集；
步骤2：采用十折交叉验证技术将样本集划分为训练集和测试集两部分；
步骤3：设置长短期记忆神经网络层的超参数，并构建长短期记忆神经网络模型，所述长短期记忆神经网络模型包括输入层、长短期记忆神经网络层、全连接层、输出层，所述超参数包括长短期记忆神经网络层的单元数目及层数、学习率、学习次数、批量大小；
步骤4：利用训练集训练长短期记忆神经网络模型，得到训练后的模型；
步骤5：利用测试集验证训练后的模型的准确率，将准确率最高的模型作为最优模型；
步骤6：利用最优模型对待识别的双人表情交互视频片段进行人际关系行为模式的识别。
2.根据权利要求1所述的一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，所述步骤1.3包括：
步骤1.3.1：将第q段双人表情交互视频片段平均划分为m个时间序列，定义视频中的人A、人B对应的表情交互序列分别为SAq＝{xA1,xA2,…,xAt,…,xAm}、SBq＝{xB1,xB2,…,xBt,…,xBm}，t＝1,2,…,m，xAt表示视频中的人A在第t个时间序列内的表情所对应的One-hot编码值，xBt表示视频中的人B在第t个时间序列内的表情所对应的One-hot编码值，q＝1,2,…,n；
步骤1.3.2：计算每组样本中人A、人B对应的表情交互序列中的任意两个编码值xAi、xBj的欧式距离为d(xAi,xBj)；
步骤1.3.3：令i＝1,2,…,m，j＝1,2,…,m，计算出所有的欧式距离，并构成一个m×m的矩阵D＝(di,j)，di,j表示矩阵D中第i行、第j列对应的元素d(xAi,xBj)，即di,j＝d(xAi,xBj)；
步骤1.3.4：利用公式(1)计算得到累计距离值d′i,j，其中，令d′0,0＝d′0,j＝d′i,0＝0；
d′i,j＝di,j+min{d′i,j-1,d′i-1,j,d′i-1,j-1} (1)
步骤1.3.5：令i＝1,2,…,m，j＝1,2,…,m，利用公式(1)迭代计算得到d′m,m，则累计距离值d′m,m即为第q段双人表情交互视频片段对应的共情度量值e。
3.根据权利要求1所述的一种基于面部表情交互的人际关系行为模式识别方法，其特征在于，所述人际关系行为模式包括：1)由管理、教育引起对方的尊敬和服从；2)由帮助、同情引起对方的信任和接受；3)由赞同、合作引起对方的协助和友好；4)由尊敬、求助引起对方的帮助；5)由怯懦、服从导致对方的欺侮、控制；6)由反抗、厌倦导致对方的惩罚、拒绝；7)由攻击、责骂导致对方的仇恨和反抗；8)由夸张、拒绝导致对方的不信任、自卑；9)不属于1)～8)中的交互类别，但仍属于可识别出的人际关系行为模式；10)不可识别的人际关系行为模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237259.XA CN112329648B (zh) | 2020-11-09 | 2020-11-09 | 基于面部表情交互的人际关系行为模式识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237259.XA CN112329648B (zh) | 2020-11-09 | 2020-11-09 | 基于面部表情交互的人际关系行为模式识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329648A CN112329648A (zh) | 2021-02-05 |
| CN112329648B true CN112329648B (zh) | 2023-08-08 |
Family
ID=74315650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011237259.XA Active CN112329648B (zh) | 2020-11-09 | 2020-11-09 | 基于面部表情交互的人际关系行为模式识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329648B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113359101B (zh) * | 2021-08-10 | 2021-11-05 | 中南大学 | 一种地下目标探测方法、系统及计算机存储介质 |
| CN116259091B (zh) * | 2023-01-18 | 2023-11-10 | 北京飞腾时光信息科技有限公司 | 一种静默活体检测的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107456218A (zh) * | 2017-09-05 | 2017-12-12 | 清华大学深圳研究生院 | 一种情绪感测系统及可穿戴设备 |
| CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
| CN109117952A (zh) * | 2018-07-23 | 2019-01-01 | 厦门大学 | 一种基于深度学习的机器人情感认知的方法 |
| CN110929762A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于深度学习的肢体语言检测与行为分析方法及系统 |
| CN111901943A (zh) * | 2020-08-06 | 2020-11-06 | 复旦大学 | 一种情感交互的照明系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000300A1 (en) * | 2015-07-02 | 2017-01-05 | Xiaoou Tang | Methods and systems for social relation identification |
| US11004461B2 (en) * | 2017-09-01 | 2021-05-11 | Newton Howard | Real-time vocal features extraction for automated emotional or mental state assessment |
| US20200285700A1 (en) * | 2019-03-04 | 2020-09-10 | University Of Southern California | Technology-Facilitated Support System for Monitoring and Understanding Interpersonal Relationships |
| CN108388876B (zh) * | 2018-03-13 | 2022-04-22 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置以及相关设备 |
-
2020
- 2020-11-09 CN CN202011237259.XA patent/CN112329648B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107456218A (zh) * | 2017-09-05 | 2017-12-12 | 清华大学深圳研究生院 | 一种情绪感测系统及可穿戴设备 |
| CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
| CN109117952A (zh) * | 2018-07-23 | 2019-01-01 | 厦门大学 | 一种基于深度学习的机器人情感认知的方法 |
| CN110929762A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于深度学习的肢体语言检测与行为分析方法及系统 |
| CN111901943A (zh) * | 2020-08-06 | 2020-11-06 | 复旦大学 | 一种情感交互的照明系统 |
Non-Patent Citations (1)
| Title |
|---|
| Facial Emoji Recognition;N.Swapna Goud;《IJTSRD》;第3卷(第3期);1330-1333 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329648A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652066A (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| CN112329648B (zh) | 基于面部表情交互的人际关系行为模式识别方法 | |
| CN108549658A (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN109448703B (zh) | 结合深度神经网络和主题模型的音频场景识别方法及系统 | |
| CN113749657B (zh) | 一种基于多任务胶囊的脑电情绪识别方法 | |
| CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| CN111178319A (zh) | 基于压缩奖惩机制的视频行为识别方法 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN111859010B (zh) | 一种基于深度互信息最大化的半监督音频事件识别方法 | |
| CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
| CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
| CN112185423B (zh) | 基于多头注意力机制的语音情感识别方法 | |
| CN111292851A (zh) | 数据分类方法、装置、计算机设备和存储介质 | |
| CN111428481A (zh) | 一种基于深度学习的实体关系抽取方法 | |
| CN112329974A (zh) | 基于lstm-rnn的民航安保事件行为主体识别与预测方法及系统 | |
| CN112560811B (zh) | 端到端的音视频抑郁症自动检测研究方法 | |
| CN113177587A (zh) | 基于主动学习和变分自编码器的广义零样本目标分类方法 | |
| CN113616209B (zh) | 基于时空注意力机制的精神分裂症患者甄别方法 | |
| CN110049034A (zh) | 一种基于深度学习的复杂网络实时Sybil攻击检测方法 | |
| CN113223622B (zh) | 基于元路径的miRNA-疾病关联预测方法 | |
| CN109147936A (zh) | 基于深度学习的非编码rna与疾病之间关联的预测方法 | |
| CN115293249A (zh) | 一种基于动态时序预测的电力系统典型场景概率预测方法 | |
| CN111414846B (zh) | 基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法 | |
| Hussain et al. | ADVIT: Using the potentials of deep representations incorporated with grid-based features of dorsum vein patterns for human identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |