CN110516608A - 一种基于多模态数据异常检测的微表情识别方法 - Google Patents
一种基于多模态数据异常检测的微表情识别方法 Download PDFInfo
- Publication number
- CN110516608A CN110516608A CN201910802576.2A CN201910802576A CN110516608A CN 110516608 A CN110516608 A CN 110516608A CN 201910802576 A CN201910802576 A CN 201910802576A CN 110516608 A CN110516608 A CN 110516608A
- Authority
- CN
- China
- Prior art keywords
- sample
- face
- micro
- image
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005856 abnormality Effects 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000013480 data collection Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000002203 pretreatment Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Abstract
本发明公开了一种基于多模态数据异常检测的微表情识别方法，具体来说，基于计算机视觉技术对被测试者视频进行预处理得到多模态数据集，然后利用基于局部近邻的多模态异常检测技术得到每一帧图像的异常度得分，最后依据预设阈值，判定异常度大于阈值的图像含有微表情。本发明实施过程中可以自动、高效、准确地识别被测试者视频中的微表情，节省人力成本。
Description
技术领域
本发明涉及一种基于多模态数据异常检测的微表情识别方法，属于计算机视觉技术领域。
背景技术
微表情是指人类试图压抑或隐藏真实情感时泄露的短暂而不能自主控制的面部表情。在很多领域中，比如司法审讯，临床医学等领域，微表情检测得到了广泛关注，需要对被检测者进行微表情识别来挖掘被检测者的真实情绪和意图。由于微表情通常持续时间短并且强度低于正常表情，我们一般需要对于被测试者的测试视频里的每一帧图像进行单独分析，以此来检测识别微表情。
目前，微表情识别严重依赖于人力，要识别长视频中的微表情，只能依靠专家进行识别，而微表情识别专家往往非常稀缺。因此，需要一种能够自动、高效的微表情识别的方法。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于多模态数据异常检测的微表情识别方法，具体来说，首先利用计算机视觉技术对视频进行预处理，随后利用基于局部近邻的多模态数据异常检测算法对微表情进行识别。
技术方案：一种基于多模态数据异常检测的微表情识别方法，包括基于计算机视觉的面部图像预处理步骤和基于局部近邻的多模态数据异常检测步骤；
所述基于计算机视觉的面部图像预处理步骤具体为：
步骤100，输入被测试者的测试视频；
步骤101，将测试视频的每一帧图像作为一条样本添加到数据集中；
步骤102，将每个样本根据面部的上半部分和下半部分分为两个模态得到多模态数据集；由于微表情十分微弱，可能只出现在面部上半部分或者下半部分。还有少量微表情会同时出现在面部上半部分和下半部分。这两类微表情恰好对应了多模态数据中的两类异常点。具体来说，在面部上半部分和下半部分同时出现的微表情对应于多模态数据中的一致异常数据，即模态之间一致且异常的数据；只在面部上半部分或者下半部分出现的微表情对应于多模态数据中的不合异常数据，即模态之间表现不一致的异常数据；
步骤103，使用LBP算法提取多模态面部数据的特征；
步骤104，面部图像预处理完成。
所述基于局部近邻的多模态数据异常检测步骤具体为：
步骤200，输入多模态面部数据集；
步骤201，初始化多模态面部数据集中每个面部图像样本的正常度得分为1，用S-score表示正常度，异常度的分为1-S-score＝0；
步骤202，对于每个面部图像样本的每个模态，计算它与其他样本的“正常距离”，“正常距离”计算方式为样本距离*S-score；对于样本i，样本j与样本i的“正常距离”为i，j之间距离*样本j的S-score；
步骤203，对于每个面部图像样本，在每个模态寻找K个距离该样本“正常距离”最小的样本作为其K正常近邻；把所有样本的正常近邻用矩阵W表示，若样本j为样本i的K正常近邻，则W第i行第j列为1，否则为0；
步骤204，将所有面部图像样本的S-score用向量O表示，向量O的第i维为样本i的S-score；优化目标OTWOT，得到样本更新后的正常度向量O和S-score；优化方法可以选择区间放松优化技术或者谱放松优化技术。其中区间放松优化技术放松整数约束为连续区间约束，整体上可以取得很好的检测结果。谱放松优化技术放松整数约束为谱约束，检测效果相比区间优化技术效果会有一定损失，但可以大幅加速检测时间。
步骤205，重复步骤202、步骤203、204，直至收敛；
步骤206，输出数据集中每个面部图像样本的异常度打分1-S-score；
步骤207，根据预先设立好的阈值判定异常度高于阈值的面部图像包含微表情。
有益效果：与现有技术相比，本发明所提供的基于多模态数据异常检测的微表情识别方法，实施过程中可以自动、高效、准确地识别被测试者视频中的微表情，节省人力成本。具体优点如下：
一、本发明首先根据计算机视觉技术预处理被测试者视频得到多模态数据集。其中的构思是：由于微表情十分微弱，可能只出现在面部上半部分或者下半部分；还有少量微表情会同时出现在面部上半部分和下半部分；这两类微表情恰好对应了多模态数据中的两类异常点。具体来说，在面部上半部分和下半部分同时出现的微表情对应于多模态数据中的一致异常数据，即模态之间一致且异常的数据；只在面部上半部分或者下半部分出现的微表情对应于多模态数据中的不合异常数据，即模态之间表现不一致的异常数据。
二、通过计算机视觉技术将被测试者视频预处理得到多模态数据集后，本发明使用基于局部近邻的多模态异常检测技术来检测被测试者视频中的微表情。这其中的构思是：对于多模态异常样本，其在某一个模态的正常近邻在其他模态与该样本相似度小，将相似度累加后可以得到样本正常度得分S-score，随后可以通过1-S-core计算得到该样本的异常度得分。基于局部近邻的多模态异常检测技术的优化目标基于此思想，同时估计样本异常度和异常样本集合，其中的核心思想是找到一个样本集合，使得该集合异常得分总和最小。但是这个问题是一个NP难的问题，我们一般会把集合中的离散0，1约束放松为连续约束进行求解，即步骤204中的优化目标OTWOT，用连续的O表示样本异常度来替代原本的0，1表示样本是否在集合内。确定了目标函数后，可以通过区间放松优化技术或者谱放松优化技术来求解问题。其中区间放松优化技术放松整数约束为连续区间约束，整体上可以取得很好的检测结果。谱放松优化技术放松整数约束为谱约束，检测效果相比区间优化技术效果会有一定损失，但可以大幅加速检测时间。优化完成后，即可以得到每一帧图像的异常度得分。基于局部近邻的多模态异常检测技术判定异常度大于预设阈值的图片帧为含有微表情的图像。
附图说明
图1为本发明实施例的基于计算机视觉的面部图像预处理步骤流程图；
图2为本发明实施例的基于局部近邻的多模态数据异常检测步骤流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于多模态数据异常检测的微表情识别方法，具体来说，基于计算机视觉技术对被测试者视频进行预处理得到多模态数据集，然后利用基于局部近邻的多模态异常检测技术得到每一帧图像的异常度得分，最后依据预设阈值，判定异常度大于阈值的图像含有微表情。
基于计算机视觉的面部图像预处理步骤工作流程如图1所示。首先输入被测试者的测试视频(步骤10)；然后将测试视频的每一帧图像作为一条样本添加到数据集中(步骤11)；将每样本根据面部的上半部分和下半部分分为两个模态得到多模态数据集(步骤12)；使用LBP算法提取多模态面部数据的特征(步骤13)；面部图像预处理完成，结束(步骤14)。
基于局部近邻的多模态数据异常检测步骤工作流程如图2所示。输入多模态面部数据集(步骤20)；初始化多模态面部数据集中每个面部图像样本的正常度得分为1，用S-score表示正常度，异常度的分为1-S-score＝0(步骤21)；对于每个面部图像样本的每个模态，计算它与其他样本的“正常距离”，“正常距离”计算方式为样本距离*S-score；对于样本i，样本j与样本i的“正常距离”为i，j之间距离*样本j的S-score(步骤22)；对于每个面部图像样本，在每个模态寻找K个距离该样本“正常距离”最小的样本作为其K正常近邻；把所有样本的正常近邻用矩阵W表示，若样本j为样本i的K正常近邻，则W第i行第j列为1，否则为0(步骤23)；将所有面部图像样本的S-score用向量O表示，向量O的第i维为样本i的S-score；优化目标OTWOT，得到样本更新后的正常度向量O和S-score(步骤24)；重复步骤22、步骤23、24，直至收敛(步骤25)；输出数据集中每个面部图像样本的异常度打分1-S-score(步骤26)；根据预先设立好的阈值判定异常度高于阈值的面部图像包含微表情(步骤27)。
K正常近邻的K是个超参数，要根据实际情况进行调整，目前情况下，K一般设置为5或者10。
预先设立好的阈值是个超参数，要根据数据集的实际情况进行调整，阈值一般设置为0.9。
多模态数据异常检测具有一定的通用性，可以在多模态数据不存在簇结构的情况下使用。
Claims (4)
1.一种基于多模态数据异常检测的微表情识别方法，其特征在于：包括基于计算机视觉的面部图像预处理步骤和基于局部近邻的多模态数据异常检测步骤；
所述基于计算机视觉的面部图像预处理步骤具体为：
步骤100，输入被测试者的测试视频；
步骤101，将测试视频的每一帧图像作为一条样本添加到数据集中；
步骤102，将每个图像根据面部的上半部分和下半部分分为两个模态得到多模态数据集；
步骤103，使用LBP算法提取多模态面部数据的特征；
步骤104，面部图像预处理完成。
所述基于局部近邻的多模态数据异常检测步骤具体为：
步骤200，输入多模态面部数据集；
步骤201，初始化多模态面部数据集中每个面部图像样本的正常度得分为1，用S-score表示正常度，异常度的分为1-S-score＝0；
步骤202，对于每个面部图像样本的每个模态，计算它与其他样本的“正常距离”，“正常距离”计算方式为样本距离*S-score；对于样本i，样本j与样本i的“正常距离”为i，j之间距离*样本j的S-score；
步骤203，对于每个面部图像样本，在每个模态寻找K个距离该样本“正常距离”最小的样本作为其K正常近邻；把所有样本的正常近邻用矩阵W表示，若样本j为样本i的K正常近邻，则W第i行第j列为1，否则为0；
步骤204，将所有面部图像样本的S-score用向量O表示，向量O的第i维为样本i的S-score；优化目标OTWOT，得到样本更新后的正常度向量O和S-score；
步骤205，重复步骤202、步骤203、204，直至收敛；
步骤206，输出数据集中每个面部图像样本的异常度打分1-S-score；
步骤207，根据预先设立好的阈值判定异常度高于阈值的面部图像包含微表情。
2.如权利要求1所述的基于多模态数据异常检测的微表情识别方法，其特征在于：所述K正常近邻的K是个超参数，K的取值为5或者10。
3.如权利要求1所述的基于多模态数据异常检测的微表情识别方法，其特征在于：设立好的阈值是个超参数，要根据数据集的实际情况进行调整，阈值设置为0.9。
4.如权利要求1所述的基于多模态数据异常检测的微表情识别方法，其特征在于：步骤204目标优化方法选择区间放松优化技术或者谱放松优化技术；其中区间放松优化技术放松整数约束为连续区间约束；谱放松优化技术放松整数约束为谱约束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802576.2A CN110516608B (zh) | 2019-08-28 | 2019-08-28 | 一种基于多模态数据异常检测的微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802576.2A CN110516608B (zh) | 2019-08-28 | 2019-08-28 | 一种基于多模态数据异常检测的微表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110516608A true CN110516608A (zh) | 2019-11-29 |
| CN110516608B CN110516608B (zh) | 2023-04-07 |
Family
ID=68627536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910802576.2A Active CN110516608B (zh) | 2019-08-28 | 2019-08-28 | 一种基于多模态数据异常检测的微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110516608B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015076433A1 (ko) * | 2013-11-20 | 2015-05-28 | (주)나노인사이드 | 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 |
| CN107273876A (zh) * | 2017-07-18 | 2017-10-20 | 山东大学 | 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
-
2019
- 2019-08-28 CN CN201910802576.2A patent/CN110516608B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015076433A1 (ko) * | 2013-11-20 | 2015-05-28 | (주)나노인사이드 | 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 |
| CN107273876A (zh) * | 2017-07-18 | 2017-10-20 | 山东大学 | 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110516608B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Automatic microaneurysm detection using the sparse principal component analysis-based unsupervised classification method | |
| Pan et al. | Accurate segmentation of nuclei in pathological images via sparse reconstruction and deep convolutional networks | |
| CN112288706B (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| CN105117692A (zh) | 一种基于深度学习的实时人脸识别方法及系统 | |
| CN107633522B (zh) | 基于局部相似性活动轮廓模型的脑部图像分割方法和系统 | |
| Harangi et al. | Automatic exudate detection using active contour model and regionwise classification | |
| CN110490892A (zh) | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 | |
| Harangi et al. | Automatic exudate detection with improved naïve-Bayes classifier | |
| CN104598888B (zh) | 一种人脸性别的识别方法 | |
| Joshua et al. | Segmentation of optic cup and disc for diagnosis of glaucoma on retinal fundus images | |
| CN103854027A (zh) | 一种人群行为识别方法 | |
| CN106157279A (zh) | 基于形态学分割的眼底图像病变检测方法 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| CN111199238A (zh) | 一种基于双流卷积神经网络的行为识别方法及设备 | |
| Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
| Mvoulana et al. | Fine-tuning Convolutional Neural Networks: a comprehensive guide and benchmark analysis for Glaucoma Screening | |
| Devasia et al. | Automatic Optic Disc Localization and Segmentation using Swarm Intelligence. | |
| CN106372593B (zh) | 一种基于血管收敛的视盘区定位方法 | |
| US6941288B2 (en) | Online learning method in a decision system | |
| CN110516608A (zh) | 一种基于多模态数据异常检测的微表情识别方法 | |
| Ali et al. | Optic Disc Localization in Retinal Fundus Images Based on You Only Look Once Network (YOLO). | |
| CN105184799A (zh) | 一种改进的无监督脑部肿瘤mri图像分割方法 | |
| CN108597602A (zh) | 一种面向皮肤医学数据的标签纠错方法 | |
| Princye et al. | Detection of exudates and feature extraction of retinal images using fuzzy clustering method | |
| CN102279925A (zh) | 链式处理人脸识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |