CN106446810A - 一种用于精神状态分析的计算机视觉方法 - Google Patents
一种用于精神状态分析的计算机视觉方法 Download PDFInfo
- Publication number
- CN106446810A CN106446810A CN201610817582.1A CN201610817582A CN106446810A CN 106446810 A CN106446810 A CN 106446810A CN 201610817582 A CN201610817582 A CN 201610817582A CN 106446810 A CN106446810 A CN 106446810A
- Authority
- CN
- China
- Prior art keywords
- lbp
- video
- feature
- micro
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006996 mental state Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004458 analytical method Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000003745 diagnosis Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000008921 facial expression Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008451 emotion Effects 0.000 abstract 1
- 230000001815 facial effect Effects 0.000 abstract 1
- 238000011282 treatment Methods 0.000 description 7
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009894 physiological stress Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种用于精神状态分析的计算机视觉方法。该技术使用已确知微表情的面部视频作为训练数据库，提取已确知微表情视频和待检测视频的LBP‑TOP特征，得到描述视频的特征。然后使用已确知微表情视频训练SVM模型，再将待检测视频放入SVM模型进行分类，根据分类结果做出是否出现微表情的检测结果。当人们试图压抑自己真实情感时会出现微表情，检测微表情能反映出人的精神状态，从而辅助医生诊断，在一定程度上提高了医生对病人精神状态诊断的准确性和效率。
Description
技术领域
本发明涉及计算机视觉的图像分析处理领域，具体是一种用于精神状态分析的计算机视觉方法。
背景技术
对病人精神状态诊断作用和目的是诊断出病人在心理即精神行为状态以及是否发生改变，针对不同的精神状态来改善病人精神行为状态是在治疗过程中十分重要的一环。病人在治疗的过程中会受一些应激源如手术、对自己病情的了解等的影响，产生比较剧烈的心理与生理应激反应，这些应激反应如果十分强烈，可能会对内分泌系统、神经系统产生影响，产生焦虑、抑郁等心理，甚者会干扰诊断、手术、治疗等的实施和效果。因此，对于病人的精神状态特点和变化，及时发现并给予相应的心理治疗是十分重要的。现在对病人精神状态评估多数为问卷调查和自我评估，缺少一些客观的辅助判断来帮助医生诊断病人的精神状态，易造成评估不准，导致诊断出现误差。
而病人的微表情可以辅助医生进行精神状态的判断，微表情是一种持续时间仅为1/25～1/5s非常快速的表情，它是人们试图压抑或隐藏自己真实情感时表现出短暂的、不能自主控制的面部表情。在临床上，医生如果能发现病人的微表情，则可以更好的判断病人的精神状态及其变化，从而针对性地进行治疗，缩短治疗时间，提高治疗效果。未经过系统训练的人对微表情识别能力不高，而用计算机来自动检测微表情是很好的检测方法，微表情的自动检测可以在不被病人察觉的情况下进行，从而加强了判断的真实性和有效性。将计算机自动检测结合到临床诊断里，会帮助医生更好的对病人精神状态进行诊断。
发明内容
本发明的目的是提供一种用于精神状态分析的计算机视觉方法，以解决现有技术对于病人精神状态评估方法单一、缺少客观评估的的问题，自动地检测出病人是否有微表情的出现，有效地对病人精神状况进行判断，从而显著改善医生诊断的效果。
为了达到上述目的，本发明所采用的技术方案为：
一种用于精神状态分析的计算机视觉方法，其特征在于：提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值，
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
所述的一种用于精神状态分析的计算机视觉方法，其特征在于：提取视频的LBP-TOP特征来描述视频整体特征，来进行微表情检测。
本发明通过从已知的微表情视频数据中进行训练的基础上，检测病人的面部是否出现微表情，依据结果辅助医生对病人精神状态进行诊断，从而达到提高对病人精神状态诊断准确率和诊断效率以及减轻医生工作量的目标。该技术可应用于对病人精神状态诊断的辅助检查。
本发明将LBP-TOP算子对于视频信息的特征提取用于临床微表情检测，从而辅助医生对病人的精神状态进行诊断，实现了将微表情的自动检测运用到临床诊断中去，提高了对病人精神状态诊断准确率和效率。
附图说明
图1是本发明的实现流程框架图。
图2是本发明的实验中检测出的结果。
具体实施方式
如图1所示，一种用于精神状态分析的计算机视觉方法，提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值。
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
本发明选取一系列已知微表情视频的每帧图像构成数据库，对数据库中每幅图像进行灰度化后分割成等大小的方块，对每一方块使用Local Binary Pattern(LBP)扩展算子LBP-Three Orthogonal Planes(TOP)算子提取时间和空间特征构成直方图统计特征，将一幅图中所有分块的直方图统计特征结合成一个直方图统计特征作为这幅图像的特征。然后使用SVM进行训练得出训练模型，将待检测的图像特征使用训练好的模型进行分类，得出待检测图像中是否出现有微表情，为医生诊断病人精神状态提供参考。
本发明中，LBP-TOP是在LBP基础上的改进被用于描述动态视频纹理。一个视频序列被分为X(宽度)、Y(高度)、T(时间)三个轴，可得到描述视频的XY、XT、YT三个正交平面，沿T轴时各个帧平面为XY平面，沿X、Y轴时所有帧排列分别形成YT、XT平面，并且YT、XT平面总数对应着总宽度和总高度。然后分别在这三个正交平面中求出该平面的LBP值，统计并得出三个LBP直方图，将这三个LBP直方图连接起来形成最终的LBP-TOP特征直方图表示如上述公式(3)所示。
本发明中，SVM是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析，其学习策略便是间隔最大化。本发明使用LBP-TOP的方法提取时空特征。该方法在保留了时空特征，计算简单，具有光照不变性，灰度级不变性等特点，提高了计算的效率和准确率。
如图2所示，采用本发明方法，从图2中几幅图中，检测出第三幅图含有微表情，其他四幅没有被检测出微表情。图2中图片来自SMIC数据库。
Claims (2)
1.一种用于精神状态分析的计算机视觉方法，其特征在于：提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值,
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
2.根据权利要求1所述的一种用于精神状态分析的计算机视觉方法，其特征在于：提取视频的LBP-TOP特征来描述视频整体特征，来进行微表情检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610817582.1A CN106446810A (zh) | 2016-09-12 | 2016-09-12 | 一种用于精神状态分析的计算机视觉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610817582.1A CN106446810A (zh) | 2016-09-12 | 2016-09-12 | 一种用于精神状态分析的计算机视觉方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106446810A true CN106446810A (zh) | 2017-02-22 |
Family
ID=58167588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610817582.1A Pending CN106446810A (zh) | 2016-09-12 | 2016-09-12 | 一种用于精神状态分析的计算机视觉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106446810A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971180A (zh) * | 2017-05-16 | 2017-07-21 | 山东大学 | 一种基于语音字典稀疏迁移学习的微表情识别方法 |
| CN107242876A (zh) * | 2017-04-20 | 2017-10-13 | 合肥工业大学 | 一种用于精神状态辅助诊断的计算机视觉方法 |
| CN119132581A (zh) * | 2024-11-13 | 2024-12-13 | 陕西省核工业二一五医院 | 基于面部表情识别的精神疾病患者辅助分析方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN105139004A (zh) * | 2015-09-23 | 2015-12-09 | 河北工业大学 | 基于视频序列的人脸表情识别方法 |
-
2016
- 2016-09-12 CN CN201610817582.1A patent/CN106446810A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
| CN105139004A (zh) * | 2015-09-23 | 2015-12-09 | 河北工业大学 | 基于视频序列的人脸表情识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| GUOYING ZHAO 等: "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 朱勇 等: "基于CBP-TOP 特征的人脸表情识别", 《计算机应用研究》 * |
| 李丽洁 等: "基于LBP和FSVM的视频文字定位方法", 《计算机工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107242876A (zh) * | 2017-04-20 | 2017-10-13 | 合肥工业大学 | 一种用于精神状态辅助诊断的计算机视觉方法 |
| CN106971180A (zh) * | 2017-05-16 | 2017-07-21 | 山东大学 | 一种基于语音字典稀疏迁移学习的微表情识别方法 |
| CN106971180B (zh) * | 2017-05-16 | 2019-05-07 | 山东大学 | 一种基于语音字典稀疏迁移学习的微表情识别方法 |
| CN119132581A (zh) * | 2024-11-13 | 2024-12-13 | 陕西省核工业二一五医院 | 基于面部表情识别的精神疾病患者辅助分析方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bandini et al. | Analysis of facial expressions in parkinson's disease through video-based automatic methods | |
| Hsu et al. | Deep learning with time-frequency representation for pulse estimation from facial videos | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN107007257B (zh) | 面部不自然度的自动评级方法和装置 | |
| Previtali et al. | A novel method and software for automatically classifying Alzheimer’s disease patients by magnetic resonance imaging analysis | |
| CN109431523B (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| Yu et al. | Hybrid dermoscopy image classification framework based on deep convolutional neural network and Fisher vector | |
| CN106530295A (zh) | 一种视网膜病变的眼底图像分类方法和装置 | |
| CN101751559B (zh) | 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法 | |
| Tan et al. | Robust multi-scale superpixel classification for optic cup localization | |
| CN107785061A (zh) | 孤独症谱系障碍儿童情绪能力干预系统 | |
| CN111967363B (zh) | 一种基于微表情识别和眼动追踪的对情绪预测的方法 | |
| CN105976393A (zh) | 大脑局灶性病变自动探测方法及装置 | |
| CN107330393A (zh) | 一种基于视频分析的新生儿疼痛表情识别方法 | |
| CN105701351A (zh) | 基于人工神经网络模型超声造影特征自动识别系统及方法 | |
| CN104077568A (zh) | 一种高精度的驾驶员行为识别与监控方法及系统 | |
| Dosso et al. | NICUface: Robust neonatal face detection in complex NICU scenes | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| Minkov et al. | A comparison of different features for automatic eye blinking detection with an application to analysis of deceptive behavior | |
| Gilanie et al. | An Automated and Real-time Approach of Depression Detection from Facial Micro-expressions. | |
| Singh et al. | Detection of stress, anxiety and depression (SAD) in video surveillance using ResNet-101 | |
| CN106446810A (zh) | 一种用于精神状态分析的计算机视觉方法 | |
| CN116894978B (zh) | 一种融合面部情绪与行为多特征的线上考试防作弊系统 | |
| Liu et al. | Application of human movement and movement scoring technology in computer vision feature in sports training | |
| Kumar et al. | Disease detection based on nail color analysis using image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170222 |