CN106446810A - 一种用于精神状态分析的计算机视觉方法 - Google Patents

一种用于精神状态分析的计算机视觉方法 Download PDF

Info

Publication number
CN106446810A
CN106446810A CN201610817582.1A CN201610817582A CN106446810A CN 106446810 A CN106446810 A CN 106446810A CN 201610817582 A CN201610817582 A CN 201610817582A CN 106446810 A CN106446810 A CN 106446810A
Authority
CN
China
Prior art keywords
lbp
video
feature
expression
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610817582.1A
Other languages
English (en)
Inventor
詹曙
李秋宇
余骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201610817582.1A priority Critical patent/CN106446810A/zh
Publication of CN106446810A publication Critical patent/CN106446810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种用于精神状态分析的计算机视觉方法。该技术使用已确知微表情的面部视频作为训练数据库，提取已确知微表情视频和待检测视频的LBP‑TOP特征，得到描述视频的特征。然后使用已确知微表情视频训练SVM模型，再将待检测视频放入SVM模型进行分类，根据分类结果做出是否出现微表情的检测结果。当人们试图压抑自己真实情感时会出现微表情，检测微表情能反映出人的精神状态，从而辅助医生诊断，在一定程度上提高了医生对病人精神状态诊断的准确性和效率。

Description

一种用于精神状态分析的计算机视觉方法
技术领域
本发明涉及计算机视觉的图像分析处理领域，具体是一种用于精神状态分析的计算机视觉方法。
背景技术
对病人精神状态诊断作用和目的是诊断出病人在心理即精神行为状态以及是否发生改变，针对不同的精神状态来改善病人精神行为状态是在治疗过程中十分重要的一环。病人在治疗的过程中会受一些应激源如手术、对自己病情的了解等的影响，产生比较剧烈的心理与生理应激反应，这些应激反应如果十分强烈，可能会对内分泌系统、神经系统产生影响，产生焦虑、抑郁等心理，甚者会干扰诊断、手术、治疗等的实施和效果。因此，对于病人的精神状态特点和变化，及时发现并给予相应的心理治疗是十分重要的。现在对病人精神状态评估多数为问卷调查和自我评估，缺少一些客观的辅助判断来帮助医生诊断病人的精神状态，易造成评估不准，导致诊断出现误差。
而病人的微表情可以辅助医生进行精神状态的判断，微表情是一种持续时间仅为1/25～1/5s非常快速的表情，它是人们试图压抑或隐藏自己真实情感时表现出短暂的、不能自主控制的面部表情。在临床上，医生如果能发现病人的微表情，则可以更好的判断病人的精神状态及其变化，从而针对性地进行治疗，缩短治疗时间，提高治疗效果。未经过系统训练的人对微表情识别能力不高，而用计算机来自动检测微表情是很好的检测方法，微表情的自动检测可以在不被病人察觉的情况下进行，从而加强了判断的真实性和有效性。将计算机自动检测结合到临床诊断里，会帮助医生更好的对病人精神状态进行诊断。
发明内容
本发明的目的是提供一种用于精神状态分析的计算机视觉方法，以解决现有技术对于病人精神状态评估方法单一、缺少客观评估的的问题，自动地检测出病人是否有微表情的出现，有效地对病人精神状况进行判断，从而显著改善医生诊断的效果。
为了达到上述目的，本发明所采用的技术方案为：
一种用于精神状态分析的计算机视觉方法，其特征在于：提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值，
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
所述的一种用于精神状态分析的计算机视觉方法，其特征在于：提取视频的LBP-TOP特征来描述视频整体特征，来进行微表情检测。
本发明通过从已知的微表情视频数据中进行训练的基础上，检测病人的面部是否出现微表情，依据结果辅助医生对病人精神状态进行诊断，从而达到提高对病人精神状态诊断准确率和诊断效率以及减轻医生工作量的目标。该技术可应用于对病人精神状态诊断的辅助检查。
本发明将LBP-TOP算子对于视频信息的特征提取用于临床微表情检测，从而辅助医生对病人的精神状态进行诊断，实现了将微表情的自动检测运用到临床诊断中去，提高了对病人精神状态诊断准确率和效率。
附图说明
图1是本发明的实现流程框架图。
图2是本发明的实验中检测出的结果。
具体实施方式
如图1所示，一种用于精神状态分析的计算机视觉方法，提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值。
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
本发明选取一系列已知微表情视频的每帧图像构成数据库，对数据库中每幅图像进行灰度化后分割成等大小的方块，对每一方块使用Local Binary Pattern(LBP)扩展算子LBP-Three Orthogonal Planes(TOP)算子提取时间和空间特征构成直方图统计特征，将一幅图中所有分块的直方图统计特征结合成一个直方图统计特征作为这幅图像的特征。然后使用SVM进行训练得出训练模型，将待检测的图像特征使用训练好的模型进行分类，得出待检测图像中是否出现有微表情，为医生诊断病人精神状态提供参考。
本发明中，LBP-TOP是在LBP基础上的改进被用于描述动态视频纹理。一个视频序列被分为X(宽度)、Y(高度)、T(时间)三个轴，可得到描述视频的XY、XT、YT三个正交平面，沿T轴时各个帧平面为XY平面，沿X、Y轴时所有帧排列分别形成YT、XT平面，并且YT、XT平面总数对应着总宽度和总高度。然后分别在这三个正交平面中求出该平面的LBP值，统计并得出三个LBP直方图，将这三个LBP直方图连接起来形成最终的LBP-TOP特征直方图表示如上述公式(3)所示。
本发明中，SVM是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析，其学习策略便是间隔最大化。本发明使用LBP-TOP的方法提取时空特征。该方法在保留了时空特征，计算简单，具有光照不变性，灰度级不变性等特点，提高了计算的效率和准确率。
如图2所示，采用本发明方法，从图2中几幅图中，检测出第三幅图含有微表情，其他四幅没有被检测出微表情。图2中图片来自SMIC数据库。

Claims (2)

1.一种用于精神状态分析的计算机视觉方法，其特征在于：提取面部表情视频LBP-TOP特征得到描述视频整体的特征向量，然后用已知微表情视频特征进行SVM训练得到训练模型，再将待检测视频用训练模型分类，得到检测结果，其步骤包括：
(1)、选取10个对象的226个面部表情视频序列作为训练数据库，其中包括无表情视频和微表情视频；
(2)、将每个面部表情视频每帧图像取出并灰度化，再将每帧图像进行等大小的分块，先作为训练样本；
(3)、进行LBP特征提取，视频序列被分为宽度X、高度Y、时间T三个轴，可得到描述视频的XY、XT、YT三个正交平面，使用LBP算子提取每个视频序列的XY平面特征，在一个像素为中心的3×3纹理单元中，以中心像素灰度值为阈值与相邻的8个像素点灰度值进行比较，若周围像素灰度值大于中心值则该像素位置记为1，反之为0；接着以顺时针方向连接8个值得到一个8位的二进制数，然后转化为十进制作为该中心点的LBP值，即LBPgc,表示如公式(1)所示：
LBP g c = Σ i = 0 7 S ( g i - g c ) · 2 i - - - ( 1 ) ,
公式(1)中i＝1，2，...，8，gc为中心像素灰度值，gi为8个周围像素灰度值，i代表分别与中心像素相邻的8个像素，S(x)是一个二值化函数，其表示如公式(2)所示：
S ( x ) = 1 x > 0 0 x ≤ 0 - - - ( 2 ) ,
公式(2)中x代表gc-gi即中心像素与相邻像素灰度值的差值,
将LBPgc统计为LBP特征直方图作为XY平面的特征；
(4)、重复步骤(3)计算XT、YT平面的LBP特征直方图；
(5)、根据步骤(3)、(4)得到的LBP-TOP特征，将XY、XT、YT平面的特征直方图级联起来形成最终的LBP-TOP特征直方图，其表示如公式(3)所示：
HLBP-TOP＝HLBP,π(π＝XY,XT,YT) (3)，
公式(3)中，π代表XY、XT、YT平面，HLBP,π代表将3个平面的LBP的特征直方图级联起来的直方图，HLBP-TOP代表三个平面的特征直方图级联后得到最终的LBP-TOP特征直方图；
(6)、将视频特征使用SVM训练，得到训练模型；
(7)、使用相同的方法提取待检测视频的LBP-TOP特征，作为测试样本；
(8)、将测试样本放入训练模型中分类，检测是否出现微表情，将结果作为医生做出诊断的参考。
2.根据权利要求1所述的一种用于精神状态分析的计算机视觉方法，其特征在于：提取视频的LBP-TOP特征来描述视频整体特征，来进行微表情检测。
CN201610817582.1A 2016-09-12 2016-09-12 一种用于精神状态分析的计算机视觉方法 Pending CN106446810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610817582.1A CN106446810A (zh) 2016-09-12 2016-09-12 一种用于精神状态分析的计算机视觉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610817582.1A CN106446810A (zh) 2016-09-12 2016-09-12 一种用于精神状态分析的计算机视觉方法

Publications (1)

Publication Number Publication Date
CN106446810A true CN106446810A (zh) 2017-02-22

Family

ID=58167588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610817582.1A Pending CN106446810A (zh) 2016-09-12 2016-09-12 一种用于精神状态分析的计算机视觉方法

Country Status (1)

Country Link
CN (1) CN106446810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971180A (zh) * 2017-05-16 2017-07-21 山东大学 一种基于语音字典稀疏迁移学习的微表情识别方法
CN107242876A (zh) * 2017-04-20 2017-10-13 合肥工业大学 一种用于精神状态辅助诊断的计算机视觉方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298981A (zh) * 2014-11-05 2015-01-21 河北工业大学 人脸微表情的识别方法
CN105139004A (zh) * 2015-09-23 2015-12-09 河北工业大学 基于视频序列的人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298981A (zh) * 2014-11-05 2015-01-21 河北工业大学 人脸微表情的识别方法
CN105139004A (zh) * 2015-09-23 2015-12-09 河北工业大学 基于视频序列的人脸表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOYING ZHAO 等: "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
朱勇 等: "基于CBP-TOP 特征的人脸表情识别", 《计算机应用研究》 *
李丽洁 等: "基于LBP和FSVM的视频文字定位方法", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107242876A (zh) * 2017-04-20 2017-10-13 合肥工业大学 一种用于精神状态辅助诊断的计算机视觉方法
CN106971180A (zh) * 2017-05-16 2017-07-21 山东大学 一种基于语音字典稀疏迁移学习的微表情识别方法
CN106971180B (zh) * 2017-05-16 2019-05-07 山东大学 一种基于语音字典稀疏迁移学习的微表情识别方法

Similar Documents

Publication Publication Date Title
Amin et al. A method for the detection and classification of diabetic retinopathy using structural predictors of bright lesions
Zhao et al. Saliency driven vasculature segmentation with infinite perimeter active contour model
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
Barata et al. A system for the detection of pigment network in dermoscopy images using directional filters
CN104809480A (zh) 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法
Xia et al. A multi-scale segmentation-to-classification network for tiny microaneurysm detection in fundus images
CN110338777A (zh) 融合心率变异特征和面部表情特征的疼痛评估方法
CN109271918B (zh) 基于重心偏移模型区分平衡能力障碍人群的方法
Du et al. An integrated deep learning framework for joint segmentation of blood pool and myocardium
Aurangzeb et al. An efficient and light weight deep learning model for accurate retinal vessels segmentation
Shaik et al. Glaucoma identification based on segmentation and fusion techniques
Singh et al. Detection of stress, anxiety and depression (SAD) in video surveillance using ResNet-101
Asiri et al. Optimized Brain Tumor Detection: A Dual-Module Approach for MRI Image Enhancement and Tumor Classification
Onkaew et al. Automatic extraction of retinal vessels based on gradient orientation analysis
CN106934815A (zh) 基于混合区域的活动轮廓模型图像分割方法
CN106446810A (zh) 一种用于精神状态分析的计算机视觉方法
Shojaeipour et al. Using image processing methods for diagnosis diabetic retinopathy
Mirchandani et al. Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans
Mao et al. Exposing deepfake with pixel-wise ar and ppg correlation from faint signals
Akram et al. Microaneurysm detection for early diagnosis of diabetic retinopathy
CN112818948B (zh) 一种嵌入式系统下的基于视觉注意力的行为识别方法
Anitha et al. WML detection of brain images using fuzzy and possibilistic approach in feature space
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
Ahmed et al. Automated Glaucoma Detection based on LBP Representation and GLRLM Feature Extraction Method
Jarrar et al. MLP neural network classifier for medical image segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222

WD01 Invention patent application deemed withdrawn after publication