CN111460952B - 一种精神分裂症面部识别规则的生成方法、系统和预测系统 - Google Patents
一种精神分裂症面部识别规则的生成方法、系统和预测系统 Download PDFInfo
- Publication number
- CN111460952B CN111460952B CN202010220807.1A CN202010220807A CN111460952B CN 111460952 B CN111460952 B CN 111460952B CN 202010220807 A CN202010220807 A CN 202010220807A CN 111460952 B CN111460952 B CN 111460952B
- Authority
- CN
- China
- Prior art keywords
- data set
- category
- schizophrenia
- decision tree
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000000980 schizophrenia Diseases 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003066 decision tree Methods 0.000 claims abstract description 63
- 230000001815 facial effect Effects 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 24
- 230000000698 schizophrenic effect Effects 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008451 emotion Effects 0.000 description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 15
- 201000010099 disease Diseases 0.000 description 13
- 230000006399 behavior Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 6
- 230000006698 induction Effects 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006735 deficit Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010012239 Delusion Diseases 0.000 description 1
- 208000025967 Dissociative Identity disease Diseases 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011841 epidemiological investigation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003908 liver function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供一种精神分裂症面部识别规则的生成方法、系统和预测系统，包括：S1、采集用户的面部视频，根据统计学特征生成面部关键点变化数据的特征数据集和类别数据集，特征数据集的列为特征，行为用户的特征值，类别数据集的列为分类，行为用户的类别，类别为正常者和精神分裂者；S2、设定阈值，构建决策树T；S3、获取精神分裂症面部识别规则。通过本发明，可以利用已知患有精神分裂症的病人的面部变化数据和正常人的面部变化数据生成精神分裂症的识别规则，而且测试时无需测试者进行较长时间的测试或行为测验，实现了对精神分裂症的实时且非侵入式的识别。
Description
技术领域
本发明涉及心理学和人工智能领域，更具体地涉及一种精神分裂症面部识别规则的生成方法、系统和预测系统。
背景技术
精神分裂症是一组病因未明的重性精神病，多在青壮年缓慢或亚急性起病，临床上往往表现为症状各异的综合征，涉及感知觉、思维、情感和行为等多方面的障碍以及精神活动的不协调。患者一般意识清楚，智力基本正常，但部分患者在疾病过程中会出现认知功能的损害。病程一般迁延，呈反复发作、加重或恶化，部分患者最终出现衰退和精神残疾，但有的患者经过治疗后可保持痊愈或基本痊愈状态。
根据流行病学调查，我国精神分裂症的患病率为5.69‰。城市为6.06‰，农村为3.42‰，城市明显高于农村。发病年龄以16～35岁为最多，占住院病人的80％以上。男女性别有差异，女性发病多于男性。经济水平低的阶层发病高于经济水平高的阶层。精神分裂症复发率、致残率都较高，疾病负担较重，病程常常表现慢性迁延，大多数患者需要长期甚至终身的治疗和护理。因此，合理、有效的治疗，可以起到改善病情、促进患者恢复日常生活功能，更好的融入社会，促进家庭与社会和睦。
精神分裂症是一种严重的精神疾病，目前尚无特异性的实验室检查或仪器检查可以明确诊断，为了排除一些伴发疾病，常规需要做一些辅助检查，如心电图、胸部X线、腹部超声、肝功能、脑电图、头颅CT或MRI等。
对于精神分裂症来说，最主要的检查项目是精神检查，精神检查需要专业的精神专科医生与患者进行面对面的交谈，通过这种手段发现精神分裂症的阳性症状和阴性症状，获取疾病的诊断依据。国外常用的诊断标准包括美国的疾病分类和诊断统计手册DSM-V、WHO的国际疾病分类手册ICD-10，国内常用的诊断标准为中国精神障碍分类与诊断标准CCMD-3。
临床上有时会采用精神分裂症量表来评估患者的症状。精神分裂症量表(schizophrenia，SC)是明尼苏达多项人格调查表(MMPI)中常用的其中一个临床量表。用来测量思维异常和行为古怪等精神分裂症的一些临床特点。高分提示思维古怪，行为退缩，可能存在幻觉妄想，情感不稳。
现有诊断方法的局限性：(1)做脑电图、头颅CT或MRI价格较昂贵；(2)通过问诊做诊断多依据医生的个人经验，客观性不足；(3)量表评估花费的时间较长；(4)精神分裂症患者多情绪不稳，填写的量表，可信度不高。
发明内容
为克服现有技术的上述缺陷，本发明通过机器学习中的决策树算法，利用已知患有精神分裂症的病人的面部变化数据和正常人的面部变化数据生成精神分裂症的识别规则。
根据本发明的一个方面提出一种精神分裂症面部识别规则的生成方法，所述生成方法包括：
S1、采集用户的面部视频，根据统计学特征生成面部关键点变化数据的特征数据集A和类别数据集B，特征数据集A的列为特征，行为用户的特征值，类别数据集B的列为分类，行为用户的类别，类别为正常者和精神分裂者；
S2、设定阈值，构建决策树T；
S3、获取精神分裂症面部识别规则。
较佳地，在步骤S1中，还包括对所述特征数据集的归一化和降维处理。
较佳地，所述步骤S2包括以下步骤：
S21.如果特征数据集A中的所有数据属于同一类别，则决策树T为单节点树，并将所述类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S22；
S22.如果特征数据集A为空，则决策树T为单节点树，将类别数据集B中数量占比最多的类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中的特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为所述叶节点的类标记，返回T，构建结束；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，然后根据Ag的取值ai，将特征数据集A和类别数据集B分割为非空子集Ai和Bi，分别创建子节点i，将Bi中个数最多的类别作为所述子节点的类标记，返回T；
S26.对子节点i，以A-{Ag}为特征数据集，以B-{Bg}，递归地调用S21-S25步，从而构建完整的决策树T。
较佳地，在所述步骤S3中，从决策树T的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症类别的规则汇集起来，得到精神分裂症的识别规则。
根据本发明的另一方面提出一种精神分裂症面部识别规则的生成系统，统包括：数据集获取模块、决策树生成模块和识别规则提取模块，其中，
所述数据集获取模块，用于采集用户面部视频，提取面部关键点变化的坐标数据，根据统计学特征生成面部关键点变化数据的特征数据集A和类别数据集B，特征数据集A的列为特征，行为用户的特征值，类别数据集B的列为分类，行为用户的类别，类别为正常者和精神分裂者；
决策树生成模块，用于根据所述数据获取模块传送来的特征数据集A、类别数据集B和阈值构建决策树；
识别规则提取模块，用于根据决策树生成模块传送来的决策树，提取精神分裂症的识别规则。
较佳地，在所述数据获取模块中，使用openpose开源库提取面部关键点的X、Y轴坐标；统计学特征包括：最大值、最小值、均值、标准差、动态范围、峰度、偏度、斜率、截距、均方误差；
较佳地，所述数据获取模块，能够对特征数据集归一化处理和降维，对类别数据集降维。
较佳地，在所述决策树生成模块中，生成决策树的步骤包括：
S21.如果特征数据集A中的所有数据属于同一类别，则决策树T为单节点树，并将所述类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S22；
S22.如果特征数据集A为空，则决策树T为单节点树，将类别数据集B中数量占比最多的类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中的特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为所述叶节点的类标记，返回T，构建结束；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，然后根据Ag的取值ai，将特征数据集A和类别数据集B分割为非空子集Ai和Bi，分别创建子节点i，将Bi中个数最多的类别作为所述子节点的类标记，返回T；
S26.对子节点i，以A-{Ag}为特征数据集，以B-{Bg}，递归地调用S21-S25步，从而构建完整的决策树T。
较佳地，在所述识别规则提取模块中，从决策树的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症这个类别的规则都汇集起来，得到了精神分裂症的识别规则。
根据本发明的又一方面提出一种预测系统，所述预测系统还包括被试数据采集模块和预测模块，其中所述被试数据采集模块，用于采集被试的面部视频，然后将所述被试的面部视频传送到所述数据集获取模块，并将返回的被试的特征数据集传送给所述预测模块；所述预测模块，用于将所述被试的特征数据集与识别规则进行匹配，得出匹配的规则的数量，进而输出被试的精神分裂程度。
本发明的有益之处在于：使用精神分裂症病人和正常人的面部变化数据建立决策树，提取精神分裂症的识别规则，并能通过个体面部变化识别是否患有精神分裂症，由于系统的输入是测试者的面部变化数据，无需测试者进行较长时间的测试或行为测验，实现了对精神分裂症的实时且非侵入式的识别。
附图说明
图1为根据本发明一个实施例的被试的实验流程示意图；
图2为根据本发明一个实施例的精神分裂症识别规则生成方法的流程示意图；
图3为根据本发明一个实施例的决策树的结构示意图；
图4为根据本发明一个实施例的精神分裂症识别规则生成系统的结构示意图。
为了能明确实现本发明的实施例的结构，在图中标注了特定的尺寸、结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种精神分裂症识别规则生成方法和系统及其使用方法进行详细描述。
在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。
有研究表明，精神分裂症患者在知觉正性情绪和负性情绪的缺损程度存在显著差异，精神分裂症患者存在负性情绪加工损伤，但在识别正性情绪时却没有表现出障碍。鉴于面部可以较好地预测个体情绪，因此采集精神分裂症患者和正常人分别在中性、负性和正性情绪诱导下的面部变化视频，生成精神分裂症预测模型和预测系统。
在精神疾病医院招募90名患有精神分裂症的被试，记录他们的人口学信息(如年龄、性别、受教育水平等)后，在社会中招募90名与精神分裂症患者几乎同质的正常被试。在告知被试实验的目的并向被试保证个人数据会被严格保密后，要求被试填写情绪量表，然后我们分别向被试播放了小品视频、科普视频和战争纪录片各10分钟。在每个影片的播放间隔，播放舒缓的音乐让被试休息10分钟，并要求被试再次填写情绪量表，每名被试的实验流程如图1所示。在播放视频的同时，使用高清摄像机记录被试的面部运动。为了平衡顺序效应，我们将被试随机分为3组，分别进行不同顺序的情绪诱导，分组情况及每组样本量如表1所示。
表1数据的分组情况
根据本发明的一个方面，提出了一种精神分裂症面部识别规则的生成方法，通过机器学习中的决策树算法，利用已知患有精神分裂症的病人的面部变化数据和正常人的面部变化数据生成精神分裂症的识别规则，该识别规则可以用于对精神分裂症的辅助诊断。由于系统的输入是测试者的面部变化数据，无需测试者进行较长时间的测试或行为测验，因此能够对测试者进行精神分裂症的实时且非侵入式的识别。
根据本发明提出了一种精神分裂症面部识别规则的生成方法，包括：
S1、采集用户的面部视频，根据统计学特征生成面部关键点变化数据的特征数据集A和类别数据集B，特征数据集A的列为特征，行为用户的特征值，类别数据集B的列为分类，行为用户的类别，类别为正常者和精神分裂者；
S2、设定阈值，构建决策树T；
S3、获取精神分裂症面部识别规则。
在步骤S1中，采集个体的面部视频后，提取面部关键点的坐标数据，计算面部关键点的坐标变化的统计学特征数据，坐标变化是将视频分成帧后，通过对前后帧进行坐标计算得到的。
其中，可以使用openpose开源库提取面部比如70个关键点的X、Y轴坐标。
然后通过如表2所示的统计学特征，计算面部关键点坐标变化的统计学特征数据；比如70个关键点时，那么共有70*2*10＝1400组特征，特征数据则根据视频的时长和帧长等进一步得出。
表2面部关键点变化的统计学特征
在步骤S1中还可以包含数据预处理，例如将计算的所有统计学特征数据映射到[0,1]区间内，使用PCA降维规则，即找到k维正交基使原始数据在这些正交基上投影的方差最大，在本发明的一个实施例中，选择k＝50。也就是说将特征数降到50，N个用户的50个特征共同组成特征数据集A，大小为N*50，数据集的结构为行表示记录，也就是用户的特征值，列为特征。同时，N个用户的类别构成类别数据集，大小为N*1。
采集面部视频数据的方法如上文所述。
在步骤S2中包括以下步骤：
S21.如果特征数据集A中的所有数据属于同一类别(精神分裂症患者或正常人)，则决策树T为单节点树，并将该类别作为该单节点的类标记，返回T，构建结束，即为根节点；否则进入步骤S22；
S22.如果特征数据集A为空，将类别数据集A中个数最多的类别作为该单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中各个特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于人工预先设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为该叶节点的类标记，返回T，构建结束，从而避免形成过拟合；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，对Ag的每一个可能取值ai，将特征数据集A和类别数据集B分割为若干非空子集Ai和Bi，分别创建子节点i，将Bi中个数最多的类别作为每个子节点的类标记，返回T；
S26.对第i个子节点，以Di为特征数据集，以A-{Ag}为特征集，递归地调用S21-S25步，从而构建决策树T。
在步骤S3中，从决策树的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症的规则都汇集起来，就是得到了精神分裂症的识别规则。例如图3中，特征D＝d并且特征E＝e2时，被试即可被识别为精神分裂症。
根据本发明的另一方面，提出一种精神分裂症面部识别规则的生成系统，如图4所示，包括：数据获取模块、决策树生成模块和识别规则提取模块。
所述数据获取模块，用于传入个体的面部视频，提取面部关键点变化的坐标数据，生成坐标变化的统计学特征数据，将预处理、特征降维后的统计学特征数据作为特征数据，将个体的精神健康类别(精神分裂症/正常)作为类别数据，所述特征数据和类别数据构成特征数据集A；降维后的特征组成特征数据集A；
决策树生成模块，用于根据所述数据获取模块传送来的特征数据集和预设的阈值构建决策树；
识别规则提取模块，用于根据决策树生成模块传送来的决策树，提取精神分裂症的识别规则。
在数据获取模块中包括提取面部关键点坐标单元、生成统计学特征数据单元和特征预处理及降维单元。
提取面部关键点坐标单元，使用openpose开源库提取面部70个关键点的X、Y轴坐标；将视频切分为帧，提取每帧中关键点的坐标；
生成统计学特征数据单元，对每个面部关键点的每轴坐标的变化数据，提取统计学特征，这样最后能够形成(关键点数量*坐标轴数量)*统计学特征数量维度的特征和相应的特征数据，统计学特征如上表2所示。
特征预处理及降维单元：将计算的所有统计学特征数据映射到[0,1]区间内；可以使用PCA降维：即找到k维正交基使统计学特征数据在这些正交基上投影的方差最大。在本发明的一个实施例中，设定k＝50，从而获得特征数据集A和特征数据集A。
在决策树生成模块中，生成决策树的步骤包括：
S21.如果特征数据集A中的所有数据属于同一类别，则决策树T为单节点树，并将所述类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S22；
S22.如果特征数据集A为空，则决策树T为单节点树，将类别数据集B中数量占比最多的类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中的特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为所述叶节点的类标记，返回T，构建结束；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，然后根据Ag的取值ai，将特征数据集A和类别数据集B分割为非空子集Ai和Bi，分别创建子节点i，将Bi中个数最多的类别作为所述子节点的类标记，返回T；
S26.对子节点i，以A-{Ag}为特征数据集，以B-{Bg}，递归地调用S21-S25步，从而构建完整的决策树T。
在识别规则提取模块中，从决策树的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症这个类别的规则都汇集起来，就是得到了精神分裂症的识别规则。
根据本发明的又一方面，提出一种包含上述系统的预测系统，该预测系统还包括被试数据采集模块和预测模块，其中所述被试数据采集模块，用于采集被试的面部视频，然后将所述被试的面部视频传送到所述数据集获取模块，并将返回的被试的特征数据集传送给所述预测模块；所述预测模块，用于将所述被试的特征数据集与识别规则进行匹配，得出匹配的规则的数量，进而输出被试的精神分裂程度。
比如，图3中，特征D＝d并且特征E＝e2时，被试被识别为精神分裂症。因为特征和面部坐标相关，也就是说面部视频具有特征D＝d和E＝e2时可以认为被试符合精神分裂症的条件之一。当然，如果符合的识别规则越多，说明被试越可能具有精神分裂症。
本发明的有益之处在于：使用精神分裂症病人和正常人的面部变化数据建立决策树，提取精神分裂症的识别规则，以用于通过个体面部变化识别是否患有精神分裂症的非侵入临床辅助诊断目的。
实施例1：
依据上文阐述的数据采集方式，采集了90名精神分裂症患者，和90名与精神分裂症患者在人口学信息上同质的正常人的面部视频数据。本节中仅以进行负性情绪引导的面部视频为例，介绍精神分裂症识别规则的生成方法和系统。
(1)数据获取
筛选出180个负性情绪诱导下的面部视频后，为保证被试已受视频情绪的影响，我们提取视频第5分钟至第8分钟共3600帧的视频。使用openpose提取70个面部关键点在视频每一帧上的二维坐标数据，共3600行*140列。然后计算帧与帧之间的坐标变化，即用当前帧坐标减前一帧坐标，每条视频得到3599行*140列大小的数据。得到坐标变化后，对每一列计算表2中的10维统计学指标，得到每一个面部关键点坐标变化的统计学特征，每条视频得到1行*1400列的数据，全部数据输出180行*1400列的特征数据文件。
得到特征文件后，对特征进行归一化处理以避免不同特征的原始全距不同对特征降维的影响。归一化后，使用PCA主成分降维的方法将1400维数据降到50维，得到180行*50列的特征数据文件后，将连续型特征进行离散化。
(2)决策树生成
利用离散化后的180行*50列的特征数据集A和180行*1列的被试类别数据集(精神分裂症/正常)B，构建决策树T。具体构建步骤如下：
1)若B中的所有数据属于同一类别，则将这一类别作为该结点的类标记，返回T，构建结束；
2)如果A为空，将B中频次最高的类别作为该结点的类标记，返回T，构建结束；
3)若A不为空集，则计算A中各特征对B的信息增益率，选择信息增益率最大的特征Ag，第一次选择的Ag为决策树的根节点，如图3所示，特征D为全部特征中信息增益率最大的特征，将其设置为决策树的根节点；
4)如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将B中个数最多的类别作为该叶节点的类标记，如图3所示，特征E为最后一个信息增益率大于阈值的特征，根据每个样本E的特征值构建叶节点，标记数据为不同的类别，此时决策树构建结束；
5)若最大的信息增益率不小于设定的阈值，则设置Ag为子节点，对Ag的每一个可能取值ai，将A和B分割为若干非空子集Ai和Bi，分别创建子节点，将Bi中个数最多的类别作为每个子节点的类标记，返回T；
6)对第i个子节点，以A-{Ag}为特征数据集，B-{Bg}为类别集递归地调用1)步-5)步，从而构建决策树T。
(3)识别规则提取
构建负性情绪诱导下的面部变化视频预测精神分裂症的决策树后，从决策树的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症的规则都汇集起来，就是得到了精神分裂症的识别规则。例如图3中，特征D＝d并且特征E＝e2时，被试被识别为精神分裂症。
在实际应用中，由于精神分裂症患者伴有不同如感知觉障碍、行为障碍或认知功能障碍等临床症状，部分患者进行问卷回答或行为任务较为困难，本发明可以实现对行为能力较弱的人群的临床诊断。医生可以引导患者看完一段有某种情绪引导的视频短片，将患者面部视频传入对应情绪的精神分裂症识别系统，系统的数据获取模块提取面部视频的50维特征，并将其输入决策树，根据决策树中各个中间节点的条件，从根节点执行到叶节点，而叶节点则是针对精分与否的判断，这样根据决策树的叶节点输出即可得到病人是精神分裂症患者或正常人的分类，帮助医生诊断精神分裂症。另一方面，根据本发明提取的精神分裂症的识别规则，可以分辨哪些特征对精神分裂症的识别有重要意义，帮助人们更加了解精神分裂症的临床症状和情绪加工。
最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。
Claims (8)
1.一种精神分裂症面部识别规则的生成方法，其特征在于，所述生成方法包括：
S1、采集用户的面部视频，根据统计学特征生成面部关键点变化数据的特征数据集A和类别数据集B，特征数据集A的列为特征，行为用户的特征值，类别数据集B的列为分类，行为用户的类别，类别为正常者和精神分裂者；
S2、设定阈值，构建决策树T；
S3、获取精神分裂症面部识别规则；
所述步骤S2包括以下步骤：
S21.如果特征数据集A中的所有数据属于同一类别，则决策树T为单节点树，并将所述类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S22；
S22.如果特征数据集A为空，则决策树T为单节点树，将类别数据集B中数量占最多的类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中的特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为所述叶节点的类标记，返回T，构建结束；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，然后根据Ag的取值ai，将特征数据集A和类别数据集B分割为非空子集Ai和Bi，创建子节点i，将Bi中个数最多的类别作为所述子节点的类标记，返回T；
S26.对子节点i，以A-{Ag}为特征数据集，以B-{Bg}，递归地调用S21-S25步，从而构建完整的决策树T。
2.根据权利要求1所述的生成方法，其特征在于，在步骤S1中，还包括对所述特征数据集的归一化和降维处理。
3.根据权利要求1所述的生成方法，其特征在于，在所述步骤S3中，从决策树T的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症类别的规则汇集起来，得到精神分裂症的识别规则。
4.一种精神分裂症面部识别规则的生成系统，其特征在于，所述生成系统包括：数据集获取模块、决策树生成模块和识别规则提取模块，其中，
所述数据集获取模块，用于采集用户面部视频，提取面部关键点变化的坐标数据，根据统计学特征生成面部关键点变化数据的特征数据集A和类别数据集B，特征数据集A的列为特征，行为用户的特征值，类别数据集B的列为分类，行为用户的类别，类别为正常者和精神分裂者；
决策树生成模块，用于根据所述数据获取模块传送来的特征数据集A、类别数据集B和阈值构建决策树；
识别规则提取模块，用于根据决策树生成模块传送来的决策树，提取精神分裂症的识别规则；
在所述决策树生成模块中，生成决策树的步骤包括：
S21.如果特征数据集A中的所有数据属于同一类别，则决策树T为单节点树，并将所述类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S22；
S22.如果特征数据集A为空，则决策树T为单节点树，将类别数据集B中数量占比最多的类别作为所述单节点的类标记，返回T，构建结束；否则进入步骤S23；
S23.计算特征数据集A中的特征对类别数据集B的信息增益率，选择信息增益率最大的特征Ag；
S24.如果最大的信息增益率小于设定的阈值，则设置特征Ag为叶节点，将类别数据集B中个数最多的类别作为所述叶节点的类标记，返回T，构建结束；
S25.如果最大的信息增益率不小于设定的阈值，则设置Ag为子节点，然后根据Ag的取值ai，将特征数据集A和类别数据集B分割为非空子集Ai和Bi，分别创建子节点i，将Bi中个数最多的类别作为所述子节点的类标记，返回T；
S26.对子节点i，以A-{Ag}为特征数据集，以B-{Bg}，递归地调用S21-S25步，从而构建完整的决策树T。
5.根据权利要求4所述的生成系统，其特征在于，在所述数据获取模块中，使用openpose开源库提取面部关键点的X、Y轴坐标；统计学特征包括：最大值、最小值、均值、标准差、动态范围、峰度、偏度、斜率、截距、均方误差。
6.根据权利要求4所述的生成系统，其特征在于，所述数据获取模块，能够对特征数据集归一化处理和降维，对类别数据集降维。
7.根据权利要求4所述的生成系统，其特征在于，在所述识别规则提取模块中，从决策树的根节点开始，自上而下深度遍历，得到所有的决策规则，然后把叶节点标注为精神分裂症这个类别的规则都汇集起来，得到了精神分裂症的识别规则。
8.一种利用权利要求4-7任一权利要求所述系统的预测系统，其特征在于，所述预测系统还包括被试数据采集模块和预测模块，其中所述被试数据采集模块，用于采集被试的面部视频，然后将所述被试的面部视频传送到所述数据集获取模块，并将返回的被试的特征数据集传送给所述预测模块；所述预测模块，用于将所述被试的特征数据集与识别规则进行匹配，得出匹配的规则的数量，进而输出被试的精神分裂程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220807.1A CN111460952B (zh) | 2020-03-26 | 2020-03-26 | 一种精神分裂症面部识别规则的生成方法、系统和预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220807.1A CN111460952B (zh) | 2020-03-26 | 2020-03-26 | 一种精神分裂症面部识别规则的生成方法、系统和预测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460952A CN111460952A (zh) | 2020-07-28 |
| CN111460952B true CN111460952B (zh) | 2023-11-21 |
Family
ID=71680174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010220807.1A Active CN111460952B (zh) | 2020-03-26 | 2020-03-26 | 一种精神分裂症面部识别规则的生成方法、系统和预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460952B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN109359403A (zh) * | 2018-10-29 | 2019-02-19 | 上海市同济医院 | 一种基于面孔表情识别磁共振成像的精神分裂症早期诊断模型及其应用 |
| CN109480864A (zh) * | 2018-10-26 | 2019-03-19 | 首都医科大学附属北京安定医院 | 一种基于神经认知功能与机器学习的精神分裂症自动评估系统 |
| CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
-
2020
- 2020-03-26 CN CN202010220807.1A patent/CN111460952B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN109480864A (zh) * | 2018-10-26 | 2019-03-19 | 首都医科大学附属北京安定医院 | 一种基于神经认知功能与机器学习的精神分裂症自动评估系统 |
| CN109359403A (zh) * | 2018-10-29 | 2019-02-19 | 上海市同济医院 | 一种基于面孔表情识别磁共振成像的精神分裂症早期诊断模型及其应用 |
| CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460952A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| Kumar et al. | Hierarchical deep neural network for mental stress state detection using IoT based biomarkers | |
| Candia-Rivera et al. | Neural responses to heartbeats detect residual signs of consciousness during resting state in postcomatose patients | |
| Subramaniam et al. | Automated nociceptive pain assessment using physiological signals and a hybrid deep learning network | |
| Giannakakis et al. | A novel multi-kernel 1D convolutional neural network for stress recognition from ECG | |
| CN112669967B (zh) | 一种主动式健康医疗决策辅助方法及设备 | |
| Mengoudi et al. | Augmenting dementia cognitive assessment with instruction-less eye-tracking tests | |
| Hssayeni et al. | Multi-modal physiological data fusion for affect estimation using deep learning | |
| CN109715049A (zh) | 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名 | |
| Sun et al. | A novel deep learning approach for diagnosing Alzheimer's disease based on eye-tracking data | |
| Altıntop et al. | A novel approach for detection of consciousness level in comatose patients from EEG signals with 1-D convolutional neural network | |
| Guarin et al. | Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation | |
| Adem et al. | Classification of Parkinson's disease using EMG signals from different upper limb movements based on multiclass support vector machine | |
| McGinnis et al. | Validation of smartphone based heart rate tracking for remote treatment of panic attacks | |
| CN111460952B (zh) | 一种精神分裂症面部识别规则的生成方法、系统和预测系统 | |
| Luo et al. | Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection | |
| Mantri et al. | Real time multimodal depression analysis | |
| de J Lozoya-Santos et al. | Current and future biometrics: technology and applications | |
| Li et al. | Synergy through integration of digital cognitive tests and wearable devices for mild cognitive impairment screening | |
| Amira et al. | Stress level classification using heart rate variability | |
| Lannin et al. | Observed recovery sequence in neurobehavioral function after severe traumatic brain injury | |
| Rao et al. | A medical AI agent as a tool for neuropsychiatric diagnoses | |
| Uddin et al. | Association Between Chronic Back Pain and Protective Behaviors is Subjective and Context Dependent | |
| Raman et al. | Review of deep learning for physiological signal-based healthcare applications | |
| US11980485B1 (en) | Method and system for determining a treatment outcome prediction for a patient based on electroencephalograph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |