CN116098621A - 一种基于注意力机制的情绪面孔及生理反应识别方法 - Google Patents
一种基于注意力机制的情绪面孔及生理反应识别方法 Download PDFInfo
- Publication number
- CN116098621A CN116098621A CN202310113595.0A CN202310113595A CN116098621A CN 116098621 A CN116098621 A CN 116098621A CN 202310113595 A CN202310113595 A CN 202310113595A CN 116098621 A CN116098621 A CN 116098621A
- Authority
- CN
- China
- Prior art keywords
- child
- data
- features
- electroencephalogram
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 230000008451 emotion Effects 0.000 title claims abstract description 28
- 230000006461 physiological response Effects 0.000 title claims abstract description 21
- 230000004424 eye movement Effects 0.000 claims abstract description 56
- 230000008921 facial expression Effects 0.000 claims abstract description 52
- 206010003805 Autism Diseases 0.000 claims abstract description 35
- 208000020706 Autistic disease Diseases 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000002452 interceptive effect Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000005611 electricity Effects 0.000 claims abstract description 6
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 3
- 210000003128 head Anatomy 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 230000006399 behavior Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 231100000871 behavioral problem Toxicity 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003557 neuropsychological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Databases & Information Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
Abstract
本发明公开了一种基于注意力机制的情绪面孔及生理反应识别方法，该方法包括以下步骤：采集测试儿童的面部表情数据、眼动数据及脑电数据，并检测该儿童的脑电采集设备是否正确佩戴；基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；根据过滤后特征并使用分类器完成自闭症儿童识别任务。通过多源数据融合实现自闭症儿童智能化识别精准度的提升；减少患者家庭、社会的经济负担；提升医生诊断效率和诊断结果的精度。
Description
技术领域
本发明涉及自闭症识别领域，具体来说，涉及一种基于注意力机制的情绪面孔及生理反应识别方法。
背景技术
自闭症是一种发病于儿童早期的广泛性神经发育障碍，其特征为社交障碍、语言和非语言交流障碍、兴趣狭隘、重复和刻板行为。目前自闭症的病因尚不清楚，在医学领域也没有可以治愈的特效药。自闭症患者大多存在社会适应不良或终生障碍，生活不能自理，成为社会和家庭的巨大经济和精神负担。
自闭症的早期发现，早期干预和早期治疗，可以显著改善预后。有临床对照研究表明，儿童神经的可塑性随着年龄增加而退化，在行为问题尚不突出的发病初期对儿童进行干预治疗，能够很大程度上改善自闭症儿童的语言能力、认知能力以及行为习惯。因此，自闭症的早期识别工作意义重大，越来越多的研究人员、医务工作者、特殊教育康复机构开始进入自闭症早期识别技术的研究。
例如情绪唤醒理论从生理视角和神经心理视角解释了自闭症患者情绪识别和理解方面存在障碍，可以作为自闭症儿童智能化识别的研究基础。情绪唤醒理论认为，当个体感知到他人的表情或情绪时，大脑对应的情感脑区会被激活，从而产生情绪唤醒，产生与他人同形的情绪理解、情绪共享和感染。研究发现，自闭症个体存在面部表情认知障碍、情绪理解障碍和情绪唤醒障碍，导致其社会功能受损，而这一特质被研究人员用来进行自闭症儿童识别。然而现有自闭症的研究大多基于行为数据，而自闭症儿童非典型性脑发育出现的时间要早于非典型行为出现的时间，如果单纯根据行为特征进行识别，则会错过早期干预的关键时期。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于注意力机制的情绪面孔及生理反应识别方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于注意力机制的情绪面孔及生理反应识别方法，该方法包括以下步骤：
S1、利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集，并检测该儿童的脑电采集设备是否正确佩戴；
S2、基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；
S3、对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；
S4、使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；
S5、根据过滤后特征并使用分类器完成自闭症儿童识别任务。
进一步的，所述利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集包括以下步骤：
在儿童面前配置摄像机及眼动采集设备，且为儿童佩戴脑电采集设备；
在预先建立的面部表情数据库中选取若干表情图片，且表情图片的表情强度由低到高依次呈现，同时每张图片呈现10秒。
进一步的，所述检测该儿童的脑电采集设备是否正确佩戴包括以下步骤：
通过预先配置的摄像机实时采集儿童正面图像，作为检测使用；
将采集的儿童正面图像输入训练好的人体关键点检测网络Openpose中，并检测得到儿童各个关键点的位置；
将采集的儿童正面图像输入训练好的人体框检测模型及脑电采集设备检测模型YOLO3中，并检测得到儿童身体框及脑电采集设备的位置；
检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点，且以儿童身体框中较短边作为边长形成矩形区域，并将该矩形区域作为儿童头部所在区域；
根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备；
若佩戴正确，则儿童继续进行数据采集，若佩戴不正确，则提示工作人员帮助儿童正确佩戴脑电采集设备。
进一步的，所述检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点包括以下步骤：
将儿童正面图像的大小转换为40*40*3，并输入至DCNN中的人脸关键精确定位网络结构中，且输入层的大小为n；
通过儿童的人脸关键点预测值和真实值的欧式距离与儿童人脸大小的比值确定检测误差；
其中，儿童人脸关键点中眼睛定位的计算公式为：
式中，lx和ly分别表示坐标空间内儿童眼睛边框矩形顶角对应的位置信息；
xi和xj分别为第i个和第j个关键点的横坐标；
ym和yn分别为第m个和第n个关键点的纵坐标；
儿童人脸关键点中嘴巴定位的计算公式为：
式中，xk为第k个关键点的横坐标；
yi和yj分别为第i个和第j个关键点的纵坐标；
根据眼睛和嘴巴位置的中心点作为儿童头部所在区域的中心点。
进一步的，所述根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备包括以下步骤：
训练脑电采集设备的分类器；
在儿童头部所在区域通过分类器确定是否正确佩戴脑电采集设备；
其中，所述分类器采用卷积和全连接网络架构，且包含两个卷积层、一个池化层及两个全连接层。
进一步的，所述训练脑电采集设备的分类器时，获取脑电采集设备训练数据。
进一步的，所述获取脑电采集设备训练数据时，通过网络获取脑电采集设备和儿童相关的开源图片，且在真实环境中通过固定位置的摄像头采集训练图片，并利用YOLOV3提取环境区域作为儿童人体标签；
按儿童头部所在区域是否佩戴脑电采集设备作为正训练样本及负训练样本，保存。
进一步的，所述基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征包括以下步骤：
按照每秒30帧的频率提取儿童面部表情数据、眼动数据及脑电数据，且得到面部表情数据、眼动数据及脑电数据相同长度的特征序列；
使用卷积神经网络对卷积核窗口内的特征进行压缩，并通过最大池化层和一个全连接层得到面部表情数据、眼动数据及脑电数据的特征表示；
将各个特征序列输入各数据源独立的子任务级LSTM，学习上下文信息，得到面部表情数据、眼动数据及脑电数据的上下文特征。
进一步的，所述对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征包括以下步骤：
将面部表情特征、眼动特征及脑电特征进行两两组合，并在两个组合中设置一个主输入和一个辅助输入；
将主输入和辅助输入投影到同一个共享向量空间中，并将主输入和辅助输入在全连接层进行拼接，得到融合特征。
进一步的，所述使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征包括以下步骤：
使用一维卷积核对获取局部特征，且每个内核对应一个特征检测器，并通过特征检测器提取特定模式的活动局部特征；
每个卷积核对中包含两个内核，第一个内核进行转换信息，完成信息表示，另一个内核对应一个门控，用于控制第一个内核的结果流向最终表示的比例；
设定两个内核的权值为Ga和Gb，且利用tanh激活函数处理Ga对应的卷积核，将其接受域的r列映射为特征a，同时利用sigmoid激活函数处理Gb对应的卷积核，将其r列映射为特征b；
a与b的乘积表示过滤后特征。
本发明的有益效果为：
(1)本发明的一种基于注意力机制的情绪面孔及生理反应识别方法，通过多源数据融合实现自闭症儿童智能化识别精准度的提升。减少患者家庭、社会的经济负担：开展自闭症儿童智能化识别，及早发现及早治疗，有助于改善患儿病情严重程度，减轻个人、家庭及社会的负担。本发明提出的自闭症儿童智能化识别方法使用低成本的仪器设备采集儿童的各种行为、认知数据，较之传统的量表和医生主观判断的识别方法，更简单、便捷、客观、高效，能有效提升诊断效率，极大程度上减少医生工作的时间成本，进而减轻个人、家庭及社会的经济负担。
(2)提升医生诊断效率和诊断结果的精度：目前我国自闭症患者超过1000万，其中儿童患者超过200万，并以每年20万的速度增长，需要大量的医务工作人员，而我国目前医疗卫生资源相对紧张，传统的量表和医生主观判断的筛查方法费时、费力、主观误差较大，因此，迫切需要一种新的、高效率、高精度的识别方法。本发明提出的智能化识别方法，较之传统方法识别效率高，识别精度高。
(3)本发明在对儿童的面部表情数据、眼动数据及脑电数据进行采集时，能够实时的检测儿童的脑电采集设备是否正确佩戴，防止由于儿童的配合使用，导致脑电数据采集的不准确，同时由于采用精确的儿童头部所在区域的确认方法，使得儿童是否正确佩戴脑电采集设备的检测准确度大大提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于注意力机制的情绪面孔及生理反应识别方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于注意力机制的情绪面孔及生理反应识别方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于注意力机制的情绪面孔及生理反应识别方法，该方法包括以下步骤：
S1、利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集，并检测该儿童的脑电采集设备是否正确佩戴；
在一个实施例中，所述利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集包括以下步骤：
在儿童面前配置摄像机及眼动采集设备，且为儿童佩戴脑电采集设备；
在预先建立的面部表情数据库中选取若干表情图片，且表情图片的表情强度由低到高依次呈现，同时每张图片呈现10秒。
在一个实施例中，所述检测该儿童的脑电采集设备是否正确佩戴包括以下步骤：
通过预先配置的摄像机实时采集儿童正面图像，作为检测使用；
将采集的儿童正面图像输入训练好的人体关键点检测网络Openpose中，并检测得到儿童各个关键点的位置；
将采集的儿童正面图像输入训练好的人体框检测模型及脑电采集设备检测模型YOLO3中，并检测得到儿童身体框及脑电采集设备的位置；
检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点，且以儿童身体框中较短边作为边长形成矩形区域，并将该矩形区域作为儿童头部所在区域；
根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备；
若佩戴正确，则儿童继续进行数据采集，若佩戴不正确，则提示工作人员帮助儿童正确佩戴脑电采集设备。
在一个实施例中，所述检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点包括以下步骤：
将儿童正面图像的大小转换为40*40*3，并输入至DCNN中的人脸关键精确定位网络结构中，且输入层的大小为n；
通过儿童的人脸关键点预测值和真实值的欧式距离与儿童人脸大小的比值确定检测误差；
检测误差的计算公式为：
式中，xi和yi分别为第i个关键点的横坐标和纵坐标；
其中，儿童人脸关键点中眼睛定位的计算公式为：
式中，lx和ly分别表示坐标空间内儿童眼睛边框矩形顶角对应的位置信息；
xi和xj分别为第i个和第j个关键点的横坐标；
ym和yn分别为第m个和第n个关键点的纵坐标；
儿童人脸关键点中嘴巴定位的计算公式为：
式中，xk为第k个关键点的横坐标；
yi和yj分别为第i个和第j个关键点的纵坐标；
根据眼睛和嘴巴位置的中心点作为儿童头部所在区域的中心点。
在一个实施例中，所述根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备包括以下步骤：
训练脑电采集设备的分类器；
在儿童头部所在区域通过分类器确定是否正确佩戴脑电采集设备；
其中，所述分类器采用卷积和全连接网络架构，且包含两个卷积层、一个池化层及两个全连接层。
在一个实施例中，所述训练脑电采集设备的分类器时，获取脑电采集设备训练数据；
在一个实施例中，所述获取脑电采集设备训练数据时，通过网络获取脑电采集设备和儿童相关的开源图片，且在真实环境中通过固定位置的摄像头采集训练图片，并利用YOLOV3提取环境区域作为儿童人体标签；
按儿童头部所在区域是否佩戴脑电采集设备作为正训练样本及负训练样本，保存。
在训练时对正训练样本及负训练样本进行数据增强，包括水平翻转、放大、缩小、旋转等。
S2、基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；
在一个实施例中，所述基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征包括以下步骤：
按照每秒30帧的频率提取儿童面部表情数据、眼动数据及脑电数据，且得到面部表情数据、眼动数据及脑电数据相同长度的特征序列；例如，使用OGAMA软件提取眼动数据基础特征，使用EmotivPRO提取脑电数据基础特征，使用预训练的表情识别模型的中间层输出作为面部表情特征；经过上述特征提取和处理后，在三种数据源上得到了相同长度的特征序列，作为后续模型的输入。例如某个被试的面部表情视频片段包含10个子任务，一个子任务包含10秒的视频帧。各数据源特征序列可以表示为：
式中，m∈{e,f,k}，e,f,k分别对应眼动、面部表情、脑电三种数据源；
使用卷积神经网络对卷积核窗口内的特征进行压缩，并通过最大池化层和一个全连接层得到面部表情数据、眼动数据及脑电数据的特征表示，其形式化定义如下：
sv＝tanh(WcCv+bc)
式中，
将nc个卷积核生成的特征进行拼接后经过一个全连接层，得到该数据在子任务上的向量表示sv；
在获得了各数据源的子任务特征表示后，将各个特征序列输入各数据源独立的子任务级LSTM，学习上下文信息，得到面部表情数据、眼动数据及脑电数据的上下文特征。具体定义如下：
式中，Hm表示该层LSMT每个时间步的隐层输出构成的序列，包含了单源数据内部上下文信息，供后续进行多源特征融合。
S3、对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；
在一个实施例中，所述对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征包括以下步骤：
将面部表情特征、眼动特征及脑电特征进行两两组合，并在两个组合中设置一个主输入和一个辅助输入，将两种输入特征融合来生成输出目标；
设
为主输入，
为辅助输入；
将主输入和辅助输入投影到同一个共享向量空间中：
式中，
是训练参数，dv表示共享向量空间的维数。特征融合模块中使用Eemb和Gemb来计算注意力矩阵
Mij表示主输入的第i个内容与辅助输入的第j个内容之间的相关性，注意力矩阵M表示如下：
为衡量每个辅助输入对主输入的重要性，使用softmax函数量化M，表示如下：
那么，基于注意力机制的辅助输入J表示为：
J＝G·MT
将主输入和辅助输入在全连接层进行拼接，得到融合特征U＝{U1,U2,…,Un}；
U＝tanh(Pu[Ei:Ji]+Cu)。S4、使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；
交互式特征融合充分利用多源数据间的相关信息，但同时也给融合向量带来了较多冗余信息。本发明拟使用门控卷积机制进行冗余信息过滤，提取融合向量中最具识别能力的特征，最终提升自闭症儿童的识别精度；
在一个实施例中，所述使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征包括以下步骤：
使用一维卷积核对获取局部特征，且每个内核对应一个特征检测器，并通过特征检测器提取特定模式的活动局部特征；
每个卷积核对中包含两个内核，第一个内核进行转换信息，完成信息表示，另一个内核对应一个门控，用于控制第一个内核的结果流向最终表示的比例；
设定两个内核的权值为Ga和Gb，且利用tanh激活函数处理Ga对应的卷积核，将其接受域的r列映射为特征a，同时利用sigmoid激活函数处理Gb对应的卷积核，将其r列映射为特征b；
a与b的乘积表示过滤后特征。
过滤器在整个子任务中活动，能够得到一个新的特征序列e＝{e1,e2,…,ek-r+1}：
ai＝tanh(qi:i+r-1*Ga+ba)
bi＝sigmoid(qi:i+r-1*Gb+bb)
ei＝ai×bi
其中
代表卷积核对的偏差，*为卷积操作，则生成的新特征可以形成矩阵
最后使用一个极大池化层，得到向量z，其大小等于过滤器对的数量nk，向量z表示如下：
通过上述的特定特征提取，过滤掉了无效的冗余信息，将新特征输入到最终的输出层。
S5、根据过滤后特征并使用分类器完成自闭症儿童识别任务。
本发明达到如下指标：
(1)在实验的基础上，使用基于上下文感知的单源数据进行自闭症儿童识别，在各单数据源上识别结果的正确率、召回率和F1值与当前主流方法相比预期分别提升3-5个百分点。
(2)使用细粒度注意力机制进行多源数据交互式融合，并进行融合向量中冗余信息过滤后，识别结果在正确率、召回率和F1值上预期能达到93％以上。
(3)注意力机制驱动下融合多源数据的自闭症儿童智能化识别研究成果，首先在某三甲医院心理门诊及儿童保健科进行示范应用，开展疑似自闭症儿童的辅助诊断，降低传统问卷和量表诊断的人力成本(预期至少降低60％的人力成本)。
(4)在示范应用的基础上，拟通过科技成果转化的方式促进自闭症儿童智能化识别的社会化推广，健全和完善儿童自闭症康复体系，完善我省儿童保健服务体系，产生重大经济和社会效益。
综上所述，本发明的一种基于注意力机制的情绪面孔及生理反应识别方法，通过多源数据融合实现自闭症儿童智能化识别精准度的提升。减少患者家庭、社会的经济负担：开展自闭症儿童智能化识别，及早发现及早治疗，有助于改善患儿病情严重程度，减轻个人、家庭及社会的负担。本发明提出的自闭症儿童智能化识别方法使用低成本的仪器设备采集儿童的各种行为、认知数据，较之传统的量表和医生主观判断的识别方法，更简单、便捷、客观、高效，能有效提升诊断效率，极大程度上减少医生工作的时间成本，进而减轻个人、家庭及社会的经济负担。提升医生诊断效率和诊断结果的精度：目前我国自闭症患者超过1000万，其中儿童患者超过200万，并以每年20万的速度增长，需要大量的医务工作人员，而我国目前医疗卫生资源相对紧张，传统的量表和医生主观判断的筛查方法费时、费力、主观误差较大，因此，迫切需要一种新的、高效率、高精度的识别方法。本发明提出的智能化识别方法，较之传统方法识别效率高，识别精度高。本发明在对儿童的面部表情数据、眼动数据及脑电数据进行采集时，能够实时的检测儿童的脑电采集设备是否正确佩戴，防止由于儿童的配合使用，导致脑电数据采集的不准确，同时由于采用精确的儿童头部所在区域的确认方法，使得儿童是否正确佩戴脑电采集设备的检测准确度大大提高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，该方法包括以下步骤：
S1、利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集，并检测该儿童的脑电采集设备是否正确佩戴；
S2、基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；
S3、对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；
S4、使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；
S5、根据过滤后特征并使用分类器完成自闭症儿童识别任务。
2.根据权利要求1所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集包括以下步骤：
在儿童面前配置摄像机及眼动采集设备，且为儿童佩戴脑电采集设备；
在预先建立的面部表情数据库中选取若干表情图片，且表情图片的表情强度由低到高依次呈现，同时每张图片呈现10秒。
3.根据权利要求1所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述检测该儿童的脑电采集设备是否正确佩戴包括以下步骤：
通过预先配置的摄像机实时采集儿童正面图像，作为检测使用；
将采集的儿童正面图像输入训练好的人体关键点检测网络Openpose中，并检测得到儿童各个关键点的位置；
将采集的儿童正面图像输入训练好的人体框检测模型及脑电采集设备检测模型YOLO3中，并检测得到儿童身体框及脑电采集设备的位置；
检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点，且以儿童身体框中较短边作为边长形成矩形区域，并将该矩形区域作为儿童头部所在区域；
根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备；
若佩戴正确，则儿童继续进行数据采集，若佩戴不正确，则提示工作人员帮助儿童正确佩戴脑电采集设备。
4.根据权利要求3所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点包括以下步骤：
将儿童正面图像的大小转换为40*40*3，并输入至DCNN中的人脸关键精确定位网络结构中，且输入层的大小为n；
通过儿童的人脸关键点预测值和真实值的欧式距离与儿童人脸大小的比值确定检测误差；
其中，儿童人脸关键点中眼睛定位的计算公式为：
式中，lx和ly分别表示坐标空间内儿童眼睛边框矩形顶角对应的位置信息；
xi和xj分别为第i个和第j个关键点的横坐标；
ym和yn分别为第m个和第n个关键点的纵坐标；
儿童人脸关键点中嘴巴定位的计算公式为：
式中，xk为第k个关键点的横坐标；
yi和yj分别为第i个和第j个关键点的纵坐标；
根据眼睛和嘴巴位置的中心点作为儿童头部所在区域的中心点。
5.根据权利要求3所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备包括以下步骤：
训练脑电采集设备的分类器；
在儿童头部所在区域通过分类器确定是否正确佩戴脑电采集设备；
其中，所述分类器采用卷积和全连接网络架构，且包含两个卷积层、一个池化层及两个全连接层。
6.根据权利要求5所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述训练脑电采集设备的分类器时，获取脑电采集设备训练数据。
7.根据权利要求6所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述获取脑电采集设备训练数据时，通过网络获取脑电采集设备和儿童相关的开源图片，且在真实环境中通过固定位置的摄像头采集训练图片，并利用YOLOV3提取环境区域作为儿童人体标签；
按儿童头部所在区域是否佩戴脑电采集设备作为正训练样本及负训练样本，保存。
8.根据权利要求1所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征包括以下步骤：
按照每秒30帧的频率提取儿童面部表情数据、眼动数据及脑电数据，且得到面部表情数据、眼动数据及脑电数据相同长度的特征序列；
使用卷积神经网络对卷积核窗口内的特征进行压缩，并通过最大池化层和一个全连接层得到面部表情数据、眼动数据及脑电数据的特征表示；
将各个特征序列输入各数据源独立的子任务级LSTM，学习上下文信息，得到面部表情数据、眼动数据及脑电数据的上下文特征。
9.根据权利要求8所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征包括以下步骤：
将面部表情特征、眼动特征及脑电特征进行两两组合，并在两个组合中设置一个主输入和一个辅助输入；
将主输入和辅助输入投影到同一个共享向量空间中，并将主输入和辅助输入在全连接层进行拼接，得到融合特征。
10.根据权利要求9所述的一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，所述使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征包括以下步骤：
使用一维卷积核对获取局部特征，且每个内核对应一个特征检测器，并通过特征检测器提取特定模式的活动局部特征；
每个卷积核对中包含两个内核，第一个内核进行转换信息，完成信息表示，另一个内核对应一个门控，用于控制第一个内核的结果流向最终表示的比例；
设定两个内核的权值为Ga和Gb，且利用tanh激活函数处理Ga对应的卷积核，将其接受域的r列映射为特征a，同时利用sigmoid激活函数处理Gb对应的卷积核，将其r列映射为特征b；
a与b的乘积表示过滤后特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113595.0A CN116098621A (zh) | 2023-02-14 | 2023-02-14 | 一种基于注意力机制的情绪面孔及生理反应识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113595.0A CN116098621A (zh) | 2023-02-14 | 2023-02-14 | 一种基于注意力机制的情绪面孔及生理反应识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116098621A true CN116098621A (zh) | 2023-05-12 |
Family
ID=86255904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310113595.0A Pending CN116098621A (zh) | 2023-02-14 | 2023-02-14 | 一种基于注意力机制的情绪面孔及生理反应识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116098621A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117153403A (zh) * | 2023-09-13 | 2023-12-01 | 安徽爱学堂教育科技有限公司 | 基于微表情与身体指标的心理健康评价方法 |
| CN117942079A (zh) * | 2024-03-27 | 2024-04-30 | 山东大学 | 一种基于多维感知与融合的情绪智力分类方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170251985A1 (en) * | 2016-02-12 | 2017-09-07 | Newton Howard | Detection Of Disease Conditions And Comorbidities |
| CN111012367A (zh) * | 2019-12-27 | 2020-04-17 | 华中师范大学 | 一种精神疾病的智能识别系统 |
| US20210004589A1 (en) * | 2018-12-18 | 2021-01-07 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
| CN113239805A (zh) * | 2021-05-14 | 2021-08-10 | 长春工业大学 | 基于mtcnn的口罩佩戴识别方法 |
| CN115100428A (zh) * | 2022-07-01 | 2022-09-23 | 天津大学 | 一种利用上下文感知的目标检测方法 |
| CN115349860A (zh) * | 2022-07-13 | 2022-11-18 | 华南理工大学 | 一种多模态情绪识别方法、系统、设备及介质 |
| CN115497139A (zh) * | 2022-09-28 | 2022-12-20 | 西南科技大学 | 一种融合注意力机制的口罩遮挡人脸检测与识别方法 |
| CN115659259A (zh) * | 2022-12-27 | 2023-01-31 | 华南理工大学 | 基于层次化多维空间的脑电情感识别方法、介质及设备 |
-
2023
- 2023-02-14 CN CN202310113595.0A patent/CN116098621A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170251985A1 (en) * | 2016-02-12 | 2017-09-07 | Newton Howard | Detection Of Disease Conditions And Comorbidities |
| US20210004589A1 (en) * | 2018-12-18 | 2021-01-07 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
| CN111012367A (zh) * | 2019-12-27 | 2020-04-17 | 华中师范大学 | 一种精神疾病的智能识别系统 |
| CN113239805A (zh) * | 2021-05-14 | 2021-08-10 | 长春工业大学 | 基于mtcnn的口罩佩戴识别方法 |
| CN115100428A (zh) * | 2022-07-01 | 2022-09-23 | 天津大学 | 一种利用上下文感知的目标检测方法 |
| CN115349860A (zh) * | 2022-07-13 | 2022-11-18 | 华南理工大学 | 一种多模态情绪识别方法、系统、设备及介质 |
| CN115497139A (zh) * | 2022-09-28 | 2022-12-20 | 西南科技大学 | 一种融合注意力机制的口罩遮挡人脸检测与识别方法 |
| CN115659259A (zh) * | 2022-12-27 | 2023-01-31 | 华南理工大学 | 基于层次化多维空间的脑电情感识别方法、介质及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 廖梦怡等: "融合多模态数据的自闭症谱系障碍儿童智能化识别及其有效性", 科学通报, vol. 66, no. 20, 31 December 2021 (2021-12-31), pages 2618 - 2628 * |
| 许琬鹦: "基于基于生理信号分析的自闭症谱系障碍与典型生理发展儿童情绪认知差异性研究", 中国优秀硕士论文期刊网, 31 January 2021 (2021-01-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117153403A (zh) * | 2023-09-13 | 2023-12-01 | 安徽爱学堂教育科技有限公司 | 基于微表情与身体指标的心理健康评价方法 |
| CN117942079A (zh) * | 2024-03-27 | 2024-04-30 | 山东大学 | 一种基于多维感知与融合的情绪智力分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116098621A (zh) | 一种基于注意力机制的情绪面孔及生理反应识别方法 | |
| CN111225612A (zh) | 基于机器学习的神经障碍识别和监测系统 | |
| CN111528859A (zh) | 基于多模态深度学习技术的儿童adhd筛查评估系统 | |
| Zhang et al. | Detecting negative emotional stress based on facial expression in real time | |
| Tang et al. | Automatic identification of high-risk autism spectrum disorder: a feasibility study using video and audio data under the still-face paradigm | |
| CN110674773A (zh) | 一种痴呆症的识别系统、装置及存储介质 | |
| CN111524580A (zh) | 一种基于神经网络的病毒筛查与防疫系统及方法 | |
| CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| WO2021109855A1 (zh) | 一种基于深度学习的孤独症辅助评估系统和方法 | |
| Rad et al. | Stereotypical motor movement detection in dynamic feature space | |
| CN211862821U (zh) | 一种基于深度学习的孤独症辅助评估系统 | |
| CN115101191A (zh) | 一种帕金森疾病诊断系统 | |
| Mane et al. | StressNet: Hybrid model of LSTM and CNN for stress detection from electroencephalogram signal (EEG) | |
| Skaramagkas et al. | Multi-modal Deep Learning Diagnosis of Parkinson’s Disease-A Systematic Review | |
| Wu et al. | Tic detection in tourette syndrome patients based on unsupervised visual feature learning | |
| Zhao et al. | Research and development of autism diagnosis information system based on deep convolution neural network and facial expression data | |
| Bhan et al. | Diagnosing Parkinson’s disease in Early Stages using Image Enhancement, ROI Extraction and Deep Learning Algorithms | |
| Eisenhauer et al. | Context-based facilitation in visual word recognition: Evidence for visual and lexical but not pre-lexical contributions | |
| Zhao et al. | A multimodal data driven rehabilitation strategy auxiliary feedback method: A case study | |
| Boppana et al. | Deep Learning Approach for an early stage detection of Neurodevelopmental Disorders | |
| CN114974254A (zh) | 一种基于多模态人工智能技术的儿童抑郁情绪识别方法 | |
| Yu et al. | Depression and severity detection based on body kinematic features: using kinect recorded skeleton data of simple action | |
| Sridurga et al. | Detecting Autism Spectrum Syndrome using VGG19 and Xception Networks | |
| CN111870253A (zh) | 基于视觉和语音融合技术的抽动障碍症病情监测方法及其系统 | |
| Narala et al. | Prediction of Autism Spectrum Disorder Using Efficient Net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |