CN111528867A - 用于儿童adhd筛查评估系统的表情特征向量确定方法 - Google Patents

用于儿童adhd筛查评估系统的表情特征向量确定方法 Download PDF

Info

Publication number
CN111528867A
CN111528867A CN202010401504.XA CN202010401504A CN111528867A CN 111528867 A CN111528867 A CN 111528867A CN 202010401504 A CN202010401504 A CN 202010401504A CN 111528867 A CN111528867 A CN 111528867A
Authority
CN
China
Prior art keywords
expression
feature
child
facial
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010401504.XA
Other languages
English (en)
Inventor
朱强
张雁翼
孔鸣
洪文琛
赵天琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Weizhi Information Technology Co ltd
Original Assignee
Huzhou Weizhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huzhou Weizhi Information Technology Co ltd filed Critical Huzhou Weizhi Information Technology Co ltd
Priority to CN202010401504.XA priority Critical patent/CN111528867A/zh
Publication of CN111528867A publication Critical patent/CN111528867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Neurology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Neurosurgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)

Abstract

一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的feature map，得到对应每个AU的特征表示，将所有特征向量拼接得到整体向量FAU；步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。本发明准确性较好。

Description

用于儿童ADHD筛查评估系统的表情特征向量确定方法
技术领域
本发明涉及一种儿童ADHD筛查评估系统，尤其是表情特征向量确定方法。
背景技术
注意缺陷多动障碍(ADHD)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。现有的ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。
目前对于ADHD患者表情的研究还处于起步阶段，与我们的发明较为接近的是17年诺丁汉大学Shashank Jaiswal的研究。他们让测试者听了12个故事，并使用微软的Kinect记录了测试者的面部表情单元(Action Units,AU)并使用机器学习的方法加以分析。这种方法的缺陷有三点，1.每个人的长相并不相同，所以他们的基本AU也不一样，这会导致结果上的偏差；2.研究针对的是成人，出现面部表情异常(比如面部抽动等)的情况不是很多，加上样本量不大，所以特征识别的效果不太好；3.机器学习分类方法的结果好坏一定程度上取决于研究者选择的模型与数据是否适合，而且很难挖掘深层次的信息。
发明内容
为了克服已有ADHD儿童表情特征确定方式的准确性较差的不足，本发明提供了一种准确性较好的用于儿童ADHD筛查评估系统的表情特征向量确定方法。
本发明解决其技术问题所采用的技术方案是：
一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：
步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的feature map，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；
步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。
进一步，所述步骤2中，如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。
再进一步，所述步骤1中，放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频VFront，然后使用级联卷积神经网络对视频中的每一帧进行分析识别。
本发明的有益效果主要表现在：1、用于标定人脸数据库较大，标注精准，可以保证面部特征点识别结果的准确性；2、可以检测的AU种类多，而且包含多种异常面部行为，最后得到的视频问题时段与人工判别相比很少有遗漏；3、场地不受限制，成本较为低廉。
附图说明
图1是用于儿童ADHD筛查评估系统的表情特征向量确定方法的流程图。
图2是儿童ADHD筛查评估系统的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：
步骤1放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频VFront，然后使用级联卷积神经网络对视频中的每一帧进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的feature map，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；
步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp；
如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。
本实施例中，通过对22种Facial Action Coding System(Hamm et al.,2011)描述的面部运动单元和动作对测试者表情变化进行描述，具体的，采用了一种结合Region ofInterests(ROI)adaptation，Multi-label Learning,以及optimal LSTM-based temporalfusing的结构对微表情进行检测，表情特征计算的输入为采集到的正面视频VFront，输出为产生的AU概率序列表达Fexp。
图2描述了儿童ADHD筛查评估系统中摄像头与被测试者的关系，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息。位于测试者座位侧面的2、3号双目深度摄像头模组可用于拍摄测试者全身，采集测试者三维身体姿态信息。本实施例中，使用一个放置在儿童面部正前方的摄像头(1号摄像头)来拍摄儿童的面部表情，得到一段视频VFront。
本实施例中，使用级联卷积神经网络对视频中的每一帧进行分析识别，先找出人脸的bounding box，然后由粗到细定位出人脸上的68个特征点，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU。
将特征点与22种Facial Action Coding System描述的面部运动单元和动作对测试者表情变化进行比对，得到每一帧图像中人脸的所有AU及其概率。然后将这些AU按视频的时序拼接起来，输出AU概率序列Fexp。
在此基础上，可以构建基于VGGNet的ROI cropping nets(ROI Nets)。通过裁剪出网络第12层得到的feature map，由此得到对应每个AU的特征表示。将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU。
由于表情识别任务的输入形式是视频数据,因此我们可通过前面时刻的表情状态下更准确、更平滑的预测当前时刻的表情状态。于是我们利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。
如果在表情特征序列中出现了一些可以被判定为异常动作的AU(例如吐舌、皱眉等)，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (3)

1.一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，其特征在于，所述方法包括以下步骤：
步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROI Nets，通过裁剪出网络第12层得到的featuremap，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；
步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。
2.如权利要求1所述的用于儿童ADHD筛查评估系统的表情特征向量确定方法，其特征在于，所述步骤2中，如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。
3.如权利要求1或2所述的用于儿童ADHD筛查评估系统的表情特征向量确定方法，其特征在于，所述步骤1中，放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频VFront，然后使用级联卷积神经网络对视频中的每一帧进行分析识别。
CN202010401504.XA 2020-05-13 2020-05-13 用于儿童adhd筛查评估系统的表情特征向量确定方法 Pending CN111528867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010401504.XA CN111528867A (zh) 2020-05-13 2020-05-13 用于儿童adhd筛查评估系统的表情特征向量确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010401504.XA CN111528867A (zh) 2020-05-13 2020-05-13 用于儿童adhd筛查评估系统的表情特征向量确定方法

Publications (1)

Publication Number Publication Date
CN111528867A true CN111528867A (zh) 2020-08-14

Family

ID=71968705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010401504.XA Pending CN111528867A (zh) 2020-05-13 2020-05-13 用于儿童adhd筛查评估系统的表情特征向量确定方法

Country Status (1)

Country Link
CN (1) CN111528867A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201343A (zh) * 2020-09-29 2021-01-08 浙江大学 基于脸部微表情的认知状态识别系统及方法
TWI831178B (zh) * 2022-04-13 2024-02-01 國立中央大學 注意力不足過動症的分析裝置、診斷系統及分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
CN109712710A (zh) * 2018-04-26 2019-05-03 南京大学 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法
CN110970130A (zh) * 2019-12-30 2020-04-07 段新 一种注意缺陷多动障碍的数据处理方法
CN111012367A (zh) * 2019-12-27 2020-04-17 华中师范大学 一种精神疾病的智能识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN109712710A (zh) * 2018-04-26 2019-05-03 南京大学 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
CN111012367A (zh) * 2019-12-27 2020-04-17 华中师范大学 一种精神疾病的智能识别系统
CN110970130A (zh) * 2019-12-30 2020-04-07 段新 一种注意缺陷多动障碍的数据处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHASHANK JAISWAL等: "Automatic Detection of ADHD and ASD from Expressive Behaviour in RGBD Data", 《 2017 12TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2017)》 *
WEI LI等: "Action Unit Detection with Region Adaptation, Multi-labeling Learning and Optimal Temporal Fusing", 《ARXIV》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201343A (zh) * 2020-09-29 2021-01-08 浙江大学 基于脸部微表情的认知状态识别系统及方法
CN112201343B (zh) * 2020-09-29 2024-02-02 浙江大学 基于脸部微表情的认知状态识别系统及方法
TWI831178B (zh) * 2022-04-13 2024-02-01 國立中央大學 注意力不足過動症的分析裝置、診斷系統及分析方法

Similar Documents

Publication Publication Date Title
Kaur et al. Prediction and localization of student engagement in the wild
De Melo et al. A deep multiscale spatiotemporal network for assessing depression from facial dynamics
Mathe et al. Dynamic eye movement datasets and learnt saliency models for visual action recognition
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
CN109815795A (zh) 基于人脸监测的课堂学生状态分析方法及装置
Cohen et al. Facial expression recognition from video sequences: temporal and static modeling
US8636361B2 (en) Learning-based visual attention prediction system and method thereof
Li et al. Spotting micro-expressions on long videos sequences
Yun et al. Automatic recognition of children engagement from facial video using convolutional neural networks
Min et al. Integrating human gaze into attention for egocentric activity recognition
US20140270483A1 (en) Methods and systems for measuring group behavior
CN111528859A (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
Alkabbany et al. Measuring student engagement level using facial information
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN111144321B (zh) 专注度检测方法、装置、设备和存储介质
CN111528867A (zh) 用于儿童adhd筛查评估系统的表情特征向量确定方法
Panetta et al. Software architecture for automating cognitive science eye-tracking data analysis and object annotation
Ali et al. Video-based behavior understanding of children for objective diagnosis of autism
CN115546899A (zh) 一种基于深度学习的考场异常行为分析方法、系统及终端机
Ryan et al. Real-time multi-task facial analytics with event cameras
Morozov et al. Automatic recognition of macaque facial expressions for detection of affective states
CN111128368A (zh) 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN111626197B (zh) 一种基于人体行为识别网络模型的识别方法
Uppal et al. Decoding Attention from Gaze: A Benchmark Dataset and End-to-End Models
Budarapu et al. Early Screening of Autism among Children Using Ensemble Classification Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814

RJ01 Rejection of invention patent application after publication