CN107785061A - 孤独症谱系障碍儿童情绪能力干预系统 - Google Patents

孤独症谱系障碍儿童情绪能力干预系统 Download PDF

Info

Publication number
CN107785061A
CN107785061A CN201710940097.8A CN201710940097A CN107785061A CN 107785061 A CN107785061 A CN 107785061A CN 201710940097 A CN201710940097 A CN 201710940097A CN 107785061 A CN107785061 A CN 107785061A
Authority
CN
China
Prior art keywords
module
expression
autism
user
children
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710940097.8A
Other languages
English (en)
Inventor
禹东川
张磊
陈鸿雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710940097.8A priority Critical patent/CN107785061A/zh
Publication of CN107785061A publication Critical patent/CN107785061A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种孤独症谱系障碍儿童情绪能力干预系统，摄像头采集模块负责捕捉用户的信息，并将数据交于人脸检测与定位模块进行处理；人脸检测与定位模块对人脸进行检测，并将检测到的人脸图像传输给数据预处理模块；数据预处理模块对人脸图像进行预处理；人脸表情特征选择和提取模块提取预处理人脸图像表情的特征向量；人脸表情分类模块根据特征选择和提取模块所提取的人脸图像表情的特征向量进行分类，划分出用户的表情；交互模块根据识别到的用户表情与预先设定给出的表情相匹配的结果与用户产生互动，奖励或鼓励用户；该系统通过交互的方式能改善孤独症谱系障碍儿童情绪能力以及社会交往障碍，帮助孤独症儿童更好地融入社会。

Description

孤独症谱系障碍儿童情绪能力干预系统
技术领域
本发明具体涉及一种孤独症谱系障碍儿童情绪能力干预系统，特别涉及一种集成孤独症谱系障碍儿童的表情认知和表达能力的儿童情绪能力干预平台，属于生理评测的技术领域
背景技术
孤独症谱系障碍(Autism Spectrum Disorder，ASD)是一组以社会交往障碍、语言交流障碍、兴趣或活动范围狭窄以及重复刻板行为为主要核心症状的神经发育性障碍，是根据典型孤独症的核心症状进行拓展定义的广泛意义上的孤独症。
孤独症谱系障碍的高患病率，使其成为威胁儿童发展的常见病症之一，已成为世界公共卫生和教育领域的严重挑战。
孤独症谱系障碍的发病机理尚不清楚，但可以肯定的是诸多致病因素导致了ASD。经临床数据统计和康复机构实践记录，ASD情绪表现为如下四个特点：情绪简单，复杂情绪缺乏；情绪冷漠，主观体验贫乏；情绪暴躁，不易控制，外部表现简单；情绪具有弥散性。
ASD儿童的社会适应能力和情绪能力存在着严重的障碍。社会交往能力的缺失被认为是ASD的最核心症状之一，有些ASD儿童缺乏对社会的兴趣，对熟人和陌生人表现出同等的冷漠。从幼儿时期起，可能就对人缺少应有的反应，也不容易和亲人建立联系。孤独症儿童不会主动留意他人的情感，识别他人的情绪，更缺乏与情景相应的情绪表达；不管别人是否苦恼无助，他们都似乎只存在于自己的世界里，并专注于自己的活动，不会表现出同情等。对于孤独症儿童来说，情绪能力的发展更关乎其一生的发展，促进孤独症儿童情绪能力发展是他们社会化康复进程的重中之重。如果忽视情绪能力的发展，ASD儿童很可能难以融入社会，随之恶化病情。因此，对于孤独症儿童面部表情识别能力和表达能力的改善研究对其康复治疗至关重要。
国内外专门针对孤独症儿童情绪能力的康复训练课程较缺乏。已有的康复训练往往偏重认知而轻视情绪能力，加上缺乏对孤独症儿童情绪能力有效评测的工具，也没有具体的标准去设计和制定情绪能力干预课程，实施过程困难重重。基于计算机的干预训练安全、可预测、可重复、符合孤独症儿童不善于与人交流的行为特点，因此借助计算机队孤独症儿童进行干预训练具有可行性和科学性。但现有的干预系统很多未能在多媒体应用方面进行深度挖掘，而是以简单的文字，图形等作为元素来帮助进行辅助训练
基于上述分析，本发明充分考虑ASD儿童的主体特性，研发注重ASD儿童面部表情的表达训练，同时兼顾表情识别训练的交互式干预系统，提供符合 ASD儿童思维特点的信息呈现和交互方式，希望其能在真实社交场景中迁移习得的技能，主动关注他人的面部表情并做出恰当的情绪反应，在一定程度上弥补向有关于孤独症儿童情绪能力研究的不足。
发明内容
发明目的：本发明的目的在于提供一种孤独症谱系障碍儿童情绪能力干预系统，研发注重ASD儿童面部表情的表达训练，同时兼顾表情识别训练，寄希望于 ASD儿童将习得的技能应用于真实社交场景中，主动关注他人的面部表情并做出恰当的情绪反应。
技术方案：孤独症谱系障碍儿童情绪能力干预系统，包括用户端，该用户端包括情绪能力干预模块，所述的情绪能力干预模块包括摄像头采集模块、人脸检测与定位模块、数据预处理模块、人脸表情特征选择和提取模块、人脸表情分类模块和交互模块；
所述摄像头采集模块负责捕捉用户的信息，并将数据交于人脸检测与定位模块进行处理；
所述人脸检测与定位模块对人脸进行检测的基础上，进一步定位眼睛、眉毛、鼻子、嘴巴这些特征区域，并将检测到的人脸图像传输给数据预处理模块；
所述数据预处理模块对人脸图像进行预处理；
所述人脸表情特征选择和提取模块提取预处理人脸图像表情的特征向量；
所述的人脸表情分类模块根据特征选择和提取模块所提取的人脸图像表情的特征向量进行分类，划分出用户的表情；
所述交互模块根据识别到的用户表情与预先设定给出的表情相匹配的结果与用户产生互动，奖励或鼓励用户；
其中，还包括服务器端，所述的服务器端包括Web服务器模块和数据库模块；
所述Web服务器模块响应用户端发送的登录/注册请求以及训练数据的接收，将用户端发送来的数据存储至数据库模块，根据用户端要求查询和修改有关数据；
所述的数据库模块用以存储数据，包括用户信息数据表，情绪能力训练数据表和评测任务数据表，用户信息数据表管理用户的信息，情绪能力训练数据表保存每次接受干预训练的训练结果数据，评测任务数据表保存每次训练效果的测试结果。
优选地，所述的人脸检测与定位模块采用基于扩展Haar-like特征的 Adaboost算法进行人脸检测。
所述的人脸检测与定位模块采用iPar-CLR算法进行人脸眼睛、眉毛、鼻子、嘴巴这些特征区域定位。
优选地，所述的数据预处理模块包括人脸图像进行彩色图像灰度化、旋转校正和直方图均衡化。
优选地，人脸表情特征选择和提取模块是根据确定眉毛、眼睛、鼻子、嘴巴这些特征部位的位置划分相应的表情子区域，对划分好的表情子区域分别分割成 4×4图像子块，提取每个表情子区域的每一子块均匀模式下的LBP直方图序列，将他们按照顺序连接构成一个1*n维向量，作为该人脸图像表情的特征向量。
优选地，所述的人脸表情特征选择和提取模块还包括对人脸图像表情的特征向量采用PCA主成分分析法降维，其基础是K-L变换。
优选地，人脸表情分类模块对表情特征根据特征选择和提取模块所提取的人脸图像表情的特征向量采用支持向量机(SVM)算法和一对一的分类方法，分出用户的表情为生气、厌恶、恐惧、高兴、中性、悲伤或惊讶。
优选地，所述支持向量机算法的核函数为：
K(xi,xj)＝exp(-λ||xi-xj||2),λ＞0
其中xi,xj分别为输入向量。
优选地，所述一对一的分类方法为：在每两个不同类别间训练分类器，n分类问题对应n(n-1)/2个分类器，当分类未知类别样本时，每个分类器都会判定样本所属类别，并相应投上一票，统计票数最多的类别即为未知样本的最终类别。
优选地，所述交互模块通过flash动画的方式与用户进行交互。
优选地，所述交互模块通过与ASD儿童思维方式相似的小火车行驶的动画来奖励或鼓励用户。
有益效果：与现有技术相比，本发明公开的孤独症谱系障碍儿童情绪能力干预系统具有以下优点：
1、本发明研制的干预系统为孤独症儿童提供了七种基本面部表情(生气、厌恶、恐惧、高兴、中性、悲伤或惊讶)的模仿训练，更贴近生活，使ASD儿童更加熟悉日常生活的常用基本表情，去迁移到真实的社交场景。
2、本发明在交互模块的奖励和鼓励制度的建立上，在每个表情成功模仿或者多次努力尝试缺失败的情况下给予小火车行驶的动画奖励或鼓励，与ASD儿童的思维方式相似，更符合ASD儿童思维特点。
附图说明
图1为本发明的系统结构框图；
图2为本发明的人脸检测示意图；
图3为本发明的数据预处理流程图；
图4为人脸表情识别系统示意图；
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，孤独症谱系障碍儿童情绪能力干预系统功能模块图，包括用户端和服务器端两个部分。
所述的用户端包括用户注册/登陆模块和情绪能力干预模块，所述的情绪能力干预模块包括包括摄像头采集模块、人脸检测与定位模块、数据预处理模块、人脸表情特征选择和提取模块、人脸表情分类/识别模块、交互模块，其中，所述摄像头采集模块负责捕捉用户的信息，并将数据交于人脸检测与定位模块进行处理；所述人脸检测与定位模块对人脸进行检测的基础上，进一步定位眼睛、眉毛、鼻子、嘴巴这些特征区域，并将检测到的人脸图像传输给数据预处理模块；所述数据预处理模块对人脸图像进行预处理；所述人脸表情特征选择和提取模块提取预处理人脸图像表情的特征向量；所述的人脸表情分类模块根据特征选择和提取模块所提取的人脸图像表情的特征向量进行分类，划分出用户的表情；所述交互模块根据识别到的用户表情与预先设定给出的表情相匹配的结果与用户产生互动，奖励或鼓励用户。
服务器端包括Web服务器模块和数据库模块。其中，所述Web服务器模块响应用户端发送的登录/注册请求以及训练数据的接收，将用户端发送来的数据存储至数据库模块，根据用户端要求查询和修改有关数据；所述的数据库模块用以存储数据，包括用户信息数据表，情绪能力训练数据表和评测任务数据表，用户信息数据表管理用户的信息，情绪能力训练数据表保存每次接受干预训练的训练结果数据，评测任务数据表保存每次训练效果的测试结果。
人脸检测是对于任意给定的图像，采用特定的算法对图像进行检测，如果图像中存在人脸，返回人脸大小、位置和形态，本发明采用基于扩展Haar-like特征的Adaboost算法进行人脸检测，表1描述了不同形式的基本Haar-like特征和扩展Haar-like特征。Haar-like特征值即为黑色区域的像素值之和与白色区域的像素值之和的差值。通俗的讲，将表中任意一个矩形放在摄像头所采集的图像上，将黑色区域的像素和减去白色区域的像素和，会得到一个数值。图像中有无人脸对应的数值是有差别的，通过特征值可以区分出图像中是否有人脸的存在。直接利用Haar-like特征可以构成弱分类器，其对于人脸和非人脸的分类能力大于50％。但对于Haar-like特征，一个24×24的矩形区域也具有十分庞大的特征数量， Adaboost算法可以选出其中对人脸分类非常重要的特征。Adaboost是一种迭代算法，通过训练可以修改不同特征的权重值形成强分类器。训练前，每个样本的权重相等，弱分类器训练的目标在于保证该权重组合下的分类错误率最低。此次训练后，错分样本的权重上升，正确分类样本的权重下降，由此得到一个更重视错分样本的新训练集。按一定的权重组合每次迭代生成的分类效果最优的弱分类器，即可得到最终的强分类器。为了提高检测精度，将一系列由Adaboost算法得到的强分类器串联，构成级联分类器。如图2所示，前一级强分类器对图像进行检测，若分类结果为“否”，则对应的图像中不存在人脸，若分类结果是“是”，该图像被传递到下一级强分类器进行检测，依次类推到最后一级强分类器，最后输出的即为包含人脸的图像。
表1 Haar-like特征
当样本和Haar-like特征数量过大时，采用积分图可以加快特征值的计算，只要扫描一次图像，将图像从起点开始到各个点形成的矩形区域内的像素灰度值之和作为一个数组存储到内存中，直接索引数组中的元素，利用这些元素进行操作，可以提升计算、样本训练和检测的速度。
人脸特征点定位是在人脸检测基础上，进一步定位眼睛、眉毛、鼻子、嘴巴这些特征区域。主要思想是将人脸局部器官的纹理特征和各器官特征点间的位置约束进行结合处理，本发明利用Akshay Asthana在2014年提出的iPar-CLR (Incremental ParallelCascade of Linear Regression)算法，进行人脸特征点跟踪和定位，保存人脸特征点的位置信息。
如图3为数据预处理模块工作流程示意图。通常，原始图像由于存在噪声，光照不均等，图像质量不高，因此要进行预处理。由于彩色图像信息量大，干扰信息多，不适合直接用于表情识别，灰度图像完全可以满足表情识别要求。本发明中首先将彩色图像灰度化，将人脸彩色图像从RGB复合通道转换为8位灰度图像，转换后图像的灰度级别为0～255,0最暗，255最亮。彩色图像灰度化的转换公式为：
Gray＝0.229*R+0.587*G+0.114*B (1)
由于采集原因，部分人脸存在倾斜，双眼不在同一水平线，要对其进行旋转校正。旋转校正的角度由定位的双眼坐标确定：
θ＝arctan((xr-xl)/(yr-yl)) (2)
其中左眼中心坐标为(xl,yl)，右眼中心坐标为(xr,yr)。图像旋转校正的公式：
其中(x,y)是原始图像像素点坐标，(x‘,y’)是旋转后图像像素点坐标。
人脸灰度图像的灰度分布范围较大，影响表情信息，预处理过程还需要对图像进行直方图均衡化，使一定灰度范围内的像素数量大致相同，把原始图像的灰度直方图从集中的某个灰度区间平均到全部的灰度范围内来增强图像。
表情特征提取是提取出反映表情主要信息的特征，本发明主要提取静态图像的局部二元信息作为表情特征。局部二值模式(LBP)是T.Ojala提出的描述图像纹理特征的算子，可以有效地度量和提取灰度图中的局部纹理特征。
LBP算子的计算如下所示：
在一块图像子区域上定义3×3的邻域窗口，窗口中心点的灰度值为阈值，顺时针读取周围的8个像素值，并分别与阈值比较，若灰度值大于阈值，则该位置标记为1，否则标记为0。由此可获得一个8位二进制编码，二进制编码对应的十进制数即为LBP值。计算公式：
其中，符号函数S(x)定义：
M、R分别指近邻点个数和半径，gc为中心点像素，gm(m＝0,1,…,M-1)为中心像素点的近邻点。
实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变，称之为均匀模式，LBP算子还有另外一些扩展，如将3*3的邻域扩展到更大区域，用圆形邻域代替方形邻域等。本发明采用均匀模式下的LBP。在提取表情特征时，本发明首先根据先前定位的特征点确定眉毛、眼睛、鼻子、嘴巴这些特征部位的位置，划分相应的表情子区域，对划分好的表情子区域分别分割成4×4 的图像子块，提取每个表情子区域的每一子块均匀模式下的LBP直方图序列。最后按顺序连接所有的直方图序列，构成一个1×n维的向量来描述该人脸表情图像的纹理特征，作为分类器训练以及识别的输入特征向量。
在摄像头的采集过程中，由于人所站位置的不同，采集到的人脸图像大小不一。为消除此影响，用鼻梁长度作为子区域划分的基准，进行归一化处理，使得近似所有人都站在同样的位置进行人脸表情采集。
从表情库中提取出来的原始特征一般都存在冗余度，没有必要把所有的人脸表情信息都输入进行分类器训练。为了有效表征输入人脸表情的本质，同时加快表情分类器的训练速度，要对原始特征信息进行特征降维和提取，减少数据样本点，得到对分类更有利的特征数据，减少分类时间。本发明采用PCA主成分分析法降维，其基础是K-L变换，通过K-L变换消除原有向量各分量间的相关性，从而去掉那些带有较少信息的分量。新的特征组合即为主成分，重构后的样本与原来样本的均方差最小。
设人脸表情子区域的灰度图像I(x,y)，是一个N×N的二维矩阵，先将其转换成N2维的向量X。M个训练样本的平均值为：
将所有的样本中心化，减去平均值向量：
σi＝Xi-AVG (7)
将中心化的特征向量组成一个新的矩阵A＝[σ1σ2…σM]，进而得到协方差矩阵C＝AAT。求得C的特征值降序排列：λ1≥λ2…≥λM，不同特征值对应的特征向量为ωi。选取前k个特征值对应的特征向量就足以包含表情图像的大部分信息，完成表情识别，对应的投影子空间为U＝[ω1ω2……ωk]，即只需取对应前 k个特征值的特征向量所对应的表情图像就行训练即可。
表情分类即判断表情特征对应的不同表情类别。本发明采用支持向量机 (SVM)对提取的表情特征进行分类。SVM的基本思想就是求取一个最优分类面。本发明中，用JAFFE人脸表情库来对SVM分类器进行训练。对于表情库中已知类别的表情特征样本，构造表情的特征向量，并将此特征向量与对应的标签输入SVM来进行训练。本发明中人脸表情分为生气、厌恶、恐惧、高兴、中性、悲伤、惊讶七类，故标签按0,1,2,3,4,5,6依次顺序排列，映射到各类表情。本发明中所使用的支持向量机SVM的核函数是：
K(xi,xj)＝exp(-λ||xi-xj||2),λ＞0 (9)
其中，xi和xj为输入向量，λ为函数宽度参数，控制函数径向作用范围。求解SVM最优分类面问题即SVM的最优分类函数。SVM分类函数主要需要调整的参数有惩罚参数C(影响SVM的边缘)和核函数中的参数γ(决定特征空间)。对于惩罚参数C和参数γ的选取，首先通过网格搜索法初步确定参数的变化范围，针对不同参数组合k折交叉验证求取平均分类正确率。根据参数的已知范围再次细分网格，并同样运用k折交叉验证求取排序平均正确率，获取最高正确率的参数组合即为SVM的最优参数。
本发明中需要识别7种基本表情，采用一对一方法进行多分类。对于n个类别，需要训练n(n-1)/2个两类分类器，然后进行投票决定。当分类未知类别样本时，每个分类器都会判定样本所属类别，并相应投上一票，统计票数最多的类别即为未知样本的最终类别。即每个两类分类器遵循这样的顺序：“0vs1”，“0vs 2”，“0vs 3”，…，“0vsn”,“1vs2”，“1vs3”，……，“(n-1)vsn”进行训练，第一个分类器只将样本归类到底“0”类或者第“1”类，最后一个分类器自将样本归类到第“n-1”类或者第“n”类。若其中第“m”(0≤m≤n)类得票数最多，则将此样本判定为该类。
其中，SVM分类器的训练，建立在JAFFE人脸表情数据库上。库中包括 10位日本女性的7种表情(生气、厌恶、恐惧、高兴、中性、悲伤、惊讶)，每种表情3～4幅，共有213幅静态表情图像，所有图像均为256级的灰度图，大小为256×256。本发明中人脸表情分为生气、厌恶、恐惧、高兴、中性、悲伤、惊讶七类，故标签按0,1,2,3,4,5,6依次顺序排列，映射到各类表情，对JAFFE 人脸表情数据库中的图像进行人脸检测和定位、图像预处理和表情特征选择与提取后，训练时，输入JAFFE人脸表情库中图像的特征向量与对应的标签来训练 SVM分类器；识别时，输入检测到的人脸图像的的特征向量，分类器输出对应分类之后的表情标签识别出相应的表情，如图4所示。
交互模块通过flash动画的方式与用户进行交互。Flash动画容量小，强调交互性，能满足用户和动画交互的需求，是媒体应用开发的重要工具。所述的flash 动画为小虎寻宝游戏，游戏中，小虎在特定的场景里寻宝，场景中一共放置了5 个宝箱，用户无需自己操作键盘，小虎按自动按规划好的路径依次去寻找宝箱，到达宝箱所在位置，每到一个宝箱就会触发一幅表情图片(图片是捕捉 Baron-Cohen教授课题组开发的“Mind Reading”视频库中情绪最强的场景，包括男女各一组，标准评定化后使用)，用户只有成功识别图片呈现的表情，模仿表达该表情并维持一段时间就能打开宝箱获得相应数量的奖励。若匹配成功，寻宝成功，宝箱开启，用户得到相应的奖励(小火车驶过的动画和糖果)，记录得分并开启下一个宝箱，每个宝箱都有三次开启的机会，每次提供30s的表情识别和表情模仿时间。用户若尝试上次均未能正确识别、理解和学习表情，也会给予鼓励(小火车行驶的动画)。追踪记录用户准确识别和表达的个数、每个表情尝试的次数、总用时和总得分。
在此flash动画种，自动规划了游戏主人公小虎的路径，通过指定路径移动，进行面部表情的识别和模仿表达训练，不需要训练者通过键盘进行方向导航，降低了ASD儿童的认知要求，适用范围更加广泛，能够广泛运用到整个孤独症群体中，适合进行大面积推广。

Claims (11)

1.孤独症谱系障碍儿童情绪能力干预系统，其特征在于，包括用户端，该用户端包括干预模块，所述的干预模块包括摄像头采集模块、人脸检测与定位模块、数据预处理模块、人脸表情特征选择和提取模块、人脸表情分类模块和交互模块；
所述摄像头采集模块负责捕捉用户的信息，并将数据交于人脸检测与定位模块进行处理；
所述人脸检测与定位模块对人脸进行检测的基础上，进一步定位眼睛、眉毛、鼻子、嘴巴这些特征区域，并将检测到的人脸图像传输给数据预处理模块；
所述数据预处理模块对人脸图像进行预处理；
所述人脸表情特征选择和提取模块提取预处理人脸图像表情的特征向量；
所述的人脸表情分类模块根据特征选择和提取模块所提取的人脸图像表情的特征向量进行分类，划分出用户的表情；
所述交互模块根据识别到的用户表情与预先设定给出的表情相匹配的结果与用户产生互动，奖励或鼓励用户。
2.根据权利要求1所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，还包括服务器端，所述的服务器端包括Web服务器模块和数据库模块；
所述Web服务器模块响应用户端发送的登录/注册请求以及训练数据的接收，将用户端发送来的数据存储至数据库模块，根据用户端要求查询和修改有关数据；
所述的数据库模块用以存储数据，包括用户信息数据表，情绪能力训练数据表和评测任务数据表，用户信息数据表管理用户的信息，情绪能力训练数据表保存每次接受干预训练的训练结果数据，评测任务数据表保存每次训练效果的测试结果。
3.根据权利要求1所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，所述的人脸检测与定位模块采用基于扩展Haar-like特征的Adaboost算法进行人脸检测。
4.根据权利要求1所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，所述的数据预处理模块包括人脸图像进行彩色图像灰度化、旋转校正和直方图均衡化。
5.根据权利要求1所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，人脸表情特征选择和提取模块是根据确定眉毛、眼睛、鼻子、嘴巴这些特征部位的位置划分相应的表情子区域，对划分好的表情子区域分别分割成4×4图像子块，提取每个表情子区域的每一子块均匀模式下的LBP直方图序列，将他们按照顺序连接构成一个1*n维向量，作为该人脸图像表情的特征向量。
6.根据权利要求5所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，所述的人脸表情特征选择和提取模块还包括对人脸图像表情的特征向量采用PCA主成分分析法降维，其基础是K-L变换。
7.根据权利要求1所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，人脸表情分类模块对表情特征根据特征选择和提取模块所提取的人脸图像表情的特征向量采用支持向量机(SVM)算法和一对一的分类方法，分出用户的表情为生气、厌恶、恐惧、高兴、中性、悲伤或惊讶。
8.根据权利要求7所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，所述支持向量机算法的核函数为：
K(xi,xj)＝exp(-λ||xi-xj||2),λ＞0
其中xi,xj分别为输入向量。
9.根据权利要求7所述的孤独症谱系障碍儿童情绪能力干预系统，其特征在于，所述一对一的分类方法为：在每两个不同类别间训练分类器，n分类问题对应n(n-1)/2个分类器，当分类未知类别样本时，每个分类器都会判定样本所属类别，并相应投上一票，统计票数最多的类别即为未知样本的最终类别。
10.根据权利要求1所述的孤独症谱系障碍儿童干预系统，其特征在于，所述交互模块通过flash动画的方式与用户进行交互。
11.根据权利要求10所述的孤独症谱系障碍儿童干预系统，其特征在于，所述交互模块通过与ASD儿童思维方式相似的小火车行驶的动画来奖励或鼓励用户。
CN201710940097.8A 2017-10-10 2017-10-10 孤独症谱系障碍儿童情绪能力干预系统 Withdrawn CN107785061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710940097.8A CN107785061A (zh) 2017-10-10 2017-10-10 孤独症谱系障碍儿童情绪能力干预系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710940097.8A CN107785061A (zh) 2017-10-10 2017-10-10 孤独症谱系障碍儿童情绪能力干预系统

Publications (1)

Publication Number Publication Date
CN107785061A true CN107785061A (zh) 2018-03-09

Family

ID=61434361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710940097.8A Withdrawn CN107785061A (zh) 2017-10-10 2017-10-10 孤独症谱系障碍儿童情绪能力干预系统

Country Status (1)

Country Link
CN (1) CN107785061A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537194A (zh) * 2018-04-17 2018-09-14 谭红春 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法
CN108536803A (zh) * 2018-03-30 2018-09-14 百度在线网络技术（北京）有限公司 歌曲推荐方法、装置、设备及计算机可读介质
CN108665555A (zh) * 2018-05-15 2018-10-16 华中师范大学 一种融入真实人物形象的孤独症干预系统
CN109086397A (zh) * 2018-07-28 2018-12-25 重庆柚瓣家科技有限公司 基于查询维度的动态报表生成方法
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN110807585A (zh) * 2019-10-30 2020-02-18 山东商业职业技术学院 一种学员课堂学习状态在线评估方法及系统
CN110889366A (zh) * 2019-11-22 2020-03-17 成都市映潮科技股份有限公司 一种基于面部表情判断用户兴趣度的方法及系统
CN112163512A (zh) * 2020-09-25 2021-01-01 杨铠郗 一种基于机器学习的孤独症谱系障碍人脸筛查方法
WO2021189770A1 (zh) * 2020-07-31 2021-09-30 平安科技（深圳）有限公司 基于人工智能的图像增强处理方法、装置、设备及介质
CN114399709A (zh) * 2021-12-30 2022-04-26 北京北大医疗脑健康科技有限公司 儿童情绪识别模型训练方法和儿童情绪识别方法
CN115588485A (zh) * 2022-10-14 2023-01-10 杭州南粟科技有限公司 基于社交故事训练的自适应干预方法、系统、装置和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
US20150004873A1 (en) * 2013-06-26 2015-01-01 Coily-Q Toys LLC Spring-actuated appendage for stuffed animal and method for use
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
US20150004873A1 (en) * 2013-06-26 2015-01-01 Coily-Q Toys LLC Spring-actuated appendage for stuffed animal and method for use
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈鸿雁: "孤独症谱系障碍儿童情绪能力干预系统研制", 《中国优秀硕士学位论文全文数据库》 *
陈鸿雁: "孤独症谱系障碍儿童情绪表达能力干预系统研制", 《现代生物医学进展》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536803A (zh) * 2018-03-30 2018-09-14 百度在线网络技术（北京）有限公司 歌曲推荐方法、装置、设备及计算机可读介质
CN108537194A (zh) * 2018-04-17 2018-09-14 谭红春 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法
CN108665555A (zh) * 2018-05-15 2018-10-16 华中师范大学 一种融入真实人物形象的孤独症干预系统
CN109086397A (zh) * 2018-07-28 2018-12-25 重庆柚瓣家科技有限公司 基于查询维度的动态报表生成方法
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN110807585A (zh) * 2019-10-30 2020-02-18 山东商业职业技术学院 一种学员课堂学习状态在线评估方法及系统
CN110889366A (zh) * 2019-11-22 2020-03-17 成都市映潮科技股份有限公司 一种基于面部表情判断用户兴趣度的方法及系统
WO2021189770A1 (zh) * 2020-07-31 2021-09-30 平安科技（深圳）有限公司 基于人工智能的图像增强处理方法、装置、设备及介质
CN112163512A (zh) * 2020-09-25 2021-01-01 杨铠郗 一种基于机器学习的孤独症谱系障碍人脸筛查方法
CN114399709A (zh) * 2021-12-30 2022-04-26 北京北大医疗脑健康科技有限公司 儿童情绪识别模型训练方法和儿童情绪识别方法
CN115588485A (zh) * 2022-10-14 2023-01-10 杭州南粟科技有限公司 基于社交故事训练的自适应干预方法、系统、装置和介质
CN115588485B (zh) * 2022-10-14 2023-11-03 杭州南粟科技有限公司 基于社交故事训练的自适应干预方法、系统、装置和介质

Similar Documents

Publication Publication Date Title
CN107785061A (zh) 孤独症谱系障碍儿童情绪能力干预系统
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN106485235B (zh) 一种卷积神经网络生成方法、年龄识别方法及相关装置
CN107944431B (zh) 一种基于运动变化的智能识别方法
Leibe et al. Analyzing appearance and contour based methods for object categorization
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN106650786A (zh) 基于多列卷积神经网络模糊评判的图像识别方法
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
CN107742107A (zh) 人脸图像分类方法、装置及服务器
CN108399628A (zh) 用于跟踪对象的方法和系统
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN106326874A (zh) 一种人眼图像中的虹膜识别方法及其装置
Pathar et al. Human emotion recognition using convolutional neural network in real time
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
Wang et al. Forgerynir: deep face forgery and detection in near-infrared scenario
CN101447020A (zh) 基于直觉模糊的色情图像识别方法
CN106897669A (zh) 一种基于一致迭代多视角迁移学习的行人再辨识方法
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN108197636A (zh) 一种基于深度多视点特征的稻谷检测和分类方法
CN107992854A (zh) 基于机器视觉的林业生态环境人机交互方法
CN106529395A (zh) 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN111931630B (zh) 一种基于人脸特征点数据增强的动态表情识别方法
CN109214444A (zh) 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法
CN108108715A (zh) 基于生物启发和深度属性学习相结合的人脸美感预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180309

WW01 Invention patent application withdrawn after publication