CN110399853A - 基于表情数据和深度卷积神经网络的自闭症信息处理系统 - Google Patents
基于表情数据和深度卷积神经网络的自闭症信息处理系统 Download PDFInfo
- Publication number
- CN110399853A CN110399853A CN201910697647.7A CN201910697647A CN110399853A CN 110399853 A CN110399853 A CN 110399853A CN 201910697647 A CN201910697647 A CN 201910697647A CN 110399853 A CN110399853 A CN 110399853A
- Authority
- CN
- China
- Prior art keywords
- self
- closing disease
- expression
- information processing
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 96
- 201000010099 disease Diseases 0.000 title claims abstract description 94
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 94
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003745 diagnosis Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 230000008921 facial expression Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000007726 management method Methods 0.000 claims description 11
- 206010003805 Autism Diseases 0.000 claims description 10
- 208000020706 Autistic disease Diseases 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 238000002405 diagnostic procedure Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 25
- 238000012360 testing method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 208000029560 autism spectrum disease Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- DWDGSKGGUZPXMQ-UHFFFAOYSA-N OPPO Chemical compound OPPO DWDGSKGGUZPXMQ-UHFFFAOYSA-N 0.000 description 1
- 206010040026 Sensory disturbance Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明属于信息处理技术领域，公开了一种基于表情数据和深度卷积神经网络的自闭症信息处理系统，用户层用于被试者与系统界面的整体交互，包括用户登录、信息载入、人脸检测、表情反应拍摄一系列动作完成后图片上载到后台服务器；业务逻辑层用于接收客户端的请求，对传来的表情反应图片进行预处理，调用数据库层VGG‑19算法提取表情特征，以及调用已训练好的SoftMax分类器进行自闭症诊断和返回诊断结果给客户端；数据库层，与业务逻辑层进行交互，将调用结果返回给业务逻辑层。本发明采集全国各地医院的大量样本，使用这些样本进行特征提取和训练模型，因此判断的准确性高。
Description
技术领域
本发明属于信息处理技术领域，尤其涉及一种基于表情数据和深度卷积神经网络的自闭症信息处理系统。
背景技术
目前，最接近的现有技术：
表情识别是一个比较复杂的技术，由很多功能模块组成，包括人脸检测、关键点检测、人脸规整、特征提取、人脸识别比对等几个重要功能。
表情识别主要包括两种技术，一种是传统机器学习技术，另一种是深度学习技术。
传统机器学习技术：
基于传统机器学习的面部表情识别算法包括三个大步骤：对图片的预处理、提取面部表情特征以及对特征进行分类。
首先，为了之后特征提取的方便，将图片进行预处理是十分必要的，可以有效避免各种噪音的干扰，留下面部需要的关键信息。对图片的预处理过程包括图片灰度化处理，人脸对齐，裁剪人脸大小，数据增强，亮度、姿态归一化等。
其次，对表情的传统特征提取方法则包括方向梯度直方图特征，Gabor滤波特征，局部定向模式特征以及加强局部二值算法等，由于这些方法都是人为设计，耗时费力，具有一定的局限性，且往往在小样本图片集中特征提取效果更好，因此目前大多数研究都采用的是深度学习特征提取方法。
最后，对表情的分类常采用的算法有SVM支持向量机，HMM隐科尔马夫模型以及K临近分类算法等基本机器学习统计方法。
由于传统表情识别方法识别效果一般，难以在较大的数据集上拥有较好的表现，因此目前大多数研究已经采用深度学习算法框架来进行人脸表情识别，例如利用卷积神经网络(CNN)中卷积+池化+激励的组合进行特征提取，可以避免人工设计特征的繁琐和弊端。之后，CNN的基础原型中还会再进一步融合全连接层的方式对抽取到的特征进行分类，就可以实现一个End-to-End的网络架构，将特征提取和分类结合在一个神经网络里，而不是像在传统机器学习方法中两个互相独立分离的算法。
深度学习技术：
基于深度学习的面部表情识别算法也要经过图片预处理，不同的是，它往往将特征提取与特征分类两个步骤结合到了一个End-to-End的模型之中，极大简化了表情识别过程。具体来说，将一个规划反向传播误差的损失层加入到网络末端，损失函数的作用是评测模型的预测值距离实际真实值的大小，通过最小化此函数驱动模型训练来获得最优化的网络模型参数。CNN中常用的损失函数是SoftMax损失，它用于最小化交叉熵损失，输出的结果是每个分类的概率，且所有概率之和为1；除此之外还有SVM损失，它的不同之处在于最小化的是合页损失，并且输出的结果显示的是各个类别的分数。
除了End-to-End的学习方式，也可以首先利用深度学习算法提取面部表情特征，然后再利用其它独立的分类器，例如用SVM或者随机森林算法处理提取出的特征，进行分类。
CNN已经被广泛运用到了各种计算机视觉应用中，包括面部表情识别。CNN对于面部位置变化和尺度变化是稳健的，并且在先前看不见的面部姿势变化的情况下表现得比多层感知器(MLP)更好。目前，CNN很多经典的衍生模型已经被成功运用到面部表情识别当中，包括VGGNet，GoogleNet，AlexNet，ResNet等模型。
自闭症是一种遗传性的终身神经发育障碍，其病因和病程十分复杂。近几十年来，自闭症谱系障碍患病率显著上升，引起了公众的广泛关注，由此对其的监测和研究水平也逐渐提高。自闭症的准确诊断是医院亟待解决的问题。目前的诊断手段仍以量表和专家观察为主。医院方面主要面对的问题是自闭症诊断花费时间长，工作量大的问题，一些知名的医院和医生需要预约才能就诊。自闭症的主要症状包括社会交往和人际沟通受损、语言发育迟缓、重复性行为和感觉功能障碍，患者很难正确识别人脸、解释面部情绪。他们与常人有着不同的情绪表达方式，也无法正确感知理解一些基本表情例如愤怒。
目前，针对自闭症谱系障碍的诊断方法包括有：传统标准DSM-IV-TR与ICD-10、各种自闭症诊断评定量表例如“儿童孤独症评定量表(CARS)”、“自闭症儿童ABC测试量表”和孤独症行为评定量表以及问卷访谈等方式。通常情况下，这些方法在诊断过程中不会被单独使用而是被结合利用，从而提高诊断准确性。然而，这些方法大多依赖于对受诊者的表情、言语和行为等进行直接观测，诊断结果很容易受到医院水平，医师主观程度，受诊者教育水平、年龄等外界因素的干扰，从而造成一定程度的漏诊、误诊等情况。同时，这些诊断方法需要消耗较大的人力物力财力，诊断周期也较长。
综上所述，现有技术存在的问题是：
(1)现有技术的方法大多依赖于对受诊者的表情、言语和行为等进行直接观测，诊断结果很容易受到医院水平，医师主观程度，受诊者教育水平、年龄等外界因素的干扰，从而造成一定程度的漏诊、误诊等情况。同时，现有技术的分析方法需要消耗较大的人力物力财力，周期也较长。准确性差。
(2)现有技术不能定量对自闭症患者的疾病程度进行分析，不能精确的给出阈值，造成不能根据定量测试结果进行个性化康复治疗。
(3)现有技术不能在不同设备上运行，推广价值受限，对自闭症的初步诊断和及时治疗不能提供帮助。
解决上述技术问题的难度：
系统主要包括表情识别技术、动作捕捉技术，这些技术都是目前已经应用的比较成熟，
表情捕捉是一个比较复杂的技术，由很多功能模块组成，包括人脸检测、关键点检测、人脸规整、特征提取、人脸识别比对等几个重要功能。
动作捕捉技术涉及尺寸测量、物理空间里物体的定位及方位测定等技术，需要计算机直接理解处理捕捉的数据。上述问题，现有技术不能有效克服。
解决上述技术问题的意义：
本发明解决了业内类似的系统还处于研发和尝试阶段的问题，为业内提供了一种经过大量样本数据验证的成熟系统，本发明的系统结合基因、影像、行为科学三个方面对自闭症儿童进行全面的评估和检测，减少了医生的工作量，达到了业内领先水平。
发明内容
针对现有技术存在的问题，本发明提供了一种基于表情数据和深度卷积神经网络的自闭症信息处理系统。
本发明是这样实现的，一种基于表情数据和深度卷积神经网络的自闭症信息处理系统，所述基于表情数据和深度卷积神经网络的自闭症信息处理系统包括：
用户层，用于被试者与系统界面的整体交互，包括用户登录、信息载入、人脸检测、表情反应拍摄一系列动作完成后图片上载到后台服务器。
业务逻辑层，用于接收客户端的请求，对传来的表情反应图片进行预处理，调用数据库层VGG-19算法提取表情特征，以及调用已训练好的SoftMax分类器进行自闭症诊断和返回诊断结果给客户端。
数据库层，与业务逻辑层进行交互，将调用结果返回给业务逻辑层。
进一步，用户层包括客户端，负责与用户的交互，包括登录、信息载入、人脸检测、表情图片拍摄、与服务器端交互、显示诊断结果。
进一步，业务逻辑层包括服务器端，负责表情图片预处理，调用VGG-19模型算法进行表情特征提取与SoftMax分类器进行群体分类、自闭症诊断结果输出。
进一步，数据库层还用于保存自闭症信息处理结果和用户个人信息、图片信息数据，为每一位用户建立单独的档案，实时查看、追踪。
进一步，数据库层还用于自闭症业务信息和数据的存储、管理与更新。
进一步，所述基于表情数据和深度卷积神经网络的自闭症信息处理系统进一步包括受诊者信息管理模块与自闭症诊断模块。
受诊者信息管理模块负责受诊者个人情况的收集与存储，具有个性化特征，功能包括受诊者基本信息存储、人脸表情图像拍摄、图片存储、诊断结果存储。
自闭症诊断模块负责接收受诊者图片信息、同时进行诊断处理，包括表情特征的抽取、分类器训练调用以及自闭症诊断和结果输出。
本发明的另一目的在于提供一种基于表情数据和深度卷积神经网络的自闭症信息处理方法包括：
用户按照系统指示做出相应的表情反应，并通过摄像头进行人脸检测、拍摄人脸表情图像，结束后在系统服务器端上传拍摄图片。
后台系统对图片进行归一化处理等图片预处理操作，预处理完成后就执行进一步的自闭症诊断鉴定。
后台服务器进行特征抽取、学习分类操作。诊断的结果被服务器返回到客户端，用户获取正常健康状态的概率。
进一步，所述基于表情数据和深度卷积神经网络的自闭症信息处理方法进一步包括：
利用动作捕捉技术，捕捉涉及图像的尺寸、物理空间里物体的定位及方位信息，通过计算机直接处理捕捉的数据。
本发明的另一目的在于提供一种利用所述基于表情数据和深度卷积神经网络的自闭症信息处理系统构建的自闭症儿童和正常儿童的表情数据库。
综上所述，本发明的优点及积极效果为：
本发明提供的自闭症信息处理系统属于新一代信息技术领域，利用最新的人工智能技术，技术先进成熟，处于国内外领先地位。主要使用了表情识别技术，主要作用是捕捉人脸的表情运动、处理和分析捕捉数据以及对人脸表情进行判断。涉及人体工程学、计算机图形学、图像处理、数据处理等多个学科。
鉴于目前自闭症诊断标准存在的种种问题以及自闭症患者的面部表情反应往往存在表达障碍，与健康孩童存在一定的差异，本发明结合深度学习技术，构建人脸表情识别模型，提取自闭症儿童与正常儿童的面部表情特征数据，通过深度学习自闭症儿童与正常儿童的表情反应特征来进行群体分类，从而达到高效便捷地筛查自闭症谱系障碍信息的目的。
本发明采集全国各地医院的大量样本，使用这些样本进行特征提取和训练模型，因此判断的准确性高。
附图说明
图1是本发明实施例提供的识别表情的CNN模型架构示意图。
图2是本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理系统原理图。
图3是本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理系统示意图。
图4是本发明实施例提供的人脸部特征点示意图。
图5是本发明实施例提供的系统测试界面图。
图中：(a)界面图一。(b)界面图二。
图6所示是本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理方法流程图。
图7是本发明实施例提供的系统业务功能图。
图8是本发明实施例提供的动作捕捉总体设计流程图。
图9是本发明实施例提供的FER2013数据集各表情包含图片数量概览图。
图10是本发明实施例提供的图片转换图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术的方法大多依赖于对受诊者的表情、言语和行为等进行直接观测，诊断结果很容易受到医院水平，医师主观程度，受诊者教育水平、年龄等外界因素的干扰，从而造成一定程度的漏诊、误诊等情况。同时，现有技术的分析方法需要消耗较大的人力物力财力，周期也较长。准确性差。
针对现有技术存在的问题，本发明提供了一种基于表情数据和深度卷积神经网络的自闭症信息处理系统，下面结合附图对本发明作详细的描述。
本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理系统，包括：
用户层，用于被试者与系统界面的整体交互，包括用户登录、信息载入、人脸检测、表情反应拍摄一系列动作完成后图片上载到后台服务器。
业务逻辑层，用于接收客户端的请求，对传来的表情反应图片进行预处理，调用数据库层VGG-19算法提取表情特征，以及调用已训练好的SoftMax分类器进行自闭症诊断和返回诊断结果给客户端。
数据库层，与业务逻辑层进行交互，将调用结果返回给业务逻辑层。
在本发明实施例中，用户层包括客户端，负责与用户的交互，包括登录、信息载入、人脸检测、表情图片拍摄、与服务器端交互、显示诊断结果。
在本发明实施例中，业务逻辑层包括服务器端，负责表情图片预处理，调用VGG-19模型算法进行表情特征提取与SoftMax分类器进行群体分类、自闭症诊断结果输出。
在本发明实施例中，数据库层还用于保存自闭症信息处理结果和用户个人信息、图片信息数据，为每一位用户建立单独的档案，实时查看、追踪。
在本发明实施例中，进一步数据库层还用于自闭症业务信息和数据的存储、管理与更新。
在本发明实施例中，所述基于表情数据和深度卷积神经网络的自闭症信息处理系统进一步包括受诊者信息管理模块与自闭症诊断模块。
受诊者信息管理模块负责受诊者个人情况的收集与存储，具有个性化特征，功能包括受诊者基本信息存储、人脸表情图像拍摄、图片存储、诊断结果存储。
自闭症诊断模块负责接收受诊者图片信息、同时进行诊断处理，包括表情特征的抽取、分类器训练调用以及自闭症诊断和结果输出。
本发明实施例提供一种基于表情数据和深度卷积神经网络的自闭症信息处理方法包括：
用户按照系统指示做出相应的表情反应，并通过摄像头进行人脸检测、拍摄人脸表情图像，结束后在系统服务器端上传拍摄图片。
后台系统对图片进行归一化处理等图片预处理操作，预处理完成后就执行进一步的自闭症诊断鉴定。
后台服务器进行特征抽取、学习分类操作。诊断的结果被服务器返回到客户端，用户获取正常健康状态的概率。
在本发明实施例中，所述基于表情数据和深度卷积神经网络的自闭症信息处理方法进一步包括：
利用动作捕捉技术，捕捉涉及图像的尺寸、物理空间里物体的定位及方位信息，通过计算机直接处理捕捉的数据。
本发明的另一目的在于提供一种利用所述基于表情数据和深度卷积神经网络的自闭症信息处理系统构建的自闭症儿童和正常儿童的表情数据库。
下面结合具体实施例对本发明作进一步描述。
实施例1
CNN由三类异构层组成：卷积层-池化层-全连接层。卷积层具有一组需要学习的filter，用于对整个输入图像进行卷积操作并产生各种特定类型的激活特征图。卷积操作主要有三个好处：
(1)能学习相邻像素之间的关联。
(2)在同一特征图中共享权重，这大大减少了要学习的参数数量。
(3)移动不变性到对象位置。池化层在卷积层之后，用于减小特征图大小和提取重要特征，减少特征映射的空间大小和网络计算成本。平均池化和最大池化是两种最常用的非线性下采样策略。全连接层就是传统的人工神经网络，通常包含在卷积神经网络的末端，使前面池化层得到的2D特征图可映射转换为一维特征，从而进一步利用常规的神经网络对表征进行分类。图1是本发明设计的识别表情的CNN模型架构。
实施例2
如图2所示，本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理系统按照需求分析、概要设计、详细设计、编程开发、系统测试等制作流程，结合业务需求来定制开发，开发过程符合行业标准。而且系统经过了多种测试，稳定可靠。
如图3所示，本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理系统采用C/S的架构，客户端将基于安卓开发手机APP，并将复杂耗时的VGG-19特征抽取与分类器模块都放在服务器端，减轻客户端的承载压力。
客户端主要负责的是与用户的交互，包括登录、信息载入、人脸检测、表情图片拍摄、与服务器端交互、显示诊断结果等。
服务器端主要负责的是表情图片预处理，调用VGG-19模型算法进行表情特征提取与SoftMax分类器进行群体分类、自闭症诊断结果输出等。系统架构图如图3所示。
用户层主要是指被试者与系统界面的整体交互，包括用户登录、信息载入、人脸检测、表情反应拍摄等一系列动作完成后图片将会上载到后台服务器。
业务逻辑层是执行重要操作的系统核心层，核心的模型算法都将在这一模块被调用处理。主要功能有接收客户端的请求，对传来的表情反应图片进行预处理，调用数据库层VGG-19算法来提取表情特征，以及调用已训练好的SoftMax分类器进行自闭症诊断和返回诊断结果给客户端用户等。
数据库层则主要是与业务逻辑层进行交互，需要调用的模型算法(VGG-19与训练好的SoftMax分类器)都保存在数据库层中，数据库会将调用结果返回给上一层。另外，数据库层还需要保存自闭症诊断结果和用户个人信息、图片信息等数据，为每一位用户建立单独的档案，方便用户在就诊时随时查看、追踪。它负责一些自闭症诊断业务信息和数据的存储、管理与更新。
在本发明实施例中，系统测试时，选取两类手机、个人电脑及服务器作为测试环境对系统进行测试，测试硬件和软件环境如表1所示。
表1.测试环境
| 测试设备 | 硬件环境 | 软件环境 |
| OPPO R17手机 | CPU：SDM670 RAM：8GB | Android |
| IPhone 8手机 | CPU：A11 RAM：2GB | iOS |
| Computer | CPU：Intel i7 RAM：16GB | Windows 10 |
| Server | CPU：Intel W2133 RAM：16GB | Windows Server 2019 |
经过详细的系统测试，信息平台的响应时间符合要求，业务功能正确，质量稳定，适合推广应用。
下面结合效果对本发明作进一步描述。
表情识别技术主要是采集人脸部特征点进行识别，如图4所示。
图5((a)界面图一。(b)界面图二)是系统测试界面，可以看到系统测试准确。
如图6所示，本发明实施例提供的基于表情数据和深度卷积神经网络的自闭症信息处理方法包括：
本系统采用C/S架构。用户登录本系统后，将选择进入“自闭症诊断功能”，界面此时会显示一系列固定的本地表情图片，用户按照系统指示(如“请模仿界面显示的表情图片”)做出相应的表情反应，并通过摄像头进行人脸检测、拍摄人脸表情图像，结束后在系统服务器端上传拍摄图片。后台系统则会对图片进行归一化处理等图片预处理操作，预处理完成后就执行进一步的自闭症诊断鉴定。具体来说，后台服务器将会进行特征抽取、学习分类等操作，实现快速、精确的诊断流程。诊断的结果将会被服务器返回到客户端，用户将会看到自己患有自闭症的概率与处于正常健康状态的概率。在此过程中，如果有捕捉的面部表情反应不符合要求(如没检测到人脸)，系统则会显示异常，要求用户重新操作一遍。
在本发明实施例中，系统业务功能图。
基于表情数据和深度卷积神经网络的自闭症信息处理系统的主要功能模块可以分为受诊者信息管理模块与自闭症诊断模块，其中受诊者信息管理模块负责受诊者个人情况的收集与存储，具有个性化特征，功能包括受诊者基本信息存储、人脸表情图像拍摄、图片存储、诊断结果存储等功能。而自闭症诊断模块则负责接收受诊者图片信息、同时进行诊断处理，包括表情特征的抽取、分类器训练调用以及自闭症诊断和结果输出等功能。系统的具体业务功能图如图7所示。
系统具有很强的实用性，操作流程清晰简洁，功能结构强大明了，能够满足受诊者自闭症诊断评估的基本需求，具有开发的必要性。此系统的开发从一定程度上能满足自闭症自动化检测的现实需求，缓解医疗资源的紧张。
下面结合具体应用实施例对本发明作进一步描述。
应用实施例1
由于对自闭症的诊断是通过观察就诊者行为来判断的，因此动作捕捉技术也可以用来诊断自闭症。
动作捕捉技术：动作捕捉涉及尺寸测量、物理空间里物体的定位及方位测定等技术，需要计算机直接理解处理捕捉的数据。
动作捕捉系统定位精度，使用方便，抗干扰，具有多目标捕捉能力。
图8是本发明实施例提供的动作捕捉总体设计流程图。
应用实施例2
应用本发明的方法构建自闭症儿童和正常儿童的表情数据库，数据库可以为其它系统提供数据，也可以展开合作，由于采集数据的难度，构建此数据库具有实际利用价值和经济价值。
下面结合实验对本发明作进一步描述。
1、本发明提供的FER2013表情数据库。
FER2013表情数据库包括总共35887个预裁剪的，48×48像素的灰度图像，每个图像都标有七种情绪类别中的一种：愤怒，厌恶，恐惧，快乐，悲伤，惊讶和中立(anger,disgust,fear,happiness,sadness,surprise,and neutral)，各种表情所包含的图片数量如图9所示。此表情数据集是2013年Kaggle比赛由网络爬虫获取的图片数据，也是本论文采用的表情集。它包含28709张训练图片，3589张测试集图片以及3589张验证集图片。
2、图片数据预处理。
最终效果为图10所示，训练集、测试集、验证集分别分为三个文件夹，每个文件夹中存放着7种不同表情的单通道灰度图片，图3右侧展示了“生气”类型的图片。因得到的表情图片已是纯脸图片，尺寸大小也相同(48*48)，并都已经经过了人脸检测、无关背景剪裁和归一化，本文将不利用其他算法(如Adaboost算法)对图片进行进一步的预处理。至此，就完成了对Fer2013表情数据集的预处理部分。
3.组合分类，直接输出被试者属于自闭症儿童的概率和属于正常儿童的概率。接着计算出表情识别效果最好的模型组合在测试集上的混淆矩阵，如表2所示：
表2.VGG-19+dropout+SoftMax表情识别效果混淆矩阵
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，所述基于表情数据和深度卷积神经网络的自闭症信息处理系统包括：
用户层，用于被试者与系统界面的整体交互，包括用户登录、信息载入、人脸检测、表情反应拍摄一系列动作完成后图片上载到后台服务器；
业务逻辑层，用于接收客户端的请求，对传来的表情反应图片进行预处理，调用数据库层VGG-19算法提取表情特征，以及调用已训练好的SoftMax分类器进行自闭症诊断和返回诊断结果给客户端；
数据库层，与业务逻辑层进行交互，将调用结果返回给业务逻辑层。
2.如权利要求1所述的基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，用户层包括客户端，负责与用户的交互，包括登录、信息载入、人脸检测、表情图片拍摄、与服务器端交互、显示诊断结果。
3.如权利要求1所述的基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，业务逻辑层包括服务器端，负责表情图片预处理，调用VGG-19模型算法进行表情特征提取与SoftMax分类器进行群体分类、自闭症诊断结果输出。
4.如权利要求1所述的基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，数据库层还用于保存自闭症信息处理结果和用户个人信息、图片信息数据，为每一位用户建立单独的档案，实时查看、追踪。
5.如权利要求1所述的基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，数据库层还用于自闭症业务信息和数据的存储、管理与更新。
6.如权利要求1所述的基于表情数据和深度卷积神经网络的自闭症信息处理系统，其特征在于，所述基于表情数据和深度卷积神经网络的自闭症信息处理系统进一步包括受诊者信息管理模块与自闭症诊断模块；
受诊者信息管理模块负责受诊者个人情况的收集与存储，具有个性化特征，功能包括受诊者基本信息存储、人脸表情图像拍摄、图片存储、诊断结果存储；
自闭症诊断模块负责接收受诊者图片信息、同时进行诊断处理，包括表情特征的抽取、分类器训练调用以及自闭症诊断和结果输出。
7.一种如权利要求1所述基于表情数据和深度卷积神经网络的自闭症信息处理系统的基于表情数据和深度卷积神经网络的自闭症信息处理方法，其特征在于，所述基于表情数据和深度卷积神经网络的自闭症信息处理方法包括：
用户按照系统指示做出相应的表情反应，并通过摄像头进行人脸检测、拍摄人脸表情图像，结束后在系统服务器端上传拍摄图片；
后台系统对图片进行归一化处理等图片预处理操作，预处理完成后就执行进一步的自闭症诊断鉴定；
后台服务器进行特征抽取、学习分类操作；诊断的结果被服务器返回到客户端，用户获取正常健康状态的概率。
8.如权利要求7所述的基于表情数据和深度卷积神经网络的自闭症信息处理方法，其特征在于，所述基于表情数据和深度卷积神经网络的自闭症信息处理方法进一步包括：
利用动作捕捉技术，捕捉涉及图像的尺寸、物理空间里物体的定位及方位信息，通过计算机直接处理捕捉的数据。
9.一种利用权利要求1所述基于表情数据和深度卷积神经网络的自闭症信息处理系统构建的自闭症儿童和正常儿童的表情数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910697647.7A CN110399853A (zh) | 2019-07-30 | 2019-07-30 | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910697647.7A CN110399853A (zh) | 2019-07-30 | 2019-07-30 | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399853A true CN110399853A (zh) | 2019-11-01 |
Family
ID=68326706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910697647.7A Pending CN110399853A (zh) | 2019-07-30 | 2019-07-30 | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399853A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018132483A1 (en) * | 2017-01-10 | 2018-07-19 | Akili Interactive Labs, Inc. | Cognitive platform configured for determining the presence or likelihood of onset of a neuropsychological deficit or disorder |
| CN108717870A (zh) * | 2018-05-18 | 2018-10-30 | 东莞市名道市场营销策划有限公司 | 一种疾病远程诊断系统 |
| CN109145837A (zh) * | 2018-08-28 | 2019-01-04 | 厦门理工学院 | 人脸情感识别方法、装置、终端设备和存储介质 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
-
2019
- 2019-07-30 CN CN201910697647.7A patent/CN110399853A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018132483A1 (en) * | 2017-01-10 | 2018-07-19 | Akili Interactive Labs, Inc. | Cognitive platform configured for determining the presence or likelihood of onset of a neuropsychological deficit or disorder |
| CN108717870A (zh) * | 2018-05-18 | 2018-10-30 | 东莞市名道市场营销策划有限公司 | 一种疾病远程诊断系统 |
| CN109145837A (zh) * | 2018-08-28 | 2019-01-04 | 厦门理工学院 | 人脸情感识别方法、装置、终端设备和存储介质 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 苏洋: "Java分布式应用程序设计", 北京希望电子出版社, pages: 5 - 7 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gupta et al. | Optimized cuttlefish algorithm for diagnosis of Parkinson’s disease | |
| CN110188615B (zh) | 一种人脸表情识别方法、装置、介质及系统 | |
| CN108351862A (zh) | 利用人工智能和用户输入来确定发育进展的方法和装置 | |
| Shen et al. | Assessing learning engagement based on facial expression recognition in MOOC’s scenario | |
| CN112784778B (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
| Ghosh et al. | Automatic group affect analysis in images via visual attribute and feature networks | |
| Singh et al. | Deep learning and machine learning based facial emotion detection using CNN | |
| Chen et al. | Smg: A micro-gesture dataset towards spontaneous body gestures for emotional stress state analysis | |
| WO2020224433A1 (zh) | 基于机器学习的目标对象属性预测方法及相关设备 | |
| CN110244854A (zh) | 一种多类别脑电数据识别的人工智能方法 | |
| CN115607156B (zh) | 基于多模态的心理认知筛查测评方法、系统及存储介质 | |
| Meena et al. | Sentiment analysis from images using vgg19 based transfer learning approach | |
| CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
| CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
| CN117198468A (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| CN112380924A (zh) | 一种基于面部微表情动态识别的抑郁倾向检测方法 | |
| CN117010971B (zh) | 一种基于人像识别的智能健康险提供方法及系统 | |
| Chen et al. | STRAN: Student expression recognition based on spatio-temporal residual attention network in classroom teaching videos | |
| CN117257302A (zh) | 人员心理健康状态评估方法及系统 | |
| CN115954019B (zh) | 一种融合自注意力和卷积操作的环境噪声识别方法及系统 | |
| Uddin et al. | A convolutional neural network for real-time face detection and emotion & gender classification | |
| Sai | Image classification for user feedback using Deep Learning Techniques | |
| Kalla et al. | Facial Emotion and Sentiment Detection Using Convolutional Neural Network | |
| CN110399853A (zh) | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 | |
| Abdullah et al. | Parkinson’s Disease Symptom Detection using Hybrid Feature Extraction and Classification Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191101 |