CN108922617B - 一种基于神经网络的自闭症辅助诊断方法 - Google Patents

一种基于神经网络的自闭症辅助诊断方法 Download PDF

Info

Publication number
CN108922617B
CN108922617B CN201810670529.2A CN201810670529A CN108922617B CN 108922617 B CN108922617 B CN 108922617B CN 201810670529 A CN201810670529 A CN 201810670529A CN 108922617 B CN108922617 B CN 108922617B
Authority
CN
China
Prior art keywords
observed person
neural network
layer
time ratio
autism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810670529.2A
Other languages
English (en)
Other versions
CN108922617A (zh
Inventor
于永斌
郭雨欣
许文明
任立勇
杨晨曦
黄航
赵薪淇
秦源泽
陈董
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810670529.2A priority Critical patent/CN108922617B/zh
Publication of CN108922617A publication Critical patent/CN108922617A/zh
Application granted granted Critical
Publication of CN108922617B publication Critical patent/CN108922617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及信息技术领域，尤其涉及数据分析领域，具体为一种基于神经网络的自闭症辅助诊断方法。本发明通过将采用三层结构的BP神经网络作为分类器，引入到自闭症的分析诊断过程中。利用BP神经网络的特性对获取到的被观察者眼球凝视行为分析。降低了对诊断结论人员的专业要求，且效率高。

Description

一种基于神经网络的自闭症辅助诊断方法
技术领域
本发明涉及信息技术领域，尤其涉及数据分析领域，具体为一种基于神经网络的自闭症辅助诊断方法。
背景技术
目前医学领域已经开始研究眼球凝视行为，将其作为儿童自闭症的诊断标准之一。但传统的医学诊断仪器体积大，使用不便，而被检测者处于特殊的年龄段，较大的诊断仪器易对被检测者产生心理上的刺激，同时，实验测试环境和自然社交环境有所差别，这些因素都会影响实验结果。与此同时，随着数字化信息处理技术的发展，眼镜式眼球追踪器因体积小，使用方便，易于采集数据等优点，逐渐被现代医学所采用。
但最终获取到被观察者的眼球凝视行为后，其后续自闭症结论的诊断往往是通过专业人员对凝视行为进行人工分析。这一方法对专业性要求高，且效率低下。
发明内容
针对上述存在问题或不足，为解决现有自闭症诊断方法要求高效率低下的问题，本发明提供了一种基于神经网络的自闭症辅助诊断方法，总体框架图如图1所示。
该基于神经网络的自闭症辅助诊断方法具体内容如下：
步骤1、数据采集和特征提取：将获取的被观察者眼球凝视数据，进行分析，提取其中每一帧图像的三种人脸特征，包括观察者和被观察者的相对位置、被观察者眼神凝视方向、被观察者的脸部方向。
步骤2、特征转换：根据步骤1提取的三种人脸特征，计算出神经网络所需和自闭症相关的n个特征值(5≤n≤20)。
上述n个特征值优选以下8个，包括观察者和被观察者的正视时间占比、观察者和被观察者的侧视时间占比、观察者和被观察者的最长连续正视时间占比、被观察者在旋转物体上的凝视时间占比、被观察者凝视事物的最长时间占比、玩积木的时间占比、凝聚强灯光事物的时间占比，被观察者的性别。
步骤3、将步骤2完成转换后的n个特征值带入到分类器，进行分类后即可得到诊断结果。
所述分类器为三层结构的BP神经网络，包括输入层、隐藏层和输出层；其中输入层的神经元个数对应步骤2得到的n个特征值；输出层有4个神经元，分别对应健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状四个类别。用来训练神经网络分类模型，然后用于辅助自闭症的诊断。
隐藏层的神经元数目m通过以下公式计算：
Figure BDA0001708063960000021
其中n表示输入层神经元个数，l表示输出层神经元个数4，α表示1-10之间的常数，向上取整后计算出m。由于tanh函数很简单，且是零中心，在实际应用中比sigmoid更优先使用，因此该神经网络的激励函数采用tanh函数。
BP神经网络具体的训练过程如下:
(1)设置输入层、隐藏层、输出层神经元节点数目；
(2)随机初始化权重矩阵，包括输入层到隐藏层的权重矩阵w1 ij和隐藏层到输出层的权重矩阵w2 ij；
(3)前向传播：将训练数据[x1,x2,...,xn]作为输入层的值，根据w1 ij计算隐藏层的神经元节点输入值，同理，根据w2 ij计算得到输出层的值；
(4)反向传播：根据梯度下降法计算权重矩阵修正值；
(5)训练分类模型：设置迭代次数限定limit、学习率learn、误差临界值error_limit，根据(4)计算得到的矩阵修正值修改权重矩阵w1 ij和w2 ij；
(6)重复步骤(4)和步骤(5)，直到满足终止条件后得到分类模型，终止条件为误差小于误差临界值或者迭代次数达到迭代次数限定。
本发明采用三层结构的BP神经网络作为分类器，引入到自闭症的分析诊断过程中。利用BP神经网络的特性对获取到的被观察者眼球凝视行为分析。降低了对诊断结论人员的专业要求，且效率高。
附图说明
图1本发明总体框架示意图；
图2实施例的工作流程图；
图3实施例的BP神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明。本发明总体框架图如图1所示，实施例的工作流程如图2所示。
步骤1、数据采集和特征提取：观察者通过佩戴眼镜式眼球追踪器来获取被观察者的眼球凝视数据，追踪器将获取到的视频数据以蓝牙的形式传输给电脑端，电脑端对视频数据进行分析，采用商业软件提取视频流中每一帧图像的人脸特征，包括观察者和被观察者的相对位置、被观察者眼神凝格式视方向、被观察者的脸部方向；
数据采集过程如下：
1)数据采集环境：一张桌子，该桌子摆放了各种各样的物品，物品必须包括积木、发光物体和旋转类玩具；
2)数据采集时间：根据具体情况设定为几十分钟到一小时之间；
3)数据采集工具：SMI第一代可穿戴的眼球追踪眼镜；
4)数据采集过程：在观察者和被观察者自然的面对面互动过程中，眼球追踪器中间设置的向外拍摄的高清摄像头能捕捉到佩戴者面前的情景视频，而两侧设置的红外摄像头可以照射佩戴者眼睛从而估测出高清摄像头拍摄的视频中的凝视位置。
步骤2、特征提取过程如下：眼球追踪眼镜通过蓝牙将视频流数据传输到电脑端，电脑端将视频流数据转换为以帧为单位的图像，采用商业软件OMRONOKAO提取出视频中被观察者的每一帧脸部特征，包括观察者和被观察者的相对位置、被观察者眼神凝视方向、被观察者的脸部方向。OMRON OKAO软件对输入视频流的平均处理时间为每秒15帧。
特征转换：根据采集的三个人脸特征，计算出神经网络所需的和自闭症相关的8个特征值，包括观察者和被观察者的正视时间占比、观察者和被观察者的侧视时间占比、观察者和被观察者的最长连续正视时间占比、被观察者在旋转物体上的凝视时间占比、被观察者凝视事物的最长时间占比、玩积木的时间占比、凝聚强灯光事物的时间占比和被观察者的性别。
特征转换的计算思路如下：
1)观察者和被观察者的正视时间占比、观察者和被观察者的侧视时间占比、观察者和被观察者的最长连续正视时间占比这三个特征值可以通过观察者和被观察者的相对位置、被观察者眼神凝视方向、被观察者的脸部方向计算得到。
2)由于物体摆放的位置是事先确定的，根据观察者和被观察者的相对位置、被观察者眼神凝视方向可以计算出每一帧图像中被观察者所关注的物体，进而计算出被观察者将目光凝聚在每个物体上的帧图像数目，最终计算出被观察者每个物体上关注的时间占比，包括在旋转物体上的凝视时间占比、玩积木的时间占比、凝聚强灯光事物的时间占比、凝视事物的最长时间占比；
步骤3、分类阶段：将步骤2完成转换后的8个特征值带入到分类器，进行分类后即可得到诊断结果。
分类过程实现如下:采用三层结构的BP神经网络，BP神经网络的结构如图3所示。其中输入层包含8个神经元，分别对应8个特征值，输出层的神经元数目为4个，分别对应健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状四个类别，隐藏的神经元数目通过以下公式计算可得：
Figure BDA0001708063960000041
其中n表示输入层神经元个数，l表示输出层神经元个数4，α表示1-10之间的常数，向上取整后计算出m。由于tanh函数很简单，且是零中心，在实际应用中比sigmoid更优先使用，因此该神经网络的激励函数采用tanh函数。训练神经网络分类模型，该分类模型用来辅助自闭症的诊断。
具体的训练过程如下:
(1)设置输入层、隐藏层、输出层神经元节点数目；
(2)随机初始化权重矩阵，包括输入层到隐藏层的权重矩阵w1 ij和隐藏层到输出层的权重矩阵w2 ij；
(3)前向传播：将训练数据[x1,x2,...,xn]作为输入层的值，根据w1 ij计算隐藏层的神经元节点输入值，同理，根据w2 ij计算得到输出层的值；
(4)反向传播：根据梯度下降法计算权重矩阵修正值；
(5)训练分类模型：设置迭代次数限定limit、学习率learn、误差临界值error_limit，根据(4)计算得到的矩阵修正值修改权重矩阵w1 ij和w2 ij；
(6)重复步骤(4)和步骤(5)，直到满足终止条件后得到分类模型，终止条件为误差小于误差临界值或者迭代次数达到迭代次数限定。

Claims (1)

1.一种基于神经网络的自闭症辅助诊断方法，具体如下：
步骤1、数据采集和特征提取：将获取的被观察者眼球凝视数据，进行分析，提取其中每一帧图像的三种人脸特征，包括观察者和被观察者的相对位置、被观察者眼神凝视方向、被观察者的脸部方向；
步骤2、特征转换：根据步骤1提取的三种人脸特征，计算出神经网络所需和自闭症相关的n个特征值，5≤n≤20；
步骤3、将步骤2完成转换后的n个特征值带入到分类器，进行分类后即可得到后诊断结果；
所述分类器为采用三层结构的BP神经网络，包括输入层、隐藏层和输出层；
其中输入层的神经元个数对应步骤2得到的n个特征值；输出层有4个神经元，分别对应健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状四个类别；用来训练神经网络分类模型，然后用于辅助自闭症的诊断；
隐藏层的神经元数目m通过以下公式计算：
Figure FDA0003205877670000011
其中n表示输入层神经元个数，l表示输出层神经元个数4，α表示1-10之间的常数，向上取整后计算出m，该神经网络的激励函数采用tanh函数；
BP神经网络具体的训练过程如下:
(1)设置输入层、隐藏层、输出层神经元节点数目；
(2)随机初始化权重矩阵，包括输入层到隐藏层的权重矩阵w1 ij和隐藏层到输出层的权重矩阵w2 ij；
(3)前向传播：将训练数据[x1,x2,...,xn]作为输入层的值，根据w1 ij计算隐藏层的神经元节点输入值，同理，根据w2 ij计算得到输出层的值；
(4)反向传播：根据梯度下降法计算权重矩阵修正值；
(5)训练分类模型：设置迭代次数限定limit、学习率learn、误差临界值error_limit，根据(4)计算得到的矩阵修正值修改权重矩阵w1 ij和w2 ij；
(6)重复步骤(4)和步骤(5)，直到满足终止条件后得到分类模型，终止条件为误差小于误差临界值或者迭代次数达到迭代次数限定；
所述特征值为8个，包括观察者和被观察者的正视时间占比、观察者和被观察者的侧视时间占比、观察者和被观察者的最长连续正视时间占比、被观察者在旋转物体上的凝视时间占比、被观察者凝视事物的最长时间占比、玩积木的时间占比、凝聚强灯光事物的时间占比，被观察者的性别。
CN201810670529.2A 2018-06-26 2018-06-26 一种基于神经网络的自闭症辅助诊断方法 Active CN108922617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810670529.2A CN108922617B (zh) 2018-06-26 2018-06-26 一种基于神经网络的自闭症辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810670529.2A CN108922617B (zh) 2018-06-26 2018-06-26 一种基于神经网络的自闭症辅助诊断方法

Publications (2)

Publication Number Publication Date
CN108922617A CN108922617A (zh) 2018-11-30
CN108922617B true CN108922617B (zh) 2021-10-26

Family

ID=64421366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810670529.2A Active CN108922617B (zh) 2018-06-26 2018-06-26 一种基于神经网络的自闭症辅助诊断方法

Country Status (1)

Country Link
CN (1) CN108922617B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109498038B (zh) * 2018-12-25 2020-06-26 北京心法科技有限公司 自闭症评估方法及装置
CN109620185B (zh) * 2019-01-31 2020-07-21 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN109820524B (zh) * 2019-03-22 2020-08-11 电子科技大学 基于fpga的自闭症眼动特征采集与分类可穿戴系统
CN110459327A (zh) * 2019-08-07 2019-11-15 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于深度学习的自闭症刻板行为分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104254863A (zh) * 2011-10-24 2014-12-31 哈佛大学校长及研究员协会 通过人工智能和移动健康技术、在不损害准确性的情况下对病症进行增强诊断
CN105069304A (zh) * 2015-08-18 2015-11-18 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于机器学习的评估预测asd的方法
CN107887027A (zh) * 2017-11-06 2018-04-06 广州优涵信息技术有限公司 一种自闭症诊疗系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
CN105069294B (zh) * 2015-08-07 2018-06-15 北京环度智慧智能技术研究所有限公司 一种用于认知能力值测试的计算和分析方法
WO2018005820A1 (en) * 2016-06-29 2018-01-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder
EP3510505A1 (en) * 2016-09-07 2019-07-17 Koninklijke Philips N.V. Systems, methods, and apparatus for diagnostic inferencing with a multimodal deep memory network
CN106782602B (zh) * 2016-12-01 2020-03-17 南京邮电大学 基于深度神经网络的语音情感识别方法
CN107423727B (zh) * 2017-08-14 2018-07-10 河南工程学院 基于神经网络的人脸复杂表情识别方法
CN107945870B (zh) * 2017-12-13 2020-09-01 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN108143411A (zh) * 2017-12-13 2018-06-12 东南大学 一种面向孤独症诊断的静息态脑电分析系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104254863A (zh) * 2011-10-24 2014-12-31 哈佛大学校长及研究员协会 通过人工智能和移动健康技术、在不损害准确性的情况下对病症进行增强诊断
CN105069304A (zh) * 2015-08-18 2015-11-18 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于机器学习的评估预测asd的方法
CN107887027A (zh) * 2017-11-06 2018-04-06 广州优涵信息技术有限公司 一种自闭症诊疗系统

Also Published As

Publication number Publication date
CN108922617A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108922617B (zh) 一种基于神经网络的自闭症辅助诊断方法
Liu et al. Two-stream 3d convolutional neural network for skeleton-based action recognition
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
Barros et al. Real-time gesture recognition using a humanoid robot with a deep neural architecture
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN109820524A (zh) 基于fpga的自闭症眼动特征采集与分类可穿戴系统
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
Gera et al. Affect expression behaviour analysis in the wild using spatio-channel attention and complementary context information
Akamatsu et al. Blood oxygen saturation estimation from facial video via dc and ac components of spatio-temporal map
CN116778527A (zh) 人体模型构建方法、装置、设备及存储介质
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
Paithane Yoga posture detection using machine learning
Matuszewski et al. High-resolution comprehensive 3-D dynamic database for facial articulation analysis
WO2020087919A1 (zh) 基于视线追踪的增强现实人机交互设备及控制方法
Tur et al. Isolated sign recognition with a siamese neural network of RGB and depth streams
CN111310655A (zh) 基于关键帧和组合注意力模型的人体动作识别方法和系统
CN115393963A (zh) 运动动作纠正方法、系统、存储介质、计算机设备及终端
Nguyen et al. Facemask wearing alert system based on simple architecture with low-computing devices
Khan et al. Facial expression recognition using entropy and brightness features
Valenza et al. The EXPERIENCE Project: Unveiling Extended-Personal Reality Through Automated VR Environments and Explainable Artificial Intelligence
Li et al. Mmasd: A multimodal dataset for autism intervention analysis
Xu et al. An auxiliary screening system for autism spectrum disorder based on emotion and attention analysis
CN106296631A (zh) 一种基于注意力先验的胃镜视频摘要方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant