CN109620185A - 基于多模态信息的自闭症辅助诊断系统、设备及介质 - Google Patents
基于多模态信息的自闭症辅助诊断系统、设备及介质 Download PDFInfo
- Publication number
- CN109620185A CN109620185A CN201910099307.4A CN201910099307A CN109620185A CN 109620185 A CN109620185 A CN 109620185A CN 201910099307 A CN201910099307 A CN 201910099307A CN 109620185 A CN109620185 A CN 109620185A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- neural network
- label
- self
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 19
- 206010003805 Autism Diseases 0.000 title abstract description 16
- 208000020706 Autistic disease Diseases 0.000 title abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 68
- 230000008451 emotion Effects 0.000 claims abstract description 30
- 230000036651 mood Effects 0.000 claims description 77
- 230000002996 emotional effect Effects 0.000 claims description 76
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 67
- 201000010099 disease Diseases 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 30
- 230000036387 respiratory rate Effects 0.000 claims description 21
- 238000002567 electromyography Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 19
- 230000003340 mental effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 230000036760 body temperature Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 208000019901 Anxiety disease Diseases 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 claims description 4
- 206010024642 Listless Diseases 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000036506 anxiety Effects 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 238000010181 skin prick test Methods 0.000 claims description 3
- 231100000430 skin reaction Toxicity 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 230000037007 arousal Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 7
- 230000035479 physiological effects, processes and functions Effects 0.000 description 7
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000027534 Emotional disease Diseases 0.000 description 2
- 206010027951 Mood swings Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000030251 communication disease Diseases 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010057315 Daydreaming Diseases 0.000 description 1
- 208000012239 Developmental disease Diseases 0.000 description 1
- 206010022524 Intentional self-injury Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 208000005560 Self Mutilation Diseases 0.000 description 1
- 241001062472 Stokellia anisodon Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000020985 infant symptom Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008271 nervous system development Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Mathematical Physics (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Neurosurgery (AREA)
- Pulmonology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
Abstract
本公开公开了基于多模态信息的自闭症辅助诊断系统、设备及介质，包括：自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
Description
技术领域
本公开涉及基于多模态信息的自闭症辅助诊断系统、设备及介质。
背景技术
本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。
儿童孤独症是广泛性发育障碍的一种亚型，以男性多见，起病于婴幼儿期，主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。
自闭症严重影响患者的正常生活状态及身体发育，一些患者显现出感觉反应迟钝的现象，严重者会有自伤自残的行为，造成精神残疾丧失社会功能。据美国精神医学会调查显示，目前每20分钟就有一个孩子被诊断为自闭症，发病率为1％-4％，全球约有3500万人患有自闭症。越来越多的实例表明，对于自闭症的治疗，需要进行早期诊断和早期干预，可以减轻患儿症状，最大程度发挥其潜能，提高功能水平，同时争取较好的预后。
自闭症的准确评估对于患者的针对性康复治疗具有重要指导意义，目前自闭症的诊断和评估仍缺乏客观生理手段。临床以语言与交流障碍、社会交往障碍，兴趣范围狭窄与刻板的行为模式，不同程度的智能障碍等标准为基础设计行为观察量表，通过专业医师病史询问以及家长观察儿童行为进行量表评定。量表填写人的主观倾向性以及患者临场心理状态均会对评定结果产生严重影响，误导针对性干预方案的制定，延误患者的有效康复。
在实现本发明的过程中，发明人发现现有技术中缺乏自闭症诊断系统。
发明内容
为了解决现有技术的不足，本公开提供了基于多模态信息的自闭症辅助诊断系统；
本公开第一方面提供了基于多模态信息的自闭症辅助诊断系统；
基于多模态信息的自闭症辅助诊断系统，包括：
自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
训练数据采集模块，从基于生理信号的情绪识别数据库DEAP(Database forEmotion Analysis using Physiological signals)中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据。
训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
BP神经网络构建模块，构建BP神经网络；
神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络；
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；
待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合。
所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。
分类结果输出模块，将分类结果输出。
作为一种可能的实现方式，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：
从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。
作为一种可能的实现方式，建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；
第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；
第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；
第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；
第四象限中包括的情绪状态：称心、关注、释放和平静；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；
对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。
本公开第二方面提供了一种电子设备；
一种电子设备，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：
将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
本公开第三方面提供了一种计算机可读存储介质；
一种计算机可读存储介质，其上运行计算机指令，所述计算机指令被处理器运行时，完成以下步骤：将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
与现有技术相比，本公开的有益效果是：
(1)基于生理指标的情绪测定。自闭症儿童因为在思维、交流沟通、人际关系上存在不可逾越的障碍，其情绪波动存在隐匿性，无法通过观察受试者的语言、肢体、表情等准确获得。同时情感状态产生于人体的不同生物系统，所以生理信号和脑电信号非常适用于情绪识别，准确率比主观观察评价有显著改善。
(2)基于情绪反馈指征的自闭症测评体系。情绪与自主神经系统之间的关系一直是心理学研究的一个重点领域。情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态，可以被描述为针对内部或外部的事件所产生的反应。健康人群对同一种环境总是有相似的恰当反应。自闭症儿童因神经系统发育不良，对外部信息的正常获取存在障碍，患者内在情绪波动与外部环境刺激缺乏良性反馈机制，面对相同的环境无法获得与健康人群相似的情感体验和情绪表达。因此，准确的情绪反馈评估对于评价自闭症儿童的康复效果具有重要的指导意义。
(3)虚拟现实沉浸式体验。虚拟现实是合成的计算机用户界面，通过视、听、触、嗅等多种感知渠道对现实进行模拟。本发明利用头盔式显示器、数据手套、耳机、追踪系统、三维空间传感器等搭建虚拟现实体验平台，使受试者沉浸到特定环境中获得逼近真实的感官刺激，激发受试者情绪，其仿真环境营造在超文本性和交互性方面具有显著优势。
(4)BP神经网络。基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑神经系统对复杂信息处理机制的一种BP神经网络。它无需事先确定输入输出之间的映射关系，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性，同时能够明显提高分类问题的精度。本发明采用BP神经网络，以采集的受试者生理信号为样本归类至相应的情绪目标。
(5)建立心理情绪坐标，可以对自闭症辅助诊断结果更加精细化。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本申请实施例的系统架构图；
图2是虚拟现实体验平台与生理信号即时捕获系统功能结构示意图；
图3是基于情绪反馈的自闭症评估系统流程图；
图4是基于生理指标的情绪判定机器学习模型；
图5是基于觉醒维度(Arousal)/效价维度(Valence)空间的情绪反馈评价系统示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
情绪问题处理是自闭症儿童教育训练活动的基础也是诊断与评估的重要指征。自闭症儿童的情绪问题对其社会交往能力损害较大，他们不能像正常儿童面对各种生活场景恰当地控制自己的情绪，他们只是生活在自己的世界里，用自己的方式宣泄自己的情绪，比如表现出过度冲动、伤人行为、大声叫喊等。本发明利用虚拟现实技术产生一个三度空间(三度空间，指由长、宽、高三个维度所构成的空间)的虚拟世界，营造真实的生活场景，为受试者提供关于视觉、听觉、触觉等感官的模拟，使其获得身临其境的逼真体验，激发患者情绪。虚拟环境包含五种主要场景类型，分别应对自闭症儿童情绪控制障碍的基本症状，每种场景标注相对应的情绪状态。
第一、沟通障碍，自闭症儿童有语言障碍和沟通交流障碍，不会说话或不爱说话，不能准确地表达自己的想法，不能正常上课学习，成年后更为严重，事业和家庭受阻。针对性设置四种虚拟现实体验环境，分别为课堂学习、与同龄儿童游戏、食物诱惑、公共交通乘坐。
第二、精神受损，自闭症的儿童整日里沉默不语、畏缩不前，导致对于社会的适应能力受损、也使自我管理能力下降，生活技能方面获取不足，精神活动自闭。针对性设置四种虚拟现实体验环境，分别为风景欣赏、文艺节目、陌生人求助、父母呼喊。
第三、智力影响，在学习方面表现为汲取新知识相对较慢，学习成绩落后。在生活方面表现为，和小朋友的相处中，他们常常手足无措，封闭在自己世界里。
针对性设置四种虚拟现实体验环境，分别为被批评、被夸赞、获得礼物、玩具剥夺。
第四，危险举动，自闭症患儿往往不具备恐惧感，因此，他们常有危险举动，把手伸进感兴趣的电源开关，把身体探出窗口观望，在高处行走攀爬，一些患儿在闲得无聊时还会出现挠头，撞墙等自伤行为。针对性设置四种虚拟现实体验环境，分别为高空行走、马路中心、火焰、危险动物。
第五，预测能力差，由于缺乏想象力和预测能力，无法进行思想建设。为了寻找特殊的快感，他们往往打碎或撕掉一些家里重要的摆设和文件。针对性设置四种虚拟现实体验环境，分别为幽默动画、数字重复、亲人分别、交友体验。
场景所对应的正常情绪状态为：课堂学习-专注、与同龄儿童游戏-欢乐、食物诱惑-期待、公共交通乘坐-平静、风景欣赏-释放、文艺节目-愉快、陌生人求助-警觉、父母呼喊-关注、被批评-挫折、被夸赞-满意、获得礼物-称心、玩具剥夺-痛苦、高空行走-恐惧、马路中心-紧张、火焰-担心、危险动物-警惕、幽默动画-快乐、数字重复-厌倦、亲人分别-伤心、交友体验-兴奋。Russell提出A-V(arousal,valence)情感模型，觉醒维度(arousal)和效价维度(valence)是在情绪识别领域应用最广的维度空间，定义了情绪状态从被动到主动，从消极到积极的变化，以此为基础建立二维空间，不同情绪状态离散分布于空间中。
面对相应的生活场景体验，通过监测受试者情绪感受的对应度，评估儿童应对外界刺激做出正确回应的敏感性。在受试者基于VR设备进行沉浸式情景体验的过程中，同步佩戴脑电、肌电、心率、呼吸频率等生理信号即时获取装置，多种生物信号相融合。采用多模态情感识别方案，以人体生理信号为基础进行自动情绪识别，具体过程为：
(1)开发二十种针对性较强的虚拟现实场景，在受试者沉浸式体验同时能够激发特定的情绪状态。
(2)以BP神经网络和生理信号情绪识别数据集(DEAP)为基础训练机器学习模型，对多模态人体生理信号可智能判定情绪状态。
(3)将受试者在情景体验中获取的即时生理信号输入神经网络，得到对应不同场景的情绪状态。
(4)通过人机交互的方式，将虚拟现实场景所应激发出的体验者情绪获得与体验者的真实情绪判定相对照，评估受试者面对不同生活场景的情绪敏感度与情绪获得的健康程度，将这一指标量化，作为自闭症儿童对外部环境刺激能作出及时正确反馈的测量标准，评估自闭症患者精神损害程度。
实施例一：如图1所示，基于多模态信息的自闭症辅助诊断系统，包括：
自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
训练数据采集模块，从基于生理信号的情绪识别数据库DEAP中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据。
训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
BP神经网络构建模块，构建BP神经网络；
神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络；
作为一种可能的实现方式，基于多模态信息的自闭症辅助诊断系统，还包括：
待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；
待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合。
所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。
分类结果输出模块，将分类结果输出。
作为一种可能的实现方式，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：
从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。
如图2所示，为本发明的系统功能结构示意图，由虚拟现实体验功能模块、基于情绪反馈的生理信号获取功能模块组成。虚拟现实体验功能模块以高性能图像生成及处理系统作为硬件开发平台，以面向对象的虚拟现实应用软件作为软件开发平台，开发平台连接和协调整个系统的其它子系统工作和运转。为获得理想的沉浸体验，以头盔式显示器作为显示工具，它具备高度临场感和参与性，使受试者能够充分实现与虚拟空间的情绪互动。虚拟现实交互功能模块采用面向特定应用的虚拟外设，包括触觉反馈系统、位置跟踪器、数据手套等。
触觉反馈系统：通过作用力、振动等一系列动作为使用者再现触感，其力学刺激可被应用于计算机模拟中的虚拟场景或者虚拟对象的辅助创建和控制，以及加强对于机械和设备的远程操控。
头盔显示器：即头显，是虚拟现实应用中的3DVR图形显示与观察设备，可单独与主机相连以接受来自主机的3DVR图形信号。使用方式为头戴式，辅以三个自由度的空间跟踪定位器可进行VR输出效果观察，同时观察者可做空间上的自由移动。
图形眼镜：即VR头显(虚拟现实头戴式显示器)，是现代显示技术中的一种全新技术，在增强显示、虚拟现实以及立体显示等方面有非常重要的应用。
数据手套：是一种多模式的虚拟现实硬件，可进行虚拟场景中物体的抓取、移动、旋转等动作，也可以利用它的多模式性，用作一种控制场景漫游的工具。
耳机：耳机是一对转换单元，它接受媒体播放器或接收器所发出的电讯号，利用贴近耳朵的扬声器将其转化成可以听到的音波。
跟踪系统：作用于空间跟踪与定位的装置，一般与其他VR设备结合使用。
三维空间传感器：安装在远处的运动物体上，根据接受器所接收到的磁场，计算出接收器相对于发射器的位置和方向，并通过通信电缆把数据传送给主计算机。计算机能间接地跟踪运动物体相对于反射器的位置和方向。在虚拟现实环境中，常被用来安装在数据手套和头盔显示器上。
产品之间通过集成控制系统进行管理，彼此相互联结协同工作。在进行情景体验的同时，通过生理信息采集中心模块，接收放置于受试者体表的体温、脑电、心率等探测节点传送的即时生理信号。
如图3所示，本发明采用生理信号情感分析数据集(DEAP)训练机器学习模型，该数据集对32个健康参与者的情绪激发试验结果进行了记录。情绪激发试验通过让一个受试者观看事前已经分类的视频激发他的情绪状态，当受试者在观看视频时，许多生理信号会被记录下来。存储在DEAP数据集中的信号包括脑电图(EEG)、肌电图(EMG)、眼电图(EOG)，原发性皮肤反应(GSR)，体温(Temp)、呼吸模式(RESP)、心率(HR)等。基于觉醒维度(Arousal)/效价维度(Valence)空间的特定位置，对这些信号进行标注并一起存储下来。
如图4所示，本发明采用BP神经网络作为人体生理信号智能识别的预测模型，由大量处理单元互联组成非线性、自适应信息处理系统。基于有监督学习策略，将DEAP数据集中多种类型的人体生理信号特征作为输入信息，将对应的情绪目标作为一个期望的输出值。这一BP神经网络可以分析训练数据，产生一个推断功能，映射新的输入样本，用建立的BP神经网络预测未来受试者通过虚拟现实场景的情绪激发所获取的生理信号。
神经网络训练步骤为：
(1)用适当的值作为初始化权重；
(2)从训练数据中获得输入(DEAP数据集中的多模态人体生理信号)，训练格式为{输入，正确输出}，然后将“输入”传递到BP神经网络中，计算正确输出(生理信号所对应的情绪标签)di与BP神经网络输出yi之间的误差ei，即：
ei＝di-yi
(3)根据增量规则计算权重的更新，即：
α为学习率，xj为输入节点输出值，vi为输出节点i加权和，为激活函数导数；
(4)调整权重，即：
ωij＝ωij+Δωij
(5)所有训练数据重复执行(2)-(4)步；
(6)重复(2)-(5)，表示神经网络用相同的数据集进行训练，直至误差达到理想的水平。
训练集标签采用独热表示法建立二十维向量，表示二十种不同的情绪类别，每个类别分别占据独立的一位，任何情况下独热表示中只有一位是1，其他都为0。如情绪状态是平静，则其对应的标签[0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]中仅有第四位是1。生理信号输入训练后的神经网络，输出向量中最大值对应的下标位置，即是判定的情绪状态；
在图3中，预测向量是：
[0.01,0.01,0.01,0.81,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01,0.01]，第四位是最大值，表示这个样本预测是正确的。这一方案使训练过程不会受到因为分类值表示的问题而对BP神经网络产生负面的影响。否则，离散的情绪状态表现在最终的输出层上只会有一个神经元，输出值的跨度就会比较大，一个微小的特征变化都会对最终的结果产生很大的影响。
如图5所示，本发明基于人体生理信号的智能预测，判定受试者在虚拟场景下的心理状态，以此来评估面对特定环境的人体情绪反馈机制。自闭症儿童由于注意力不集中，难以从情境中获得良好的情绪体验，通常会作出不恰当的情绪反馈，通过对其生理信号的获取进行情绪判定，结论会与虚拟现实的情境设置氛围误差较大。在此基础上建立评分机制，受试者间断性体验二十种不同的虚拟现实场景，每段时间持续3-5分钟，针对二十种同步获取的生理信号进行智能情绪反馈判定，
建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；
第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；
第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；
第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；
第四象限中包括的情绪状态：称心、关注、释放和平静；
如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；
如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；
如果虚拟现实场景所设定情绪氛围与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；
对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。
根据统计结果评估自闭症儿童对外部信息获取和及时准确处理的能力，量化神经系统康复指标。
实施例二：提供了一种电子设备，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：
将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
实施例三，提供了一种计算机可读存储介质，其上运行计算机指令，所述计算机指令被处理器运行时，完成以下步骤：将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.基于多模态信息的自闭症辅助诊断系统，其特征是，包括：
自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
2.如权利要求1所述的系统，其特征是，还包括：
训练数据采集模块，从基于生理信号的情绪识别数据库DEAP中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；
训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。
3.如权利要求1所述的系统，其特征是，还包括：
BP神经网络构建模块，构建BP神经网络；
神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络。
4.如权利要求1所述的系统，其特征是，基于多模态信息的自闭症辅助诊断系统，还包括：
待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；
待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；
待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合。
5.如权利要求1所述的系统，其特征是，所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。
6.如权利要求1所述的系统，其特征是，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：
从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。
7.如权利要求1所述的系统，其特征是，建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；
第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；
第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；
第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；
第四象限中包括的情绪状态：称心、关注、释放和平静；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；
如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；
对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。
8.一种电子设备，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：
将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
9.一种计算机可读存储介质，其特征是，其上运行计算机指令，所述计算机指令被处理器运行时，完成以下步骤：将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910099307.4A CN109620185B (zh) | 2019-01-31 | 2019-01-31 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910099307.4A CN109620185B (zh) | 2019-01-31 | 2019-01-31 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109620185A true CN109620185A (zh) | 2019-04-16 |
| CN109620185B CN109620185B (zh) | 2020-07-21 |
Family
ID=66064682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910099307.4A Active CN109620185B (zh) | 2019-01-31 | 2019-01-31 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109620185B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110313923A (zh) * | 2019-07-05 | 2019-10-11 | 昆山杜克大学 | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 |
| CN110399853A (zh) * | 2019-07-30 | 2019-11-01 | 苏州智乐康医疗科技有限公司 | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
| CN111240479A (zh) * | 2020-01-09 | 2020-06-05 | 郑州师范学院 | 基于虚拟现实技术的心理健康教育系统 |
| CN111310783A (zh) * | 2020-01-05 | 2020-06-19 | 天津大学 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
| CN111714339A (zh) * | 2020-07-15 | 2020-09-29 | 西安交通大学 | 人体下肢运动的脑-肌电融合小世界神经网络预测方法 |
| CN111883252A (zh) * | 2020-07-29 | 2020-11-03 | 济南浪潮高新科技投资发展有限公司 | 一种婴儿自闭症辅助诊断方法、装置、设备和存储介质 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113082448A (zh) * | 2021-04-02 | 2021-07-09 | 北方工业大学 | 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统 |
| CN113349778A (zh) * | 2021-06-03 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于经颅直流电刺激的情绪分析方法、装置和电子装置 |
| CN113633870A (zh) * | 2021-08-31 | 2021-11-12 | 武汉轻工大学 | 情绪状态调节系统及方法 |
| CN113853161A (zh) * | 2019-05-16 | 2021-12-28 | 托尼有限责任公司 | 用于识别和测量情感状态的系统和方法 |
| CN113855019A (zh) * | 2021-08-25 | 2021-12-31 | 杭州回车电子科技有限公司 | 基于eog、emg以及压电信号的表情识别方法和装置 |
| CN113974631A (zh) * | 2021-12-03 | 2022-01-28 | 中国科学院心理研究所 | 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统 |
| CN114638263A (zh) * | 2022-03-15 | 2022-06-17 | 华南理工大学 | 一种基于脑电信号的建筑空间满意度评价方法 |
| CN114842957A (zh) * | 2022-03-28 | 2022-08-02 | 暨南大学 | 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法 |
| CN114974571A (zh) * | 2022-05-27 | 2022-08-30 | 浙江大学医学院附属儿童医院 | 多模态数据驱动的孤独症检测系统、设备及存储介质 |
| CN115494959A (zh) * | 2022-11-15 | 2022-12-20 | 四川易景智能终端有限公司 | 一种多功能智能头盔及其管理平台 |
| CN116113476A (zh) * | 2020-07-02 | 2023-05-12 | 巴斯美德公司 | 通气装置、包括该通气装置的系统以及该通气装置的使用 |
| CN116301473A (zh) * | 2023-01-19 | 2023-06-23 | 佛山创视嘉科技有限公司 | 基于虚拟现实的用户行为预测方法、装置、设备及介质 |
| CN117520826A (zh) * | 2024-01-03 | 2024-02-06 | 武汉纺织大学 | 一种基于可穿戴设备的多模态情绪识别方法及系统 |
| CN118506988A (zh) * | 2024-07-19 | 2024-08-16 | 中国科学院苏州生物医学工程技术研究所 | 一种孤独症康复训练数据处理方法、系统以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130281798A1 (en) * | 2012-04-23 | 2013-10-24 | Sackett Solutions & Innovations, LLC | Cognitive biometric systems to monitor emotions and stress |
| CN104112055A (zh) * | 2013-04-17 | 2014-10-22 | 深圳富泰宏精密工业有限公司 | 情绪分析显示系统及方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分系统 |
| CN108922617A (zh) * | 2018-06-26 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的自闭症辅助诊断方法 |
| CN109172994A (zh) * | 2018-07-24 | 2019-01-11 | 杭州行开科技有限公司 | 一种裸眼3d影像拍摄显示系统 |
-
2019
- 2019-01-31 CN CN201910099307.4A patent/CN109620185B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130281798A1 (en) * | 2012-04-23 | 2013-10-24 | Sackett Solutions & Innovations, LLC | Cognitive biometric systems to monitor emotions and stress |
| CN104112055A (zh) * | 2013-04-17 | 2014-10-22 | 深圳富泰宏精密工业有限公司 | 情绪分析显示系统及方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN108922617A (zh) * | 2018-06-26 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的自闭症辅助诊断方法 |
| CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分系统 |
| CN109172994A (zh) * | 2018-07-24 | 2019-01-11 | 杭州行开科技有限公司 | 一种裸眼3d影像拍摄显示系统 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113853161A (zh) * | 2019-05-16 | 2021-12-28 | 托尼有限责任公司 | 用于识别和测量情感状态的系统和方法 |
| CN110313923A (zh) * | 2019-07-05 | 2019-10-11 | 昆山杜克大学 | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 |
| CN110399853A (zh) * | 2019-07-30 | 2019-11-01 | 苏州智乐康医疗科技有限公司 | 基于表情数据和深度卷积神经网络的自闭症信息处理系统 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
| CN111310783A (zh) * | 2020-01-05 | 2020-06-19 | 天津大学 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
| CN111240479A (zh) * | 2020-01-09 | 2020-06-05 | 郑州师范学院 | 基于虚拟现实技术的心理健康教育系统 |
| CN116113476A (zh) * | 2020-07-02 | 2023-05-12 | 巴斯美德公司 | 通气装置、包括该通气装置的系统以及该通气装置的使用 |
| CN111714339B (zh) * | 2020-07-15 | 2021-09-07 | 西安交通大学 | 人体下肢运动的脑-肌电融合小世界神经网络预测方法 |
| CN111714339A (zh) * | 2020-07-15 | 2020-09-29 | 西安交通大学 | 人体下肢运动的脑-肌电融合小世界神经网络预测方法 |
| CN111883252A (zh) * | 2020-07-29 | 2020-11-03 | 济南浪潮高新科技投资发展有限公司 | 一种婴儿自闭症辅助诊断方法、装置、设备和存储介质 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
| CN112120716B (zh) * | 2020-09-02 | 2024-08-20 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113082448A (zh) * | 2021-04-02 | 2021-07-09 | 北方工业大学 | 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统 |
| CN113349778A (zh) * | 2021-06-03 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于经颅直流电刺激的情绪分析方法、装置和电子装置 |
| CN113855019A (zh) * | 2021-08-25 | 2021-12-31 | 杭州回车电子科技有限公司 | 基于eog、emg以及压电信号的表情识别方法和装置 |
| CN113855019B (zh) * | 2021-08-25 | 2023-12-29 | 杭州回车电子科技有限公司 | 基于eog、emg以及压电信号的表情识别方法和装置 |
| CN113633870A (zh) * | 2021-08-31 | 2021-11-12 | 武汉轻工大学 | 情绪状态调节系统及方法 |
| CN113633870B (zh) * | 2021-08-31 | 2024-01-23 | 武汉轻工大学 | 情绪状态调节系统及方法 |
| CN113974631A (zh) * | 2021-12-03 | 2022-01-28 | 中国科学院心理研究所 | 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统 |
| CN114638263A (zh) * | 2022-03-15 | 2022-06-17 | 华南理工大学 | 一种基于脑电信号的建筑空间满意度评价方法 |
| CN114842957B (zh) * | 2022-03-28 | 2023-04-07 | 暨南大学 | 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法 |
| CN114842957A (zh) * | 2022-03-28 | 2022-08-02 | 暨南大学 | 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法 |
| CN114974571A (zh) * | 2022-05-27 | 2022-08-30 | 浙江大学医学院附属儿童医院 | 多模态数据驱动的孤独症检测系统、设备及存储介质 |
| CN115494959B (zh) * | 2022-11-15 | 2023-02-28 | 四川易景智能终端有限公司 | 一种多功能智能头盔及其管理平台 |
| CN115494959A (zh) * | 2022-11-15 | 2022-12-20 | 四川易景智能终端有限公司 | 一种多功能智能头盔及其管理平台 |
| CN116301473A (zh) * | 2023-01-19 | 2023-06-23 | 佛山创视嘉科技有限公司 | 基于虚拟现实的用户行为预测方法、装置、设备及介质 |
| CN117520826A (zh) * | 2024-01-03 | 2024-02-06 | 武汉纺织大学 | 一种基于可穿戴设备的多模态情绪识别方法及系统 |
| CN117520826B (zh) * | 2024-01-03 | 2024-04-05 | 武汉纺织大学 | 一种基于可穿戴设备的多模态情绪识别方法及系统 |
| CN118506988A (zh) * | 2024-07-19 | 2024-08-16 | 中国科学院苏州生物医学工程技术研究所 | 一种孤独症康复训练数据处理方法、系统以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109620185B (zh) | 2020-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109620185A (zh) | 基于多模态信息的自闭症辅助诊断系统、设备及介质 | |
| Dian et al. | Wearables and the Internet of Things (IoT), applications, opportunities, and challenges: A Survey | |
| WO2022042122A1 (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| CN109215804B (zh) | 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 | |
| Mukhopadhyay | Wearable sensors for human activity monitoring: A review | |
| Saini et al. | Kinect sensor-based interaction monitoring system using the BLSTM neural network in healthcare | |
| Bekele et al. | Understanding how adolescents with autism respond to facial expressions in virtual reality environments | |
| JP3931889B2 (ja) | 画像表示システム、画像表示装置、画像表示方法 | |
| Rehg et al. | Mobile health | |
| Zhang et al. | A context-aware mhealth system for online physiological monitoring in remote healthcare | |
| CN101198277A (zh) | 用于生理学和心理生理学监控的方法和系统及其应用 | |
| Wang et al. | A system of human vital signs monitoring and activity recognition based on body sensor network | |
| Gnacek et al. | emteqpro—fully integrated biometric sensing array for non-invasive biomedical research in virtual reality | |
| Uniyal et al. | Pervasive healthcare-a comprehensive survey of tools and techniques | |
| Guthier et al. | Affective computing in games | |
| CN113974589A (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| Yates et al. | Arousal detection for biometric data in built environments using machine learning | |
| CN109172994A (zh) | 一种裸眼3d影像拍摄显示系统 | |
| Bethel | Robots without faces: non-verbal social human-robot interaction | |
| Kappeler-Setz | Multimodal emotion and stress recognition | |
| Hong et al. | Adaptive mobile cloud computing on college physical training education based on virtual reality | |
| CN100482149C (zh) | 图像显示系统、图像显示装置及图像显示方法 | |
| Tivatansakul et al. | Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design | |
| El Arbaoui et al. | A Survey on the Application of the Internet of Things in the Diagnosis of Autism Spectrum Disorder | |
| Haratian | Assistive Wearable Technology for Mental Wellbeing: Sensors and Signal Processing Approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |