CN111012367A - 一种精神疾病的智能识别系统 - Google Patents

一种精神疾病的智能识别系统 Download PDF

Info

Publication number
CN111012367A
CN111012367A CN201911382333.4A CN201911382333A CN111012367A CN 111012367 A CN111012367 A CN 111012367A CN 201911382333 A CN201911382333 A CN 201911382333A CN 111012367 A CN111012367 A CN 111012367A
Authority
CN
China
Prior art keywords
module
data
behavior
physiological signal
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911382333.4A
Other languages
English (en)
Inventor
陈靓影
陈丹
杨宗凯
徐如意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN201911382333.4A priority Critical patent/CN111012367A/zh
Publication of CN111012367A publication Critical patent/CN111012367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种精神疾病的智能识别系统，包括控制与通信模块、触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块。本发明的智能识别系统，可以应用在儿童孤独症识别等领域中，发展了多模态信号孤独症识别，可以从外在行为观察和内在生理指标两个维度对孤独症等精神疾病展开全面、量化、及时的识别。

Description

一种精神疾病的智能识别系统
技术领域
本发明属于人机交互技术领域，更具体地涉及一种精神疾病的智能识别系统。
背景技术
精神疾病是指在各种生物学、心理学以及社会环境因素影响下，大脑功能失调，导致认知、情感、意志和行为等精神活动出现不同程度障碍为临床表现的疾病。精神疾病的种类非常多，例如孤独症、抑郁症、妄想症等，患有精神疾病的群体数量非常大。以孤独症为例，是一种发育障碍性疾病，突出表现为社会性和交流能力存在明显的缺陷，因其生活难以自理、社会适应不良，给家庭和社会带来巨大的经济及精神负担。据2019年《中国孤独症(自闭症)教育康复行业发展状况报告》估计，目前我国孤独症患者超过1000万(其中2-14岁孤独症儿童约200万)，并以每年近20万的速度增长。
《儿童孤独症诊疗康复指南》强调，孤独症的早期诊断和干预非常关键。儿童孤独症的症状3岁前可以发现，如果因家长忽视或存在认知误区，错过儿童大脑发育的最佳干预时期，可能将造成终身遗憾。孤独症等精神疾病评估与诊断常规方法是借助量表，虽有良好的信效度，但对评估人员的专业水平与经验依赖程度高，难以实现规模化应用。
现有技术中提出了两种针对抑郁症的诊断装置。一种是采集生理信号数据，基于生理信号数据进行诊断识别。另一种是利用给被测试者一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，采集被测试者的眼部图像和面部图像来进行疾病的诊断。但是，这两种诊断装置都只从单一的维度去进行疾病的诊断识别，识别准确率较低。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种精神疾病的智能识别系统，能够可以从外在行为观察和内在生理指标两个维度对识别精神疾病。
为实现上述目的，按照本发明的一个方面，提供了一种精神疾病的智能识别系统，包括控制与通信模块、触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块；
所述控制与通信模块，用于接收用户的操作指令，并控制所述触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块；
所述触发模块，用于提供刺激被测试者的测试数据；
所述行为智能感知模块，用于采集被测试者被所述测试数据刺激后产生的行为数据；
所述行为数据分析模块，用于根据采集的行为数据输出第一诊断结果；
所述生理信号采集模块，用于采集被测试者被所述测试数据刺激后产生的生理信号数据；
所述生理信号分析模块，用于根据采集的生理信号数据输出第二诊断结果；
所述疾病识别输出模块，用于对所述第一诊断结果和第二诊断结果进行融合输出疾病识别结果。
优选地，所述触发模块包括：
游戏模块，用于提供刺激被测试者的游戏；
或视频模块，用于提供刺激被测试者的视频。
优选地，所述行为智能感知模块包括：
面部表情感知子模块，用于采集被测试者的面部表情数据；
注意力感知子模块，用于采集被测试者的注意力数据；
应答行为感知子模块，用于采集分析被测试者的应答行为数据。
优选地，所述面部表情感知子模块包括：
摄像头，用于采集图像；
表情识别子模块，用于接收采集的图像，通过人脸检测算法确定被测试者的人脸区域，通过特征点检测算法确定面部关键点的坐标，根据检测的面部关键点进行人脸对齐，使得对齐后的人脸图像的关键点位于预设的坐标上，通过表情识别算法，对人脸对齐的图像估计表情的类别；
表情持续时间统计子模块，用于统计每一类表情在预定时间段内出现的次数。
优选地，所述注意力感知子模块包括：
眼动仪，用于记录儿童的注视区域；
注意区域分析子模块，用于将儿童的注视区域划分为互不重叠的相等大小的矩形区域，并统计儿童注视每个区域的时间。
优选地，所述生理信号分析模块包括：
脑电信号分析模块，用于对采集的生理信号数据中的脑电数据进行分析；
或皮电信号分析模块，用于对采集的生理信号数据中的皮电数据进行分析。
优选地，所述脑电信号分析模块包括：
基础结构子模块，用于存储采集的脑电信号并提供人工标注的操作系统；
网关模块，用于将人工标注的脑电数据上传给云平台模块，还用于将训练的轻量级模型下载到雾计算服务层模块；
云计算平台模块，用于将人工标注的脑电数据通过轻量级的卷积神经网络递增地训练分类器；
雾计算服务层子模块，用于对输入的脑电信号进行实时地在线分类。
优选地，所述轻量级的卷积神经网络包括一个信号丢失层、两个卷积层、一个最大池化层、一个扁平化层和三个全连接层，信号丢失层用于在训练过程中随机丢弃一些数据防止过拟合，卷积层用于提取脑电信号的特征，最大池化层用于消除特征中的冗余，扁平化层用于将特征数据重整为1维向量便于全连接处理，全连接层用于对提取的特征进行分类。
优选地，所述疾病识别输出模块，用于采用机器学习方法对所述第一诊断结果和第二诊断结果进行融合输出疾病识别结果。
优选地，还包括用户登录模块，所述用户登录模块包括：
摄像头，用于采集人脸图像；
显示模块，用于提供用户登录界面；
人脸识别模块，用于识别采集的人脸图像，并控制启动所述控制与通信模块。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有有益效果：
(1)从外在行为能力评分和内在脑区反应两个维度对孤独症儿童展开全面、量化、及时的评估，利用外在行为能力特征与内在脑区反应特征在不同刺激任务下的互补性，能够更加精细地识别精神疾病，例如区分自闭症各亚型。
(2)建立了人机交互学习活动到孤独症评估量表之间的映射，发展了多模态信号孤独症儿童行为分析方法，实现了自动行为观察并自动转换为量表评分的孤独症儿童行为能力量化评估。
(3)脑电数据由很多电极构成的维度较高，处理较为复杂，本发明发展了基于大数据驱动的脑电信号诊断技术，利用云服务平台对脑电大数据进行训练，所训练的模型对孤独症儿童的诊断准确率≥90％。
(4)触发模块包括游戏模块，用于向被测儿童提供用于评测的游戏，相对于视频具有可以与受测试者进行交互、基于交互相关的行为数据进行疾病识别的优点。
附图说明
图1是本发明实施例的一种精神疾病的智能识别系统框架图；
图2是本发明实施例中控制与通信模块示意图；
图3是本发明实施例中行为智能感知模块与行为数据数据分析模块的示意图；
图4是本发明实施例中脑电信号分析模块示意图；
图5是本发明实施例中脑电信号分类所用轻量级网络的结构配置图；
图6是本发明实施例中疾病识别输出模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的一种精神疾病的智能识别系统，能够综合行为数据分析和生理信号分析，来进行精神疾病的智能识别，能够大大提高识别的准确率。包括控制与通信模块、触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块；触发模块，用于提供刺激被测试者的测试数据；行为智能感知模块和行为数据分析模块，基于行为数据进行分析；生理信号采集模块和生理信号分析模块，基于生理信号数据进行分析；疾病识别输出模块，用于综合行为数据分析结果和生理信号分析结果，输出识别结果。
本发明的一种精神疾病的智能识别系统能够广泛应用于多种精神疾病的诊断识别中，例如孤独症、抑郁症、妄想症等。下文以孤独症识别为例具体说明。
本发明实施例提供一种用于识别孤独症的智能识别系统，如图1所示，包括：01用户登录模块，02控制与通信模块，03触发模块，04行为智能感知模块，05行为数据分析模块，06生理信号采集模块，07生理信号分析模块，08评测结果输出模块。
01用户登录模块，用于用户身份信息的识别与系统的登录。
所述用户登录模块，包括摄像头，提供用户登陆界面的显示模块，人脸识别子模块。摄像头，安装于显示屏顶部中间，用于采集用户的人脸图像；用户登陆界面，用于实时显示摄像头采集的图像，并提示用户调整人脸到指定的识别区域内；人脸识别子模块，对指定区域内的人脸图像进行识别以判断用户身份，当用户身份被识别后，则启动系统的控制与通信模块。
进一步地，用户登录界面和人脸识别子模块，可配置在同一计算机上，为了加速人脸识别过程，计算机需配置GPU，可以配置GPU X1080。
02控制与通信模块，接收用户的操作指令，并发出相应的控制信号，来控制触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块。
所述控制与通信模块，包括操控输入设备，信号控制子模块，如图2所示。
进一步地，所述操控输入设备包括鼠标和可触摸显示屏中至少一种，作为用户进行人机交互的硬件媒介。
进一步地，所述信号控制子模块可根据用户的操作，对游戏与视频模块发出启动，切换和关闭等控制指令；对行为智能感知模块发出启动，应答(屏幕触碰和鼠标点击)，终止等控制指令；对生理信号采集模块发出启动和终止控制指令。
03触发模块，用于提供刺激被测试者的测试数据。
在一个实施例中，触发模块包括视频模块，用于向被测儿童提供用于评测的视频。
在一个实施例中，触发模块包括游戏模块，用于向被测儿童提供用于评测的游戏。游戏相对于视频的优点在于可以与受测试者进行交互，基于交互相关的行为数据进行疾病识别。
进一步地，所述游戏和视频依据传统量表测评原理精心设计，且通过大量的实证研究证明其在测评中具有与传统量表测评结果的高度一致性。
进一步地，可以在数据库或存储单元存储多个游戏或视频，可以在测试时，根据输入的被测试者信息如年龄或测试需求如要识别的疾病种类，读取与被测试者信息或测试需求相适应的视频或游戏。例如，游戏与视频模块包括多个游戏项目和多段视频，用于测试自闭症儿童的不同发展能力。游戏与视频模块的启动、关闭以及模块中各项目间的切换均由控制与通信模块传递的指令来控制。
04行为智能感知模块，用于分析被测儿童在进行游戏体验或观看视频时的行为数据。当用户开始游戏体验或观看视频时，行为智能感知模块接收控制与通信模块的启动指令，实时感知儿童的行为数据，当游戏体验或视频观看结束时，接收控制与通信模块传来的终止指令，输出儿童的行为数据并重置行为智能感知模块，如图3所示，包括：041面部表情感知子模块，042注意力感知子模块，043应答行为感知子模块。
041面部表情感知子模块，用于感知被测儿童的面部表情，估计其在游戏体验或视频观看中的情绪。
进一步地，所述面部表情感知子模块包括摄像头，表情识别子模块，表情持续时间统计子模块。
进一步地，所述摄像头作为感知儿童表情的硬件媒介，可以复用用户登录模块中的摄像头。
进一步地，所述表情识别子模块，接收摄像头采集到图像，通过人脸检测算法确定被测儿童的人脸区域，通过特征点检测算法确定面部关键点的坐标，包括两个眼睛的中心点和嘴巴中心点的坐标，根据检测的面部关键点进行简单的人脸对齐，使得对齐后的人脸图像，其关键点位于预设的坐标上。通过表情识别算法，对人脸对齐的图像估计表情的类别。
进一步地，所述人脸检测算法可以为Haar-Adaboost，MTCNN(Multi-taskconvolutional neural network)，SRN(Selective Refinement Network)中的一种。
进一步地，所述特征点检测算法可以为AAM(Active Appearance Model)，DAN(Deep Alignment Network)，MTCNN中的一种。
进一步地，所述表情识别算法可以为EIR-CNN，DCNN中的一种。
进一步地，所述表情持续时间统计子模块，用于统计每一类表情在每隔时间T内出现的次数，当接收到控制与通信模块传来的终止指令时，将其作为面部表情感知的结果输出。
优选地，将整个统计时间划分为30段，计算每一段时间内某种特定表情出现的次数，则输出的表情特征维度为30。
042注意区域感知子模块，用于感知被测儿童的注意力。当儿童开始游戏体验或视频观看时，接收控制与通信模块的启动指令，开始感知儿童的注意力。当游戏体验或视频观看结束时，接收控制与通信模块传来的终止指令，输出注意力感知的结果。
进一步地，所述注意区域感知子模块包括眼动仪，注意区域分析子模块。
进一步地，所述眼动仪，用于记录儿童的注视区域的硬件媒介，可采用TobiiX120，Tobii Eye Tracker 4C，Tobii Pro Glasses2中的一种。
进一步地，所述注意区域分析子模块，将儿童的注视区域划分为互不重叠的相等大小的矩形区域，并统计儿童注视每个区域的时间。当接收到控制与通信模块传来的终止指令时，将儿童在各区域注视的时间作为注意力感知结果输出。
优化地，可将显示屏区域划分为3×3个等大小的矩形区域，统计儿童注视每个矩形区域的时间。
043应答行为分析子模块，用于分析被测儿童应答行为的响应时间，并判断应答结果是否正确。
进一步地，所述应答行为包括点击鼠标和手触屏幕的行为。
进一步地，所述应答行为响应时间为应答行为分析子模块被启动到应答行为被检测之间的时间。当儿童开始游戏体验或视频观看时，应答行为分析子模块接收控制与通信模块的启动指令，启动计时器开始计时。当儿童用手触碰屏幕或点击鼠标时，应答行为分析子模块接收控制与通信模块传来的相应的控制指令，记录下儿童的应答行为响应时间。同时，判断儿童的行为是否正确，记录下儿童的完成分数。
进一步地，当游戏体验或视频观看结束时，接收分析子模块接收控制与通信模块传来的终止指令，输出应答响应时间和完成分数，对计时器清零。
05行为数据分析模块，用于对多模态的行为数据分别进行分类并给出诊断结果。
进一步地，所述多模态的行为数据包括，由行为智能感知模块输出的表情分析数据，注意力分析数据和应答行为分析数据。所述分类方法，指通过机器学习算法从有标注的训练集中分别训练表情分类器、注意力分类器和应答行为分类器，构建的分类器可以对行为数据和儿童测评结果产生一一对应的映射关系，并可用来预测新的数据，因此可以用这些训练好的分类器对输入的行为数据进行分类。
进一步地，所述机器学习算法可以是支撑向量机，随机森林，人工神经网络中的一种。
进一步地，所述训练集的采集过程为，让大量的被试者使用本发明系统，通过感知模块获取行为数据，通过心理学量表Ados对被试者测评获得数据的标签。
06生理信号采集模块，用于采集被测儿童的生理信号数据。当儿童开始游戏体验或视频观看时，接收控制与通信模块的启动指令，开启对儿童的生理信号采集；当体验或观看结束时，接收控制与通信模块的终止指令，输出采集的生理信号。
进一步地，所述生理信号数据，可以为脑电信号、皮电信号中的一种或两种。
进一步地，所述脑电信号的采集可采用Emotiv Epoc+，BrainLink Pro，BrainLinkLite中的一种。
进一步地，所述皮电信号的采集可采用Empatica E4，Empatica Embrace2中的一种。
07生理信号分析模块，用于分析采集到的生理信号数据并给出诊断结果。
进一步地，生理信号分析模块包括：脑电信号分析模块，用于对采集的生理信号数据中的脑电数据进行分析；或皮电信号分析模块，用于对采集的生理信号数据中的皮电数据进行分析。
进一步地，所述脑电信号分析模块包括：云计算平台子模块0711，雾计算服务层子模块0712，基础结构子模块0713和网关子模块0714，如图4所示。所述云计算平台模块，用于将人工标注的脑电数据通过轻量级的卷积神经网络递增地训练分类器。所述雾计算服务层子模块，用于对输入的脑电信号进行实时地在线分类。所述基础结构子模块，用于存储采集的脑电信号并提供人工标注的操作系统。所述网关模块，用于将人工标注的脑电数据上传给云平台模块，将训练的轻量级模型下载到雾计算服务层模块。
优化地，所述轻量级的卷积神经网络采用的网络结构如图5所示，包括一个信号丢失(dropout)层、两个卷积层、一个最大池化层、一个扁平化层和三个全连接层。信号丢失层用于在训练过程中随机丢弃一些数据防止过拟合，卷积层用于提取脑电信号的特征，最大池化层用于消除特征中的冗余，扁平化层用于将特征数据重整为1维向量便于全连接处理，全连接层用于对提取的特征进行分类。
优化地，将脑电信号按时序，每1024个数据划分为一段，输入卷积神经网络。数据按照32×32的矩阵重新排列以后输入到卷积神经网络中进行分类。
进一步地，所述皮电信号的预处理包括数据的平滑与去噪，统计特征提取，特征去个体差异化，以及特征归一化。
优化地，采用25点Hamming窗函数进行数据平滑，Batterworth低通滤波器滤除带外噪声，滤波器阶数设为2，截止频率设置为0.3Hz。
优化地，采用德国Augsburg大学特征提取的方法，提取反映皮电信号变化的30个统计特征，包括皮肤电信号的均值、中值、最大值、最小值、标准差、最小值比率、最大值比率、最大最小差值，以及将上述信号特征分别进行一阶差分、二阶差分计算后再提取以上统计特征后生成的24个时域特征；以及对皮肤电信号进行离散傅里叶变换，然后计算频率均值、中值、标准差、最大值、最小值、最大最小差值，得到6个频域特征。
优化地，为了消除皮电信号的个体差异性，需将提取的统计特征减去个体在平静状态下的统计特征；最后，特征归一化，使得每个特征限定在[0,1]之间。
进一步地，所述皮电数据分类采用机器学习算法，可以为支撑向量机，随机森林，人工神经网络中的一种。
08评测结果输出模块。将行为数据识别模块和生理信号识别模块输出的结果通过融合得到最终的诊断结果并输出。
优选地，所述融合方法如图6所示，采用机器学习训练的方法得到一个映射关系使得f：∑iwiyi→Y，其中yi表示行为数据识别模块和生理信号识别模块中第i个诊断输出，wi为第i个诊断输出的融合权重，该参数通过机器学习训练得到，所用机器学习算法可以为支撑向量机，随机森林，人工神经网络中的一种。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种精神疾病的智能识别系统，其特征在于，包括控制与通信模块、触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块；
所述控制与通信模块，用于接收用户的操作指令，并控制所述触发模块、行为智能感知模块、行为数据分析模块、生理信号采集模块、生理信号分析模块和疾病识别输出模块；
所述触发模块，用于提供刺激被测试者的测试数据；
所述行为智能感知模块，用于采集被测试者被所述测试数据刺激后产生的行为数据；
所述行为数据分析模块，用于根据采集的行为数据输出第一诊断结果；
所述生理信号采集模块，用于采集被测试者被所述测试数据刺激后产生的生理信号数据；
所述生理信号分析模块，用于根据采集的生理信号数据输出第二诊断结果；
所述疾病识别输出模块，用于对所述第一诊断结果和第二诊断结果进行融合输出疾病识别结果。
2.如权利要求1所述的一种精神疾病的智能识别系统，其特征在于，所述触发模块包括：
游戏模块，用于提供刺激被测试者的游戏；
或视频模块，用于提供刺激被测试者的视频。
3.如权利要求1或2所述的一种精神疾病的智能识别系统，其特征在于，所述行为智能感知模块包括：
面部表情感知子模块，用于采集被测试者的面部表情数据；
注意力感知子模块，用于采集被测试者的注意力数据；
应答行为感知子模块，用于采集分析被测试者的应答行为数据。
4.如权利要求3所述的一种精神疾病的智能识别系统，其特征在于，所述面部表情感知子模块包括：
摄像头，用于采集图像；
表情识别子模块，用于接收采集的图像，通过人脸检测算法确定被测试者的人脸区域，通过特征点检测算法确定面部关键点的坐标，根据检测的面部关键点进行人脸对齐，使得对齐后的人脸图像的关键点位于预设的坐标上，通过表情识别算法，对人脸对齐的图像估计表情的类别；
表情持续时间统计子模块，用于统计每一类表情在预定时间段内出现的次数。
5.如权利要求3或4所述的一种精神疾病的智能识别系统，其特征在于，所述注意力感知子模块包括：
眼动仪，用于记录儿童的注视区域；
注意区域分析子模块，用于将儿童的注视区域划分为互不重叠的相等大小的矩形区域，并统计儿童注视每个区域的时间。
6.如权利要求1、2或4任一项所述的一种精神疾病的智能识别系统，其特征在于，所述生理信号分析模块包括：
脑电信号分析模块，用于对采集的生理信号数据中的脑电数据进行分析；
或皮电信号分析模块，用于对采集的生理信号数据中的皮电数据进行分析。
7.如权利要求6所述的一种精神疾病的智能识别系统，其特征在于，所述脑电信号分析模块包括：
基础结构子模块，用于存储采集的脑电信号并提供人工标注的操作系统；
网关模块，用于将人工标注的脑电数据上传给云平台模块，还用于将训练的轻量级模型下载到雾计算服务层模块；
云计算平台模块，用于将人工标注的脑电数据通过轻量级的卷积神经网络递增地训练分类器；
雾计算服务层子模块，用于对输入的脑电信号进行实时地在线分类。
8.如权利要求7所述的一种精神疾病的智能识别系统，其特征在于，所述轻量级的卷积神经网络包括一个信号丢失层、两个卷积层、一个最大池化层、一个扁平化层和三个全连接层，信号丢失层用于在训练过程中随机丢弃一些数据防止过拟合，卷积层用于提取脑电信号的特征，最大池化层用于消除特征中的冗余，扁平化层用于将特征数据重整为1维向量便于全连接处理，全连接层用于对提取的特征进行分类。
9.如权利要求1、2或4任一项所述的一种精神疾病的智能识别系统，其特征在于，所述疾病识别输出模块，用于采用机器学习方法对所述第一诊断结果和第二诊断结果进行融合输出疾病识别结果。
10.如权利要求1、2或4任一项所述的一种精神疾病的智能识别系统，其特征在于，还包括用户登录模块，所述用户登录模块包括：
摄像头，用于采集人脸图像；
显示模块，用于提供用户登录界面；
人脸识别模块，用于识别采集的人脸图像，并控制启动所述控制与通信模块。
CN201911382333.4A 2019-12-27 2019-12-27 一种精神疾病的智能识别系统 Pending CN111012367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911382333.4A CN111012367A (zh) 2019-12-27 2019-12-27 一种精神疾病的智能识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911382333.4A CN111012367A (zh) 2019-12-27 2019-12-27 一种精神疾病的智能识别系统

Publications (1)

Publication Number Publication Date
CN111012367A true CN111012367A (zh) 2020-04-17

Family

ID=70196699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911382333.4A Pending CN111012367A (zh) 2019-12-27 2019-12-27 一种精神疾病的智能识别系统

Country Status (1)

Country Link
CN (1) CN111012367A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523504A (zh) * 2020-04-30 2020-08-11 深圳市镜象科技有限公司 基于表情分析的抑郁症预测方法、预测终端和存储介质
CN111528867A (zh) * 2020-05-13 2020-08-14 湖州维智信息技术有限公司 用于儿童adhd筛查评估系统的表情特征向量确定方法
CN111528837A (zh) * 2020-05-11 2020-08-14 清华大学 可穿戴脑电信号检测装置及其制造方法
CN112426154A (zh) * 2020-11-18 2021-03-02 嘉兴学院 一种自闭症儿童体感游戏生物反馈康复方法
CN112686121A (zh) * 2020-12-25 2021-04-20 华中师范大学 一种面向孤独症的视觉运动整合能力智能化识别系统
CN113180669A (zh) * 2021-05-12 2021-07-30 中国人民解放军中部战区总医院 一种基于神经反馈技术的情绪调节训练系统与方法
CN113658697A (zh) * 2021-07-29 2021-11-16 北京科技大学 一种基于视频注视差异的心理测评系统
CN113712511A (zh) * 2021-09-03 2021-11-30 湖北理工学院 一种脑成像融合特征的稳定模式判别方法
CN113974631A (zh) * 2021-12-03 2022-01-28 中国科学院心理研究所 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统
CN114974571A (zh) * 2022-05-27 2022-08-30 浙江大学医学院附属儿童医院 多模态数据驱动的孤独症检测系统、设备及存储介质
CN115500829A (zh) * 2022-11-24 2022-12-23 广东美赛尔细胞生物科技有限公司 一种应用于神经内科的抑郁症检测分析系统
CN116098621A (zh) * 2023-02-14 2023-05-12 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统
CN108143411A (zh) * 2017-12-13 2018-06-12 东南大学 一种面向孤独症诊断的静息态脑电分析系统
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109272259A (zh) * 2018-11-08 2019-01-25 梁月竹 一种孤独症谱系障碍儿童情绪能力干预系统及方法
CN109431521A (zh) * 2018-10-12 2019-03-08 西北工业大学 一种基于音视频信息的多模态双相抑郁障碍自动检测方法
CN109770921A (zh) * 2019-02-03 2019-05-21 清华大学 自闭症儿童早期语言与认知能力筛查的方法及装置
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统
CN108143411A (zh) * 2017-12-13 2018-06-12 东南大学 一种面向孤独症诊断的静息态脑电分析系统
CN109431521A (zh) * 2018-10-12 2019-03-08 西北工业大学 一种基于音视频信息的多模态双相抑郁障碍自动检测方法
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109272259A (zh) * 2018-11-08 2019-01-25 梁月竹 一种孤独症谱系障碍儿童情绪能力干预系统及方法
CN109770921A (zh) * 2019-02-03 2019-05-21 清华大学 自闭症儿童早期语言与认知能力筛查的方法及装置
CN110313923A (zh) * 2019-07-05 2019-10-11 昆山杜克大学 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523504A (zh) * 2020-04-30 2020-08-11 深圳市镜象科技有限公司 基于表情分析的抑郁症预测方法、预测终端和存储介质
CN111528837A (zh) * 2020-05-11 2020-08-14 清华大学 可穿戴脑电信号检测装置及其制造方法
CN111528837B (zh) * 2020-05-11 2021-04-06 清华大学 可穿戴脑电信号检测装置及其制造方法
CN111528867A (zh) * 2020-05-13 2020-08-14 湖州维智信息技术有限公司 用于儿童adhd筛查评估系统的表情特征向量确定方法
CN112426154A (zh) * 2020-11-18 2021-03-02 嘉兴学院 一种自闭症儿童体感游戏生物反馈康复方法
CN112686121B (zh) * 2020-12-25 2022-08-16 华中师范大学 一种面向孤独症的视觉运动整合能力智能化识别系统
CN112686121A (zh) * 2020-12-25 2021-04-20 华中师范大学 一种面向孤独症的视觉运动整合能力智能化识别系统
CN113180669A (zh) * 2021-05-12 2021-07-30 中国人民解放军中部战区总医院 一种基于神经反馈技术的情绪调节训练系统与方法
CN113180669B (zh) * 2021-05-12 2024-04-26 中国人民解放军中部战区总医院 一种基于神经反馈技术的情绪调节训练系统与方法
CN113658697A (zh) * 2021-07-29 2021-11-16 北京科技大学 一种基于视频注视差异的心理测评系统
CN113712511A (zh) * 2021-09-03 2021-11-30 湖北理工学院 一种脑成像融合特征的稳定模式判别方法
CN113712511B (zh) * 2021-09-03 2023-05-30 湖北理工学院 一种脑成像融合特征的稳定模式判别方法
CN113974631A (zh) * 2021-12-03 2022-01-28 中国科学院心理研究所 一种基于生理信号识别与分析的孤独症计算机辅助诊断系统
CN114974571A (zh) * 2022-05-27 2022-08-30 浙江大学医学院附属儿童医院 多模态数据驱动的孤独症检测系统、设备及存储介质
CN115500829A (zh) * 2022-11-24 2022-12-23 广东美赛尔细胞生物科技有限公司 一种应用于神经内科的抑郁症检测分析系统
CN116098621A (zh) * 2023-02-14 2023-05-12 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法

Similar Documents

Publication Publication Date Title
CN111012367A (zh) 一种精神疾病的智能识别系统
CN107224291B (zh) 调度员能力测试系统
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Minhad et al. Happy-anger emotions classifications from electrocardiogram signal for automobile driving safety and awareness
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CA2936343C (en) Systems and methods for diagnosing sleep
Sarkar et al. Classification of cognitive load and expertise for adaptive simulation using deep multitask learning
CN107411738A (zh) 一种基于静息脑电相似性的情绪跨个体识别方法
CN106913333B (zh) 一种持续性注意水平的敏感性特征指标的选取方法
CN104771164A (zh) 运用事件相关电位仪辅助筛查轻度认知障碍的方法
CN112328072A (zh) 一种基于脑电和眼电的多模态字符输入系统及方法
Allam et al. Customized deep learning algorithm for drowsiness detection using single-channel EEG signal
Tian et al. ResNet-50 based technique for EEG image characterization due to varying environmental stimuli
CN113974589B (zh) 多模态行为范式评估优化系统及认知能力评价方法
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
Pan et al. Multiple scale convolutional few-shot learning networks for online P300-based brain–computer interface and its application to patients with disorder of consciousness
CN114366103A (zh) 注意力评估方法、装置及电子设备
US20240050006A1 (en) System and method for prediction and control of attention deficit hyperactivity (adhd) disorders
CN117224080B (zh) 大数据的人体数据监测方法装置
CN111724896B (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
Yarici et al. Hearables: Ear EEG based driver fatigue detection
CN110569968A (zh) 基于电生理信号的创业失败恢复力评估方法及评估系统
CN115497621A (zh) 一种老年人认知状况测评系统
Wang et al. Application of Combined Brain Computer Interface and Eye Tracking
CN110008874B (zh) 数据处理方法及其装置、计算机系统及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417