CN109215804B - 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 - Google Patents

基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 Download PDF

Info

Publication number
CN109215804B
CN109215804B CN201811171724.7A CN201811171724A CN109215804B CN 109215804 B CN109215804 B CN 109215804B CN 201811171724 A CN201811171724 A CN 201811171724A CN 109215804 B CN109215804 B CN 109215804B
Authority
CN
China
Prior art keywords
module
physiological parameter
terminal device
user
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811171724.7A
Other languages
English (en)
Other versions
CN109215804A (zh
Inventor
吴凯
李嘉慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shuangyou Biotechnology Co ltd
South China University of Technology SCUT
Original Assignee
Guangzhou Shuangyou Biotechnology Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shuangyou Biotechnology Co ltd, South China University of Technology SCUT filed Critical Guangzhou Shuangyou Biotechnology Co ltd
Priority to CN201811171724.7A priority Critical patent/CN109215804B/zh
Publication of CN109215804A publication Critical patent/CN109215804A/zh
Application granted granted Critical
Publication of CN109215804B publication Critical patent/CN109215804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurosurgery (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)

Abstract

本发明公开了一种基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，包括患者终端装置和医生终端装置，患者终端装置包括生理参数监测模块、VR/AR交互模块及数据采集处理模块，VR/AR交互模块通过给使用者进行特定场景展示，诱导使用者产生特殊行为和情绪波动；生理参数监测模块，用于实时获取使用者的各类生理参数数据；所采集数据通过互联网传送至医生终端装置；医生终端装置包括真实场景采集模块、通信与控制模块、跟踪模块和显示模块，显示模块展现出使用者各项指标及行为互动方式，完成辅助诊断。本系统利用VR/AR技术并结合生理参数监测，提高诊断准确性，有利于精神类疾病的预防和早期治疗。

Description

基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断 系统
技术领域
本发明涉及疾病诊断及预警技术领域，具体涉及一种基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统。
背景技术
精神类疾病指的是在各种生物学、心理学以及社会环境因素影响下，大脑功能失调，导致认知、情感、意志和行为等精神活动出现不同程度障碍为临床表现的疾病。在这种情况下，患者的认识、情感、意志、动作行为等心理活动均可出现持久的明显的异常；不能正常的学习、工作、生活；动作行为难以被一般人理解；在病态心理的支配下，甚至出现自杀或攻击、伤害他人的动作行为。
精神类疾病中精神分裂症占比约为70％，精神分裂症(Schizophrenia,SZ)是一种常见、好发于青壮年、病因尚未阐明的重性精神疾病，临床症状主要包括幻觉、妄想、情感淡漠、社会功能退缩、注意力及工作记忆损害等。SZ患者病程多迁延且容易反复发作，给患者身心健康造成严重影响，容易导致患者社会功能受损，造成巨大的社会负担和经济压力。此外，攻击行为在精神病患者中非常常见，SZ患者如果没有得到及时、精准、有效的临床诊断和治疗，容易对自身和社会造成极大危害及恶劣影响。较为常见的精神类疾病还有抑郁症和双向情感障碍等，这些疾病给患者及其家人带来极大痛苦，对社会危害性较大，应予以充分关注。
现阶段精神类疾病的临床诊断和分类主要是以患者的病史、临床症状、病程特征和其行为描述为基础，再通过经验丰富的精神科医生判断其是否患有精神类疾病，已经具体为哪一种精神疾病。现阶段诊断精神疾病不以疾病的基因或生物病理的测量为基础，这使得精神类疾病的诊断、预后评价等过程受到诸多混淆因素的影响，导致各类精神疾病本身的异质性变大，进一步加剧了精神类疾病的高误诊率、高致残率现象。
运用传统的神经影像学手段进行诊断需要依赖CT、MRI等大型设备，这些大型设备价格昂贵且不易对使用者进行反复检查。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统。
本发明的目的可以通过采取如下技术方案达到：
一种基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，所述系统包括患者终端装置和医生终端装置，患者终端装置收集相关生理、心理信息并通过互联网与医生终端装置相连，并将所得信号传输到医生终端装置；
所述患者终端装置包括生理参数监测模块、VR/AR交互模块及数据采集处理模块，其中，所述VR/AR交互模块包括声形展示模块、交互控制模块、行为提示模块，通过VR虚拟现实技术和AR增强现实技术给使用者进行特定场景展示，诱导使用者产生特殊行为和情绪波动；所述生理参数监测模块，用于实时获取使用者包括脑电、血氧、血压、体温在内的生理参数信息，并利用数据采集处理模块对生理参数信息进行同步处理及汇总；所述数据采集处理模块随后将整合后信息传送至医生终端装置；
所述医生终端装置包括真实场景采集模块、通信与控制模块、跟踪模块和显示模块，其中，所述真实场景采集模块利用摄像头获取真实场景图像，所述跟踪模块利用3Gear服务器获取躯体动作和面部表情跟踪信息，所述通信与控制模块收集汇总所有信息，利用处理器在客户端进行虚拟场景融合、渲染，最终通过所述显示模块展现出使用者的各项指标及行为互动方式，从而完成辅助诊断，并生成相应的护理指导建议，反馈至患者终端装置。
进一步地，所述生理参数监测模块包括脑电及血氧检测模块、血压检测模块和体温检测模块，其中，所述脑电及血氧检测模块包括NIRS-EEG检测单元、超低功耗控制单元、状态提示单元、蓝牙通讯单元、按键输入单元以及电源供电单元，所述超低功耗控制单元分别与NIRS-EEG检测单元、状态提示单元和蓝牙通讯单元相连，通过SPI接口与脑电检测单元进行数据指令通信，通过UART串口通讯协议与蓝牙通讯单元进行数据传输通信，蓝牙通讯单元将接收到的数据发送到数据采集处理模块进行整合；其中，所述血压检测模块包括压力传感器、滤波及预处理电路模块、中心处理器STM32、气泵电机、电磁阀和袖带；其中，所述体温检测模块采用接触式的数字体温计，由NTC热敏电阻电桥作为检测元件，在检测元件上搭建放大电路，检测到的电阻阻值通过蓝牙传输到数据采集处理模块，利用数据采集处理模块对数值进行A/D转换等操作得到相应生理参数信息。
进一步地，所述数据采集处理模块对接收到的脑电信息使用小波变换进行滤波去噪处理，然后采用时频分析和非线性时间序列分析对预处理后的脑电信息进行特征分析和刻画，具体包括：
1)运用相关维数方法进行非线性脑电信号分析，刻画神经系统复杂性，精神分裂患者其大脑的功能及结构均发生了变化，这些表现通过相关维数反映出来；
2)运用Lempel-Ziv复杂度(Lempel-Ziv complexity，简称为LZC)算法得到大脑处于不同功能状态时不同脑区的复杂度，精神分裂症患者的复杂度较正常人较低；
3)运用最大Lyapunov指数，它表示两条初始无限小分开的轨迹之间的相对距离在单位时间的平均指数增长因子，可以反映大脑这个复杂混沌系统的混沌程度，大脑越活跃的区域，其最大Lyapunov指数就越大。
进一步地，所述特定场景展示根据神经生理学、神经心理学、特殊场景展示并结合使用者的生理参数变化确定实时展示内容，
其中，所述神经生理学方面基于对感觉整合、运动控制及抑制功能的缺陷的检测和神经系统软体征(NSS)常用量表评估，如：Woods量表，简明神经学检查(CNE)，改良量化神经学量表(MQNS)，海德堡量表，剑桥神经病学目录分量表(CNI)，神经软体征量表(NSS)，简明运动量表(BMS)和神经功能评估量表(NES)等；
其中，所述神经心理学方面针对持续性注意、言语记忆和工作记忆等方面，通过持续反应测试(CPT)、韦氏记忆量表中的逻辑记忆和加州言语学习测试、空间延迟反应、空间广度的顺序记忆、自我定序的指向和数字字母排序等；
其中，所述特殊场景展示方面基于精神分裂症患者主要的临床症状，如：幻觉、妄想、情感淡漠、社会功能退缩等，通过与上述症状相关的生活场景再现和社会活动模拟，通过VR/AR技术使使用者获得沉浸式体验，故而能够削弱各干扰因素的影响，得到精神分裂症患者的真实症状表现。
此外针对双向情感障碍患者的虚拟场景及展示内容，主要包括ICD-10量表和DSM-IV量表内容的具象展示。
虚拟现实场景互动内容以神经生理学和神经心理学经典测试为基础，并在此基础上开发而成。神经生理学内容包括各类神经系统软体征评估量表，神经心理学内容包括各类行为反应测试，常见精神类疾病展示内容如下所述：
如针对精神分裂症，一是神经生理学，在感觉整合、运动控制及抑制功能缺陷方面做出评估；二是神经心理学，在持续性注意、言语记忆和工作记忆方面评估；三是特殊场景展示，在情感淡漠、社会功能退缩相关场景方面做出评估，同时结合使用者的生理参数变化确定实时展示内容。
针对抑郁症，一是神经生理学，在运动控制、抑制功能缺陷及神经系统软体征变化方面做出评估；二是神经心理学，在持续性注意、反应状态、记忆处理和保存方面评估；三是特殊场景展示，在情绪敏感多疑等相关场景方面做出评估，同时结合使用者的生理参数变化确定实时展示内容。
针对双向情感障碍，一是神经生理学，在感觉整合、行为控制缺陷方面做出评估；二是神经心理学，在情绪转换、记忆处理等方面做出评估，同时结合使用者的生理参数变化确定实时展示内容。
进一步地，所述声形展示模块包括控制虚拟环境的背景声音与使用者与系统的交互提示音，基于OpenGL、Direct3D软件构建的模型数据文件，以及虚拟现实开发展示系统EON；所述交互控制模块通过得到使用者的行为习惯和生理参数后，将信息及时反馈给使用者；所述行为提示模块给与使用者一定的提示作为行动的导引或反馈。
进一步地，所述数据采集处理模块将原始脑电、心电信号等数据进行滤波、去噪等预处理后，对数据进行时频分析和非线性序列分析，即用已知的时间序列和延迟嵌入理论重构动力学系统的状态空间，并在此状态空间中进行特征分析和刻画。
然后，所述数据采集处理模块进行数据整合，将摄像头采集的使用者行为、表情等信息，和所构建虚拟场景进行融合渲染，最终将整合后的场景展示给医生终端装置。
进一步地，所述VR/AR交互模块采用kinect深度摄像头记录使用者躯体动作和面部表情，采用高清摄像头对使用者场景进行高清RGB图像的采集，采用基于红外LED(IRED)的高分辨率摄像传感器用于进行实时眼动追踪，最后将虚拟物体渲染至捕捉的场景中，展示在医生终端装置的显示模块上。
进一步地，所述医生终端装置采用C/S架构，在C/S架构的功能模块中，服务器端采用3Gear系统的后台服务器，用来提供躯体动作、面部情绪的实时跟踪数据，长时间的视觉跟踪融合了视觉跟踪与目标检测技术；客户端用于注册、虚实融合以及虚实交互；底层接口提供了对各种硬件设备进行调用的接口函数，使用Open GL技术实现对虚拟场景的渲染，使用Open NI以及Kinect API完成对Kinect设备的调用，使用Open CV以实现对高清摄像头所采集数据的处理。
进一步地，所述医生终端装置采用压缩感知理论和归一化互相关算法(NCC)，并将跟踪与检测算法融合，优化摄像头对患者躯体动作、面部表情的长时间跟踪。
进一步地，所述医生终端装置采用子空间分析方法中的主成分分析法对人脸及其面部特征进行检测，捕捉使用者在体验互动内容和虚拟场景时的面部情绪变化，并将这种变化量化后进行记录和存储。
本发明相对于现有技术具有如下的优点及效果：
1、本发明的精神类疾病辅助诊断系统，通过患者终端装置可以完成患者或健康人的认知-心理测评并结合输入的精神分裂症患者或健康人的临床信息，通过医生终端装置可以接收患者或健康人的各项生理参数信息，包括心电、脑电、血压、血氧饱和度等，医生可以同时获得测试者客观生理参数反馈和使用VR技术展示的特定事件的行为反馈，这种结合诊断的方式可以避免现有诊断方法中完全依赖医生个人水平和经验造成的诊断结果片面和不一致，提高了诊断的准确性。
2、本发明的精神类疾病辅助诊断系统，通过VR/AR技术，使医生和精神病患者或健康人隔离开，一方面可以消除病人的病耻感，并减少外界带来的压力和影响；另一方面，通过不同状态的沉浸式展示，让参与检测的精神分裂症患者或健康人做出最为真实的表现，提高了诊断的准确性，防止误诊。
附图说明
图1是本发明实施例中公开的精神类疾病辅助诊断系统的总体结构图；
图2是本发明实施例中针对精神分裂症的虚拟场景及互动内容选取示意图；
图3是本发明实施例中虚拟现实眼镜装置结构图；
图4是本发明实施例中疾病辅助诊断系统(患者终端装置)结构图；
图5是本发明实施例中疾病辅助诊断系统(医生终端装置)结构图；
图6是本发明实施例中长时间目标精确跟踪算法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例的精神类疾病辅助诊断系统主要应用于医院场景中，包括患者终端装置和医生终端装置，患者终端装置和医生终端装置通过互联网进行连接，其中患者终端装置收集相关生理、心理信息并通过互联网与医生终端装置相连，并将所得信号传输到医生终端装置。
患者终端装置包括生理参数监测模块、VR/AR交互模块及数据采集处理模块，所述VR/AR交互模块包括声形展示模块、交互控制模块、行为提示模块，通过给使用者进行特定场景展示，诱导使用者产生特殊行为和情绪波动；其中，需要展示的虚拟场景及互动内容是根据疾病的不同来选取的，如图2中所示，附图中展示的是针对精神分裂症患者的虚拟场景及展示内容，通过神经生理学、神经心理学、特殊场景展示三个主要方向，结合使用者的生理参数变化确定实时展示内容。
其中，神经生理学方面基于对感觉整合、运动控制及抑制功能的缺陷的检测和神经系统软体征(NSS)常用量表评估，如：Woods量表，简明神经学检查(CNE)，改良量化神经学量表(MQNS)，海德堡量表，剑桥神经病学目录分量表(CNI)，神经软体征量表(NSS)，简明运动量表(BMS)和神经功能评估量表(NES)等；
其中，神经心理学方面针对持续性注意、言语记忆和工作记忆等方面，通过持续反应测试(CPT)、韦氏记忆量表中的逻辑记忆和加州言语学习测试、空间延迟反应、空间广度的顺序记忆、自我定序的指向和数字字母排序等；
其中，特殊场景展示方面基于精神分裂症患者主要的临床症状，如：幻觉、妄想、情感淡漠、社会功能退缩等，通过与上述症状相关的生活场景再现和社会活动模拟，通过VR/AR技术使使用者获得沉浸式体验，故而能够削弱各干扰因素的影响，得到精神分裂症患者的真实症状表现。
此外针对双向情感障碍患者的虚拟场景及展示内容，主要包括ICD-10量表和DSM-IV量表内容的具象展示。
所述精神类疾病辅助系统中生理参数监测模块中包含脑电及血氧检测模块、血压检测模块和体温检测模块。其中，脑电及血氧检测模块结构如图3所示，包括：NIRS-EEG检测单元、超低功耗控制单元、状态提示单元、蓝牙通讯单元、按键输入单元以及电源供电单元。超低功耗控制单元分别与NIRS-EEG检测单元、状态提示单元和蓝牙通讯单元相连，通过SPI接口与脑电检测单元进行数据指令通信，通过UART串口通讯协议与蓝牙通讯单元进行数据传输通信，蓝牙通讯单元将接收到的数据发送到数据采集处理模块进行整合。其中，血压检测模块包括压力传感器、滤波及预处理电路模块、中心处理器STM32、气泵电机、电磁阀和袖带。其中，体温检测模块采用接触式的数字体温计，由NTC热敏电阻电桥作为检测元件，在此基础上搭建放大电路，检测到的电阻阻值通过蓝牙传输到数据采集处理模块，利用数据采集处理模块对数值进行A/D转换等操作得到相应生理参数信息。数据采集处理模块对所有生理参数信息进行简单同步处理及汇总。
所述数据采集处理模块对接收到的脑电信息进行如下处理：
经过使用小波变换等滤波去噪等处理后采用时频分析和非线性时间序列分析对预处理后的脑电信息进行特征分析和刻画，以获得更多的信息，具体包括：
1)运用相关维数方法进行非线性脑电信号分析，刻画神经系统复杂性，精神分裂患者其大脑的功能及结构均发生了变化，这些表现通过相关维数反映出来；
2)运用Lempel-Ziv复杂度(Lempel-Ziv complexity，简称为LZC)算法得到大脑处于不同功能状态时不同脑区的复杂度，精神分裂症患者的复杂度较正常人较低；
3)运用最大Lyapunov指数，它表示两条初始无限小分开的轨迹之间的相对距离在单位时间的平均指数增长因子，可以反映大脑这个复杂混沌系统的混沌程度，大脑越活跃的区域，其最大Lyapunov指数就越大。
所述精神类疾病辅助诊断系统(患者终端)的结构(不含生理参数检测和采集模块)如图4所示，辅助诊断系统由声形展示模块、交互控制模块和行为提示模块三部分组成。声形展示模块分为声音模块和图形图像模块，所述声音模块主要包含SZ患者在虚拟环境中与辅助诊断体系的交互声音以及虚拟环境的背景声音等；所述图形图像模块主要是基于OpenGL和3DMAX软件构建的模型数据文件；所述交互控制模块在系统得到患者较完整的需求信息的同时，能够及时把反馈信息传递给患者；所述行为提示模块用于给进入系统中的患者提供一些行为提示。患者在进入系统后，通过佩戴液晶光阀眼镜获得立体视觉，通过穿戴数据手套实现与系统的交互，所有互动内容及虚拟场景均显示在患者前方的计算机显示屏幕上。患者终端可独立完成简单的辅助诊断分析(并非最后结果，只做参考用)；数据采集处理模块随后将整合后信息传送至医生终端，并结合医生终端的人工分析获得最终结果。
所述辅助诊断系统(医生终端)采用C/S架构，如图5所示，功能模块中，服务器端包括3Gear系统的后台服务器，用来提供躯体动作、面部情绪的实时跟踪数据，长时间的视觉跟踪融合了视觉跟踪与目标检测技术。客户端部分主要包括注册、虚实融合以及虚实交互模块。底层接口提供了对各种硬件设备进行调用的接口函数，使用Open GL技术实现对虚拟场景的渲染，使用Open NI以及Kinect API完成对Kinect设备的调用，使用Open CV以实现对高清摄像头所采集数据的处理。医生终端装置将接收到的信息利用处理器在后台进行虚拟场景融合、渲染，最终通过显示器展现出使用者的各项指标及行为互动方式，从而完成辅助诊断，并生成相应的护理指导建议，并反馈至患者终端。
本发明涉及对使用者躯体动作、面部情绪的跟踪，为确保使用者发生姿态、环境光照变化或遮挡后仍能长时间精确获得其数据，突破传统目标跟踪算法的局限，采取了将压缩感知理论和归一化互相关算法结合优化，并将目标跟踪与检测算法融合，达到长时间实时目标跟踪的目的，算法流程图如图6所示；同时采用子空间分析方法中的主成分分析法，基于集合特征的人脸特征点提取，采用弹性图匹配法获得人脸特征，并利用人脸的几何特征对人脸区域进行检测，在减少数据量，降低计算复杂度的的同时仍能准确捕捉其面部变化。
综上所述，本发明系统可以实现多种精神疾病的远程多参数辅助诊断，有助于消除测试者病耻感；基于VR/AR技术、神经生理学和神经心理学，观察SZ内表型生物标记物，则能够提高诊断的准确性；此外还能为精神病患者的护理做出更科学合理的指导，从而减轻精神类疾病患者的心理痛苦和家庭负担。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，所述系统包括患者终端装置和医生终端装置，患者终端装置收集相关生理、心理信息并通过互联网与医生终端装置相连，并将所得信号传输到医生终端装置；
所述患者终端装置包括生理参数监测模块、VR/AR交互模块及数据采集处理模块，其中，所述VR/AR交互模块包括声形展示模块、交互控制模块、行为提示模块，通过VR虚拟现实技术和AR增强现实技术给使用者进行特定场景展示，诱导使用者产生特殊行为和情绪波动；所述生理参数监测模块，用于实时获取使用者包括脑电、血氧、血压、体温在内的生理参数信息，并利用数据采集处理模块对生理参数信息进行同步处理及汇总；所述数据采集处理模块随后将整合后信息传送至医生终端装置；
所述数据采集处理模块对接收到的脑电信息使用小波变换进行滤波去噪处理，然后采用时频分析和非线性时间序列分析对预处理后的脑电信息进行特征分析和刻画，具体包括：
1)运用相关维数方法进行非线性脑电信号分析，刻画神经系统的功能及结构变化；
2)运用Lempel-Ziv复杂度算法得到大脑处于不同功能状态时不同脑区的复杂度；
3)运用最大Lyapunov指数反映大脑混沌系统的混沌程度；
所述数据采集处理模块将原始脑电、心电信号数据进行滤波、去噪预处理后，对数据进行时频分析和非线性序列分析，即用已知的时间序列和延迟嵌入理论重构动力学系统的状态空间，并在此状态空间中进行特征分析和刻画；
然后，所述数据采集处理模块进行数据整合，将摄像头采集的使用者行为、表情信息，和所构建虚拟场景进行融合渲染，最终将整合后的场景展示在医生终端装置的显示模块上；
所述医生终端装置包括真实场景采集模块、通信与控制模块、跟踪模块和显示模块，其中，所述真实场景采集模块利用摄像头获取真实场景图像，所述跟踪模块利用3Gear服务器获取躯体动作和面部表情跟踪信息，所述通信与控制模块收集汇总所有信息，利用处理器在客户端进行虚拟场景融合、渲染，最终通过所述显示模块展现出使用者的各项指标及行为互动方式，从而完成辅助诊断，并生成相应的护理指导建议，反馈至患者终端装置；
其中，展示的虚拟场景及互动内容是根据精神类疾病的不同来选取的；通过神经生理学、神经心理学和/或特殊场景展示为主要方向，结合使用者的生理参数变化确定实时展示内容；
神经生理学方面基于对感觉整合、运动控制及抑制功能的缺陷的检测和神经系统软体征常用量表评估，所述神经系统软体征常用量表包括Woods量表、简明神经学检查量表、改良量化神经学量表、海德堡量表、剑桥神经病学目录分量表、神经软体征量表、简明运动量表和神经功能评估量表；
神经心理学方面针对持续性注意、言语记忆和工作记忆方面，通过持续反应测试、韦氏记忆量表中的逻辑记忆和加州言语学习测试、空间延迟反应、空间广度的顺序记忆、自我定序的指向和数字字母排序进行评估；
特殊场景展示方面基于精神分裂症患者在情感淡漠、社会功能退缩相关场景；或抑郁症在情绪敏感多疑相关场景；通过与上述症状相关的生活场景再现和社会活动模拟，通过VR/AR技术使使用者获得沉浸式体验，得到真实症状表现。
2.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，所述生理参数监测模块包括脑电及血氧检测模块、血压检测模块和体温检测模块，其中，所述脑电及血氧检测模块包括NIRS-EEG检测单元、超低功耗控制单元、状态提示单元、蓝牙通讯单元、按键输入单元以及电源供电单元，所述超低功耗控制单元分别与NIRS-EEG检测单元、状态提示单元和蓝牙通讯单元相连，通过SPI接口与脑电检测单元进行数据指令通信，通过UART串口通讯协议与蓝牙通讯单元进行数据传输通信，蓝牙通讯单元将接收到的数据发送到数据采集处理模块进行整合；其中，所述血压检测模块包括压力传感器、滤波及预处理电路模块、中心处理器STM32、气泵电机、电磁阀和袖带；其中，所述体温检测模块采用接触式的数字体温计，由NTC热敏电阻电桥作为检测元件，在检测元件上搭建放大电路，检测到的电阻阻值通过蓝牙传输到数据采集处理模块，利用数据采集处理模块对数值进行A/D转换操作得到相应生理参数信息。
3.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，所述声形展示模块包括控制虚拟环境的背景声音与使用者与系统的交互提示音，基于OpenGL、Direct3D软件构建的模型数据文件，以及虚拟现实开发展示系统EON；所述交互控制模块通过得到使用者的行为习惯和生理参数后，将信息及时反馈给使用者；所述行为提示模块给与使用者一定的提示作为行动的导引或反馈。
4.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，
所述VR/AR交互模块采用kinect深度摄像头记录使用者躯体动作和面部表情，采用高清摄像头对使用者场景进行高清RGB图像的采集，采用基于红外LED(IRED)的高分辨率摄像传感器用于进行实时眼动追踪，最后将虚拟物体渲染至捕捉的场景中，展示在医生终端装置的显示模块上。
5.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，
所述医生终端装置采用C/S架构，在C/S架构的功能模块中，服务器端采用3Gear系统的后台服务器，用来提供躯体动作、面部情绪的实时跟踪数据；客户端用于注册、虚实融合以及虚实交互；底层接口提供对各种硬件设备进行调用的接口函数；
使用OpenGL技术实现对虚拟场景的渲染，使用OpenNI以及KinectAPI完成对Kinect设备的调用，使用OpenCV以实现对高清摄像头所采集数据的处理。
6.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，所述医生终端装置的服务器端采用压缩感知理论和归一化互相关算法，并将跟踪与检测算法融合，优化摄像头对患者躯体动作、面部表情的长时间跟踪。
7.根据权利要求1所述的基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统，其特征在于，所述医生终端装置的服务器端采用子空间分析方法中的主成分分析法，基于集合特征的人脸特征点提取，采用弹性图匹配法获得人脸特征，并利用人脸的几何特征对人脸及其面部特征进行检测，捕捉使用者在体验互动内容和虚拟场景时的面部情绪变化，并将这种变化量化后进行记录和存储。
CN201811171724.7A 2018-10-09 2018-10-09 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 Active CN109215804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811171724.7A CN109215804B (zh) 2018-10-09 2018-10-09 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811171724.7A CN109215804B (zh) 2018-10-09 2018-10-09 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统

Publications (2)

Publication Number Publication Date
CN109215804A CN109215804A (zh) 2019-01-15
CN109215804B true CN109215804B (zh) 2023-10-31

Family

ID=64983189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811171724.7A Active CN109215804B (zh) 2018-10-09 2018-10-09 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统

Country Status (1)

Country Link
CN (1) CN109215804B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512385A (zh) * 2017-10-10 2019-03-26 成都探高医药科技有限公司 虚拟现实场景评估、改善勃起功能及性交表现的系统
CN110096004A (zh) * 2019-04-01 2019-08-06 国网辽宁省电力有限公司电力科学研究院 一种基于压缩感知的舞动监测系统
CN110096145A (zh) * 2019-04-11 2019-08-06 湖北大学 基于混合现实和神经网络的心理状态显示方法及装置
CN110942812A (zh) * 2019-04-24 2020-03-31 上海大学 自动化认知功能评估系统
CN110101519B (zh) * 2019-05-08 2020-12-01 解涛 一种多功能血管神经外科用vr护理病床
CN110610754A (zh) * 2019-08-16 2019-12-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种沉浸式可穿戴诊断与治疗装置
CN110507334A (zh) * 2019-08-21 2019-11-29 珠海学之渔心理咨询有限公司 一种成人心理评测方法
CN110507297A (zh) * 2019-08-30 2019-11-29 深圳市汇健医疗工程有限公司 基于5g网络的手术中心智慧手术干预平台
CN110795017B (zh) * 2019-09-27 2021-09-21 深圳市海雀科技有限公司 一种虚拟按钮控制方法及其相关产品
CN110801237B (zh) * 2019-11-10 2022-11-11 中科搏锐（北京）科技有限公司 一种基于眼动和脑电特征的认知能力评估系统
CN111312009A (zh) * 2020-05-11 2020-06-19 成都泰盟软件有限公司 虚实结合的人体生理实验系统
CN112133408A (zh) * 2020-09-28 2020-12-25 安徽徽韵心理咨询有限公司 一种基于vr技术的心理训练互动系统及训练方法
CN112274112B (zh) * 2020-11-03 2023-05-30 深圳市艾利特医疗科技有限公司 基于运动状态的神经功能检测系统、方法、装置、设备及存储介质
CN113160930A (zh) * 2021-04-08 2021-07-23 广东省人民医院 基于vr的帕金森病轻度认知障碍的诊断康复系统及方法
CN113539430A (zh) * 2021-07-02 2021-10-22 广东省人民医院 基于沉浸式vr的帕金森病抑郁认知行为治疗系统
CN116153515A (zh) * 2023-03-07 2023-05-23 山东第一医科大学附属省立医院(山东省立医院) 基于问诊信息的心血管患者心理状况评价方法及系统
CN116594511B (zh) * 2023-07-17 2023-11-07 天安星控(北京)科技有限责任公司 基于虚拟现实的场景体验方法、装置、计算机设备和介质
CN116994718B (zh) * 2023-09-28 2023-12-01 南京元域绿洲科技有限公司 一种基于vr技术的精神障碍辅助治疗方法
CN117243569B (zh) * 2023-10-12 2024-05-07 国家康复辅具研究中心 一种基于多源信息融合的认知功能评估方法和系统
CN118034504B (zh) * 2024-04-11 2024-07-12 江西科技学院 脑电数据交互方法、系统及存储介质
CN118477246B (zh) * 2024-07-12 2024-09-20 中国人民解放军总医院 一种基于虚拟现实的心理减压系统及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287706A (zh) * 2014-10-29 2015-01-21 云南大学 一种人体健康状态实时监测及诊疗推荐系统
CN105852831A (zh) * 2016-05-10 2016-08-17 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN105975780A (zh) * 2016-05-10 2016-09-28 华南理工大学 一种基于虚拟现实交互技术的机器问诊系统
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
CN108334735A (zh) * 2017-09-18 2018-07-27 华南理工大学 基于迷你独立空间的智能心理评估与辅导系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002343194A1 (en) * 2001-11-20 2003-06-10 Avi Peled System and method for diagnosis of mental disorders

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287706A (zh) * 2014-10-29 2015-01-21 云南大学 一种人体健康状态实时监测及诊疗推荐系统
CN105852831A (zh) * 2016-05-10 2016-08-17 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN105975780A (zh) * 2016-05-10 2016-09-28 华南理工大学 一种基于虚拟现实交互技术的机器问诊系统
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
CN108334735A (zh) * 2017-09-18 2018-07-27 华南理工大学 基于迷你独立空间的智能心理评估与辅导系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
云端融合的神经系统疾病多通道辅助诊断研究;李洋 等;《中国科学:信息科学》;20170905;第47卷(第09期);第42-60页 *
虚拟现实技术及其在现代医学中的应用;杨轶璐 等;《信息与控制》;20030630;第32卷(第3期);第0251-0255页 *

Also Published As

Publication number Publication date
CN109215804A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109215804B (zh) 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
Ergan et al. Quantifying human experience in architectural spaces with integrated virtual reality and body sensor networks
US20210085180A1 (en) Computational User-Health Testing
Jyotsna et al. Eye gaze as an indicator for stress level analysis in students
JP5926210B2 (ja) 自閉症診断支援システム及び自閉症診断支援装置
Anusha et al. Physiological signal based work stress detection using unobtrusive sensors
US20190239791A1 (en) System and method to evaluate and predict mental condition
KR20190005219A (ko) 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
Kuwahara et al. Eye fatigue estimation using blink detection based on Eye Aspect Ratio Mapping (EARM)
JP2009508553A (ja) 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
CN110650685B (zh) 评估人的心理生理状态的方法
WO2004091371A2 (en) Determining a psychological state of a subject
CN113520395A (zh) 一种精神状态的实时评估系统和方法
WO2008143908A2 (en) Computational user-health testing
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
JP2002253509A (ja) 脳機能検査方法とその装置、脳機能検査システム、脳機能検査サービス方法及びそのプログラムと装置
Tsai et al. Vision-based instant measurement system for driver fatigue monitoring
US10786191B2 (en) System and method for supporting of neurological state assessment and for supporting neurological rehabilitation, especially within cognitive and/or speech dysfunction
JP2024512045A (ja) メンタルヘルスを診断および監視するための視覚システム
Torregrossa et al. Decoupling of spontaneous facial mimicry from emotion recognition in schizophrenia
Lamti et al. When mental fatigue maybe characterized by Event Related Potential (P300) during virtual wheelchair navigation
US20230404452A1 (en) Apparatus for determining and/or assess depression severity of a patient
US20230404451A1 (en) Sightline-position determination device, sightline-position determination method, and training method
Bekele et al. Responses during facial emotional expression recognition tasks using virtual reality and static IAPS pictures for adults with schizophrenia
Sundaravadivel et al. Solicitudesavvy: An iot-based edge intelligent framework for monitoring anxiety in real-time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant