CN105852831A - 一种基于虚拟现实交互技术与脑功能实时监测技术的设备 - Google Patents

一种基于虚拟现实交互技术与脑功能实时监测技术的设备 Download PDF

Info

Publication number
CN105852831A
CN105852831A CN201610304124.8A CN201610304124A CN105852831A CN 105852831 A CN105852831 A CN 105852831A CN 201610304124 A CN201610304124 A CN 201610304124A CN 105852831 A CN105852831 A CN 105852831A
Authority
CN
China
Prior art keywords
data
virtual reality
module
user
physiology sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610304124.8A
Other languages
English (en)
Inventor
徐向民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610304124.8A priority Critical patent/CN105852831A/zh
Publication of CN105852831A publication Critical patent/CN105852831A/zh
Priority to PCT/CN2016/111388 priority patent/WO2017193589A1/zh
Priority to US15/735,067 priority patent/US20180177426A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Business, Economics & Management (AREA)
  • Hematology (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供基于虚拟现实交互技术与脑功能实时监测技术的设备，它涉及医疗领域、智能设备领域，它包含虚拟现实交互模块、人体数据采集模块、数据同步模块、数据处理分析控制模块。虚拟现实交互模块负责提供特定的虚拟现实内容诱发使用者的特定情绪并采集使用者与虚拟现实模块的交互行为数据，人体数据采集模块负责采集使用者的生理体征数据，数据同步模块对实时采集的生理体征数据和交互行为数据进行同步处理，数据处理分析控制模块负责对原始的生理体征数据进行分析处理，结合大数据技术最终得到使用者的脑功能健康状态。本发明操作方便、灵活，便于科研也可用于使用者自评，有利于节约医疗资源，提高诊疗水平。

Description

一种基于虚拟现实交互技术与脑功能实时监测技术的设备
技术领域
本发明涉及医疗领域、智能设备领域，具体涉及基于虚拟现实交互技术与脑功能实时监测技术的设备。
背景技术
虚拟现实交互技术在近年来得到快速发展，它给使用者沉浸式的体验，并且具有除视觉感知之外，还具备听觉感知、触觉感知、运动感知，甚至还包括味觉、嗅觉、感知等。理想的虚拟现实应该具有一切人所具有的感知功能。虚拟现实技术不仅仅用在娱乐方面，在医疗方面也具有较高的价值，已有多个团队利用虚拟现实技术在医疗方面做了尝试。
人类对脑科学的研究一直没有停止过，但由于人脑的复杂使得研究有一定的困难。而且随着社会的快速发展，人们承受的压力也越来越大，各种精神心理问题困扰着越来越多的人，但人们缺少手段去认识到自身更为内在的健康状态，其中就包括脑功能的健康状态，等到发现时病状已经较为严重了。
虚拟现实交互技术为人类脑科学研究提供了新的手段和方法，本发明将虚拟现实交互技术应用到脑功能监测与研究方面，使用者能够使用本发明对个人的脑功能健康状态进行监测，并且在精神疾病的诊疗过程中，本发明能够提供更为客观的数据和辅助信息，而在脑科学研究发面，本发明也提供了新的研究手段。
发明内容
本发明的目的是提供一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其通过虚拟现实交互技术给使用者提供特定的虚拟现实内容诱发情绪波动，采集其交互行为数据和脑电波脑血流等生理体征数据并进行数据处理分析，分析得到使用者的反馈效果。该设备可以给使用者提供脑功能相关的数据和脑功能的健康状况评估结果，便于长期记录与观察，实现脑功能的监测。
本发明所采用的技术方案如下。
一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其包括虚拟现实交互模块、人体数据采集模块、数据同步模块、数据处理分析控制模块；
虚拟现实交互模块，提供虚拟现实内容诱发使用者的情绪变化，同时采集使用者的交互行为数据并将采集到的数据发送到数据同步模块；
人体数据采集模块，采集使用者实时的生理体征数据，并将采集到的数据发送到数据同步模块；
数据同步模块，对使用者实时的交互行为数据和生理体征数据进行同步处理，并将同步后的数据发送到数据处理分析控制模块；
数据处理分析控制模块，对原始的生理体征数据进行处理，并将生理体征数据、交互行为数据与正常的数据进行对比分析，根据对比分析的相似程度得到使用者大脑对当前虚拟现实内容的反应状态，并控制虚拟现实交互模块呈现新的虚拟现实内容，诱发使用者的情绪变化进入下一轮检测，依此循环直到所提供的所有虚拟现实内容测试完毕；所述正常的数据是指正常人群在接受相同虚拟现实内容影响时的生理体征数据和交互行为数据。
进一步地，所述交互行为数据包括眼部动作、头部动作、语音或手部动作。
进一步地，人体数据采集模块采集的生理体征数据包括脑电波、脑血流、脉搏、心电或肌电生理体征数据。
进一步地，数据处理分析控制模块对原始的生理体征数据的处理包括抽样、量化、编码、滤波或格式统一。
其中虚拟现实交互模块能为使用者提供沉浸式体验，它具有包括但不限于虚拟现实内容显示功能，交互行为监测功能。该模块能为使用者提供特定虚拟现实交互内容并诱发使用者产生特定的情绪波动。在交互过程中，使用者的交互行为数据将会被采集，其中包括但不仅限于眼部动作、头部动作、语音、手部动作。
人体数据采集模块实时采集使用者在与虚拟现实交互模块交互时的生理体征数据，包括但不限于脑电波、脑血流、脉搏、心电、肌电等生理体征数据。
数据同步模块为所实时采集的生理体征数据和实时采集的交互行为数据提供数据同步服务，将数据交由数据处理分析控制模块。
数据处理分析控制模块具有包括但不限于数据处理功能，数据分析功能，虚拟现实交互模块控制功能。该模块对接受到的经过同步处理后的生理体征数据和交互行为数据进行数据处理，其中处理内容包括但不限于抽样、量化、编码、滤波、格式统一。该模块对将采集到的生理体征数据与预期的正常数据（正常人群在接受相同虚拟现实内容影响时的生理体征数据）作对比分析，并且同时分析交互行为数据，两者结合分析使用者的脑功能状态。在使用者使用该设备时，该模块会根据使用者的生理体征数据变化状态以及交互数据控制虚拟现实交互内容。
基于虚拟现实交互技术与脑功能实时监测技术的设备可与本地服务器或远程服务器进行通信，实现数据存储、数据分析、结果展示，远程控制等功能，医生可以远程为使用者提供医疗服务。
与现有技术相比，本发明至少包括以下有益之处：
本发明提供一种方便使用的脑功能监测设备，适用于家庭与医院，借助虚拟现实交互技术给予使用者沉浸式体验，使使用者接受人为的精神影响并产生特定的情绪，这些可控的影响与可预期的情绪波动，提供了对脑功能监测的新方法。本设备使用简单，普通使用者可以使用该设备对自身做脑功能的健康监测，有利于人们深入了解个人的健康状况，而在医疗诊疗方面，该设备有助于精神心理问题的诊断及康复，可以提高诊断的准确性，同时节约医疗资源，提高诊疗水平，有助于形成诊疗标准与指南，让精神疾病的诊疗更加标准，更加规范。而在脑科学研究反面，该设备提供了新的研究方法，有利于找到相关标志物及相关机制，进而提高被观察者健康改善的效果。
附图说明
图1为实施例中一种基于虚拟现实交互技术与脑功能实时监测技术的设备。
具体实施方式
以下结合附图对本发明的具体实施作进一步说明。
如图1，基于虚拟现实交互技术与脑功能实时监测技术的设备，主要包括4个模块:虚拟现实交互模块、人体数据采集模块、数据同步模块以及数据处理分析控制模块。
虚拟现实交互模块至少具备虚拟现实内容显示功能以及交互行为监测功能，使用者需在保证安全的情况下佩戴本设备，佩戴完成后，虚拟现实交互模块即可在使用者或者医生的控制下提供特定的虚拟现实内容，通过沉浸式虚拟现实交互内容诱发使用者产生特定的情绪波动，其中由于本设备支持连接远程服务器，因此本设备的控制者可以是远程控制的医生。使用者在整个交互过程中，虚拟现实交互模块会对使用者所有的交互行为进行监测，并采集交互行为数据，其中交互行为数据包括但不限于眼部动作、头部动作、语音、手部动作。
在使用者与虚拟现实交互内容进行交互的过程中，生理体征数据采集模块也在实时采集使用者的生理体征数据，其中包括但不仅限于脑电波、脑血流、脉搏、心电、肌电，以用来分析使用者的情绪波动情况。
由于生理体征数据与交互行为数据都是实时采集的，并且交互行为与生理体征数据的变化有着一定的联系，因此两种数据的同步处理也是该设备的关键环节。数据同步模块同时接受所采集的生理体征数据和交互行为数据，并对两者做同步处理便于随后的处理分析。
同步后的生理体征数据与交互行为数据交由数据处理分析控制模块。数据处理分析控制模块具有包括但不限于数据处理功能，数据分析功能，虚拟现实交互模块控制功能。该模块对生理体征数据和交互行为数据进行数据处理，其中处理内容包括但不限于抽样、量化、编码、滤波、格式统一。数据处理之后，该模块将采集到的生理体征数据与预期的正常数据（正常人群在接受相同虚拟现实内容影响时的生理体征数据）作对比，分析数据的差异性，并且同时分析交互行为数据，结合两者分析使用者的脑功能状态。本设备的可交互性还体现在使用者的生理体征数据与交互行为数据的分析结果会对虚拟现实交互内容产生影响，在使用者使用本设备时，该模块会根据使用者的生理体征数据及交互数据的分析结果控制虚拟现实交互内容。
本设备可与服务器连接（服务器可以是本地服务器也可以是远程服务器），数据与分析结果都可以储存在服务器中，服务器也可控制本设备的运行。本设备具备连接远程服务器的能力，这也让远程医疗成为可能，医生可以远程观察使用者的状态，为使用者提供医疗服务。

Claims (4)

1.一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其特征在于：包括虚拟现实交互模块、人体数据采集模块、数据同步模块、数据处理分析控制模块；
虚拟现实交互模块，提供虚拟现实内容诱发使用者的情绪变化，同时采集使用者的交互行为数据并将采集到的数据发送到数据同步模块；
人体数据采集模块，采集使用者实时的生理体征数据，并将采集到的数据发送到数据同步模块；
数据同步模块，对使用者实时的交互行为数据和生理体征数据进行同步处理，并将同步后的数据发送到数据处理分析控制模块；
数据处理分析控制模块，对原始的生理体征数据进行处理，并将生理体征数据、交互行为数据与正常的数据进行对比分析，根据对比分析的相似程度得到使用者大脑对当前虚拟现实内容的反应状态，并控制虚拟现实交互模块呈现新的虚拟现实内容，诱发使用者的情绪变化进入下一轮检测，依此循环直到所提供的所有虚拟现实内容测试完毕；所述正常的数据是指正常人群在接受相同虚拟现实内容影响时的生理体征数据和交互行为数据。
2.根据权利要求1所述的一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其特征在于所述交互行为数据包括眼部动作、头部动作、语音或手部动作。
3.根据权利要求1所述的一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其特征在于人体数据采集模块采集的生理体征数据包括脑电波、脑血流、脉搏、心电或肌电生理体征数据。
4.根据权利要求1所述的一种基于虚拟现实交互技术与脑功能实时监测技术的设备，其特征在于数据处理分析控制模块对原始的生理体征数据的处理包括抽样、量化、编码、滤波或格式统一。
CN201610304124.8A 2016-05-10 2016-05-10 一种基于虚拟现实交互技术与脑功能实时监测技术的设备 Pending CN105852831A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610304124.8A CN105852831A (zh) 2016-05-10 2016-05-10 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
PCT/CN2016/111388 WO2017193589A1 (zh) 2016-05-10 2016-12-21 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
US15/735,067 US20180177426A1 (en) 2016-05-10 2016-12-21 Device Based on Virtual Reality Interactive Technology and Real-time Monitoring Technology of Brain Function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610304124.8A CN105852831A (zh) 2016-05-10 2016-05-10 一种基于虚拟现实交互技术与脑功能实时监测技术的设备

Publications (1)

Publication Number Publication Date
CN105852831A true CN105852831A (zh) 2016-08-17

Family

ID=56630627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610304124.8A Pending CN105852831A (zh) 2016-05-10 2016-05-10 一种基于虚拟现实交互技术与脑功能实时监测技术的设备

Country Status (3)

Country Link
US (1) US20180177426A1 (zh)
CN (1) CN105852831A (zh)
WO (1) WO2017193589A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355010A (zh) * 2016-08-30 2017-01-25 深圳市臻络科技有限公司 一种自助认知评估的装置和方法
CN107123019A (zh) * 2017-03-28 2017-09-01 华南理工大学 一种基于生理数据与情绪识别的vr购物推荐系统及方法
CN107248356A (zh) * 2017-07-11 2017-10-13 李家美 失语者智能语音系统（无听力障碍）
WO2017193589A1 (zh) * 2016-05-10 2017-11-16 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN108281190A (zh) * 2018-02-07 2018-07-13 苏州中科先进技术研究院有限公司 一种用于康复辅助的系统、及其康复辅助方法和装置
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
CN109215804A (zh) * 2018-10-09 2019-01-15 华南理工大学 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
CN109621151A (zh) * 2018-12-12 2019-04-16 上海玺翎智能科技有限公司 一种虚拟现实vr+听觉统合治疗儿童自闭症及评估方法
CN110008874A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 数据处理方法及其装置、计算机系统及可读介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI589274B (zh) * 2016-07-05 2017-07-01 da-quan Ye 心理臨床應用的虛擬實境系統
CN109116744A (zh) * 2018-08-03 2019-01-01 徐州迈步网络科技有限公司 一种智能家居系统
CN110192861A (zh) * 2019-06-14 2019-09-03 广州医科大学附属肿瘤医院 一种智能辅助脑功能实时检测系统
US11562661B2 (en) 2021-01-14 2023-01-24 Sheila Hall Absolute teaching device
CN114399290A (zh) * 2022-01-19 2022-04-26 贵州东彩供应链科技有限公司 一种基于物联网平台实现动物体征数据分析与监管系统
CN114640699B (zh) * 2022-02-17 2023-06-20 华南理工大学 基于vr角色扮演游戏交互的情绪诱发监测系统
CN118266928B (zh) * 2024-05-31 2024-08-27 杭州虚之实科技有限公司 一种用于虚拟现实的眼动数据采集与分析一体化系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120208A1 (en) * 2001-02-23 2002-08-29 Sun-Il Kim System and method of providing service for enhancing attention on internet
US20020128540A1 (en) * 2001-02-23 2002-09-12 Sun-Il Kim System and method of correlating virtual reality with biofeedback for enhancing attention
US20120190968A1 (en) * 2007-05-09 2012-07-26 Oregon Health & Science University Object recognition testing tools and techniques for measuring cognitive ability and cognitive impairment
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065468A1 (en) * 2006-09-07 2008-03-13 Charles John Berg Methods for Measuring Emotive Response and Selection Preference
US8392250B2 (en) * 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Neuro-response evaluated stimulus in virtual reality environments
CN102184661B (zh) * 2011-03-17 2012-12-12 南京大学 儿童孤独症语言训练系统及基于物联网的集中训练中心
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
CN203480511U (zh) * 2013-08-07 2014-03-12 青岛赛博凯尔信息技术有限公司 社交恐惧症虚拟现实治疗系统
CN104392110A (zh) * 2014-11-04 2015-03-04 宝鸡数字人信息科技有限公司 人体生理数据可视化监测、分析和评估方法和系统
CN105852831A (zh) * 2016-05-10 2016-08-17 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120208A1 (en) * 2001-02-23 2002-08-29 Sun-Il Kim System and method of providing service for enhancing attention on internet
US20020128540A1 (en) * 2001-02-23 2002-09-12 Sun-Il Kim System and method of correlating virtual reality with biofeedback for enhancing attention
US20120190968A1 (en) * 2007-05-09 2012-07-26 Oregon Health & Science University Object recognition testing tools and techniques for measuring cognitive ability and cognitive impairment
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193589A1 (zh) * 2016-05-10 2017-11-16 华南理工大学 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN106355010A (zh) * 2016-08-30 2017-01-25 深圳市臻络科技有限公司 一种自助认知评估的装置和方法
CN107123019A (zh) * 2017-03-28 2017-09-01 华南理工大学 一种基于生理数据与情绪识别的vr购物推荐系统及方法
CN107248356A (zh) * 2017-07-11 2017-10-13 李家美 失语者智能语音系统（无听力障碍）
CN108281190A (zh) * 2018-02-07 2018-07-13 苏州中科先进技术研究院有限公司 一种用于康复辅助的系统、及其康复辅助方法和装置
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
CN109215804A (zh) * 2018-10-09 2019-01-15 华南理工大学 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
CN109215804B (zh) * 2018-10-09 2023-10-31 华南理工大学 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统
CN109621151A (zh) * 2018-12-12 2019-04-16 上海玺翎智能科技有限公司 一种虚拟现实vr+听觉统合治疗儿童自闭症及评估方法
CN110008874A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 数据处理方法及其装置、计算机系统及可读介质

Also Published As

Publication number Publication date
US20180177426A1 (en) 2018-06-28
WO2017193589A1 (zh) 2017-11-16

Similar Documents

Publication Publication Date Title
CN105852831A (zh) 一种基于虚拟现实交互技术与脑功能实时监测技术的设备
CN106726030B (zh) 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN105893780B (zh) 基于vr交互与脑电波及脑血流监测的精神心理评估方法
CN104902806B (zh) 神经病理的评估系统及方法
CN106407733A (zh) 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法
Peterson et al. A penalized time-frequency band feature selection and classification procedure for improved motor intention decoding in multichannel EEG
CN106419864A (zh) 中医诊断云端专家系统
CN110059575A (zh) 一种基于表面肌电唇语识别的辅助沟通系统
CN109065162A (zh) 一种综合性智能化诊断系统
EP2884890A1 (en) Method for detection of an abnormal sleep pattern in a person
Zhao et al. An IoT-based wearable system using accelerometers and machine learning for fetal movement monitoring
Liu et al. eBPlatform: An IoT-based system for NCD patients homecare in China
Rattanyu et al. Emotion monitoring from physiological signals for service robots in the living space
CN110123283A (zh) 一种远程中医切脉系统
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Katona et al. Control of incoming calls by a windows phone based brain computer interface
US20220000426A1 (en) Multi-modal brain-computer interface based system and method
CN112328072A (zh) 一种基于脑电和眼电的多模态字符输入系统及方法
CN111415759A (zh) 基于问诊的中医预诊机器人的人机交互方法及系统
CN110610754A (zh) 一种沉浸式可穿戴诊断与治疗装置
Li et al. Multi-modal emotion recognition based on deep learning of EEG and audio signals
CN105997019B (zh) 基于体感网的多维心跳信息同步采集方法与系统
CN109727670A (zh) 一种智能中风康复监护方法和系统
Ferrez et al. EEG-based brain-computer interaction: Improved accuracy by automatic single-trial error detection
Simon et al. A wireless, wearable Brain-Computer Interface for neurorehabilitation at home; A feasibility study

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817