CN109585021A - 基于全息投影技术的精神状态评估系统及其工作方法 - Google Patents

基于全息投影技术的精神状态评估系统及其工作方法 Download PDF

Info

Publication number
CN109585021A
CN109585021A CN201811431013.9A CN201811431013A CN109585021A CN 109585021 A CN109585021 A CN 109585021A CN 201811431013 A CN201811431013 A CN 201811431013A CN 109585021 A CN109585021 A CN 109585021A
Authority
CN
China
Prior art keywords
line holographic
holographic projections
state
mind
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811431013.9A
Other languages
English (en)
Other versions
CN109585021B (zh
Inventor
张通
贾雪
徐向民
陈俊龙
胡斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811431013.9A priority Critical patent/CN109585021B/zh
Publication of CN109585021A publication Critical patent/CN109585021A/zh
Application granted granted Critical
Publication of CN109585021B publication Critical patent/CN109585021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种基于全息投影技术的精神状态评估系统，其特征在于：包括：用于将全息投影场景库中场景源文件进行全息投影的全息投影设备；用于播放音频库中音频源文件的音频播放模块；用于采集被试者生理信号，并将生理信号向外发送的生理信号采集模块；以及用于接收生理信号采集模块发送的生理信号，并采用动态图卷积神经网络算法结合宽度学习系统对生理信号进行情绪识别和精神状态评估，得到精神状态评估结果的精神状态评估模块。该系统对情绪刺激更加准确和强烈，可提高精神状态评估准确度。本发明还提供一种上述精神状态评估系统的工作方法，该方法对情绪刺激更加准确和强烈，精神状态评估准确程度高。

Description

基于全息投影技术的精神状态评估系统及其工作方法
技术领域
本发明涉及精神状态评估技术领域，更具体地说，涉及一种基于全息投影技术的精神状态评估系统及其工作方法。
背景技术
现有的情绪刺激方法主要是通过图片、视频等来刺激人的情绪，比如通过展示一些令人惊讶的图片来刺激被试者的吃惊情绪，通过播放恐怖电影片段来刺激人的恐怖情绪等。但是这样的刺激方法不能提供很好的沉浸氛围，而且被试者不容易快速进入状态，还可能会出现走神的情况，使得采集的脑电不准确。
全息投影技术是利用干涉和衍射原理记录并再现物体真实的三维图像的记录和再现的技术。其第一步是利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。但是目前全息投影技术并没有应用于场景刺激和精神状态评估技术领域上。
现有的精神状态评估系统大多通过采集人体的生理信号，如脑电、皮电、肌电、心率等信号来对人的情绪进行分析，从而实现对精神状态的评估。但是现有的基于脑电的精神状态评估系统是通过电极采集脑电信号，然后用短时傅里叶变换、主成分分析等算法进行数据处理，提取数据特征，在不同频段对情绪进行识别，但是该算法提取的特征应用于情绪识别时效果并不好。
发明内容
为克服现有技术中的缺点与不足，本发明的一个目的在于提供一种基于全息投影技术、对情绪刺激更加准确和强烈、精神状态评估准确程度高的精神状态评估系统。本发明的另一个目的在于提供一种上述精神状态评估系统的工作方法，该方法对情绪刺激更加准确和强烈，精神状态评估准确程度高。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于全息投影技术的精神状态评估系统，其特征在于：包括：
用于将全息投影场景库中场景源文件进行全息投影的全息投影设备；
用于播放音频库中音频源文件的音频播放模块；
用于采集被试者生理信号，并将生理信号向外发送的生理信号采集模块；
以及用于接收生理信号采集模块发送的生理信号，并采用动态图卷积神经网络算法结合宽度学习系统对生理信号进行情绪识别和精神状态评估，得到精神状态评估结果的精神状态评估模块。
一种上述精神状态评估系统的工作方法，其特征在于：包括如下步骤：
S1步，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激；同时音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激；
S2步，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块；生理信号包括脑电信号、心率信号、肌电信号、皮电信号、面部表情信号和语音信号中的任一项或两项以上；
S3步，精神状态评估模块对生理信号进行预处理，并采用动态图卷积神经网络算法结合宽度学习系统进行特征提取和情绪识别，对被试者的精神状态进行评估。
优选地，在S1步之前，还包括S0步：被试者通过语音、手势、面部识别、触屏和体感中的任一种或两种以上方式与全息投影设备进行交互，向全息投影设备发出指令。
优选地，S0步中，被试者通过语音与全息投影设备进行交互，是指：采用语音收集器采集被试者的语音信号，将语音信号传至语音控制模块，语音控制模块先对语音信号进行降噪预处理；然后提取MFCC特征，进行语音识别，并进行语法分析，实现语义理解；之后根据语义理解生成和执行相应指令；同时在语库中搜索相应回答，并进行语音合成操作，最后通过扬声器向人发出声音；
被试者通过手势与全息投影设备进行交互，是指：采用摄像头采集被试者的手势图像，手势控制模块先对采集的手势图像进行预处理，包括手势分割、手势跟踪、误差补偿和滤波；然后提取手势的形状和运动特征，运动特征包括LBP特征、Haar特征和Hog特征中的一项或两项以上，然后采用Adaboost算法训练分类器，进行手势识别得出识别结果；之后针对识别结果生成和执行相应指令。
优选地，所述S1步中，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激，是指：全息投影设备设有全息投影场景库，全息投影场景库储存有若干与情绪相关联的场景源文件，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激。
优选地，所述S1步中，音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激，是指：音频播放模块设有播放音频库，播放音频库储存有与虚拟三维全息投影影像相对应的音频源文件；音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件通过扬声器和/或骨传导耳机进行播放，对人进行听觉刺激。
优选地，所述S2步中，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块，是指：生理信号为脑电信号，生理信号采集模块采集被试者的脑电信号，并发送至精神状态评估模块；
所述S3步中，精神状态评估模块对生理信号进行预处理、特征提取和情绪识别，对被试者的精神状态进行评估，是指：采用独立成分分析算法和主成分分析算法去除脑电信号中的眼电、心电、电磁干扰伪迹以实现预处理；采用动态图卷积神经网络算法来提取脑电信号的特征，将脑电信号映射到特征空间，然后在特征空间中采用宽度学习系统作为分类器，将脑电信号进行情绪分类识别，得到各个情绪类别的强度值；根据各个情绪类别的强度值评估被试者的精神状态。
优选地，所述情绪类别包括疲劳、抑郁、沮丧和无聊；根据各个情绪类别的强度值评估被试者的精神状态，是指：设定疲劳正常值、抑郁正常值、沮丧正常值和无聊正常值，分别判断疲劳强度值与疲劳正常值的比值、抑郁强度值与抑郁正常值的比值、沮丧强度值与沮丧正常值的比值和无聊强度值与无聊正常值来评估被试者的精神状态。
优选地，在所述S3步之后还包括S4步：精神状态评估模块将评估结果和生理信号通过WiFi模块以无线通信方式发送至云平台进行管理和存储。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明系统在被试者接受刺激状态下采集生理信号，检测和评估被试者的精神状态，如疲劳、抑郁等；实现便捷，精神状态评估准确程度高；
2、传统的情绪刺激多是采用图片或者视频，被试者不容易快速进入状态，而且可能会出现走神的情况，使得采集的脑电信号不准确；本发明设计与情绪相关联的全息投影场景，利用全息投影技术的干涉和衍射原理记录并再现物体真实的三维图像，而且从人眼对物体深度感在生理上的心理暗示加以考虑，生成更加逼真的立体三维图像，让人有更加沉浸式的体验，对情绪的刺激也更加准确和强烈；
3、本发明在精神状态评估模块中，采用动态图卷积神经网络算法(DynamicalGraph Convolutional Neural Networks，DGCNN)和宽度学习系统(Broad LearningSystem，BLS),即DGCNN+BLS的算法来实现精神状态的评估；动态图卷积神经网络算法是卷积神经网络算法(CNN)在图上的一个扩展。传统CNN的研究对象主要针对于规则空间结构的数据，而DGCNN采用图谱的思想，实现对不规则空间结构的数据进行深度学习的方法；动态图卷积神经网络算法可以实现端到端的学习，从原始的脑电信号中自动学习出复杂的特征；宽度学习系统是一种不需要深度结构的增量学习系统，它可以作为一个分类器来进行情绪的分类与识别，效果好且速度非常快；因此这种深度学习+宽度学习的算法对精神状态的评估更加准确；
4、本发明采用语音、手势等方式与全息投影设备进行交互，可以得到更好的交互体验，并且可以通过多种交互来控制全息投影设备投影的三维全息影像内容，使用非常方便；
5、本发明不仅可以采用扬声器播放音频，还可以用骨传导耳机来播放音频；骨传导耳机将声音转化为不同频率的机械振动信号，通过人的颅骨、肌体和神经组织来传递；相对于传统通过振膜来产生声波的声音传导方式，骨传导省去了许多声波传递的步骤；并且能在嘈杂的环境中实现清晰的声音还原，相比传统的入耳式耳机以及扬声器具有更出色的音频播放效果，而且声波也不会因为在空气中扩散而影响到他人；
6、本发明中精神状态评估模块将采集到的生理信号以及得到的精神状态评估结果发送至云平台，方便实现云平台的数据存储、处理和数据分析操作，便于进行模型校正。
附图说明
图1是本发明系统的框图；
图2是本发明系统中被试者与全息投影设备采用语音交互方式时的连接示意图；
图3是本发明系统中被试者与全息投影设备采用手势交互方式时的连接示意图；
图4是本发明系统中全息投影设备应用于小型场景的框图；
图5是本发明系统中全息投影设备应用于大型场景的框图；
图6是本发明系统中骨传导耳机的框图；
图7是本发明系统中生理信号采集模块的框图；
图8是本发明系统中精神状态评估模块的框图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
本实施例基于全息投影技术的精神状态评估系统，其结构如图1所示，包括：
用于将全息投影场景库中场景源文件进行全息投影的全息投影设备；
用于播放音频库中音频源文件的音频播放模块；
用于采集被试者生理信号，并将生理信号向外发送的生理信号采集模块；
用于接收生理信号采集模块发送的生理信号，并采用动态图卷积神经网络算法结合宽度学习系统对生理信号进行情绪识别和精神状态评估，得到精神状态评估结果的精神状态评估模块；
优选还包括用于储存和管理精神状态评估结果和生理信号的云平台，云平台与精神状态评估模块信号连接。
精神状态评估系统的工作方法包括如下步骤：
S1步，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激；同时音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激；
S2步，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块；生理信号包括脑电信号、心率信号、肌电信号、皮电信号、面部表情信号和语音信号中的任一项或两项以上；
S3步，精神状态评估模块对生理信号进行预处理，并采用动态图卷积神经网络算法结合宽度学习系统进行特征提取和情绪识别，对被试者的精神状态进行评估。
优选的方案是，在S1步之前，还包括S0步：被试者通过语音、手势、面部识别、触屏和体感中的任一种或两种以上方式与全息投影设备进行交互，向全息投影设备发出指令。
S0步中，被试者通过语音与全息投影设备进行交互，是指：如图2所示，采用语音收集器采集被试者的语音信号，将语音信号传至语音控制模块，语音控制模块先对语音信号进行降噪预处理；然后提取MFCC特征，进行语音识别，并进行语法分析，实现语义理解；之后根据语义理解生成和执行相应指令；同时在语库中搜索相应回答，并进行语音合成操作，最后通过扬声器向人发出声音。
被试者通过手势与全息投影设备进行交互，是指：如图3所示，采用摄像头采集被试者的手势图像，手势控制模块先对采集的手势图像进行预处理，包括手势分割、手势跟踪、误差补偿和滤波；然后提取手势的形状和运动特征，运动特征包括LBP特征、Haar特征和Hog特征中的一项或两项以上，然后采用Adaboost算法训练分类器，进行手势识别得出识别结果；之后针对识别结果生成和执行相应指令。被试者与全息投影设备进行交互，可进行投影影像选择、播放启动停止等操作。
S1步中，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激，是指：全息投影设备设有全息投影场景库，全息投影场景库储存有若干与情绪相关联的场景源文件，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激。
全息投影设备中，全息投影场景库中的场景是与情绪相关联，用来刺激被试者的不同情绪。比如用过山车的场景来刺激被试者的兴奋、恐惧情绪，用大自然的场景来缓解紧张情绪等。同时音频播放模块根据不同的全息投影场景来播放相应的音乐，对人进行听觉刺激。
全息投影设备有两种方案：两种方案分别如图4和图5所示，方案一适用于生成比较小型的全息投影影像；全息控制模块的控制器接收到控制信号并处理之后，从全息投影源文件库中选择相应的源文件在显示屏播放，源文件经过塔型玻璃反射之后形成3D立体的全息影像；方案二适用于投影出大型的全息投影影像；全息控制模块的控制器接收到控制信号并处理之后，从全息投影场景库中选择相应的源文件，将源文件用多个不同角度的投影机投影，并采用Watchout边缘融合器融合全息投影的边缘部分，形成大型的具有沉浸体验的全息投影场景。
音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激，是指：音频播放模块设有播放音频库，播放音频库储存有与虚拟三维全息投影影像相对应的音频源文件；音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件通过扬声器和/或骨传导耳机进行播放，对人进行听觉刺激。
骨传导耳机将声音转化为不同频率的机械振动信号，通过人的颅骨、肌体和神经组织来传递，如图6所示。相对于传统通过振膜来产生声波的声音传导方式，骨传导耳机省去了许多声波传递的步骤，并且能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。扬声器可以采用全息投影设备中的扬声器。
S2步中，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块，是指：生理信号优选为脑电信号，生理信号采集模块采集被试者的脑电信号，并发送至精神状态评估模块。生理信号采集模块如图7所示，优选采用智能头带、智能头盔等可穿戴设备，可采用STM32芯片进行控制和处理，首先将可穿戴设备戴在被试者头部，使电极稳定接触前额皮肤，然后进行导联选择，采集一导联至多导联的脑电信号，将采集到的脑电信号进行前置放大，以得到比较强烈的信号，之后进行后置放大和滤波操作，最后输出脑电信号。
S3步中，精神状态评估模块对生理信号进行预处理、特征提取和情绪识别，对被试者的精神状态进行评估，是指：采用独立成分分析算法和主成分分析算法去除脑电信号中的眼电、心电、电磁干扰伪迹以实现预处理；采用动态图卷积神经网络算法来提取脑电信号的特征，将脑电信号映射到特征空间，然后在特征空间中采用宽度学习系统作为分类器，将脑电信号进行情绪分类识别，得到各个情绪类别的强度值；根据各个情绪类别的强度值评估被试者的精神状态，如图8所示。
情绪类别包括疲劳、抑郁、沮丧和无聊；根据各个情绪类别的强度值评估被试者的精神状态，是指：设定疲劳正常值、抑郁正常值、沮丧正常值和无聊正常值，分别判断疲劳强度值与疲劳正常值的比值、抑郁强度值与抑郁正常值的比值、沮丧强度值与沮丧正常值的比值和无聊强度值与无聊正常值来评估被试者的精神状态。
在所述S3步之后还包括S4步：精神状态评估模块将评估结果和生理信号通过WiFi模块通过WiFi模块以无线通信方式发送至云平台进行管理和存储；方便实现云平台的数据存储、处理和数据分析操作。
本发明的优点是：
1、本发明系统在被试者接受刺激状态下采集生理信号，检测和评估被试者的精神状态，如疲劳、抑郁等，可应用于医疗、教育等方面；比如对疲劳、抑郁程度进行判断，以便于后续采用不同方案对精神状态进行调整；或者是对儿童注意力缺陷多动障碍之类的检测；
2、传统的情绪刺激多是采用图片或者视频，被试者不容易快速进入状态，而且可能会出现走神的情况，使得采集的脑电信号不准确；本发明设计与情绪相关联的全息投影场景，利用全息投影技术的干涉和衍射原理记录并再现物体真实的三维图像，而且从人眼对物体深度感在生理上的心理暗示加以考虑，生成更加逼真的立体三维图像，让人有更加沉浸式的体验，对情绪的刺激也更加准确和强烈；
3、本发明方法在精神状态评估模块中，采用动态图卷积神经网络算法(DynamicalGraph Convolutional Neural Networks，DGCNN)和宽度学习系统(Broad LearningSystem，BLS),即DGCNN+BLS的算法来实现精神状态的评估；动态图卷积神经网络算法是卷积神经网络算法(CNN)在图上的一个扩展。传统CNN的研究对象主要针对于规则空间结构的数据，而DGCNN采用图谱的思想，实现对不规则空间结构的数据进行深度学习的方法；动态图卷积神经网络算法可以实现端到端的学习，从原始的脑电信号中自动学习出复杂的特征；宽度学习系统是一种不需要深度结构的增量学习系统，它可以作为一个分类器来进行情绪的分类与识别，效果好且速度非常快；因此这种深度学习+宽度学习的算法对精神状态的评估更加准确；
4、本发明采用语音、手势等方式与全息投影设备进行交互，可以得到更好的交互体验，并且可以通过多种交互来控制全息投影设备投影的三维全息影像内容，使用非常方便；
5、本发明不仅可以采用扬声器播放音频，还可以用骨传导耳机来播放音频；骨传导耳机将声音转化为不同频率的机械振动信号，通过人的颅骨、肌体和神经组织来传递；相对于传统通过振膜来产生声波的声音传导方式，骨传导省去了许多声波传递的步骤；并且能在嘈杂的环境中实现清晰的声音还原，相比传统的入耳式耳机以及扬声器具有更出色的音频播放效果，而且声波也不会因为在空气中扩散而影响到他人；
6、本发明中精神状态评估模块将采集到的生理信号以及得到的精神状态评估结果发送至云平台，方便实现云平台的数据存储、处理和数据分析操作，便于进行模型校正。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于全息投影技术的精神状态评估系统，其特征在于：包括：
用于将全息投影场景库中场景源文件进行全息投影的全息投影设备；
用于播放音频库中音频源文件的音频播放模块；
用于采集被试者生理信号，并将生理信号向外发送的生理信号采集模块；
以及用于接收生理信号采集模块发送的生理信号，并采用动态图卷积神经网络算法结合宽度学习系统对生理信号进行情绪识别和精神状态评估，得到精神状态评估结果的精神状态评估模块。
2.一种根据权利要求1所述的基于全息投影技术的精神状态评估系统的工作方法，其特征在于：包括如下步骤：
S1步，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激；同时音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激；
S2步，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块；生理信号包括脑电信号、心率信号、肌电信号、皮电信号、面部表情信号和语音信号中的任一项或两项以上；
S3步，精神状态评估模块对生理信号进行预处理，并采用动态图卷积神经网络算法结合宽度学习系统进行特征提取和情绪识别，对被试者的精神状态进行评估。
3.根据权利要求2所述的工作方法，其特征在于：在S1步之前，还包括S0步：被试者通过语音、手势、面部识别、触屏和体感中的任一种或两种以上方式与全息投影设备进行交互，向全息投影设备发出指令。
4.根据权利要求3所述的工作方法，其特征在于：S0步中，被试者通过语音与全息投影设备进行交互，是指：采用语音收集器采集被试者的语音信号，将语音信号传至语音控制模块，语音控制模块先对语音信号进行降噪预处理；然后提取MFCC特征，进行语音识别，并进行语法分析，实现语义理解；之后根据语义理解生成和执行相应指令；同时在语库中搜索相应回答，并进行语音合成操作，最后通过扬声器向人发出声音；
被试者通过手势与全息投影设备进行交互，是指：采用摄像头采集被试者的手势图像，手势控制模块先对采集的手势图像进行预处理，包括手势分割、手势跟踪、误差补偿和滤波；然后提取手势的形状和运动特征，运动特征包括LBP特征、Haar特征和Hog特征中的一项或两项以上，然后采用Adaboost算法训练分类器，进行手势识别得出识别结果；之后针对识别结果生成和执行相应指令。
5.根据权利要求3所述的工作方法，其特征在于：所述S1步中，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激，是指：全息投影设备设有全息投影场景库，全息投影场景库储存有若干与情绪相关联的场景源文件，全息投影设备将全息投影场景库中场景源文件进行投影形成虚拟三维全息投影影像供被试者观看，对被试者进行视觉刺激。
6.根据权利要求3所述的工作方法，其特征在于：所述S1步中，音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件进行播放，对人进行听觉刺激，是指：音频播放模块设有播放音频库，播放音频库储存有与虚拟三维全息投影影像相对应的音频源文件；音频播放模块将播放音频库中与虚拟三维全息投影影像相匹配的音频源文件通过扬声器和/或骨传导耳机进行播放，对人进行听觉刺激。
7.根据权利要求2所述的工作方法，其特征在于：所述S2步中，生理信号采集模块采集被试者的生理信号，并发送至精神状态评估模块，是指：生理信号为脑电信号，生理信号采集模块采集被试者的脑电信号，并发送至精神状态评估模块；
所述S3步中，精神状态评估模块对生理信号进行预处理、特征提取和情绪识别，对被试者的精神状态进行评估，是指：采用独立成分分析算法和主成分分析算法去除脑电信号中的眼电、心电、电磁干扰伪迹以实现预处理；采用动态图卷积神经网络算法来提取脑电信号的特征，将脑电信号映射到特征空间，然后在特征空间中采用宽度学习系统作为分类器，将脑电信号进行情绪分类识别，得到各个情绪类别的强度值；根据各个情绪类别的强度值评估被试者的精神状态。
8.根据权利要求7所述的工作方法，其特征在于：所述情绪类别包括疲劳、抑郁、沮丧和无聊；根据各个情绪类别的强度值评估被试者的精神状态，是指：设定疲劳正常值、抑郁正常值、沮丧正常值和无聊正常值，分别判断疲劳强度值与疲劳正常值的比值、抑郁强度值与抑郁正常值的比值、沮丧强度值与沮丧正常值的比值和无聊强度值与无聊正常值来评估被试者的精神状态。
9.根据权利要求2所述的工作方法，其特征在于：在所述S3步之后还包括S4步：精神状态评估模块将评估结果和生理信号通过无线通信方式发送至云平台进行管理和存储。
CN201811431013.9A 2018-11-28 2018-11-28 基于全息投影技术的精神状态评估方法 Active CN109585021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811431013.9A CN109585021B (zh) 2018-11-28 2018-11-28 基于全息投影技术的精神状态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811431013.9A CN109585021B (zh) 2018-11-28 2018-11-28 基于全息投影技术的精神状态评估方法

Publications (2)

Publication Number Publication Date
CN109585021A true CN109585021A (zh) 2019-04-05
CN109585021B CN109585021B (zh) 2022-06-14

Family

ID=65925140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811431013.9A Active CN109585021B (zh) 2018-11-28 2018-11-28 基于全息投影技术的精神状态评估方法

Country Status (1)

Country Link
CN (1) CN109585021B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
CN110515456A (zh) * 2019-08-14 2019-11-29 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110600127A (zh) * 2019-09-23 2019-12-20 上海市精神卫生中心（上海市心理咨询培训中心） 通过视频激发面部表情实现认知障碍筛查功能的视频采集分析系统及其方法
CN110811648A (zh) * 2019-11-20 2020-02-21 阿呆科技（北京）有限公司 一种基于残差卷积神经网络的抑郁倾向评估系统
CN110838357A (zh) * 2019-11-19 2020-02-25 上海青鸿教育科技有限公司 基于人脸识别及动捕的注意力全息智能训练系统
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN111956239A (zh) * 2020-07-22 2020-11-20 黄山学院 高校辅导员情绪复杂性的测评方法、系统及电子设备
CN112259237A (zh) * 2020-10-13 2021-01-22 阿呆科技（北京）有限公司 基于多情感刺激和多级分类模型的抑郁评估系统
CN113140312A (zh) * 2020-01-19 2021-07-20 Oppo广东移动通信有限公司 用户数据处理、会话数据处理方法和装置、电子设备
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114800529A (zh) * 2022-06-07 2022-07-29 北京航空航天大学 一种基于定长记忆窗口增量学习和增量模型重构的工业机器人定位误差在线补偿方法
CN115363585A (zh) * 2022-09-04 2022-11-22 北京中科心研科技有限公司 一种基于去习惯化与观影任务的标准化群体抑郁风险筛查系统及方法
CN117290747A (zh) * 2023-11-24 2023-12-26 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103151A1 (en) * 2007-03-02 2009-04-23 Olympus Corporation Holographic projection method and holographic projection device
WO2017087567A1 (en) * 2015-11-16 2017-05-26 Cognifisense, Inc. Representation of symptom alleviation
CA3023241A1 (en) * 2016-05-06 2017-12-14 The Board Of Trustees Of The Leland Stanford Junior University Mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
CN107530012A (zh) * 2015-02-16 2018-01-02 内森·英特拉托 用于脑活动解析的系统与方法
WO2018129211A1 (en) * 2017-01-04 2018-07-12 StoryUp, Inc. System and method for modifying biometric activity using virtual reality therapy
CN108334735A (zh) * 2017-09-18 2018-07-27 华南理工大学 基于迷你独立空间的智能心理评估与辅导系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103151A1 (en) * 2007-03-02 2009-04-23 Olympus Corporation Holographic projection method and holographic projection device
CN107530012A (zh) * 2015-02-16 2018-01-02 内森·英特拉托 用于脑活动解析的系统与方法
WO2017087567A1 (en) * 2015-11-16 2017-05-26 Cognifisense, Inc. Representation of symptom alleviation
CA3023241A1 (en) * 2016-05-06 2017-12-14 The Board Of Trustees Of The Leland Stanford Junior University Mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
WO2018129211A1 (en) * 2017-01-04 2018-07-12 StoryUp, Inc. System and method for modifying biometric activity using virtual reality therapy
CN108334735A (zh) * 2017-09-18 2018-07-27 华南理工大学 基于迷你独立空间的智能心理评估与辅导系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. L. PHILIP CHEN: "Broad Learning System: a new learning paradigm and system without going deep", 《 2017 32ND YOUTH ACADEMIC ANNUAL CONFERENCE OF CHINESE ASSOCIATION OF AUTOMATION (YAC)》 *
TENGFEI SONG: "EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020239140A1 (zh) * 2019-05-30 2020-12-03 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
CN110515456A (zh) * 2019-08-14 2019-11-29 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110515456B (zh) * 2019-08-14 2022-09-23 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110600127A (zh) * 2019-09-23 2019-12-20 上海市精神卫生中心（上海市心理咨询培训中心） 通过视频激发面部表情实现认知障碍筛查功能的视频采集分析系统及其方法
CN110838357A (zh) * 2019-11-19 2020-02-25 上海青鸿教育科技有限公司 基于人脸识别及动捕的注意力全息智能训练系统
CN110811648A (zh) * 2019-11-20 2020-02-21 阿呆科技（北京）有限公司 一种基于残差卷积神经网络的抑郁倾向评估系统
CN111190484B (zh) * 2019-12-25 2023-07-21 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN111190484A (zh) * 2019-12-25 2020-05-22 中国人民解放军军事科学院国防科技创新研究院 一种多模态交互系统和方法
CN113140312A (zh) * 2020-01-19 2021-07-20 Oppo广东移动通信有限公司 用户数据处理、会话数据处理方法和装置、电子设备
CN111956239A (zh) * 2020-07-22 2020-11-20 黄山学院 高校辅导员情绪复杂性的测评方法、系统及电子设备
CN112259237A (zh) * 2020-10-13 2021-01-22 阿呆科技（北京）有限公司 基于多情感刺激和多级分类模型的抑郁评估系统
CN112259237B (zh) * 2020-10-13 2024-03-26 阿呆科技（北京）有限公司 基于多情感刺激和多级分类模型的抑郁评估系统
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114305418B (zh) * 2021-12-16 2023-08-04 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法
CN114800529A (zh) * 2022-06-07 2022-07-29 北京航空航天大学 一种基于定长记忆窗口增量学习和增量模型重构的工业机器人定位误差在线补偿方法
CN115363585A (zh) * 2022-09-04 2022-11-22 北京中科心研科技有限公司 一种基于去习惯化与观影任务的标准化群体抑郁风险筛查系统及方法
CN115363585B (zh) * 2022-09-04 2023-05-23 北京中科心研科技有限公司 一种基于去习惯化与观影任务的标准化群体抑郁风险筛查系统及方法
CN117290747A (zh) * 2023-11-24 2023-12-26 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备
CN117290747B (zh) * 2023-11-24 2024-03-12 中国民用航空飞行学院 基于眼动数据的飞行状态监测方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN109585021B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109585021A (zh) 基于全息投影技术的精神状态评估系统及其工作方法
CN109620257A (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
US10210425B2 (en) Generating and using a predictive virtual personification
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
CN104298722B (zh) 多媒体交互系统及其方法
Soleymani et al. A multimodal database for affect recognition and implicit tagging
WO2021026400A1 (en) System and method for communicating brain activity to an imaging device
Prpa et al. Brain-computer interfaces in contemporary art: a state of the art and taxonomy
CN109350051A (zh) 用于精神状态评估与调节的头部可穿戴设备及其工作方法
Yan et al. Enhancing audience engagement in performing arts through an adaptive virtual environment with a brain-computer interface
Alhargan et al. Affect recognition in an interactive gaming environment using eye tracking
CN110023816A (zh) 辨别情绪或心理状态的系统
CN103823551A (zh) 一种实现多维度感知虚拟交互的系统和方法
CN105653020A (zh) 穿越时空的方法和装置以及使用其的眼镜或头盔
CN114756121A (zh) 基于脑机接口的虚拟现实可交互式情绪检测与调控系统
KR20150137453A (ko) 뇌파를 이용한 제어 방법 및 휴대 장치
CN114640699B (zh) 基于vr角色扮演游戏交互的情绪诱发监测系统
Valencia et al. A computer-vision based sensory substitution device for the visually impaired (See ColOr).
Yan et al. Exploring audience response in performing arts with a brain-adaptive digital performance system
Ge et al. Effects of Augmenting Real-Time Biofeedback in An Immersive VR Performance
CN113633870B (zh) 情绪状态调节系统及方法
Song Effect of sound in videos on gaze: contribution to audio-visual saliency modelling
CN108563322B (zh) Vr/ar设备的控制方法和装置
Brouse et al. An instrument of sound and visual creation driven by biological signals
CN219439147U (zh) 一种用于情绪检测的虚拟现实系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant