CN112215962B - 一种虚拟现实情感刺激系统及其创建方法 - Google Patents
一种虚拟现实情感刺激系统及其创建方法 Download PDFInfo
- Publication number
- CN112215962B CN112215962B CN202010950126.0A CN202010950126A CN112215962B CN 112215962 B CN112215962 B CN 112215962B CN 202010950126 A CN202010950126 A CN 202010950126A CN 112215962 B CN112215962 B CN 112215962B
- Authority
- CN
- China
- Prior art keywords
- emotion
- module
- stimulation
- scene
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 291
- 230000000638 stimulation Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008859 change Effects 0.000 claims abstract description 105
- 230000001815 facial effect Effects 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008676 import Effects 0.000 claims abstract description 5
- 238000013145 classification model Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006397 emotional response Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000037007 arousal Effects 0.000 claims description 2
- 238000012854 evaluation process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
Abstract
本发明属于虚拟现实情感刺激技术领域,公开了一种虚拟现实情感刺激系统及其创建方法,所述虚拟现实情感刺激系统包括:刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、中央控制模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块。本发明通过情感分类模块大大提高情感分类的准确率;同时,通过情感分析模块解决了现有技术中需要通过人为观察去确定与用户的情感,得到的情感分析结果存在准确率较低的技术问题,实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理,得到与目标用户对应的情感分析结果,提高了判断用户当前情感的准确性以及便捷性的技术效果。
Description
技术领域
本发明属于虚拟现实情感刺激技术领域,尤其涉及一种虚拟现实情感刺激系统及其创建方法。
背景技术
目前,情感是态度这一整体中的一部分,它与态度中的内向感受、意向具有协调一致性,是态度在生理上一种较复杂而又稳定的生理评价和体验。情感包括道德感和价值感两个方面,具体表现为爱情、幸福、仇恨、厌恶、美感等。“情绪和情感都是人对客观事物所持的态度体验,只是情绪更倾向于个体基本需求欲望上的态度体验,而情感则更倾向于社会需求欲望上的态度体验”。但实际上,这一结论一方面将大家公认的幸福、美感、喜爱等,较具有个人化而缺少社会性的感受排斥在情感之外;而另一方面又显然忽视了情绪感受上的喜、怒、忧、思、悲、恐、惊,和社会性情感感受上的爱情、友谊、爱国主义情感在行为过程中具有的交叉现象,例如一个人在追求爱情这一社会性的情感过程中随着行为过程的变化同样也会有各种各样的情绪感受,而爱情感受的稳定性和情绪感受的不稳定性又显然表明了爱情和相关情绪是有区别的。然而,现有虚拟现实情感刺激系统的创建方法过程中对情感分类不准确;同时,对情感分析需要人为观察,因此得到的结果与实际状态往往因人而异,可能存在一定的差异。
综上所述,现有技术存在的问题及缺陷是:现有虚拟现实情感刺激系统的创建方法过程中对情感分类不准确;同时,对情感分析需要人为观察,因此得到的结果与实际状态往往因人而异,可能存在一定的差异。
发明内容
针对现有技术存在的问题,本发明提供了一种虚拟现实情感刺激系统及其创建方法。
本发明是这样实现的,一种虚拟现实情感刺激系统的创建方法,所述虚拟现实情感刺激系统的创建方法包括以下步骤:
步骤一,通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
步骤二,通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;同时对构建的情感刺激虚拟场景进行PAD标准化评估,评估的参数包括:愉悦度、唤醒度、支配度,评估过程基于心理学SAM自评量表,对系统内每个情感刺激虚拟场景进行评估;
步骤三,通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理;通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
步骤四,通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别;通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化;
步骤五,通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本;对情感变化数据集样本进行数据预处理操作,获得所述情感变化数据集样本的特征词集合;
步骤六,基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合,以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率;
步骤七,运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算,生成所述情感变化数据集样本的特征集合所属类别的概率,所述类别大于等于4个;
步骤八,利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正,确定所述情感变化数据集样本的分类;运用支持向量机算法在m维空间中,确定分割超平面,将处在所述分割超平面一侧的定义为一个类别,完成对受测者情感的分类;所述分类的类别数m大于等于4;
步骤九,通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别;同时获取与目标用户相对应的生理信号;其中,所述生理信号中包括脑电信号以及肌电信号;
步骤十,通过至少一个摄像头采集目标用户的面部视频序列,获取所述面部视频序列中的面部图像信息;利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果;
步骤十一,基于所述生理信号识别结果以及微表情识别结果,分别对所述生理信号识别结果以及微表情识别结果进行加权,根据加权后得到的结果确定与所述目标用户对应的情感分析结果;
步骤十二,通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
步骤十三,通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
进一步,步骤五中,所述对情感变化数据集样本进行数据预处理的方法,包括:
(1)对所述情感变化数据集样本进行数据爬取操作,确定所述情感变化数据集样本的情感倾向;
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作,剔除所述情感变化数据集样本中不需要的部分,所述不需要的部分包括所述情感变化数据集样本的格式和标题;
(3)对所述情感变化数据集样本进行分词,英文语法和拼写错误纠正,并使用正则表达式去除标点符号和长度小于3的单词,并将单词转换为小写;
(4)对所述情感变化数据集样本进行特征提取,过滤掉文本中对于表达情感和话题贡献不大的词语,压缩文本处理后生成向量空间的维数。
进一步,所述对所述情感变化数据集样本进行特征提取的方法,包括:
对所述情感变化数据集样本进行分词后运用停用词表去除停用词;
通过词形还原和词干提取获得词的原型,并进行同义词的合并,完成所述情感变化数据集样本的特征提取。
进一步,步骤六中,所述以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法,包括:
(I)对所述情感变化数据集样本的特征集合进行高频词移除,优化所述特征词集合;
(II)选取所述优化后的特征词集合的所属类别最大的特征词,定义为所属类别最大特征词集合,并将所述所属类别最大特征词集合的并集,定义为所述情感词典;
(III)基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
进一步,步骤九中,所述肌电信号包括与所述目标用户对应的面部肌电信号;所述获取与目标用户相对应的生理信号的方法为:
基于面部肌电信号采集模块,分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
进一步,步骤十中,所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,包括:
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中,得到与所述面部图像信息相对应的加权空间特征;
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中,得到与目标用户相对应的微表情识别结果。
进一步,步骤十中,所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,还包括:
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中,得到与所述目标用户对应的高层生理特征;
将所述高层生理特征输入至预先训练好的多核支持向量机中,得到与目标用户相对应的生理信号识别结果。
本发明的另一目的在于提供一种应用所述的虚拟现实情感刺激系统的创建方法创建得到的虚拟现实情感刺激系统,所述虚拟现实情感刺激系统包括:
刺激场景数据获取模块,与中央控制模块连接,用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
刺激场景设计模块,与中央控制模块连接,用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;
虚拟场景导入模块,与中央控制模块连接,用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理;
中央控制模块,与刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块连接,用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
刺激反应识别模块,与中央控制模块连接,用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别;
情感变化统计模块,与中央控制模块连接,用于通过统计程序统计处于不同虚拟场景的受测者的情感变化;
情感分类模块,与中央控制模块连接,用于通过分类程序对受测者的情感进行分类;
情感分析模块,与中央控制模块连接,用于通过分析程序对受测者的情感进行分析;
数据存储模块,与中央控制模块连接,用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
更新显示模块,与中央控制模块连接,用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施所述的虚拟现实情感刺激系统的创建方法。
本发明的另一目的在于提供一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机执行所述的虚拟现实情感刺激系统的创建方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明通过情感分类模块大大提高情感分类的准确率;同时,通过情感分析模块获取与目标用户相对应的生理信号;其中,生理信号中包括脑电信号以及肌电信号;获取与目标用户对应的面部图像信息;将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果;基于生理信号识别结果以及微表情识别结果,确定与目标用户对应的情感分析结果,解决了现有技术中需要通过人为观察去确定与用户的情感,得到的情感分析结果存在准确率较低的技术问题,实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理,得到与目标用户对应的情感分析结果,提高了判断用户当前情感的准确性以及便捷性的技术效果。
附图说明
图1是本发明实施例提供的虚拟现实情感刺激系统的创建方法流程图。
图2是本发明实施例提供的虚拟现实情感刺激系统的结构框图;
图中:1、刺激场景数据获取模块;2、刺激场景设计模块;3、虚拟场景导入模块;4、中央控制模块;5、刺激反应识别模块;6、情感变化统计模块;7、情感分类模块;8、情感分析模块;9、数据存储模块;10、更新显示模块。
图3是本发明实施例提供的通过分类程序对受测者的情感进行分类的方法流程图。
图4是本发明实施例提供的以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法流程图。
图5是本发明实施例提供的通过分析程序对受测者的情感进行分析的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种虚拟现实情感刺激系统及其创建方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明提供的虚拟现实情感刺激系统的创建方法包括:
S101,通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
S102,通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;
S103,通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理;
S104,通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
S105,通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别;
S106,通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化;
S107,通过情感分类模块利用分类程序对受测者的情感进行分类;通过情感分析模块利用分析程序对受测者的情感进行分析;
S108,通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
S109,通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
如图2所示,本发明实施例提供的虚拟现实情感刺激系统包括:刺激场景数据获取模块1、刺激场景设计模块2、虚拟场景导入模块3、中央控制模块4、刺激反应识别模块5、情感变化统计模块6、情感分类模块7、情感分析模块8、数据存储模块9、更新显示模块10。
刺激场景数据获取模块1,与中央控制模块4连接,用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
刺激场景设计模块2,与中央控制模块4连接,用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;
虚拟场景导入模块3,与中央控制模块4连接,用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理;
中央控制模块4,与刺激场景数据获取模块1、刺激场景设计模块2、虚拟场景导入模块3、刺激反应识别模块5、情感变化统计模块6、情感分类模块7、情感分析模块8、数据存储模块9、更新显示模块10连接,用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
刺激反应识别模块5,与中央控制模块4连接,用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别;
情感变化统计模块6,与中央控制模块4连接,用于通过统计程序统计处于不同虚拟场景的受测者的情感变化;
情感分类模块7,与中央控制模块4连接,用于通过分类程序对受测者的情感进行分类;
情感分析模块8,与中央控制模块4连接,用于通过分析程序对受测者的情感进行分析;
数据存储模块9,与中央控制模块4连接,用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
更新显示模块10,与中央控制模块4连接,用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的虚拟现实情感刺激系统的创建方法如图1所示,作为优选实施例,如图3所示,本发明实施例提供的通过分类程序对受测者的情感进行分类的方法包括:
S201,通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本;对情感变化数据集样本进行数据预处理操作,获得所述情感变化数据集样本的特征词集合;
S202,基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合,以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率;
S203,运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算,生成所述情感变化数据集样本的特征集合所属类别的概率,所述类别大于等于4个;
S204,利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正,确定所述情感变化数据集样本的分类;运用支持向量机算法在m维空间中,确定分割超平面,将处在所述分割超平面一侧的定义为一个类别,完成对受测者情感的分类。
本发明实施例提供的对情感变化数据集样本进行数据预处理的方法,包括:
(1)对所述情感变化数据集样本进行数据爬取操作,确定所述情感变化数据集样本的情感倾向;
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作,剔除所述情感变化数据集样本中不需要的部分,所述不需要的部分包括所述情感变化数据集样本的格式和标题;
(3)对所述情感变化数据集样本进行分词,英文语法和拼写错误纠正,并使用正则表达式去除标点符号和长度小于3的单词,并将单词转换为小写;
(4)对所述情感变化数据集样本进行特征提取,过滤掉文本中对于表达情感和话题贡献不大的词语,压缩文本处理后生成向量空间的维数。
本发明实施例提供的对所述情感变化数据集样本进行特征提取的方法为:
对所述情感变化数据集样本进行分词后运用停用词表去除停用词;
通过词形还原和词干提取获得词的原型,并进行同义词的合并,完成所述情感变化数据集样本的特征提取。
如图4所示,本发明实施例提供的以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法,包括:
S301,对所述情感变化数据集样本的特征集合进行高频词移除,优化所述特征词集合;
S302,选取所述优化后的特征词集合的所属类别最大的特征词,定义为所属类别最大特征词集合,并将所述所属类别最大特征词集合的并集,定义为所述情感词典;
S303,基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
实施例2
本发明实施例提供的虚拟现实情感刺激系统的创建方法如图1所示,作为优选实施例,如图5所示,本发明实施例提供的通过分析程序对受测者的情感进行分析的方法包括:
S401,通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别;同时获取与目标用户相对应的生理信号;其中,所述生理信号中包括脑电信号以及肌电信号;
S402,通过至少一个摄像头采集目标用户的面部视频序列,获取所述面部视频序列中的面部图像信息;
S403,利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果;
S404,基于所述生理信号识别结果以及微表情识别结果,分别对所述生理信号识别结果以及微表情识别结果进行加权,根据加权后得到的结果确定与所述目标用户对应的情感分析结果。
本发明实施例提供的肌电信号包括与所述目标用户对应的面部肌电信号;所述获取与目标用户相对应的生理信号的方法为:
基于面部肌电信号采集模块,分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
本发明实施例提供的将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,包括:
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中,得到与所述面部图像信息相对应的加权空间特征;
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中,得到与目标用户相对应的微表情识别结果。
本发明实施例提供的将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,还包括:
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中,得到与所述目标用户对应的高层生理特征;
将所述高层生理特征输入至预先训练好的多核支持向量机中,得到与目标用户相对应的生理信号识别结果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种虚拟现实情感刺激系统的创建方法,其特征在于,所述虚拟现实情感刺激系统的创建方法包括以下步骤:
步骤一,通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
步骤二,通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;同时对构建的情感刺激虚拟场景进行PAD标准化评估,评估的参数包括:愉悦度、唤醒度、支配度,评估过程基于心理学SAM自评量表,对系统内每个情感刺激虚拟场景进行评估;
步骤三,通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理;通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
步骤四,通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别;通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化;
步骤五,通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本;对情感变化数据集样本进行数据预处理操作,获得所述情感变化数据集样本的特征词集合;
步骤六,基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合,以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率;
步骤七,运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算,生成所述情感变化数据集样本的特征集合所属类别的概率,所述类别大于等于4个;
步骤八,利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正,确定所述情感变化数据集样本的分类;运用支持向量机算法在m维空间中,确定分割超平面,将处在所述分割超平面一侧的定义为一个类别,完成对受测者情感的分类;所述分类的类别数m大于等于4;
步骤九,通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别;同时获取与目标用户相对应的生理信号;其中,所述生理信号中包括脑电信号以及肌电信号;
步骤十,通过至少一个摄像头采集目标用户的面部视频序列,获取所述面部视频序列中的面部图像信息;利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果;
步骤十一,基于所述生理信号识别结果以及微表情识别结果,分别对所述生理信号识别结果以及微表情识别结果进行加权,根据加权后得到的结果确定与所述目标用户对应的情感分析结果;
步骤十二,通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
步骤十三,通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
2.如权利要求1所述的虚拟现实情感刺激系统的创建方法,其特征在于,步骤五中,所述对情感变化数据集样本进行数据预处理的方法,包括:
(1)对所述情感变化数据集样本进行数据爬取操作,确定所述情感变化数据集样本的情感倾向;
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作,剔除所述情感变化数据集样本中不需要的部分,所述不需要的部分包括所述情感变化数据集样本的格式和标题;
(3)对所述情感变化数据集样本进行分词,英文语法和拼写错误纠正,并使用正则表达式去除标点符号和长度小于3的单词,并将单词转换为小写;
(4)对所述情感变化数据集样本进行特征提取,过滤掉文本中对于表达情感和话题贡献不大的词语,压缩文本处理后生成向量空间的维数。
3.如权利要求2所述的虚拟现实情感刺激系统的创建方法,其特征在于,所述对所述情感变化数据集样本进行特征提取的方法,包括:
对所述情感变化数据集样本进行分词后运用停用词表去除停用词;
通过词形还原和词干提取获得词的原型,并进行同义词的合并,完成所述情感变化数据集样本的特征提取。
4.如权利要求1所述的虚拟现实情感刺激系统的创建方法,其特征在于,步骤六中,所述以所述情感变化数据集样本的特征集合构建情感词典,并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法,包括:
(I)对所述情感变化数据集样本的特征集合进行高频词移除,优化所述特征词集合;
(II)选取所述优化后的特征词集合的所属类别最大的特征词,定义为所属类别最大特征词集合,并将所述所属类别最大特征词集合的并集,定义为所述情感词典;
(III)基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
5.如权利要求1所述的虚拟现实情感刺激系统的创建方法,其特征在于,步骤九中,所述肌电信号包括与所述目标用户对应的面部肌电信号;所述获取与目标用户相对应的生理信号的方法为:
基于面部肌电信号采集模块,分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
6.如权利要求1所述的虚拟现实情感刺激系统的创建方法,其特征在于,步骤十中,所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,包括:
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中,得到与所述面部图像信息相对应的加权空间特征;
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中,得到与目标用户相对应的微表情识别结果。
7.如权利要求1所述的虚拟现实情感刺激系统的创建方法,其特征在于,步骤十中,所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中,得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法,还包括:
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中,得到与所述目标用户对应的高层生理特征;
将所述高层生理特征输入至预先训练好的多核支持向量机中,得到与目标用户相对应的生理信号识别结果。
8.一种应用如权利要求1~7任意一项所述的虚拟现实情感刺激系统的创建方法创建得到的虚拟现实情感刺激系统,其特征在于,所述虚拟现实情感刺激系统包括:
刺激场景数据获取模块,与中央控制模块连接,用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值;所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值;
刺激场景设计模块,与中央控制模块连接,用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景;
虚拟场景导入模块,与中央控制模块连接,用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理;
中央控制模块,与刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块连接,用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作;
刺激反应识别模块,与中央控制模块连接,用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别;
情感变化统计模块,与中央控制模块连接,用于通过统计程序统计处于不同虚拟场景的受测者的情感变化;
情感分类模块,与中央控制模块连接,用于通过分类程序对受测者的情感进行分类;
情感分析模块,与中央控制模块连接,用于通过分析程序对受测者的情感进行分析;
数据存储模块,与中央控制模块连接,用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果;
更新显示模块,与中央控制模块连接,用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新,并通过显示器对数据进行实时显示。
9.一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施如权利要求1~7任意一项所述的虚拟现实情感刺激系统的创建方法。
10.一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1~7任意一项所述的虚拟现实情感刺激系统的创建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010950126.0A CN112215962B (zh) | 2020-09-09 | 2020-09-09 | 一种虚拟现实情感刺激系统及其创建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010950126.0A CN112215962B (zh) | 2020-09-09 | 2020-09-09 | 一种虚拟现实情感刺激系统及其创建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215962A CN112215962A (zh) | 2021-01-12 |
CN112215962B true CN112215962B (zh) | 2023-04-28 |
Family
ID=74050574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010950126.0A Expired - Fee Related CN112215962B (zh) | 2020-09-09 | 2020-09-09 | 一种虚拟现实情感刺激系统及其创建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215962B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113011504B (zh) * | 2021-03-23 | 2023-08-22 | 华南理工大学 | 基于视角权重和特征融合的虚拟现实场景情感识别方法 |
CN113643046B (zh) * | 2021-08-17 | 2023-07-25 | 中国平安人寿保险股份有限公司 | 适用于虚拟现实的共情策略推荐方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578807A (zh) * | 2017-07-17 | 2018-01-12 | 华南理工大学 | 一种虚拟现实情感刺激系统的创建方法 |
US10657718B1 (en) * | 2016-10-31 | 2020-05-19 | Wells Fargo Bank, N.A. | Facial expression tracking during augmented and virtual reality sessions |
CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200201434A1 (en) * | 2018-12-20 | 2020-06-25 | Samsung Electronics Co., Ltd. | Bioresponsive virtual reality system and method of operating the same |
-
2020
- 2020-09-09 CN CN202010950126.0A patent/CN112215962B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657718B1 (en) * | 2016-10-31 | 2020-05-19 | Wells Fargo Bank, N.A. | Facial expression tracking during augmented and virtual reality sessions |
CN107578807A (zh) * | 2017-07-17 | 2018-01-12 | 华南理工大学 | 一种虚拟现实情感刺激系统的创建方法 |
CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112215962A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829822B (zh) | 媒体内容的推荐方法和装置、存储介质、电子装置 | |
CN110427486B (zh) | 身体病况文本的分类方法、装置及设备 | |
CN107704495A (zh) | 主题分类器的训练方法、装置及计算机可读存储介质 | |
CN107391760A (zh) | 用户兴趣识别方法、装置及计算机可读存储介质 | |
CN112215962B (zh) | 一种虚拟现实情感刺激系统及其创建方法 | |
KR102265573B1 (ko) | 인공지능 기반 입시 수학 학습 커리큘럼 재구성 방법 및 시스템 | |
CN114787883A (zh) | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 | |
CN111477329B (zh) | 一种基于图文结合评估心理状态的方法 | |
CN110464367B (zh) | 基于多通道协同的心理异常检测方法和系统 | |
CN113722474A (zh) | 文本分类方法、装置、设备及存储介质 | |
CN105549885A (zh) | 滑屏操控中用户情绪的识别方法和装置 | |
CN112401886B (zh) | 情感识别的处理方法、装置、设备及存储介质 | |
Gupta et al. | Enhancing text using emotion detected from EEG signals | |
CN114202791A (zh) | 面部情绪识别模型的训练方法、情绪识别方法及相关设备 | |
CN111477328B (zh) | 一种非接触式的心理状态预测方法 | |
CN111026267A (zh) | Vr脑电意念控制接口系统 | |
CN112244772A (zh) | 一种基于深度学习的睡眠阶段预测方法、存储介质及终端设备 | |
CN112037179A (zh) | 一种脑疾病诊断模型的生成方法、系统及设备 | |
CN114781441A (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
WO2022184516A1 (en) | Multimodal representation learning | |
CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
CN114129163A (zh) | 基于脑电信号的多视图深度学习的情绪分析方法和系统 | |
CN107729844A (zh) | 人脸属性识别方法及装置 | |
CN110047569A (zh) | 基于胸片报告生成问答数据集的方法、装置及介质 | |
CN113610080A (zh) | 基于跨模态感知的敏感图像识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230428 |