CN112215962A - 一种虚拟现实情感刺激系统及其创建方法 - Google Patents

一种虚拟现实情感刺激系统及其创建方法 Download PDF

Info

Publication number
CN112215962A
CN112215962A CN202010950126.0A CN202010950126A CN112215962A CN 112215962 A CN112215962 A CN 112215962A CN 202010950126 A CN202010950126 A CN 202010950126A CN 112215962 A CN112215962 A CN 112215962A
Authority
CN
China
Prior art keywords
emotion
module
scene
data set
change data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010950126.0A
Other languages
English (en)
Other versions
CN112215962B (zh
Inventor
于海涛
史德权
沈聪
张炜菊
王佳姚
靳唤新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202010950126.0A priority Critical patent/CN112215962B/zh
Publication of CN112215962A publication Critical patent/CN112215962A/zh
Application granted granted Critical
Publication of CN112215962B publication Critical patent/CN112215962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Computer Graphics (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

本发明属于虚拟现实情感刺激技术领域，公开了一种虚拟现实情感刺激系统及其创建方法，所述虚拟现实情感刺激系统包括：刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、中央控制模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块。本发明通过情感分类模块大大提高情感分类的准确率；同时，通过情感分析模块解决了现有技术中需要通过人为观察去确定与用户的情感，得到的情感分析结果存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。

Description

一种虚拟现实情感刺激系统及其创建方法
技术领域
本发明属于虚拟现实情感刺激技术领域，尤其涉及一种虚拟现实情感刺激系统及其创建方法。
背景技术
目前，情感是态度这一整体中的一部分，它与态度中的内向感受、意向具有协调一致性，是态度在生理上一种较复杂而又稳定的生理评价和体验。情感包括道德感和价值感两个方面，具体表现为爱情、幸福、仇恨、厌恶、美感等。“情绪和情感都是人对客观事物所持的态度体验，只是情绪更倾向于个体基本需求欲望上的态度体验，而情感则更倾向于社会需求欲望上的态度体验”。但实际上，这一结论一方面将大家公认的幸福、美感、喜爱等，较具有个人化而缺少社会性的感受排斥在情感之外；而另一方面又显然忽视了情绪感受上的喜、怒、忧、思、悲、恐、惊，和社会性情感感受上的爱情、友谊、爱国主义情感在行为过程中具有的交叉现象，例如一个人在追求爱情这一社会性的情感过程中随着行为过程的变化同样也会有各种各样的情绪感受，而爱情感受的稳定性和情绪感受的不稳定性又显然表明了爱情和相关情绪是有区别的。然而，现有虚拟现实情感刺激系统的创建方法过程中对情感分类不准确；同时，对情感分析需要人为观察，因此得到的结果与实际状态往往因人而异，可能存在一定的差异。
综上所述，现有技术存在的问题及缺陷是：现有虚拟现实情感刺激系统的创建方法过程中对情感分类不准确；同时，对情感分析需要人为观察，因此得到的结果与实际状态往往因人而异，可能存在一定的差异。
发明内容
针对现有技术存在的问题，本发明提供了一种虚拟现实情感刺激系统及其创建方法。
本发明是这样实现的，一种虚拟现实情感刺激系统的创建方法，所述虚拟现实情感刺激系统的创建方法包括以下步骤：
步骤一，通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
步骤二，通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；同时对构建的情感刺激虚拟场景进行PAD标准化评估，评估的参数包括：愉悦度、唤醒度、支配度，评估过程基于心理学SAM自评量表，对系统内每个情感刺激虚拟场景进行评估；
步骤三，通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理；通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
步骤四，通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别；通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化；
步骤五，通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本；对情感变化数据集样本进行数据预处理操作，获得所述情感变化数据集样本的特征词集合；
步骤六，基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合，以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率；
步骤七，运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算，生成所述情感变化数据集样本的特征集合所属类别的概率，所述类别大于等于4个；
步骤八，利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正，确定所述情感变化数据集样本的分类；运用支持向量机算法在m维空间中，确定分割超平面，将处在所述分割超平面一侧的定义为一个类别，完成对受测者情感的分类；所述分类的类别数m大于等于4；
步骤九，通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别；同时获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
步骤十，通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息；利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
步骤十一，基于所述生理信号识别结果以及微表情识别结果，分别对所述生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与所述目标用户对应的情感分析结果；
步骤十二，通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
步骤十三，通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
进一步，步骤五中，所述对情感变化数据集样本进行数据预处理的方法，包括：
(1)对所述情感变化数据集样本进行数据爬取操作，确定所述情感变化数据集样本的情感倾向；
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作，剔除所述情感变化数据集样本中不需要的部分，所述不需要的部分包括所述情感变化数据集样本的格式和标题；
(3)对所述情感变化数据集样本进行分词，英文语法和拼写错误纠正，并使用正则表达式去除标点符号和长度小于3的单词，并将单词转换为小写；
(4)对所述情感变化数据集样本进行特征提取，过滤掉文本中对于表达情感和话题贡献不大的词语，压缩文本处理后生成向量空间的维数。
进一步，所述对所述情感变化数据集样本进行特征提取的方法，包括：
对所述情感变化数据集样本进行分词后运用停用词表去除停用词；
通过词形还原和词干提取获得词的原型，并进行同义词的合并，完成所述情感变化数据集样本的特征提取。
进一步，步骤六中，所述以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法，包括：
(I)对所述情感变化数据集样本的特征集合进行高频词移除，优化所述特征词集合；
(II)选取所述优化后的特征词集合的所属类别最大的特征词，定义为所属类别最大特征词集合，并将所述所属类别最大特征词集合的并集，定义为所述情感词典；
(III)基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
进一步，步骤九中，所述肌电信号包括与所述目标用户对应的面部肌电信号；所述获取与目标用户相对应的生理信号的方法为：
基于面部肌电信号采集模块，分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
进一步，步骤十中，所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，包括：
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与所述面部图像信息相对应的加权空间特征；
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
进一步，步骤十中，所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，还包括：
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；
将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
本发明的另一目的在于提供一种应用所述的虚拟现实情感刺激系统的创建方法创建得到的虚拟现实情感刺激系统，所述虚拟现实情感刺激系统包括：
刺激场景数据获取模块，与中央控制模块连接，用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
刺激场景设计模块，与中央控制模块连接，用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；
虚拟场景导入模块，与中央控制模块连接，用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理；
中央控制模块，与刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块连接，用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
刺激反应识别模块，与中央控制模块连接，用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别；
情感变化统计模块，与中央控制模块连接，用于通过统计程序统计处于不同虚拟场景的受测者的情感变化；
情感分类模块，与中央控制模块连接，用于通过分类程序对受测者的情感进行分类；
情感分析模块，与中央控制模块连接，用于通过分析程序对受测者的情感进行分析；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的虚拟现实情感刺激系统的创建方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的虚拟现实情感刺激系统的创建方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过情感分类模块大大提高情感分类的准确率；同时，通过情感分析模块获取与目标用户相对应的生理信号；其中，生理信号中包括脑电信号以及肌电信号；获取与目标用户对应的面部图像信息；将生理信号以及面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；基于生理信号识别结果以及微表情识别结果，确定与目标用户对应的情感分析结果，解决了现有技术中需要通过人为观察去确定与用户的情感，得到的情感分析结果存在准确率较低的技术问题，实现了基于预先训练的模型对目标用户的生理信号以及面部图像信息分析处理，得到与目标用户对应的情感分析结果，提高了判断用户当前情感的准确性以及便捷性的技术效果。
附图说明
图1是本发明实施例提供的虚拟现实情感刺激系统的创建方法流程图。
图2是本发明实施例提供的虚拟现实情感刺激系统的结构框图；
图中：1、刺激场景数据获取模块；2、刺激场景设计模块；3、虚拟场景导入模块；4、中央控制模块；5、刺激反应识别模块；6、情感变化统计模块；7、情感分类模块；8、情感分析模块；9、数据存储模块；10、更新显示模块。
图3是本发明实施例提供的通过分类程序对受测者的情感进行分类的方法流程图。
图4是本发明实施例提供的以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法流程图。
图5是本发明实施例提供的通过分析程序对受测者的情感进行分析的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种虚拟现实情感刺激系统及其创建方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的虚拟现实情感刺激系统的创建方法包括：
S101，通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
S102，通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；
S103，通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理；
S104，通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
S105，通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别；
S106，通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化；
S107，通过情感分类模块利用分类程序对受测者的情感进行分类；通过情感分析模块利用分析程序对受测者的情感进行分析；
S108，通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
S109，通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
如图2所示，本发明实施例提供的虚拟现实情感刺激系统包括：刺激场景数据获取模块1、刺激场景设计模块2、虚拟场景导入模块3、中央控制模块4、刺激反应识别模块5、情感变化统计模块6、情感分类模块7、情感分析模块8、数据存储模块9、更新显示模块10。
刺激场景数据获取模块1，与中央控制模块4连接，用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
刺激场景设计模块2，与中央控制模块4连接，用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；
虚拟场景导入模块3，与中央控制模块4连接，用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理；
中央控制模块4，与刺激场景数据获取模块1、刺激场景设计模块2、虚拟场景导入模块3、刺激反应识别模块5、情感变化统计模块6、情感分类模块7、情感分析模块8、数据存储模块9、更新显示模块10连接，用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
刺激反应识别模块5，与中央控制模块4连接，用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别；
情感变化统计模块6，与中央控制模块4连接，用于通过统计程序统计处于不同虚拟场景的受测者的情感变化；
情感分类模块7，与中央控制模块4连接，用于通过分类程序对受测者的情感进行分类；
情感分析模块8，与中央控制模块4连接，用于通过分析程序对受测者的情感进行分析；
数据存储模块9，与中央控制模块4连接，用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
更新显示模块10，与中央控制模块4连接，用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的虚拟现实情感刺激系统的创建方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过分类程序对受测者的情感进行分类的方法包括：
S201，通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本；对情感变化数据集样本进行数据预处理操作，获得所述情感变化数据集样本的特征词集合；
S202，基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合，以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率；
S203，运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算，生成所述情感变化数据集样本的特征集合所属类别的概率，所述类别大于等于4个；
S204，利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正，确定所述情感变化数据集样本的分类；运用支持向量机算法在m维空间中，确定分割超平面，将处在所述分割超平面一侧的定义为一个类别，完成对受测者情感的分类。
本发明实施例提供的对情感变化数据集样本进行数据预处理的方法，包括：
(1)对所述情感变化数据集样本进行数据爬取操作，确定所述情感变化数据集样本的情感倾向；
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作，剔除所述情感变化数据集样本中不需要的部分，所述不需要的部分包括所述情感变化数据集样本的格式和标题；
(3)对所述情感变化数据集样本进行分词，英文语法和拼写错误纠正，并使用正则表达式去除标点符号和长度小于3的单词，并将单词转换为小写；
(4)对所述情感变化数据集样本进行特征提取，过滤掉文本中对于表达情感和话题贡献不大的词语，压缩文本处理后生成向量空间的维数。
本发明实施例提供的对所述情感变化数据集样本进行特征提取的方法为：
对所述情感变化数据集样本进行分词后运用停用词表去除停用词；
通过词形还原和词干提取获得词的原型，并进行同义词的合并，完成所述情感变化数据集样本的特征提取。
如图4所示，本发明实施例提供的以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法，包括：
S301，对所述情感变化数据集样本的特征集合进行高频词移除，优化所述特征词集合；
S302，选取所述优化后的特征词集合的所属类别最大的特征词，定义为所属类别最大特征词集合，并将所述所属类别最大特征词集合的并集，定义为所述情感词典；
S303，基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
实施例2
本发明实施例提供的虚拟现实情感刺激系统的创建方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过分析程序对受测者的情感进行分析的方法包括：
S401，通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别；同时获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
S402，通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息；
S403，利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
S404，基于所述生理信号识别结果以及微表情识别结果，分别对所述生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与所述目标用户对应的情感分析结果。
本发明实施例提供的肌电信号包括与所述目标用户对应的面部肌电信号；所述获取与目标用户相对应的生理信号的方法为：
基于面部肌电信号采集模块，分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
本发明实施例提供的将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，包括：
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与所述面部图像信息相对应的加权空间特征；
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
本发明实施例提供的将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，还包括：
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；
将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实情感刺激系统的创建方法，其特征在于，所述虚拟现实情感刺激系统的创建方法包括以下步骤：
步骤一，通过刺激场景数据获取模块利用数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
步骤二，通过刺激场景设计模块利用设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；同时对构建的情感刺激虚拟场景进行PAD标准化评估，评估的参数包括：愉悦度、唤醒度、支配度，评估过程基于心理学SAM自评量表，对系统内每个情感刺激虚拟场景进行评估；
步骤三，通过虚拟场景导入模块利用导入程序将设计的虚拟场景导入到中央控制模块进行处理；通过中央控制模块利用中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
步骤四，通过刺激反应识别模块利用识别程序对处于不同虚拟场景的受测者的情感反应进行识别；通过情感变化统计模块利用统计程序统计处于不同虚拟场景的受测者的情感变化；
步骤五，通过情感分类模块构建虚拟场景刺激受测者产生的情感变化数据集样本；对情感变化数据集样本进行数据预处理操作，获得所述情感变化数据集样本的特征词集合；
步骤六，基于所述情感变化数据集样本的特征词的隐晦情感含义确定所述情感变化数据集样本的特征集合，以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别的概率；
步骤七，运用朴素贝叶斯算法对所述情感变化数据集样本的特征词集合进行运算，生成所述情感变化数据集样本的特征集合所属类别的概率，所述类别大于等于4个；
步骤八，利用分类程序运用支持向量机对所述情感变化数据集样本的特征集合所属类别的概率进行修正，确定所述情感变化数据集样本的分类；运用支持向量机算法在m维空间中，确定分割超平面，将处在所述分割超平面一侧的定义为一个类别，完成对受测者情感的分类；所述分类的类别数m大于等于4；
步骤九，通过情感分析模块利用识别程序对受测者受到虚拟场景刺激的表情进行识别；同时获取与目标用户相对应的生理信号；其中，所述生理信号中包括脑电信号以及肌电信号；
步骤十，通过至少一个摄像头采集目标用户的面部视频序列，获取所述面部视频序列中的面部图像信息；利用分析程序将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果；
步骤十一，基于所述生理信号识别结果以及微表情识别结果，分别对所述生理信号识别结果以及微表情识别结果进行加权，根据加权后得到的结果确定与所述目标用户对应的情感分析结果；
步骤十二，通过数据存储模块利用存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
步骤十三，通过更新显示模块利用更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
2.如权利要求1所述的虚拟现实情感刺激系统的创建方法，其特征在于，步骤五中，所述对情感变化数据集样本进行数据预处理的方法，包括：
(1)对所述情感变化数据集样本进行数据爬取操作，确定所述情感变化数据集样本的情感倾向；
(2)对所述情感变化数据集样本运用进行数据清洗去噪操作，剔除所述情感变化数据集样本中不需要的部分，所述不需要的部分包括所述情感变化数据集样本的格式和标题；
(3)对所述情感变化数据集样本进行分词，英文语法和拼写错误纠正，并使用正则表达式去除标点符号和长度小于3的单词，并将单词转换为小写；
(4)对所述情感变化数据集样本进行特征提取，过滤掉文本中对于表达情感和话题贡献不大的词语，压缩文本处理后生成向量空间的维数。
3.如权利要求2所述的虚拟现实情感刺激系统的创建方法，其特征在于，所述对所述情感变化数据集样本进行特征提取的方法，包括：
对所述情感变化数据集样本进行分词后运用停用词表去除停用词；
通过词形还原和词干提取获得词的原型，并进行同义词的合并，完成所述情感变化数据集样本的特征提取。
4.如权利要求1所述的虚拟现实情感刺激系统的创建方法，其特征在于，步骤六中，所述以所述情感变化数据集样本的特征集合构建情感词典，并根据所述情感词典生成所述情感变化数据集样本的特征集合所属类别概率的方法，包括：
(I)对所述情感变化数据集样本的特征集合进行高频词移除，优化所述特征词集合；
(II)选取所述优化后的特征词集合的所属类别最大的特征词，定义为所属类别最大特征词集合，并将所述所属类别最大特征词集合的并集，定义为所述情感词典；
(III)基于所述情感词典生成所述情感变化数据集样本的所属类别的概率。
5.如权利要求1所述的虚拟现实情感刺激系统的创建方法，其特征在于，步骤九中，所述肌电信号包括与所述目标用户对应的面部肌电信号；所述获取与目标用户相对应的生理信号的方法为：
基于面部肌电信号采集模块，分别采集目标用户的眼部肌电信号、嘴部肌电信号、眉毛肌电信号以及喉结肌电信号。
6.如权利要求1所述的虚拟现实情感刺激系统的创建方法，其特征在于，步骤十中，所述将所述生理信号以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，包括：
将同一时刻采集到的面部图像信息输入至预先训练的多尺度特征加权网络中，得到与所述面部图像信息相对应的加权空间特征；
将所述面部视频序列的空间特征输入到预先训练的卷积长短时记忆网络中，得到与目标用户相对应的微表情识别结果。
7.如权利要求1所述的虚拟现实情感刺激系统的创建方法，其特征在于，步骤十中，所述将所述生理信号、以及所述面部图像信息分别输入至预先训练好的至少一个目标分类模型中，得到与目标用户相对应的生理信号识别结果以及微表情识别结果的方法，还包括：
将同一时刻采集到的生理信号输入至预先训练好的深度信念网络中，得到与所述目标用户对应的高层生理特征；
将所述高层生理特征输入至预先训练好的多核支持向量机中，得到与目标用户相对应的生理信号识别结果。
8.一种应用如权利要求1～7任意一项所述的虚拟现实情感刺激系统的创建方法创建得到的虚拟现实情感刺激系统，其特征在于，所述虚拟现实情感刺激系统包括：
刺激场景数据获取模块，与中央控制模块连接，用于通过数据获取设备获取括一系列能刺激产生不同情感的虚拟现实场景及各场景的情感名称描述、三维情感量化值；所述三维情感量化值为愉悦度、唤醒度、支配度的坐标值；
刺激场景设计模块，与中央控制模块连接，用于通过设计程序根据获取的刺激场景数据设计多种不同的情感刺激虚拟场景；
虚拟场景导入模块，与中央控制模块连接，用于通过导入程序将设计的虚拟场景导入到中央控制模块进行处理；
中央控制模块，与刺激场景数据获取模块、刺激场景设计模块、虚拟场景导入模块、刺激反应识别模块、情感变化统计模块、情感分类模块、情感分析模块、数据存储模块、更新显示模块连接，用于通过中央处理器控制所述虚拟现实情感刺激系统各个模块的正常工作；
刺激反应识别模块，与中央控制模块连接，用于通过识别程序对处于不同虚拟场景的受测者的情感反应进行识别；
情感变化统计模块，与中央控制模块连接，用于通过统计程序统计处于不同虚拟场景的受测者的情感变化；
情感分类模块，与中央控制模块连接，用于通过分类程序对受测者的情感进行分类；
情感分析模块，与中央控制模块连接，用于通过分析程序对受测者的情感进行分析；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果；
更新显示模块，与中央控制模块连接，用于通过更新程序对获取的刺激场景数据、设计的虚拟场景、识别结果、统计的情感变化的内容、分类结果以及分析结果进行更新，并通过显示器对数据进行实时显示。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述的虚拟现实情感刺激系统的创建方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的虚拟现实情感刺激系统的创建方法。
CN202010950126.0A 2020-09-09 2020-09-09 一种虚拟现实情感刺激系统及其创建方法 Active CN112215962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010950126.0A CN112215962B (zh) 2020-09-09 2020-09-09 一种虚拟现实情感刺激系统及其创建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950126.0A CN112215962B (zh) 2020-09-09 2020-09-09 一种虚拟现实情感刺激系统及其创建方法

Publications (2)

Publication Number Publication Date
CN112215962A true CN112215962A (zh) 2021-01-12
CN112215962B CN112215962B (zh) 2023-04-28

Family

ID=74050574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950126.0A Active CN112215962B (zh) 2020-09-09 2020-09-09 一种虚拟现实情感刺激系统及其创建方法

Country Status (1)

Country Link
CN (1) CN112215962B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011504A (zh) * 2021-03-23 2021-06-22 华南理工大学 基于视角权重和特征融合的虚拟现实场景情感识别方法
CN113643046A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 适用于虚拟现实的共情策略推荐方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578807A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种虚拟现实情感刺激系统的创建方法
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
CN111222464A (zh) * 2020-01-07 2020-06-02 中国医学科学院生物医学工程研究所 情感分析方法以及系统
US20200201434A1 (en) * 2018-12-20 2020-06-25 Samsung Electronics Co., Ltd. Bioresponsive virtual reality system and method of operating the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
CN107578807A (zh) * 2017-07-17 2018-01-12 华南理工大学 一种虚拟现实情感刺激系统的创建方法
US20200201434A1 (en) * 2018-12-20 2020-06-25 Samsung Electronics Co., Ltd. Bioresponsive virtual reality system and method of operating the same
CN111222464A (zh) * 2020-01-07 2020-06-02 中国医学科学院生物医学工程研究所 情感分析方法以及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011504A (zh) * 2021-03-23 2021-06-22 华南理工大学 基于视角权重和特征融合的虚拟现实场景情感识别方法
CN113011504B (zh) * 2021-03-23 2023-08-22 华南理工大学 基于视角权重和特征融合的虚拟现实场景情感识别方法
CN113643046A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 适用于虚拟现实的共情策略推荐方法、装置、设备及介质
CN113643046B (zh) * 2021-08-17 2023-07-25 中国平安人寿保险股份有限公司 适用于虚拟现实的共情策略推荐方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112215962B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Abdullah et al. Facial expression recognition based on deep learning convolution neural network: A review
CN113598774B (zh) 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN107958230B (zh) 人脸表情识别方法及装置
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN114787883A (zh) 自动情绪识别方法、系统、计算设备及计算机可读存储介质
CN111785366B (zh) 患者治疗方案的确定方法、装置及计算机设备
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
CN112215962A (zh) 一种虚拟现实情感刺激系统及其创建方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN114202791A (zh) 面部情绪识别模型的训练方法、情绪识别方法及相关设备
CN114463827A (zh) 一种基于ds证据理论的多模态实时情绪识别方法及系统
CN113243924A (zh) 基于脑电信号通道注意力卷积神经网络的身份识别方法
CN115270849A (zh) 一种多模态情感识别方法、装置、设备及可读存储介质
Ghorbanzadeh et al. DGAFF: Deep genetic algorithm fitness Formation for EEG Bio-Signal channel selection
CN114781441A (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
Gu et al. American sign language translation using wearable inertial and electromyography sensors for tracking hand movements and facial expressions
CN111026267A (zh) Vr脑电意念控制接口系统
CN112466435B (zh) 心理辅导方案的确定方法及装置、存储介质、电子装置
Fatima et al. Gender recognition using EEG during mobile game play
Ulaş et al. Incorporation of a language model into a brain computer interface based speller through HMMs
Jaswal et al. Empirical analysis of multiple modalities for emotion recognition using convolutional neural network
CN113313795A (zh) 虚拟化身脸部表情生成系统和虚拟化身脸部表情生成方法
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
Gal et al. Identifying emotion pattern from physiological sensors through unsupervised EMDeep model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant