CN113053492A - 基于用户背景和情绪的自适应虚拟现实干预系统及方法 - Google Patents

基于用户背景和情绪的自适应虚拟现实干预系统及方法 Download PDF

Info

Publication number
CN113053492A
CN113053492A CN202110360985.9A CN202110360985A CN113053492A CN 113053492 A CN113053492 A CN 113053492A CN 202110360985 A CN202110360985 A CN 202110360985A CN 113053492 A CN113053492 A CN 113053492A
Authority
CN
China
Prior art keywords
emotion
content
adaptive
user
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110360985.9A
Other languages
English (en)
Other versions
CN113053492B (zh
Inventor
李争平
陈弘
王立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202110360985.9A priority Critical patent/CN113053492B/zh
Publication of CN113053492A publication Critical patent/CN113053492A/zh
Application granted granted Critical
Publication of CN113053492B publication Critical patent/CN113053492B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于用户背景和情绪的自适应虚拟现实干预系统及其实现方法，通过研究受试者社会属性、应激环境特点、VR场景对象素材和减压效果的关联关系，结合GAN网络和PCG技术，实现情绪状态驱动的自适应VR系统。干预系统包括包括实时情绪识别模块、情绪VR知识图谱模型模块、自适应VR生成模块。本发明结合GAN和PCG生成VR，可以在实验开始之前或者进行时连续地按程序生成内容，不仅可以节省人力时间，还能够令VR场景的内容更加多样化，而非局限于VR素材库；本发明以用户背景和情绪作为输入，通过生成网络去更针对个体用户提供特定的刺激内容生成，从而形成更为精确的心理应激训练，促进用户体验与场景发生交互影响。

Description

基于用户背景和情绪的自适应虚拟现实干预系统及方法
技术领域
本发明属于人机交互技术领域，涉及虚拟现实技术，具体地说，是涉及基于用户背景和情绪的自适应虚拟现实干预系统及其实现方法。
背景技术
虚拟现实(Virtual Reality,VR)技术通过虚拟空间环境给人们类似现实的感官体验，这使得人们一直不断地发展相关技术。VR技术因其沉浸性，交互性，多感知性，构想性，自主性等良好特点，在心理健康方面也逐渐得到了广泛的应用。通过VR不仅可以方便地构建针对各心理疾病的VR场景，实现对患者的心理引导，还可以帮助患者进行想象暴露，通过控制刺激强度，减轻心理压力。VR作用会对人的心理产生作用，其作用效果可以通过脑电(Electroencephalogram，EEG)等生理信号直观的反映出来。因此，人们逐渐研究通过VR技术进行心理干预，实时监测VR暴露对人体心理的刺激强度，实时控制VR内容，实现疗效最佳化。
由于人与人之间的状态能力总是有差距，不同个体对于同一事物场景的表现与反应也不尽相同，因此自适应的VR系统可以进一步增强VR和心理生理测量的应用。自适应VR系统一般是指通过用户反馈进行VR内容的自适应显示。通常的反馈方法是生物反馈，即在治疗过程中实时向患者反应其相关的生理活动变化信息，反映的方式可以多样化，从而通过更直观的方式，让患者更好地了解自身身体的反应，并能够根据反馈进行调整。
现有的情绪自适应VR系统一般是通过构建标签化的VR素材库，然后根据情绪状态把素材库内容进行类似排列组合的显示。还有些系统构建游戏形式的VR场景。这类方法可以理解为基于父场景的子场景生成，主要是通过用户情绪状态的变化去触发子变量规则，从而可以实现不同个体间拥有不一样的VR体验。具体实现为首先由开发者构建整个VR框架，同时设计不同的情况或者任务，这些任务子变量由的触发条件是不同的情绪状态，实现由标签化的素材库响应情绪的VR场景生成。
这些自适应VR系统存在的问题是：VR场景多样性与个性化取决于构建的标签化素材库。虽然多种素材可以有很多的组合方式，但事实上这还是属于一种更高级的预定义方案，虽然能在一定程度上满足不同个体间的要求，但并没有实现更智能化、多样化和个性化的应用。因此如何为每一个特定用户生成个性化，多样化且沉浸感强的VR内容依然是尚待解决的问题。
发明内容
为解决上述问题，本发明公开了一种基于用户背景和情绪的自适应虚拟现实干预系统及其实现方法，通过研究受试者社会属性、应激环境特点、VR场景对象素材和减压效果的关联关系，结合生成式对抗网络(Generative Adversarial Networks,GAN)和过程内容生成(Procedural content generation,PCG)技术，实现情绪状态驱动的自适应VR系统。
为了达到上述目的，本发明提供如下技术方案：
一种基于用户背景和情绪的自适应虚拟现实干预系统，包括实时情绪识别模块、情绪VR知识图谱模型模块、自适应VR生成模块；
所述实时情绪识别模块用于采集用户生理信号并进行情绪分析，识别情绪状态并表示为情绪维度模型；
所述情绪VR知识图谱模型模块用于通过机器学习分析情绪与虚拟对象之间的关系，通过学习情绪刺激内容的知识图谱构建情绪VR模型；
所述自适应VR生成模块用于根据用户背景和实时情绪状态，通过GAN和PCG技术对VR场景进行控制调整生成。
进一步的，所述情绪VR知识图谱模型模块基于图片系统中的各情绪图片，通过图像识别与图像特征提取对图像内容与情绪之间关系进行分析，获取图像各维度信息；随后利用机器学习模型对特征信息进行系统的回归学习，分析不同类型视觉显示与情绪之间的关联关系，与情绪状态构建关系权重模型，建立情绪VR知识图谱。
进一步的，所述自适应VR生成模块训练GAN生成模型，对情绪刺激内容进行量化处理，为GAN网络的生成训练提供与情绪相关的训练数据内容；将背景信息输入生成器中自动生成内容，将生成的内容与步骤一采集到的情绪刺激内容输入判别器D中，最终生成个性化VR场景。
一种基于用户背景和情绪的自适应虚拟现实干预方法，包括如下步骤：
步骤一，用户情绪状态识别
采集用户生理信号并进行情绪分析，识别情绪状态并表示为情绪维度模型；
步骤二，建立情绪VR知识图谱模型
基于图片系统中的各情绪图片，通过图像识别与图像特征提取对图像内容与情绪之间关系进行分析，获取图像各维度信息；随后利用机器学习模型对特征信息进行系统的回归学习，分析不同类型视觉显示与情绪之间的关联关系，与情绪状态构建关系权重模型，建立情绪VR知识图谱；
步骤三，生成自适应VR
训练GAN生成模型，对情绪刺激内容进行量化处理，为GAN网络的生成训练提供与情绪相关的训练数据内容；将背景信息输入生成器中自动生成内容，将生成的内容与步骤一采集到的情绪刺激内容输入判别器D中，最终生成个性化VR场景。
进一步的，所述生理信号包括脑电波、心率、皮肤电信号。
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明结合GAN和PCG生成VR。由于在自适应VR系统中通过引入PCG技术，可以在实验开始之前或者进行时连续地按程序生成内容，不仅可以节省人力时间，还能够令VR场景的内容更加多样化，而非局限于VR素材库。
2.与以往先由VR刺激来刺激用户情绪不同，本发明以用户背景和情绪作为输入，通过生成网络去更针对个体用户提供特定的刺激内容生成，从而形成更为精确的心理应激训练，促进用户体验与场景发生交互影响，实现了更智能的自适应VR。
附图说明
图1为本发明提供的基于用户背景和情绪的自适应虚拟现实干预系统架构图。
图2为建立情绪VR知识图谱模型过程示意图。
图3为生成自适应VR过程示意图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明提供了一种基于用户背景和情绪的自适应虚拟现实干预系统，其架构如图1所示，包括实时情绪识别模块、情绪VR知识图谱模型模块、自适应VR生成模块。其中，实时情绪识别模块用于采集用户脑电信号，心率，皮肤电导等生理信号并进行情绪分析，可通过SWM或openCV技术实现；情绪VR知识图谱模型模块用于通过机器学习分析情绪与虚拟对象之间的关系，通过学习情绪刺激内容的知识图谱构建情绪VR模型；自适应VR生成模块用于根据用户背景和实时情绪状态通过GAN和PCG技术对VR场景进行控制调整生成。
本发明还提供了基于一种基于用户背景和情绪的自适应虚拟现实干预方法，包括如下步骤：
步骤一，用户情绪状态识别
生理信号能直观且客观的体现个人的心理状态，结合用户的背景资料与实时情绪状态可以更好的为用户提供独特的VR内容。本步骤实时识别可用的生理信号，包括脑电波(EEG)，心率，皮肤电信号等。由于生理信号的频率大，信号弱，在采集时易受干扰，因此一般要对其进行预处理。情绪状态识别到的数据以情绪的维度模型表示，即依据效价和唤醒度的数值。自适应虚拟现实干预系统中的实时情绪识别模块亦具体实现本步骤内容。
步骤二，建立情绪VR知识图谱模型
本步骤具体实现过程如图2所示，首先按照VR沉浸场景对各类虚拟素材的需求，基于国际情绪图片系统(International Affective Picture System,IAPS)和中国情绪图片系统(Chinese Affective Picture System,CAPS)，基于每张情绪图像以及与之相应的情绪度量，使用图像识别与图像特征提取手段对图像内容与情绪之间关系进行分析，获取图像内容，背景，亮度，颜色特征等信息；随后利用机器学习模型对特征信息进行系统的回归学习，分析不同类型视觉显示与情绪之间的关联关系，即什么样的视觉效果可以造成什么样的情绪状态，与情绪状态构建关系权重模型，建立情绪VR知识图谱模型，为自适应VR场景生成提供与情绪对应的各类可变要素的支持，而非固定素材的展示。自适应虚拟现实干预系统中的情绪VR知识图谱模型模块具体实现本步骤内容。
步骤三，生成自适应VR
本步骤如图3所示训练GAN生成模型，对步骤一提取的情绪刺激内容进行量化处理，为GAN网络的生成训练提供与情绪相关的训练数据内容。使用GAN网络进行大规模训练，使GAN模型的生成效果能够保持逼真的同时生成内容多样化，保存训练好的模型以便后续调用。具体地说，向生成器G输入噪声数据，自动生成内容，将生成的内容与情绪刺激内容输入判别器D中，生成器根据判别器输出的真假分布，更新参数。自适应虚拟现实干预系统中的自适应VR生成模块具体实现本步骤内容。
程序自动生成内容，而不是设计者之前就设计好的，这意味着必须有一个创造的过程。把情绪状态和背景信息作为PCG中的“种子”，不同的“种子”生成的效果就不一样。不足之处在于生成的内容在某些方面可能会有很多相似之处。但是我们生活的这个世界就有很多相似的东西，因此这样的生成方式与实际生活也更为贴合。
基于Unity3D引擎，在C#脚本中利用GAN生成模型和PCG技术以用户的情绪状态以及背景信息作为输入，生成个性化VR场景，再辅以粒子效果对渲染过程改进，营造良好沉浸感逼真环境。如GAN网络可在VR场景模型中生成独特的纹理贴图。Perlin噪声可用于以自动化方式生成如要应用不同类型的纹理生成生物群等信息。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种基于用户背景和情绪的自适应虚拟现实干预系统，其特征在于：包括实时情绪识别模块、情绪VR知识图谱模型模块、自适应VR生成模块；
所述实时情绪识别模块用于采集用户生理信号并进行情绪分析，识别情绪状态并表示为情绪维度模型；
所述情绪VR知识图谱模型模块用于通过机器学习分析情绪与虚拟对象之间的关系，通过学习情绪刺激内容的知识图谱构建情绪VR模型；
所述自适应VR生成模块用于根据用户背景和实时情绪状态，通过GAN和PCG技术对VR场景进行控制调整生成。
2.根据权利要求1所述的基于用户背景和情绪的自适应虚拟现实干预系统，其特征在于：所述情绪VR知识图谱模型模块基于图片系统中的各情绪图片，通过图像识别与图像特征提取对图像内容与情绪之间关系进行分析，获取图像各维度信息；随后利用机器学习模型对特征信息进行系统的回归学习，分析不同类型视觉显示与情绪之间的关联关系，与情绪状态构建关系权重模型，建立情绪VR知识图谱。
3.根据权利要求1所述的基于用户背景和情绪的自适应虚拟现实干预系统，其特征在于：所述自适应VR生成模块训练GAN生成模型，对情绪刺激内容进行量化处理，为GAN网络的生成训练提供与情绪相关的训练数据内容；将背景信息输入生成器中自动生成内容，将生成的内容与步骤一采集到的情绪刺激内容输入判别器D中，最终生成个性化VR场景。
4.一种基于用户背景和情绪的自适应虚拟现实干预方法，其特征在于，包括如下步骤：
步骤一，用户情绪状态识别
采集用户生理信号并进行情绪分析，识别情绪状态并表示为情绪维度模型；
步骤二，建立情绪VR知识图谱模型
基于图片系统中的各情绪图片，通过图像识别与图像特征提取对图像内容与情绪之间关系进行分析，获取图像各维度信息；随后利用机器学习模型对特征信息进行系统的回归学习，分析不同类型视觉显示与情绪之间的关联关系，与情绪状态构建关系权重模型，建立情绪VR知识图谱；
步骤三，生成自适应VR
训练GAN生成模型，对情绪刺激内容进行量化处理，为GAN网络的生成训练提供与情绪相关的训练数据内容；将背景信息输入生成器中自动生成内容，将生成的内容与步骤一采集到的情绪刺激内容输入判别器D中，最终生成个性化VR场景。
5.根据权利要求4所述的基于用户背景和情绪的自适应虚拟现实干预方法，其特征在于：所述生理信号包括脑电波、心率、皮肤电信号。
CN202110360985.9A 2021-04-02 2021-04-02 基于用户背景和情绪的自适应虚拟现实干预系统及方法 Expired - Fee Related CN113053492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360985.9A CN113053492B (zh) 2021-04-02 2021-04-02 基于用户背景和情绪的自适应虚拟现实干预系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360985.9A CN113053492B (zh) 2021-04-02 2021-04-02 基于用户背景和情绪的自适应虚拟现实干预系统及方法

Publications (2)

Publication Number Publication Date
CN113053492A true CN113053492A (zh) 2021-06-29
CN113053492B CN113053492B (zh) 2022-07-15

Family

ID=76517201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360985.9A Expired - Fee Related CN113053492B (zh) 2021-04-02 2021-04-02 基于用户背景和情绪的自适应虚拟现实干预系统及方法

Country Status (1)

Country Link
CN (1) CN113053492B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640699A (zh) * 2022-02-17 2022-06-17 华南理工大学 基于vr角色扮演游戏交互的情绪诱发监测系统
CN114861274A (zh) * 2022-05-10 2022-08-05 合肥工业大学 基于eeg信号的实时交互式空间要素优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
WO2010045593A2 (en) * 2008-10-17 2010-04-22 Sacred Agents, Inc A system and method for content customization based on emotional state of the user
CN106620990A (zh) * 2016-11-24 2017-05-10 深圳创达云睿智能科技有限公司 一种调节情绪的方法及其装置
CN111161847A (zh) * 2020-01-07 2020-05-15 上海理工大学 一种适用于幽闭恐惧症患者的虚拟场景系统及其实现方法
CN112365956A (zh) * 2020-12-13 2021-02-12 龙马智芯（珠海横琴）科技有限公司 基于虚拟现实的心理治疗方法、装置、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
WO2010045593A2 (en) * 2008-10-17 2010-04-22 Sacred Agents, Inc A system and method for content customization based on emotional state of the user
CN106620990A (zh) * 2016-11-24 2017-05-10 深圳创达云睿智能科技有限公司 一种调节情绪的方法及其装置
CN111161847A (zh) * 2020-01-07 2020-05-15 上海理工大学 一种适用于幽闭恐惧症患者的虚拟场景系统及其实现方法
CN112365956A (zh) * 2020-12-13 2021-02-12 龙马智芯（珠海横琴）科技有限公司 基于虚拟现实的心理治疗方法、装置、服务器及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN E. LÓPEZ 等: ""Deep Reinforcement Learning for Procedural Content Generation of 3D Virtual Environments "", 《HTTPS://DOI.ORG/10.1115/1.4046293》 *
MIAO WANG 等: ""VR content creation and exploration with deep learning: A survey"", 《LINK.SPRINGER.COM/ARTICLE/10.1007/S41095-020-0162-Z》 *
林弋琪等: "虚拟现实技术与自闭症谱系障碍治疗:科技新希望", 《心理科学进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640699A (zh) * 2022-02-17 2022-06-17 华南理工大学 基于vr角色扮演游戏交互的情绪诱发监测系统
CN114861274A (zh) * 2022-05-10 2022-08-05 合肥工业大学 基于eeg信号的实时交互式空间要素优化方法

Also Published As

Publication number Publication date
CN113053492B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
Ebrahimi et al. Brain-computer interface in multimedia communication
US11561806B2 (en) Adaptive interface for screen-based interactions
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及系统
CN104871160B (zh) 用于感觉和认知剖析的系统和方法
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
US10423893B2 (en) Adaptive interface for screen-based interactions
CN113053492B (zh) 基于用户背景和情绪的自适应虚拟现实干预系统及方法
Val-Calvo et al. Affective robot story-telling human-robot interaction: exploratory real-time emotion estimation analysis using facial expressions and physiological signals
CN109766845B (zh) 一种脑电信号分类方法、装置、设备和介质
Pereira Jr Triple-aspect monism: Physiological, mental unconscious and conscious aspects of brain activity
CN108885800A (zh) 基于智能增强现实（iar）平台的通信系统
CN107704881A (zh) 一种基于动物脑电识别的数据可视化处理方法及装置
Borra et al. A lightweight multi-scale convolutional neural network for P300 decoding: analysis of training strategies and uncovering of network decision
CN114640699B (zh) 基于vr角色扮演游戏交互的情绪诱发监测系统
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Mishra et al. Nadine robot in elderly care simulation recreational activity: using computer vision and observations for analysis
CN114035678A (zh) 一种基于深度学习和虚拟现实的辅助判断方法
Boccignone et al. Stairway to Elders: bridging space, time and emotions in their social environment for wellbeing
CN115444717B (zh) 基于脑机接口的肢体功能康复训练方法及系统
Alhaddad et al. A genetic interval type-2 fuzzy logic-based approach for generating interpretable linguistic models for the brain P300 phenomena recorded via brain–computer interfaces
CN110693508A (zh) 多通道协同的心理生理主动感知方法及服务机器人
Han et al. Confidence-aware subject-to-subject transfer learning for brain-computer interface
Chirimuuta The Development and Application of Efficient Coding Explanation
CN114283262A (zh) 一种基于虚拟现实技术的沉浸式表演情感增强系统
WO2021061699A1 (en) Adaptive interface for screen-based interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220715