CN114115534B - 一种基于房间式互动投影的关系增强系统及方法 - Google Patents
一种基于房间式互动投影的关系增强系统及方法 Download PDFInfo
- Publication number
- CN114115534B CN114115534B CN202111341565.2A CN202111341565A CN114115534B CN 114115534 B CN114115534 B CN 114115534B CN 202111341565 A CN202111341565 A CN 202111341565A CN 114115534 B CN114115534 B CN 114115534B
- Authority
- CN
- China
- Prior art keywords
- projection
- virtual
- control terminal
- task
- virus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 19
- 230000006854 communication Effects 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 241000700605 Viruses Species 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 23
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 208000019901 Anxiety disease Diseases 0.000 claims description 4
- 230000036506 anxiety Effects 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 7
- 230000008451 emotion Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 210000004556 brain Anatomy 0.000 description 17
- 238000004590 computer program Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000002858 neurotransmitter agent Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003487 electrochemical reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/822—Strategy games; Role-playing games
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/807—Role playing or strategy games
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供了一种基于房间式互动投影的关系增强系统及方法，包括：墙面客户端、地面客户端、脑电信号采集装置以及控制终端，脑电信号采集装置与控制终端通信连接；墙面客户端包括至少三台第一激光雷达和至少三台第一投影装置；地面客户端包括至少一台第二激光雷达和至少一台第二投影装置；控制终端根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据交互模式进行虚拟形象的选择、渲染画面的播放以及任务场景的设定，根据脑电信号进行任务难度设定；本发明在保证沉浸感的同时，用户之间可以看到真实的对方，不会受到VR设备等的限制，更有利于交流和互动，增强情感关系。
Description
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种基于房间式互动投影的关系增强系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
VR(Virtual Reality，虚拟现实技术)，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感，因为其沉浸性等特性，虚拟现实技术可以创造引人入胜的体验，用户在虚拟现实设备中可以很真实地在模型中进行视觉触觉等感知体验，增强用户的体验感受，增强情感交流。
发明人发现，目前存在部分基于VR的通过各种交互方式增加人际关系的技术方案，但是，目前人际关系增强系统存在的问题主要表现在：
(1)虚拟现实环境中，用户之间只能看到对方的虚拟形象，不如真实形象更能增强情感依赖；
(2)目前的多人VR更倾向于游戏性和竞争性，对于合作增强关系方面并不侧重；
(3)基于动作识别的虚拟形象存在着动作不自然和识别不准确的问题。
发明内容
为了解决现有技术的不足，本发明提供了一种基于房间式互动投影的关系增强系统及方法，构建了一种沉浸式虚拟环境，使得用户置身于一个墙面和地面均有投影的空间内，在保证沉浸感的同时，用户之间可以看到真实的对方，不会受到VR设备等的限制，更有利于交流和互动，增强了情感关系。
为了实现上述目的，本发明采用如下技术方案：
本发明第一方面提供了一种基于房间式互动投影的关系增强系统。
一种基于房间式互动投影的关系增强系统，包括：墙面客户端、地面客户端、脑电信号采集装置以及控制终端，脑电信号采集装置与控制终端通信连接；
墙面客户端包括至少三台第一激光雷达和至少三台第一投影装置，第一激光雷达和第一投影装置均与控制终端通信连接，第一投影装置用于将虚拟场景投影到不同墙面上，第一激光雷达用于获取人体姿态；
地面客户端包括至少一台第二激光雷达和至少一台第二投影装置，第二激光雷达和第二投影装置均与控制终端通信连接，第二投影装置用于将虚拟场景投影到地面上，第一激光雷达用于获取人体脚部位置；
控制终端根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据交互模式进行虚拟形象的选择、渲染画面的播放以及任务场景的设定，根据脑电信号进行任务难度设定。
进一步的，控制终端根据脑电信号采集装置采集的人体的THETA分心波、SMR注意力波和Hi-beta紧张波，得到人体的专注度和放松度，根据专注度和放松度进行任务难度设定。
更进一步的，当专注度大于第一阈值时，第一用户选择的虚拟角色发射虚拟针管攻击虚拟病毒，第二用户选择的虚拟角色生成一个虚拟口罩进行防护，虚拟病毒根据生成算法自主更改生成速度。
更进一步的，消灭病毒判定为表现好，被病毒攻击判定为表现差，当表现好并且通过EEG设备返回的放松值大于第二阈值时，判定当前状态为无聊，增加C％病毒产生速度；
当表现好并且放松值小于或等于第二阈值时，判定当前状态为心流，保持病毒产生速度不变；
当表现差并且放松值大于第二阈值时，判定当前状态为无为，保持病毒产生速度不变；
当表现差并且放松值小于或等于第二阈值时，判定当前状态为焦虑，减少D％病毒产生速度。
更进一步的，房间墙面上出现虚拟医疗箱，用手触碰墙壁获得恢复健康值。
进一步的，多台投影装置的投影画面，在房间的墙面和地面上进行拼接，对投影画面进行几何校正、边缘融合和亮度调节，生成拼接融合参数图，形成渲染画面。
本发明第二方面提供了一种基于房间式互动投影的关系增强方法。
一种基于房间式互动投影的关系增强方法，包括以下过程：
通过语音和文字画面介绍任务背景；
语音提示通过直接触碰墙体上的投影结果来选择交互模式；
在地面生成控制点位，以使得用户站立在空点点位上引导虚拟人物移动到控制点位；
引导完成后，根据脑电信号进行实时的任务设定，根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据选择的交互模式和任务设定结果进行人机交互。
与现有技术相比，本发明的有益效果是：
1、本发明所述的系统及方法，用户不用佩戴沉重的头盔显示器，减少了任务过程中的身体负担，有更好的沉浸体验，用户不需要额外的训练，使用自然的交互方式即可。
2、本发明所述的系统及方法，用户之间看到的不仅仅是虚拟的角色，还可以看到真实的对方，在合作完成任务的同时可以更有真实感和沉浸感，有利于用户间人际关系的增强。
3、本发明所述的系统及方法，任务难度通过用户表现以及EEG返回的专注力信息共同调节，任务难度会更符合用户所可以达到的上限，使用户更容易进入心流状态。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例提供的硬件组成架构图。
图2为本发明实施例提供的系统工作流程示意图。
图3为本发明实施例提供的用户佩戴的BrainLink Lite脑电智能硬件设备示意图。
图4(a)为用户佩戴脑电智能硬件设备，置身于一个有四面投影的房间内，进行人际关系增强任务一。
图4(b)为用户佩戴脑电智能硬件设备，置身于一个有四面投影的房间内，进行人际关系增强任务二。
图5(a)为本发明实施例提供的应用于具体实施例的背景介绍的实例图。
图5(b)为本发明实施例提供的应用于具体实施例的选择虚拟角色的实例图。
图5(c)为本发明实施例提供的应用于具体实施例的执行任务一的实例图。
图5(d)为本发明实施例提供的应用于具体实施例的执行任务二的实例图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本发明实施例1提供了一种基于房间式互动投影的人际关系增强系统，构建了一种沉浸式虚拟环境，用户置身于一个墙面和地面均有投影的房间内，在保证沉浸感的同时，用户之间看到的不仅仅是虚拟的角色，还可以看到真实的对方，不会受到VR设备等的限制，更有利于交流和互动，增强情感关系，可以更有真实感和沉浸感，有利于用户间人际关系的增强。用户面对投影内容使用适当的交互方式完成任务，任务难度通过用户表现以及EEG设备返回的专注力信息共同调节，任务难度会更符合用户所可以达到的上限，使用户更容易进入心流状态。在和其他用户共同完成合适难度任务的同时，用户间相互交流，共同协作，在任务中增进二人的情感关系。
所述系统包括墙面客户端、地面客户端、脑电信号采集装置以及控制终端(即服务器)，脑电信号采集装置与控制终端通信连接；
墙面客户端包括至少三台第一激光雷达和至少三台第一投影装置，第一激光雷达和第一投影装置均与控制终端通信连接，第一投影装置用于将虚拟场景投影到不同墙面上，第一激光雷达用于获取人体姿态；
地面客户端包括至少一台第二激光雷达和至少一台第二投影装置，第二激光雷达和第二投影装置均与控制终端通信连接，第二投影装置用于将虚拟场景投影到地面上，第一激光雷达用于获取人体脚部位置；
控制终端根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据交互模式进行虚拟形象的选择、渲染画面的播放以及任务场景的设定，根据脑电信号进行任务难度设定。
具体的，控制终端包括多投影拼接和融合模块、基于脑电的生理交互模块、交互模块、反馈模块和通信模块。
所述多投影拼接和融合模块，被配置为：把多台投影装置的投影画面，在墙面和地面上拼接起来，而且平缓过渡融合带，使用现有的多通道校正软件对投影画面进行几何校正、边缘融合和亮度调节，生成拼接融合参数图，通过对参数图解码以及运算，最终渲染画面并从不同投影装置显示出来。
所述基于脑电的生理交互模块，被配置为：获取用户的脑电波数据，根据其内置的算法获取用户的专注度和放松度用以调整系统难度。
例如，当专注度大于阈值A时，用户一选择的虚拟角色会发射虚拟针管攻击虚拟病毒，用户二选择的虚拟角色会生成一个虚拟口罩进行防护，虚拟病毒会根据生成算法自主更改生成速度。当表现好并且放松值大于阈值B时，判定当前状态为无聊，增加C％病毒产生速度；当表现好并且放松值小于等于阈值B时，判定当前状态为心流，保持病毒产生速度不变；当表现差并且放松值大于阈值B时，判定当前状态为无为，保持病毒产生速度不变；当表现差并且放松值小于等于阈值B时，判定当前状态为焦虑，减少D％病毒产生速度。
所述交互模块包括人机交互模块，被配置为：支持体势交互方式，用户通过选择恰当的交互方式来完成系统给出的任务。
所述反馈模块，被配置为：通过可视化形式对于任务完成情况作出反馈，如地面有医疗箱，当用户站在医疗箱上后，会引导虚拟角色走向医疗箱。
所述通信模块，被配置为：用于连接投影装置的多台主机之间的通信，包括建立网络连接、发送消息、转发消息、解析消息等，服务器有消息转发功能，实现与客户端的直接通信以及客户端之间的消息传递。
本实施例中，墙面客户端包括三台激光雷达和三台投影装置，用来将虚拟场景投影到不同的墙面上，获取用户姿态，获取用户触碰墙面的位置，判断用户触碰的准确性；地面客户端包括至少一台激光定位雷达和一台投影装置，用来将虚拟场景投影到地面上，获取用户脚部位置，判断用户脚部动作的准确性。
脑电信号检测装置采用至少两套与控制终端通信的EEG设备，所述EEG设备用于提供用户的脑电波数据，控制终端与各个激光定位雷达和投影装置分别通信连接。由于人的大脑正常运转时，大脑神经元会释放神经递质来进行信息的传递，神经元释放和传输神经递质的过程是一个电化学反应的过程，会产生微弱的脑电流称为脑电波，通过EEG设备获取用户的THETA分心波、SMR注意力波以及Hi-beta紧张波，然后通过内置eSense算法分析波段长短来分析用户的专注度和放松度。EEG设备首先对原始脑电波信号进行放大并过滤了环境噪音及肌肉组织运动产生的干扰，通过对上述处理后的信号应用eSense算法进行计算，得到了量化的eSense参数值。eSense算法是神念科技对大脑状态进行评估的专利算法，以量化的数值形式表示分析处理的结果。eSense算法工作原理是通过对采集的脑电数据进行快速傅里叶变换，然后再根据需求对频率进行滤波处理得到α波和β波，最后进行功率谱分析，选定基本参考值，完成归一化。
实施例2：
本发明实施例2提供了一种基于房间式互动投影的关系增强方法，包括以下过程：
通过语音和文字画面介绍任务背景；
语音提示通过直接触碰墙体上的投影结果来选择交互模式；
在地面生成控制点位，以使得用户站立在空点点位上引导虚拟人物移动到控制点位；
引导完成后，根据脑电信号进行实时的任务设定，根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据选择的交互模式和任务设定结果进行人机交互。
具体的，如图2所示，包括以下步骤：
(1)开启服务器，等待各客户端的连接申请。开启客户端，申请与服务器建立连接。建立网络连接并进行传递消息。
(2)用户步入房间，通过墙面投影的语音和文字画面介绍任务背景。
(3)用户通过直接触碰墙面选择任务中代表自己的虚拟角色。
(4)进行任务一，在地面生成虚拟的医疗箱，两个用户需要同时站立在医疗箱上引导虚拟人物移动到医疗箱处。完成指定数量后结束任务一。
(5)进行任务二，通过基于脑电的生理交互模块的内置算法获取用户的专注度和放松度，以专注度为依据，当专注度大于阈值A时，用户一选择的虚拟角色会发射虚拟针管攻击虚拟病毒，用户二选择的虚拟角色会生成一个虚拟口罩进行防护，虚拟病毒会根据生成算法自主更改生成速度。房间墙面上还会出现虚拟医疗箱，用户可以同时用手触碰墙壁获得回复健康值的效果。当用户健康值为0或消灭指定数量病毒后结束任务二。
(6)展示用户表现界面，包括用户各种心理状态时间及任务完成情况。
步骤(1)(3)(4)中，激光雷达首先向被测目标发射一束激光，然后测量反射或散射信号到达发射机的时间、信号强弱程度和频率变化等参数，从而获取到用户的位置信息，通过服务器发送到指定客户端。
步骤(5)中，病毒生成的具体方法为：
消灭病毒判定为表现好，被病毒攻击判定为表现差，当表现好并且通过EEG设备返回的放松值大于阈值B时，判定当前状态为无聊，增加C％病毒产生速度；当表现好并且放松值小于等于阈值B时，判定当前状态为心流，保持病毒产生速度不变；当表现差并且放松值大于阈值B时，判定当前状态为无为，保持病毒产生速度不变；当表现差并且放松值小于等于阈值B时，判定当前状态为焦虑，减少D％病毒产生速度。
作为一种典型实施例，如图1所示，本实施例的硬件架构主要由四台激光雷达、一台电脑(服务器)、4台投影装置、两套宏智力BrainLink Lite脑电智能硬件设备组成。所有设备都在同一个局域网里。电脑连接了两套宏智力BrainLink Lite脑电智能硬件设备，并且作为服务器，可以发送、接收和转发数据。
如图3为用户佩戴的BrainLink Lite脑电智能硬件设备。
如图4(a)为用户佩戴脑电智能硬件设备，置身于一个有四面投影的房间内，进行人际关系增强任务一，地面上有白色医疗箱，用户站在医疗箱上引导地面上的虚拟角色移动。
如图4(b)为用户佩戴脑电智能硬件设备，置身于一个有四面投影的房间内，进行人际关系增强任务二，用户需要集中注意力，通过脑电设备的内置算法获取用户的专注度和放松度，以专注度为依据进行任务，在图4(b)中，两用户正在触碰墙面上的医疗箱。
图5(a)为本实施例应用于具体实施例的背景介绍的实例图，图5(b)为本实施例应用于具体实施例的选择虚拟角色的实例图，图5(c)为本实施例应用于具体实施例的执行任务一的实例图，图5(d)为本实施例应用于具体实施例的执行任务二的实例图。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于房间式互动投影的关系增强系统，其特征在于：
包括：墙面客户端、地面客户端、脑电信号采集装置以及控制终端，脑电信号采集装置与控制终端通信连接；
墙面客户端包括至少三台第一激光雷达和至少三台第一投影装置，第一激光雷达和第一投影装置均与控制终端通信连接，第一投影装置用于将虚拟场景投影到不同墙面上，第一激光雷达用于获取人体姿态；
地面客户端包括至少一台第二激光雷达和至少一台第二投影装置，第二激光雷达和第二投影装置均与控制终端通信连接，第二投影装置用于将虚拟场景投影到地面上，第一激光雷达用于获取人体脚部位置；
控制终端根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据交互模式进行虚拟形象的选择、渲染画面的播放以及任务场景的设定，根据脑电信号进行任务难度设定；
控制终端根据脑电信号采集装置采集的人体的THETA分心波、SMR注意力波和Hi-beta紧张波，得到人体的专注度和放松度，根据专注度和放松度进行任务难度设定；
当专注度大于第一阈值时，第一用户选择的虚拟角色发射虚拟针管攻击虚拟病毒，第二用户选择的虚拟角色生成一个虚拟口罩进行防护，虚拟病毒根据生成算法自主更改生成速度；
消灭病毒判定为表现好，被病毒攻击判定为表现差，当表现好并且通过EEG设备返回的放松值大于第二阈值时，判定当前状态为无聊，增加C%病毒产生速度；
当表现好并且放松值小于或等于第二阈值时，判定当前状态为心流，保持病毒产生速度不变；
当表现差并且放松值大于第二阈值时，判定当前状态为无为，保持病毒产生速度不变；
当表现差并且放松值小于或等于第二阈值时，判定当前状态为焦虑，减少D%病毒产生速度。
2.如权利要求1所述的基于房间式互动投影的关系增强系统，其特征在于：
房间墙面上出现虚拟医疗箱，用手触碰墙壁获得恢复健康值。
3.如权利要求1所述的基于房间式互动投影的关系增强系统，其特征在于：
多台投影装置的投影画面，在房间的墙面和地面上进行拼接，对投影画面进行几何校正、边缘融合和亮度调节，生成拼接融合参数图，形成渲染画面。
4.一种基于房间式互动投影的关系增强方法，利用权利要求1-3任一项所述的基于房间式互动投影的关系增强系统，其特征在于：
通过语音和文字画面介绍任务背景；
语音提示通过直接触碰墙体上的投影结果来选择交互模式；
在地面生成控制点位，以使得用户站立在空点点位上引导虚拟人物移动到控制点位；
引导完成后，根据脑电信号进行实时的任务设定，根据接收到的人体姿态和/或人体脚部位置识别选择的交互模式，根据选择的交互模式和任务设定结果进行人机交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341565.2A CN114115534B (zh) | 2021-11-12 | 2021-11-12 | 一种基于房间式互动投影的关系增强系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341565.2A CN114115534B (zh) | 2021-11-12 | 2021-11-12 | 一种基于房间式互动投影的关系增强系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114115534A CN114115534A (zh) | 2022-03-01 |
| CN114115534B true CN114115534B (zh) | 2023-12-22 |
Family
ID=80379671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111341565.2A Active CN114115534B (zh) | 2021-11-12 | 2021-11-12 | 一种基于房间式互动投影的关系增强系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114115534B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114779937A (zh) * | 2022-04-28 | 2022-07-22 | 脑陆(重庆)智能科技研究院有限公司 | 多媒体互动成像方法、装置、存储介质和计算机程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109885163A (zh) * | 2019-02-18 | 2019-06-14 | 广州卓远虚拟现实科技有限公司 | 一种虚拟现实多人交互协作方法与系统 |
| CN209002126U (zh) * | 2018-11-19 | 2019-06-18 | 江苏艾洛维显示科技股份有限公司 | 一种手势控制激光电视 |
| US10492981B1 (en) * | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2017129475A (ru) * | 2017-08-18 | 2019-02-18 | Общество С Ограниченной Ответственностью "Нейроленд" | Система и способ для бесконтактного управления пользовательским интерфейсом |
| CN109690450B (zh) * | 2017-11-17 | 2020-09-29 | 腾讯科技（深圳）有限公司 | Vr场景下的角色模拟方法和终端设备 |
-
2021
- 2021-11-12 CN CN202111341565.2A patent/CN114115534B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10492981B1 (en) * | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
| CN209002126U (zh) * | 2018-11-19 | 2019-06-18 | 江苏艾洛维显示科技股份有限公司 | 一种手势控制激光电视 |
| CN109885163A (zh) * | 2019-02-18 | 2019-06-14 | 广州卓远虚拟现实科技有限公司 | 一种虚拟现实多人交互协作方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于虚拟现实的输电线路巡视仿真培训系统设计与实现;杨中亚;赵勇;刘娟鹏;黄颖;杨成顺;;电子测量技术(第04期);全文 * |
| 虚拟现实电影："洞寓"的坍缩与观者的再塑;潘璋敏;汤雪灏;;电影新作(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114115534A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10922890B1 (en) | Multi-user virtual and augmented reality tracking systems | |
| US11670033B1 (en) | Generating a background that allows a first avatar to take part in an activity with a second avatar | |
| US11308672B2 (en) | Telepresence of users in interactive virtual spaces | |
| US11178456B2 (en) | Video distribution system, video distribution method, and storage medium storing video distribution program | |
| KR102630774B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 | |
| KR101855639B1 (ko) | 프리젠테이션을 위한 카메라 탐색 | |
| CN102470273B (zh) | 基于玩家表情的视觉表示表情 | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| TW201210663A (en) | Natural user input for driving interactive stories | |
| CN114115534B (zh) | 一种基于房间式互动投影的关系增强系统及方法 | |
| KR101913811B1 (ko) | 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치 | |
| CN111383642A (zh) | 基于神经网络的语音应答方法、存储介质以终端设备 | |
| JP2020202575A (ja) | 動画配信システム、動画配信方法、及び動画配信プログラム | |
| US20220335625A1 (en) | Video generation device | |
| CN115081488A (zh) | 一种基于全息投影技术的场景控制方法 | |
| CN114425162A (zh) | 一种视频处理方法和相关装置 | |
| Nishida et al. | Synthetic evidential study as augmented collective thought process–preliminary report | |
| CN114283262A (zh) | 一种基于虚拟现实技术的沉浸式表演情感增强系统 | |
| CN111991808A (zh) | 人脸模型的生成方法及装置、存储介质、计算机设备 | |
| Shrestha et al. | NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction | |
| US12026818B2 (en) | Animation control method for multiple participants | |
| CN117270721B (zh) | 基于多用户交互xr场景的数字形象渲染方法及装置 | |
| US10743732B2 (en) | System and method for presenting user progress on physical figures | |
| KR20230124828A (ko) | 메타버스 플랫폼 기반 유저 데이터를 이용한 디지털 콘텐츠 제공방법 및 이를 연동되는 마케팅 시스템 | |
| CUTUGNO et al. | CHAPTER FOUR AUGMENTED REALITY WITHOUT BARRIERS: DEMATERIALIZING INTERFACES IN CULTURAL HERITAGE APPLICATIONS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |