CN117348734B - 一种双人漫游模式的交互系统及方法 - Google Patents
一种双人漫游模式的交互系统及方法 Download PDFInfo
- Publication number
- CN117348734B CN117348734B CN202311659523.2A CN202311659523A CN117348734B CN 117348734 B CN117348734 B CN 117348734B CN 202311659523 A CN202311659523 A CN 202311659523A CN 117348734 B CN117348734 B CN 117348734B
- Authority
- CN
- China
- Prior art keywords
- virtual
- current
- calculating
- information
- circle center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003993 interaction Effects 0.000 title claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008451 emotion Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 208000019022 Mood disease Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000017194 Affective disease Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 241000220317 Rosa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于虚拟现实技术领域，本发明提供了一种双人漫游模式的交互系统及方法，本发明采用了重定向技术，基于VR与MR协作的双人模式，其中陪伴者佩戴MR设备，能够看到现实空间中的真实路径，以此来控制佩戴VR用户的虚拟漫游，佩戴VR的用户始终在虚拟空间中沿着虚拟路径进行漫游，解决了虚实空间的非等距映射问题。
Description
技术领域
本发明属于虚拟现实技术领域，具体涉及一种双人漫游模式的交互系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，混合现实(MR)、虚拟现实(VR)、增强现实(AR)技术已广泛应用于工业生产、教育、医疗、娱乐等领域。VR漫游可用于作展览馆漫游、风景游览等，且VR体验也常常用作心理放松、情绪安抚，休闲娱乐等。
传统的VR体验往往以单人形式进行，但在某些场景下，存在一名“陪伴者”也是必要的，如：行动不便的老人或者病患，需要陪伴者辅助进行漫游；VR用于心理干预时，陪伴者作为心理咨询师，需要根据治疗用户的情况进行针对性引导等。另外VR漫游时，体验用户完全沉浸在虚拟场景中，视线受限，无法接收到真实环境的信息，可能会发生危险，需要陪伴者在旁边进行监控和保护。
发明内容
本发明为了解决上述问题，提出了一种双人漫游模式的交互系统及方法，本发明采用了重定向技术，基于VR与MR协作的双人模式，其中陪伴者佩戴MR设备，能够看到现实空间中的真实路径，以此来控制佩戴VR用户的虚拟漫游，佩戴VR的用户始终在虚拟空间中沿着虚拟路径进行漫游，解决了虚实空间的非等距映射问题。
根据一些实施例，本发明采用如下技术方案：
一种双人漫游模式的虚拟交互系统，包括：
混合现实设备，用于为第一用户提供虚拟现实视角，并对第一用户的位置进行追踪定位；
虚拟现实设备，用于为第二用户提供虚拟现实视角；
重定向映射模块，用于对获取的第一用户的位置信息进行重定向映射，得到其在虚拟空间中的虚拟位置，或/和虚拟现实全景视频中的对应视频帧数；
修正模块，用于计算并修正当前朝向；
存储模块，用于存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息；
网络通信模块，用于为虚拟现实设备和混合现实设备之间提供通信路径，发送存储的信息和更新后的虚拟现实视角画面；
更新模块，用于解析存储的信息，并根据解析后的信息，更新虚拟现实视角。
作为可选择的实施方式，所述重定向映射模块，包括第一映射模块，被配置为：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置在实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合虚拟空间中初始位置的坐标，进行圆形路径到直线路径的映射，得到映射后的虚拟位置。
作为可选择的实施方式，所述重定向映射模块，包括第二映射模块，被配置为：
根据混合现实设备初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置在实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合全景视频的总帧数，计算当前位置对应的全景视频帧数。
作为可选择的实施方式，所述网络通信模块，使用TCP协议进行socket异步通信，以混合现实设备作为服务端，以虚拟现实设备作为客户端，两者建立连接，进行数据传输。
作为可选择的实施方式，所述更新模块，设置于混合现实设备和虚拟现实设备上，分别用于使相应的设备，根据位置信息、或/和全景视频帧数以及修正后的朝向信息更新自己的虚拟现实视角，实现画面的实时显示。
一种双人漫游模式的虚拟交互方法，包括以下步骤：
利用混合现实设备获取第一用户的位置信息；
将获取的位置信息进行重定向映射，得到其在虚拟空间中的虚拟位置，或/和虚拟现实全景视频中的对应视频帧数；
计算当前朝向信息并进行修正；
存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息；
将存储的信息通过网络传输给第二用户的虚拟现实设备；
所述虚拟现实设备解析存储的信息，并将虚拟现实视角进行更新，并将更新后的画面同步给混合现实设备。
作为可选择的实施方式，将获取的位置信息与虚拟位置进行重定向映射的具体过程包括：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合虚拟空间中初始位置的坐标，进行圆形路径到直线路径的映射，得到映射后的虚拟位置。
作为可选择的实施方式，将获取的位置信息与全景视频帧数进行重定向映射的具体过程包括：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置在实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合全景视频的总帧数，计算当前位置对应的全景视频帧数。
作为进一步的实施方式，计算当前实际位置实际路径中最近的点的坐标的具体过程包括：根据当前实际位置和与圆心/>的位置获取/>的正切值，计算出/>的角度，其中/>为此刻位置/>到圆心位置/>的连线与初始位置/>到圆心/>连线的夹角；，/>；
最近的点的坐标为：，/>曲率半径。
作为可选择的实施方式，计算当前朝向信息并进行修正的具体过程包括，根据当前转过的角度的大小，将虚拟空间的朝向信息反向旋转相同大小的角度，修正偏差，使得第二用户的虚拟空间依旧为直线行进。
作为可选择的实施方式，以文件的方式存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息。
与现有技术相比，本发明的有益效果为：
本发明提出了一种双人模式的交互方法和系统，由陪伴者（即第一用户）引领用户（即第二用户）进行漫游体验，陪伴者能够同时看到真实环境与虚拟环境，这样既能够保证用户良好的漫游体验，又能够避免因为看不到真实环境而发生碰撞，摔倒等安全风险。
本发明由陪伴者控制用户的VR体验内容，能够减轻用户的操作负担。这样用户的注意力会集中在虚拟内容本身，而不会被无关任务打断，可以延续沉浸感，增强体验。且允许陪伴者与用户看到同样的VR画面，能够实时与用户进行交流，起到陪伴的作用。
本发明利用重定向技术解决了虚实环境非等距映射问题，可以在有限的空间进行大范围的虚拟漫游。
本发明基于混合现实的双人重定向漫游的场景通过三维建模和全景视频的方式进行表现，内容形式多样，有且不限于风景、人物、场景、环境和动物等；配合音频介绍或者讲解，可用于且不限于VR展览、VR风景漫游、全景视频漫游、心理教育、大学生心理干预、青少年教育、幼儿教育和老年陪伴等；支持多种使用媒介，有且不限于步行，轮椅，真车，玩具车等，具有广泛的应用前景。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为基于VR与MR协作的双人漫游模式示意图；
图2为基于VR与MR协作的双人漫游模式的系统架构图；
图3为重定向曲率增益的虚实位置映射计算的示意图；
图4为重定向曲率增益的虚实位置与全景视频帧数映射计算的示意图；
图5为大学生述情障碍干预系统情绪介绍模块效果图；
图6为大学生述情障碍干预系统情绪唤醒6场景效果图，其中的（a）为高兴，（b）为伤心，（c）为愤怒，（d）为恐惧，（e）为厌恶，（f）为惊讶；
图7为大学生述情障碍干预系统情绪调节叙事性隐喻效果图，其中的（a）为沼泽中挣扎的人，（b）为变化的云朵，（c）为河流和落叶；
图8为基于混合现实的双人重定向漫游模式的全景视频漫游系统与方法效果图，其中的（a）为用户全景视频视角，（b）为陪伴者视角。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提出了一种基于VR与MR协作的双人漫游模式的方法，支持将真实环境中的运动映射到虚拟现实环境中的运动，且允许虚实路径的不一致。其中真实环境的运动是指“陪伴者”以多种 （步行、轮椅、载具）引导用户沿着固定的真实路径进行运动，而用户在虚拟环境中感受到沿着虚拟路径在漫游。同时“陪伴者”可以实时看到用户在虚拟环境中的所见，通过语言讲解等方式进行陪伴交流，让用户能够有更好的漫游体验，达到心理干预、陪伴、保护安全等目的，同时保证其体验安全。
主要包含以下几个方面：
由佩戴MR设备的“陪伴者”引导佩戴VR设备的用户进行虚拟空间漫游，陪伴者可以看到真实的物理环境以及真实路径，而用户感受到沿着虚拟路径漫游。
支持将真实环境中的运动映射到虚拟环境中的运动，且允许虚实路径的不一致。
MR设备端（陪伴者）的位置追踪与路径显示：利用MR设备的位置追踪功能，实时获取此时陪伴者的真实物理位置，并且将其绑定到地面特征点。
利用重定向算法解决虚实空间映射问题，通过陪伴者真实的物理空间的位置以及起始位置，能够对其已经行进的路程进行计算，并且按照需要的重定向方法（曲率，旋转，平移）等进行映射，能够得到此时在虚拟空间中的位置。对于全景视频，通过其已经行进的路程计算此刻需要渲染的视频帧。以此实现物理空间位置到虚拟空间位置的映射，或者物理空间位置到VR全景视频的映射。
通过局域网或者服务器进行数据传输，需要传输的内容为虚拟空间的位置，并且附带朝向信息，以及视频帧数（只针对全景视频）等信息，最终实现信息同步。
在两端设备（VR，MR）中提前设置相同的虚拟场景，或者全景视频，当位置信息或者视频帧数（只针对全景视频）同步时，陪伴者和用户均能体验到相同的VR视角。
当然，本实施例的虚拟内容的表现形式包括并不限于三维模型场景，VR全景视频等，具体的模式内容可以根据用户需求进行三维场景的搭建或者全景视频的拍摄。
为方便本领域技术人员理解整体方案，下面结合附图和具体实现步骤进行本实施例方案的解释和说明。
一种基于VR与MR协作的双人漫游模式的方法，基础设备包括虚拟现实设备（用户佩戴），本实施例以PICO 4为例；和混合现实设备（陪伴者佩戴），本实施例以Hololens 2为例。
图1展示了本实施例提及基于VR与MR协作的双人漫游模式示意图。陪伴者根据混合现实头戴式中显示的真实路径(圆形实线)引导用户行走，同时能够看到真实的周围环境，能够保证用户的体验安全，整个体验过程中，通过实时共享的VR内容与用户进行交流。用户通过VR头盔显示器漫游VR内容，期间一直感觉到沿着虚拟路径进行漫游体验。
除此之外，在部分实施例中还可使用多种媒介，如轮椅、玩具汽车和真实的汽车等。
共包含以下步骤：
步骤S101：物理环境中的真实位置与朝向的获取：利用混合现实设备的定位追踪功能，实时采集陪伴者在真实物理环境中的位置信息，并将其保存记录。
步骤S102：重定向映射：如图3所示，获取到的真实位置信息进行重定向映射，本实例使用了重定向曲率增益作为映射算法。
步骤S1021：记录“陪伴者”端的MR设备的初始位置和增益曲率/>。
步骤S1022：计算此时的曲率半径R与增益圆心，实际路径即可得出。
其中，，/>。
步骤S1023：实时追踪每个时刻的位置，以为例，计算在此实际位置距离实际路径上最近的点a2。
计算方法如下：
能够通过当前位置与圆心/>的位置获取/>的正切值。同时能够计算出/>的角度，其中/>为当前位置/>到圆心位置/>的连线与初始位置/>到圆心/>连线的夹角。
其中，，/>。
那的坐标可以通过计算得到：/>。
步骤S1024：随后根据此时转过的角度与周长，能够算出此时已经走过的弧长/>：。
步骤S1025：假设虚拟空间中初始位置为，进行圆形路径到直线路径的简单映射，那么映射过后的虚拟位置为/>。
步骤S103：计算此时的朝向信息并进行修正：如图3所示，走到位置时，实际的朝向偏移了/>，所以要想让用户在虚拟空间中仍然感觉到直线行进，需要将其朝向信息反向旋转/>，以修正偏差。
步骤S104：位置与朝向信息的记录：将计算获得的虚拟位置的位置信息与此时的朝向信息，存储为XML文件，方便进行通讯传输。
步骤S105：网络传输：使用TCP协议进行socket异步通信，以MR设备作为服务端，以VR设备作为客户端，两者建立连接，进行数据传输：由MR设备计算出的含有位置和朝向信息的XML文件通过局域网传输至体验用户的VR端。
步骤S106：实时显示：体验用户的VR端获取含有位置和朝向信息的XML文件后，解析其中的位置与朝向信息，并将VR视角进行更新。与此同时，陪伴者的MR设备也以此信息同步VR视角实现了画面的实时显示。
步骤S107：关于场景内容的选择：可以采用三维建模或者全景视频的形式进行内容展现。陪伴者引导用户进行漫游体验，期间与之交流，达到更好的漫游体验。
在不同的应用场景中，用户或者其他人员可根据应用场景和目的灵活搭建相应的三维场景，以提供沉浸式体验。
对于三维场景的搭建，可采用现有的方法进行，根据所需场景的目的和用途不同，进行草图设计，建模，动画设计，光照渲染后完成场景的个性化定制与搭建。
对于全景视频的展示，部分实施例还需将全景视频帧数与位置进行映射，以实现行动到某个位置则对应全景视频播放到每一帧。需要沿着固定路径（以直线为例）匀速前进并拍摄全景视频作为虚拟漫游内容，在计算虚拟空间的位置时，需要映射到视频的帧数实现在全景视频中模拟行走。具体映射方法如下：
步骤S102：全景视频的映射：如图4所示，获取到的真实位置信息与全景视频帧数进行重定向映射，本实例使用了重定向曲率增益作为映射算法。
步骤S1021：记录“陪伴者”端的MR设备的初始位置和增益曲率/>。
步骤S1022：计算此时的曲率半径R与增益圆心，实际路径即可得出。
计算过程为： ，/>。
步骤S1023：实时追踪每个时刻的位置，以为例，计算在此实际位置距离实际路径上最近的点a2。
计算方法如下：
能够通过当前位置与圆心/>的位置获取/>的正切值。同时能够计算出/>的角度，其中/>为当前位置/>到圆心位置/>的连线与初始位置/>到圆心/>连线的夹角。
，/>。
那的坐标可以通过计算得到：/>。
步骤S1024：随后根据此时转过的角度与周长，能够算出此时已经走过的弧长/>：。
步骤S1025：获取全景视频的总帧数F。
步骤S1026：如图4所示，计算此位置对应的全景视频帧数：/>。
步骤S103：计算此时的朝向信息并进行修正：如图4所示，走到位置时，实际的朝向偏移了/>，所以要想让用户在虚拟空间中仍然感觉到直线行进，需要将其朝向信息反向旋转/>，以修正偏差。
步骤S104：位置与朝向信息的记录：将计算获得的对应的全景视频帧数与此时的朝向信息，存储为XML文件，方便进行通讯传输。
步骤S105：网络传输：使用TCP协议进行socket异步通信，以MR设备作为服务端，以VR设备作为客户端，两者建立连接，进行数据传输：由MR设备计算出的含有全景视频帧数与此时的朝向信息的XML文件通过局域网传输至体验用户的VR端。
步骤S106：实时显示：体验用户的VR端获取全景视频帧数与此时的朝向信息的XML文件后，解析其中的全景视频帧数/>与朝向信息，并将这一帧的全景图像进行渲染更新。与此同时，陪伴者的MR设备也以此信息同步更新这一帧的全景图像实现了画面的实时显示。
上述步骤是基于VR与MR协作的双人漫游模式的一般方法。能够实现双人重定向漫游，且实现圆形真实路径到虚拟直线路径的映射，并且能够实现画面实时共享。场景内容有且不限于三维场景搭建，还有全景视频等表现形式；应用媒介有且不限于步行，还有驾驶载具，推轮椅等形式。可将该模式用于且不限于心理干预治疗、病患及老年人陪伴、幼儿教育以及娱乐放松等用途。
综上，为了使用户能够在有限的物理空间中，漫游更为广阔的虚拟空间。本实施例采用了重定向技术，解决虚实空间的非等距映射问题。与之前的单人重定向不同，本实施例提出了基于VR与MR协作的双人模式，其中陪伴者佩戴MR设备，能够看到现实空间中的真实路径，以此来控制佩戴VR用户的虚拟漫游，这时，佩戴VR的用户始终在虚拟空间中沿着虚拟路径进行漫游。
实施例二
图2展示了本实施例提及基于VR与MR协作的双人漫游模式的系统架构图。
基于VR与MR协作的双人漫游模式的系统，包括：
混合现实设备，用于为第一用户提供虚拟现实视角，并对第一用户的位置进行追踪定位；
虚拟现实设备，用于为第二用户提供虚拟现实视角；
重定向映射模块，用于对获取的第一用户的位置信息进行重定向映射，得到其在虚拟空间中的虚拟位置，或/和虚拟现实全景视频中的对应视频帧数；
修正模块，用于计算并修正当前朝向；
存储模块，用于存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息；
网络通信模块，用于为虚拟现实设备和混合现实设备之间提供通信路径，发送存储的信息和更新后的虚拟现实视角画面；
更新模块，用于解析存储的信息，并根据解析后的信息，更新虚拟现实视角。
系统运行时，需要利用MR设备的追踪定位功能，实时追踪陪伴者在物理空间中的位置与朝向，并将真实的导向路径在屏幕中渲染出来，引导陪伴者运动。另外将获取到的真实的物理位置和朝向经过重定向的映射计算得到虚拟环境中的位置与朝向，以此用作“陪伴者”端的虚拟环境中VR视角的定位，并且将该虚拟空间中的位置与朝向信息通过网络传输到体验用户的虚拟现实设备中，用作“体验用户”端的虚拟环境中的VR视角定位。从而实现“陪伴者”端的MR设备驱动“体验用户”端的虚拟场景的漫游，同时保证了两端的VR视角一致，进而实现虚拟画面的一致。
为了更好的解释本发明的应用，以下面两个实际实例应用来进一步说明。
示例应用1：以基于VR与MR协作的双人漫游模式的大学生群体的述情障碍心理干预的漫游系统为例，以三维建模的方式，根据情绪调节的相关知识搭建了情绪知识介绍模块，如图5所示，用于讲解心理知识，创建6个基本情绪（开心/高兴、愤怒、恐惧、悲伤/伤心、厌恶及惊讶）诱发场景用于唤醒情绪，如图6所示，配合开放性问答来促进用户的情绪表达，构建叙事性隐喻情绪调节场景配合情绪调节语音引导帮助用户进行情绪调节，如图7所示。
用户在陪伴者的引导下进行虚拟空间漫游，期间两人沿着真实圆形路径行走，虚拟空间为公园内直线道路，虚拟道路两侧设置不同的VR内容，帮助用户了解述情障碍的基本信息、激发不同的情绪及进行情绪调节。此过程伴随与场景相对应的语音指导与开放性问答。陪伴者通过MR在保证用户安全的前提下，与用户进行交流沟通，促进干预发挥效果。本系统已在大学生人群中初步应用，并得到了较好的干预效果。
示例应用2：以基于VR与MR协作的双人漫游模式的全景视频风景漫游系统为例，本实施例在公园里录制了玫瑰路，以供用户进行观赏，如图8所示。陪伴者可以引导用户进行漫游场景，期间沿着真实圆形路径进行行走，而用户一直感受到沿着美丽的玫瑰路沿直线行走，期间陪伴者既保护了用户的漫游安全，又能起到陪伴的作用，让用户的体验感更好。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种双人漫游模式的虚拟交互系统，其特征是，包括：
混合现实设备，用于为第一用户提供虚拟现实视角，并对第一用户的位置进行追踪定位；
虚拟现实设备，用于为第二用户提供虚拟现实视角；
重定向映射模块，用于对获取的第一用户的位置信息进行重定向映射，得到其在虚拟空间中的虚拟位置，或/和虚拟现实全景视频中的对应视频帧数；
修正模块，用于计算并修正当前朝向；
存储模块，用于存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息；
网络通信模块，用于为虚拟现实设备和混合现实设备之间提供通信路径，发送存储的信息和更新后的虚拟现实视角画面；
更新模块，用于解析存储的信息，并根据解析后的信息，更新虚拟现实视角；
所述重定向映射模块，包括第一映射模块，被配置为：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合虚拟空间中初始位置的坐标，进行圆形路径到直线路径的映射，得到映射后的虚拟位置；
计算当前实际位置实际路径中最近的点的坐标的具体过程包括：根据当前实际位置和与圆心/>的位置获取/>的正切值，计算出/>的角度，其中/>为此刻位置/>到圆心位置/>的连线与初始位置/>到圆心/>连线的夹角；
最近的点的坐标为：
曲率半径。
2.如权利要求1所述的一种双人漫游模式的虚拟交互系统，其特征是，所述重定向映射模块，包括第二映射模块，被配置为：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合全景视频的总帧数，计算当前位置对应的全景视频帧数。
3.如权利要求1所述的一种双人漫游模式的虚拟交互系统，其特征是，所述网络通信模块，使用TCP协议进行socket异步通信，以混合现实设备作为服务端，以虚拟现实设备作为客户端，两者建立连接，进行数据传输。
4.如权利要求1所述的一种双人漫游模式的虚拟交互系统，其特征是，所述更新模块，设置于混合现实设备和虚拟现实设备上，分别用于使相应的设备，根据位置信息、或/和全景视频帧数以及修正后的朝向信息更新自己的虚拟现实视角，实现画面的实时显示。
5.一种双人漫游模式的虚拟交互方法，其特征是，包括以下步骤：
利用混合现实设备获取第一用户的位置信息；
将获取的位置信息进行重定向映射，得到其在虚拟空间中的虚拟位置，或/和虚拟现实全景视频中的对应视频帧数；
计算当前朝向信息并进行修正；
存储虚拟位置的位置信息、或/和全景视频帧数以及修正后的朝向信息；
将存储的信息通过网络传输给第二用户的虚拟现实设备；
所述虚拟现实设备解析存储的信息，并将虚拟现实视角进行更新，并将更新后的画面同步给混合现实设备；
将获取的位置信息与虚拟位置进行重定向映射的具体过程包括：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合虚拟空间中初始位置的坐标，进行圆形路径到直线路径的映射，得到映射后的虚拟位置；
计算当前实际位置实际路径中最近的点的坐标的具体过程包括：根据当前实际位置和与圆心/>的位置获取/>的正切值，计算出/>的角度，其中/>为此刻位置/>到圆心位置/>的连线与初始位置/>到圆心/>连线的夹角；
最近的点的坐标为：
曲率半径。
6.如权利要求5所述的一种双人漫游模式的虚拟交互方法，其特征是，将获取的位置信息与全景视频帧数进行重定向映射的具体过程包括：
根据混合现实设备的初始位置和增益曲率，计算当前曲率半径和增益圆心；
根据当前曲率半径和增益圆心，计算当前实际位置实际路径中最近的点的坐标；
根据当前转过的角度和周长，计算已经走过的弧长；
结合全景视频的总帧数，计算当前位置对应的全景视频帧数。
7.如权利要求5所述的一种双人漫游模式的虚拟交互方法，其特征是，计算当前朝向信息并进行修正的具体过程包括，根据当前转过的角度的大小，将虚拟空间的朝向信息反向旋转相同大小的角度，修正偏差，使得第二用户的虚拟空间依旧为直线行进。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311659523.2A CN117348734B (zh) | 2023-12-06 | 2023-12-06 | 一种双人漫游模式的交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311659523.2A CN117348734B (zh) | 2023-12-06 | 2023-12-06 | 一种双人漫游模式的交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117348734A CN117348734A (zh) | 2024-01-05 |
| CN117348734B true CN117348734B (zh) | 2024-04-16 |
Family
ID=89356149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311659523.2A Active CN117348734B (zh) | 2023-12-06 | 2023-12-06 | 一种双人漫游模式的交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117348734B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3059663A1 (en) * | 2015-02-23 | 2016-08-24 | Samsung Electronics Polska Spolka z organiczona odpowiedzialnoscia | A method for interacting with virtual objects in a three-dimensional space and a system for interacting with virtual objects in a three-dimensional space |
| CN111061363A (zh) * | 2019-11-21 | 2020-04-24 | 青岛小鸟看看科技有限公司 | 一种虚拟现实系统 |
| CN114463520A (zh) * | 2022-01-25 | 2022-05-10 | 深圳思为科技有限公司 | 一种实现虚拟现实vr漫游的方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
| US20190196576A1 (en) * | 2017-12-01 | 2019-06-27 | Nokia Technologies Oy | Virtual reality device and a virtual reality server |
| CN112241199B (zh) * | 2019-07-19 | 2023-03-24 | 华为技术有限公司 | 虚拟现实场景中的交互方法及装置 |
| KR102671707B1 (ko) * | 2021-11-16 | 2024-06-05 | 한국전자통신연구원 | 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법 |
| US20230169733A1 (en) * | 2021-12-01 | 2023-06-01 | Flipkart Internet Private Limited | System and method for rendering objects in an extended reality |
-
2023
- 2023-12-06 CN CN202311659523.2A patent/CN117348734B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3059663A1 (en) * | 2015-02-23 | 2016-08-24 | Samsung Electronics Polska Spolka z organiczona odpowiedzialnoscia | A method for interacting with virtual objects in a three-dimensional space and a system for interacting with virtual objects in a three-dimensional space |
| CN111061363A (zh) * | 2019-11-21 | 2020-04-24 | 青岛小鸟看看科技有限公司 | 一种虚拟现实系统 |
| CN114463520A (zh) * | 2022-01-25 | 2022-05-10 | 深圳思为科技有限公司 | 一种实现虚拟现实vr漫游的方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| "Object Detection in the Context of Mobile Augmented Reality";X Li et al.;《2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)》;20201214;第156-163页 * |
| "基于VR技术的景观建筑复杂场景虚拟生成算法";孙杨 等;《计算机仿真》;20230831;第40卷(第8期);第458-461+504页 * |
| "基于VR技术的虚拟校园漫游系统设计与关键技术研究";张晓琪;唐天国;李欣;胡振;张海波;杨华;;《电脑知识与技术》;20200315(第08期);第233-236页 * |
| 漫游系统功能现实技术研究;江宏;吴莹莹;;现代信息科技(第05期);第80-82+86页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117348734A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017373858B2 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
| US20230260230A1 (en) | Systems and methods for generating stereoscopic, augmented, and virtual reality images | |
| JP6526820B2 (ja) | 乗り物酔いの監視及び、酔いを抑えるための追加音の付与 | |
| JP6364022B2 (ja) | 多重現実環境における役割切り替えのためのシステムおよび方法 | |
| US20080125218A1 (en) | Method of use for a commercially available portable virtual reality system | |
| US12032735B2 (en) | Method and apparatus for real-time data communication in full-presence immersive platforms | |
| US20150035862A1 (en) | Multiple perspective video system and method | |
| WO2017115505A1 (ja) | 表示装置 | |
| WO2017115504A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN106913449A (zh) | 互动式增强现实视力康复装置 | |
| CN117348734B (zh) | 一种双人漫游模式的交互系统及方法 | |
| CN108139804A (zh) | 信息处理装置与信息处理方法 | |
| CN113257387B (zh) | 一种用于康复训练的可穿戴设备、康复训练方法和系统 | |
| CN209900391U (zh) | 基于虚拟现实的催眠系统 | |
| Zhang | Human-robot interaction in augmented virtuality: perception, cognition and action in 360◦ video-based robotic telepresence systems | |
| KR102148017B1 (ko) | 콘텐츠 공유 기반의 서비스 제공 시스템에서의 콘텐츠 동기화 방법 및 이를 위한 사용자측 컴퓨팅 디바이스 | |
| Ikei et al. | Experience simulator for the digital museum | |
| CN107544677B (zh) | 利用模块化轨道和体感装置模拟运动场景的方法和系统 | |
| Lhotska et al. | Role of virtual reality in the life of ageing population | |
| Dombrowski et al. | Virtual reality games, therapeutic play and digital healing | |
| Thwaites | Ways of (not) seeing: Structures of visibility in VR | |
| Dayan | ARGAMAN: rapid deployment virtual reality system for PTSD rehabilitation | |
| Coyne et al. | Using extended reality to promote team learning | |
| Köktürk et al. | Utilization of limb orientations for a home-based immersive virtual reality rehabilitation system to treat phantom limb pain | |
| Li et al. | 5G+: Future Main Artery of Social Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |