CN112884906A - 一种实现多人混合虚拟和增强现实交互的系统及方法 - Google Patents
一种实现多人混合虚拟和增强现实交互的系统及方法 Download PDFInfo
- Publication number
- CN112884906A CN112884906A CN202110030565.4A CN202110030565A CN112884906A CN 112884906 A CN112884906 A CN 112884906A CN 202110030565 A CN202110030565 A CN 202110030565A CN 112884906 A CN112884906 A CN 112884906A
- Authority
- CN
- China
- Prior art keywords
- data
- terminal
- server
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims description 8
- 238000004088 simulation Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及人机交互技术领域，尤其涉及一种实现多人混合虚拟和增强现实交互的系统及方法。它包括服务器、VR终端以及AR终端，所述VR终端与AR终端均与服务器通信连接，其中：VR终端，用于产生VR交互数据信息，且还能接收服务器反馈回来的VR数据信息并且根据接收到的数据信息更新渲染；AR终端，用于产生AR交互数据信息，且还能接收服务器反馈回来的AR数据信息；服务器，用于接收VR终端与AR终端发送的数据信息，更新场景，进行数据转换。采用这种系统和方法，可以基于现有的可穿戴或手持设备连接VR和AR，使得拥有不同设备、基于不同平台的用户感受不同程度的仿真和交互体验。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种实现多人混合虚拟和增强现实交互的系统及方法。
背景技术
虚拟现实(Virtual Reality)技术，简称VR，是一种利用计算机图形创建虚拟环境的仿真系统。它通过计算机生成的模拟三维动态实景环境，通过多元信息融合和实体行为仿真，使用户沉浸到该环境中并与其进行交互。
增强现实(Augmented Reality)技术，简称AR，是一种利用计算机仿真信息增加用户对现实世界感知的技术。它将计算机生成的模拟三维模型、场景和系统信息叠加在真实场景中，通过多元信息融合，使用户对的现实世界的感知得以增强。
当前两种技术各有不同的显示方式，如头戴式显示系统、手持式显示设备等；根据显示方式和硬件设备的不同，两种技术分别采用了不同的追踪方式，如外置传感器追踪和内置惯性测量单元(IMU)等等。除此以外，VR和AR技术可以提供给用户不同程度的临场感和不同的交互体验。当前，VR技术大多基于PC终端和大型设备，而AR技术则大多基于移动终端和便携式设备。跨平台、多设备的连接是未来虚拟现实和增强现实发展的趋势，也是使得VR和AR得以广泛使用的前提。
然而，以往VR和AR的融合交互大多基于外部设备，如外置摄像头和传感器。基于现有的可穿戴或手持设备连接VR和AR，使得拥有不同设备、基于不同平台的用户感受不同程度的仿真和交互体验的方法依旧非常有限。
发明内容
本发明所要解决的技术问题是：提供一种实现多人混合虚拟和增强现实交互的系统及方法，采用这种系统和方法，可以基于现有的可穿戴或手持设备连接VR和AR，使得拥有不同设备、基于不同平台的用户感受不同程度的仿真和交互体验。
本发明所采用的技术方案是：一种实现多人混合虚拟和增强现实交互的系统，它包括服务器、VR终端以及AR终端，所述VR终端与AR终端均与服务器通信连接，其中：
VR终端，用于产生VR交互数据信息，且还能接收服务器反馈回来的VR数据信息并且根据接收到的数据信息更新渲染；
AR终端，用于产生AR交互数据信息，且还能接收服务器反馈回来的AR数据信息并且根据接收到的数据信息更新渲染；
服务器，用于接收VR终端与AR终端发送的数据信息，更新场景，进行数据转换，然后将转换后各自可识别的数据反馈给VR终端与AR终端。
一种实现多人混合虚拟和增强现实交互的方法，它包括以下步骤：
S1、用户通过VR终端或者AR终端发起交互行为；
S2、服务器提取用户信息与交互数据；
S3、服务器加载数据，并且将数据更新成服务器可处理的数据类型；
S4、服务器将数据分别转化为不同用户终端可接收的数据格式；
S5、服务器将转化完成的数据分别发送给对应的用户终端，使所有的用户终端实现与服
务器的数据同步；
S6、所有的用户终端根据接收到服务器发送回来的数据进行渲染。
作为优选，步骤S2中的用户信息包括用户终端设备信息，且步骤S2还包括获取连接服务器的所有其他用户终端设备信息，步骤S4根据获取的其他用户终端设备信息来分别转化为对应的可接收数据格式。
作为优选，步骤S5中需要在下一帧渲染前将转化好的数据发送给用户终端，完成数据同步。
作为优选，步骤S5中若用户终端为AR终端，则需要判断AR终端的性能是否符合要求，若符合要求，则进行场景式AR更新，若不符合要求，则进行虚拟物体式AR更新，其中：
场景式AR更新为利用平面追踪，使得整个虚拟场景及其中的虚拟物体均被增强在周围实体环境中；
虚拟物体式AR更新为利用平面追踪或图像识别技术，使得虚拟物体被增强在周围实体环境中。
采用以上结构方法与现有技术相比，本发明具有以下优点：在基于现有的可穿戴或手持设备的条件下，实现可多人VR和AR交互系统及方法，使得拥有不同设备、基于不同平台的用户感受不同程度的仿真和交互体验，从而使得多人、多设备、跨平台的合作协同得以开展。
附图说明
图1为本发明一种实现多人混合虚拟和增强现实交互的系统的连接框图。
图2为一种实现多人混合虚拟和增强现实交互的方法的示意图。
具体实施方式
以下通过具体实施方式对本发明做进一步描述，但是本发明不仅限于以下具体实施方式。
具体实施例一：基于VR和AR的跨平台虚拟展厅；
其交互系统包括服务器以及N个用户终端，并且N个用户终端均通过网络连接到服务器，用户终端在连接到服务器时，可选择个性化虚拟人物形象特征。下面以VR用户1(HTCVive)、VR用户2(三星Gear VR)和一个AR用户(手机)同时观看虚拟展览为例，详细阐释具体实施方式。
S1、创建包含多个数字化的文物的虚拟展厅。VR用户可通过手柄或触摸板进行互动；AR用户可通过屏幕点触进行互动。互动内容包括虚拟人物形象的移动(位置及方向)，虚拟文物的移动(位置及方向)，虚拟文物的拿起、放下、缩放，虚拟文物的音频信息播放及暂停，虚拟文物的用户生成内容(UGC)的展示及编辑，如点赞、评论等。
S2、建立三个用户终端与服务器之间的网络连接。服务器可提取所连接的用户信息，包括用户ID、虚拟人物形象特征及用户设备等。
S3、当任一用户通过终端发起交互行为时，服务器首先提取用户信息及交互数据。如AR用户通过手机屏幕操作旋转虚拟文物1，服务器提取AR用户ID与交互数据，其中交互数据包括虚拟文物1的ID、初始位置和方向、及当前位置和方向。
S4、提取数据后，服务器将数据加载并更新成服务端可处理的数据类型，再分别转化为三个用户终端可接收的数据格式，即分别包括VR用户1(HTC Vive)、VR用户2(三星GearVR)和AR用户(手机)可以接收的数据格式。然后再将数据封装在socket包内，在下一帧渲染前使得服务器与用户终端同步虚拟文物1的数据更新。
类似的，当VR用户通过手柄或触摸板改变虚拟人物形象或虚拟文物位置和方向时，服务器也通过如上述所示的方法，对所接收的数据进行提取、加载、更新、转化及同步。进而实现多人、多设备、跨平台的合作协同。
具体的交互案例1：AR用户通过手机屏幕操作旋转虚拟文物1。
A、服务器调取交互发起用户ID、虚拟文物1的ID、用户和文物的初始位置方向及当前位置方向；
B、定义当前客户端用户设备。当前案例中，用户的交互行为由安卓手机端发起；
C、定义所连接的所有客户端用户设备。当前案例中，除AR用户的安卓手机之外，还包括HTC Vive和三星Gear VR设备；
D、转化数据为用户可接受的数据格式。当前案例中，系统将从AR安卓手机端提取更新的数据类型转化成HTC Vive和三星Gear VR可接收的数据格式。
E、筛选交互数据更新。当前案例中，AR用户所更新的文物位置及方向信息均被一一对应，转化并同步到两个VR客户端中。
F、数据转化完成后，将数据封装在socket包内，在下一帧渲染前使得服务端与客户端同步虚拟文物1的数据更新。
交互案例2：HTC Vive用户通过手柄在场景中漫游。
A、服务器调取交互发起用户ID、用户虚拟人物形象的初始位置方向及当前位置方向；
B、定义当前客户端用户设备。当前案例中，用户的交互行为由HTC Vive发起；
C、定义所连接的所有客户端用户设备。当前案例中，除HTC Vive之外，还包括三星Gear VR设备和AR用户的安卓手机；
D、转化数据为用户可接受的数据格式。当前案例中，系统将从HTC Vive提取更新的数据类型转化成三星Gear VR和AR安卓手机端可接收的数据格式。
E、筛选交互数据更新。当前案例中，VR用户所更新的用户虚拟人物形象位置及方向信息均被一一对应，转化并同步到其他VR及AR客户端中。
F数据转化完成后，将数据封装在socket包内，在下一帧渲染前使得服务端与客户端同步虚拟人物形象的数据更新。
并且其中，考虑到AR移动端和VR台式设备的算力差别，我们对AR客户端的更新进行了优化，提供两种模式，并且在开始提取用户信息时就提取了用户终端的性能信息，如需要CPU信息、GPU信息以及内存信息等性能信息，根据设定的性能需求来判断提取到的用户终端是否满足要求，如果满足要求，则采用模式一，如果不满足，则采用模式二，其中：模式一为场景式AR，即利用平面追踪，使得整个虚拟展厅及其中的文物被增强在周围实体环境中。在这种模式下，虚拟人物形象被实时追踪；模式二为以虚拟物体式AR，即利用平面追踪或图像识别技术，使得虚拟文物被增强在周围实体环境中。在这种模式下，虚拟展厅的空间信息被省略，AR则不追踪虚拟人物形象，只追踪文物相关互动信息。此模式可提升系统运行速度。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的精神与范围。
Claims (5)
1.一种实现多人混合虚拟和增强现实交互的系统，其特征在于：它包括服务器、VR终端以及AR终端，所述VR终端与AR终端均与服务器通信连接，其中：
VR终端，用于产生VR交互数据信息，且还能接收服务器反馈回来的VR数据信息并且根据接收到的数据信息更新渲染；
AR终端，用于产生AR交互数据信息，且还能接收服务器反馈回来的AR数据信息并且根据接收到的数据信息更新渲染；
服务器，用于接收VR终端与AR终端发送的数据信息，更新场景，进行数据转换，然后将转换后各自可识别的数据反馈给VR终端与AR终端。
2.一种实现多人混合虚拟和增强现实交互的方法，其特征在于，它包括以下步骤：
S1、用户通过VR终端或者AR终端发起交互行为；
S2、服务器提取用户信息与交互数据；
S3、服务器加载数据，并且将数据更新成服务器可处理的数据类型；
S4、服务器将数据分别转化为不同用户终端可接收的数据格式；
S5、服务器将转化完成的数据分别发送给对应的用户终端，使所有的用户终端实现与服务器的数据同步；
S6、所有的用户终端根据接收到服务器发送回来的数据进行渲染。
3.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S2中的用户信息包括用户终端设备信息，且步骤S2还包括获取连接服务器的所有其他用户终端设备信息，步骤S4根据获取的其他用户终端设备信息来分别转化为对应的可接收数据格式。
4.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S5中需要在下一帧渲染前将转化好的数据发送给用户终端，完成数据同步。
5.根据权利要求2所述的一种实现多人混合虚拟和增强现实交互的方法，其特征在于：步骤S5中若用户终端为AR终端，则需要判断AR终端的性能是否符合要求，若符合要求，则进行场景式AR更新，若不符合要求，则进行虚拟物体式AR更新，其中：
场景式AR更新为利用平面追踪，使得整个虚拟场景及其中的虚拟物体均被增强在周围实体环境中；
虚拟物体式AR更新为利用平面追踪或图像识别技术，使得虚拟物体被增强在周围实体环境中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110030565.4A CN112884906A (zh) | 2021-01-11 | 2021-01-11 | 一种实现多人混合虚拟和增强现实交互的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110030565.4A CN112884906A (zh) | 2021-01-11 | 2021-01-11 | 一种实现多人混合虚拟和增强现实交互的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884906A true CN112884906A (zh) | 2021-06-01 |
Family
ID=76046189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110030565.4A Pending CN112884906A (zh) | 2021-01-11 | 2021-01-11 | 一种实现多人混合虚拟和增强现实交互的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884906A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023071630A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 基于增强显示的信息交互方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107197342A (zh) * | 2017-06-16 | 2017-09-22 | 深圳创维数字技术有限公司 | 一种数据处理方法、智能终端、vr设备及存储介质 |
| WO2019099912A1 (en) * | 2017-11-16 | 2019-05-23 | Roam Holdings, LLC | Integrated operating environment |
| CN111610861A (zh) * | 2020-05-25 | 2020-09-01 | 歌尔科技有限公司 | 跨平台交互方法、ar装置及服务器和vr装置及服务器 |
| CN111771180A (zh) * | 2018-10-08 | 2020-10-13 | 谷歌有限责任公司 | 增强现实环境中对象的混合放置 |
-
2021
- 2021-01-11 CN CN202110030565.4A patent/CN112884906A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107197342A (zh) * | 2017-06-16 | 2017-09-22 | 深圳创维数字技术有限公司 | 一种数据处理方法、智能终端、vr设备及存储介质 |
| WO2019099912A1 (en) * | 2017-11-16 | 2019-05-23 | Roam Holdings, LLC | Integrated operating environment |
| CN111771180A (zh) * | 2018-10-08 | 2020-10-13 | 谷歌有限责任公司 | 增强现实环境中对象的混合放置 |
| CN111610861A (zh) * | 2020-05-25 | 2020-09-01 | 歌尔科技有限公司 | 跨平台交互方法、ar装置及服务器和vr装置及服务器 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023071630A1 (zh) * | 2021-10-29 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 基于增强显示的信息交互方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arth et al. | The history of mobile augmented reality | |
| US11615592B2 (en) | Side-by-side character animation from realtime 3D body motion capture | |
| CN111311756B (zh) | 增强现实ar显示方法及相关装置 | |
| WO2022105862A1 (zh) | 视频生成及显示方法、装置、设备、介质 | |
| CN107835436A (zh) | 一种基于WebGL的实时虚实融合直播系统及方法 | |
| US20210152751A1 (en) | Model training method, media information synthesis method, and related apparatuses | |
| CN112070906A (zh) | 一种增强现实系统及增强现实数据的生成方法、装置 | |
| CN113946211A (zh) | 基于元宇宙的多个对象的交互方法及相关设备 | |
| CN112684894A (zh) | 增强现实场景的交互方法、装置、电子设备及存储介质 | |
| CN103916621A (zh) | 视频通信方法及装置 | |
| EP4081884B1 (en) | Marker-based shared augmented reality session creation | |
| CN110473293A (zh) | 虚拟对象处理方法及装置、存储介质和电子设备 | |
| CN109426343B (zh) | 基于虚拟现实的协作训练方法及系统 | |
| CN112070907A (zh) | 一种增强现实系统及增强现实数据的生成方法、装置 | |
| CN116152416A (zh) | 基于扩展现实的画面渲染方法、装置及存储介质 | |
| CN106875478A (zh) | 体验手机3d效果的ar装置 | |
| CN112884906A (zh) | 一种实现多人混合虚拟和增强现实交互的系统及方法 | |
| WO2024027819A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111651049B (zh) | 交互方法、装置、计算机设备及存储介质 | |
| CN111383313B (zh) | 一种虚拟模型渲染方法、装置、设备及可读存储介质 | |
| KR102261739B1 (ko) | 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법 | |
| CN111447379B (zh) | 生成信息的方法和装置 | |
| CN116958487A (zh) | 姿态预测方法、装置、设备、存储介质及计算机程序产品 | |
| KR20120006312A (ko) | 모바일 디바이스를 사용한 위치 기반 증강현실 데이터 공유 시스템 및 방법 | |
| CN113824982A (zh) | 一种直播方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |