CN113625869A - 一种大空间多人互动云渲染系统 - Google Patents

一种大空间多人互动云渲染系统 Download PDF

Info

Publication number
CN113625869A
CN113625869A CN202110802981.1A CN202110802981A CN113625869A CN 113625869 A CN113625869 A CN 113625869A CN 202110802981 A CN202110802981 A CN 202110802981A CN 113625869 A CN113625869 A CN 113625869A
Authority
CN
China
Prior art keywords
cloud rendering
server
display module
module
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110802981.1A
Other languages
English (en)
Other versions
CN113625869B (zh
Inventor
张志�
李建华
王红梅
张百涛
侯庆明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Easy Times Digital Technology Co ltd
Original Assignee
Beijing Easy Times Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Easy Times Digital Technology Co ltd filed Critical Beijing Easy Times Digital Technology Co ltd
Priority to CN202110802981.1A priority Critical patent/CN113625869B/zh
Publication of CN113625869A publication Critical patent/CN113625869A/zh
Application granted granted Critical
Publication of CN113625869B publication Critical patent/CN113625869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种大空间多人互动云渲染系统,其包括动作捕捉模块、云渲染服务器、显示模块和无线通讯模块,所述云渲染服务器部署于边缘侧或云端,所述动作捕捉模块和显示模块均通过无线通讯模块与所述云渲染服务器无线通信连接;所述动作捕捉模块,以用于捕捉用户动作;所述云渲染服务器以用于根据捕捉到的用户动作,驱动虚拟模型做出相应的动作,进行画面渲染;显示模块以用于根据渲染后的画面以及自身定位信息,确定显示场景,并显示。本申请在一些动作频率较高和动作幅度较大的多人交互场景中,使用户的行动更加轻便自由。

Description

一种大空间多人互动云渲染系统
技术领域
本申请涉及大空间多人交互的领域,尤其是涉及一种大空间多人互动云渲染系统。
背景技术
随着VR头戴显示器的普及,大众对VR技术有了进一步的了解。随着技术的进步,VR技术生态越来越丰富,人们也不断挖掘VR技术在各个领域的应用,将诸如动作捕捉、眼球追踪、手势识别等技术整合到VR生态圈中,形成特定应用和独特体验。在这些技术中,尤其以动作捕捉技术和VR融合受到了广泛关注,逐渐形成大空间多人互动VR的方案。
相关技术中,动捕系统通过相机采集数据之后通过网线传输到动捕服务器软件进行处理,之后数据由动捕服务器交给应用程序使用,应用程序通过动捕数据驱动模型运动完成交互逻辑,相关系统的应用都是跑在背包电脑上的,使用的时候玩家背着背包电脑,并通过插在背包电脑上的VR头戴显示器进行体验。
针对上述中的相关技术,发明人认为以背包电脑作为渲染主机,并且带着连线的头戴显示器,在一些动作频率较高和动作幅度较大的多人交互场景中不便于用户的行动。
发明内容
为了在一些动作频率较高和动作幅度较大的多人交互场景中,使用户的行动更加轻便自由,本申请提供了一种大空间多人互动云渲染系统。
本申请提供的一种大空间多人互动云渲染系统采用如下的技术方案:
一种大空间多人互动云渲染系统,包括动作捕捉模块、云渲染服务器、显示模块和无线通讯模块,所述云渲染服务器部署于边缘侧或云端,所述动作捕捉模块和显示模块均通过无线通讯模块与所述云渲染服务器无线通信连接;
所述动作捕捉模块,以用于捕捉用户动作;
所述云渲染服务器以用于根据捕捉到的用户动作,驱动虚拟模型做出相应的动作,进行画面渲染;
显示模块以用于根据渲染后的画面以及自身定位信息,确定显示场景,并显示。
通过采用上述技术方案,云渲染服务器部署边缘或云端,且动作捕捉模块和显示模块通过无线通讯模块与云渲染服务器无线通信连接,采用云渲染的方式将云渲染服务器部署于边缘侧或云端,这样资源可以统一分配调度,使重复利用和统一管理成为可能,大空间场地不再需要背包电脑,只需要用于观看和交互的显示模块即可,当动作频率较高和动作幅度较大时,使用户的行动更加轻便自由。
可选的,所述动作捕捉模块包括多个动捕相机和动捕服务器;
所述动捕相机以用于实时获取动捕数据,并上传;
所述动捕服务器接收所述动捕数据,并根据接收到的动捕数据并计算得出用户位置信息,并上传。
可选的,还包括控制器,所述控制器连接所述显示模块,所述控制器用于输出控制信号,以控制虚拟模型在场景中做出交互动作并控制显示模块动作。
可选的,所述云渲染服务器被进一步配置为:
获取所述控制器上传的控制信号;
根据所述控制信号对当前所观察的区域进行渲染;
对渲染后的数据进行编码压缩后上传。
可选的,所述显示模块进一步配置为:
获取云渲染服务器编码压缩的渲染后的数据;
显示模块接收所述数据并进行解码;
获取显示模块当前位置的投影矩阵;
根据显示模块当前位置的投影矩阵显示解码后的数据对应的视频。
可选的,所述动捕相机为MC1300红外光学相机。
通过采用上述技术方案,采用MC1300红外光学相机进行动作捕捉无电缆、机械装置的限制,用户可获得较大的活动范围,且采样速率较高,可捕捉实时运动,与其适配的定位装置可根据实际应用购置添加,以便获得更加准确的检测结果。
可选的,在进行大空间多人互动时,每个用户身上均设置有多个定位设备,所述动捕服务器被进一步配置为:
获取动捕相机捕拍摄的用户图像;
识别用户图像内的定位设备,并计算定位设备在每一瞬间的六自由度位置信息;
根据多个定位设备在每一瞬间的的六自由度位置信息,确定运动轨迹。
可选的,所述无线通讯模块为5G无线通讯模块。
通过采用上述技术方案,采用5G无线通讯模块进行数据传输,使通信变得高速率、高吞吐量、高可靠性、低延时。
可选的,所述云渲染服务器为GPU服务器,所述GPU服务器与所述动捕服务器的通信协议为TCP。
可选的,所述显示模块为VR一体机。
通过采用上述技术方案,采用VR一体机,没有连接线的束缚,自由度更高。
综上所述,本申请包括以下有益技术效果:
云渲染服务器部署边缘侧或云端,且动作捕捉模块和显示模块通过无线通讯模块与云渲染服务器无线通信连接,采用云渲染的方式将云渲染服务器部署边缘侧或云端,这样资源可以统一分配调度,使重复利用和统一管理成为可能,大空间场地不再需要背包电脑,只需要用于观看和交互的显示模块即可,当动作频率较高和动作幅度较大时,使用户的行动更加轻便自由。
附图说明
图1是本申请实施例提供的一个示例的结构示意图。
图2是本申请实施例提供的另一个示例的结构示意图。
附图标记说明:10、云渲染服务器;20、显示模块;30、动作捕捉模块;301、动捕相机;302、动捕服务器;40、无线通讯模块;50、控制器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例公开一种大空间多人互动云渲染系统。参照图1,大空间多人互动云渲染系统包括动作捕捉模块30、云渲染服务器10、显示模块20和无线通讯模块40,云渲染服务器10部署于边缘侧或云端,这样资源可以统一分配调度,使重复利用和统一管理成为可能,大空间场地不再需要背包电脑,只需要用于观看和交互显示模块20即可,动作捕捉模块30和显示模块20均通过无线通讯模块40实现与云渲染服务器10的通讯连接,且云渲染服务器10与显示模块20一一对应。
动作捕捉模块30用于捕捉用户动作,云渲染服务器10根据捕捉到的动作,驱动虚拟模型做出相应的动作,进行画面渲染,显示模块20可对判断自身的定位信息,显示模块20根据渲染后的画面以及自身能够为信息确实显示场景,并进行显示。
在一个示例中,无线通讯模块40为5G无线通讯模块40,动作捕捉模块30和显示模块20均通过5G无线通讯模块40实现与云渲染服务器10的通讯连接,使体验者不需要背着沉重的背包电脑和戴着连线的显示模块20,本发明通过云渲染系统和大空间相结合,使大空间多人互动体验感得到极大的提升,在一些动作频率较高和动作幅度较大的多人交互场景中体现的尤为明显,达到轻便自由的体验效果。
动作捕捉模块30包括多台动作捕捉相机动捕服务器302,多台动捕相机301均与动捕服务器302连接,动捕相机301以用于实时检测用户动作获取动捕数据,并上传;动捕服务器302接收所述动捕数据,并根据接收到的动捕数据并计算得出用户位置信息,并上传。
具体的,本实施例中,优选采用光学式运动捕捉,在用户身体的关键部位如关节、髋部、肘、腕等位置设置有定位设备,在多台动捕相机301环绕场地设置,动捕相机301识别处理这些定位设备。动捕相机301连续拍摄用户的动作,并将用户图像上传至动捕服务器302的数据库中进行存储,动捕服务器302调取数据库中存储的用户图像,然后在进行分析处理,识别其中的定位设备,并计算定位设备在每一瞬间的六自由度位置信息,进而得到其运动轨迹。为了得到准确的运动轨迹,相机应有较高的拍摄速率,一般要达到每秒 60 帧以上。本实施例中动捕相机301优选为MC1300红外光学相机,定位设备为反光小球。在其他实施方式中,还可采用惯性式、机械式、声学式、电磁式动作捕捉方式,在此不做限制。
云渲染服务器10为GPU服务器,在大空间多人互动云渲染系统的应用过程中,GPU服务器与动捕服务器302通过TCP通信协议连接,即可实现GPU服务器与动捕服务器302的数据交互。云渲染服务器10根据动捕服务器302上传的运动轨迹数据,驱动虚拟模型做出相应的动作,进行交互,同时进行场景渲染,并将渲染画面进行编码推流到显示模块20。
显示模块20为VR一体机,具备了独立运算、输入和输出的功能,显示模块20根据渲染后的画面以及自身定位信息确定显示场景,并进行显示。
参照图2,在另一个示例中,显示模块20还连接有控制器50,用户可通过控制器50输出控制信号,控制虚拟模型在场景中做出交互动作、移动或者对交互界面和场景中的物体进行操作,且可控制VR一体机旋转进行视角变换,VR一体机通过UDP通信协议将控制信号传输至GPU服务器上,并根据控制信号进行重置交互场景,GPU服务器中的渲染相机根据玩家操作后的场景中各操作对象的位置以及VR一体机当前所观察到的区域进行渲染,并将渲染后的结果传输至帧缓冲区中,对传输到帧缓冲区中的数据进行编码压缩,并将编码压缩后的数据流通过TCP通信协议发送到VR一体机,VR一体机接收到GPU服务器上传的数据流后,对数据流进行解码,并根据VR一体机的当前位置的投影矩阵,将解码后的数据流对用的视频显示出来。本实施例中控制器50为手柄。
本申请实施例一种大空间多人互动云渲染系统的实施原理为:云渲染服务器10部署边缘侧或云端,且动作捕捉模块30和显示模块20通过无线通讯模块40与云渲染服务器10无线通信连接,动作捕捉模块30捕捉用户动作,渲染服务器10根据捕捉到的用户动作,驱动虚拟模型做出相应的动作,并进行画面渲染;显示模块20根据渲染后的画面以及自身定位信息,确定显示场景,并显示。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,本说明书(包括摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种大空间多人互动云渲染系统,其特征在于:包括动作捕捉模块(30)、云渲染服务器(10)、显示模块(20)和无线通讯模块(40),所述云渲染服务器(10)部署于边缘侧或云端,所述动作捕捉模块(30)和显示模块(20)均通过无线通讯模块(40)与所述云渲染服务器(10)无线通信连接;
所述动作捕捉模块(30),以用于捕捉用户动作;
所述云渲染服务器(10)以用于根据捕捉到的用户动作,驱动虚拟模型做出相应的动作,并进行画面渲染;
显示模块(20)以用于根据渲染后的画面以及自身定位信息,确定显示场景,并显示。
2.根据权利要求1所述的大空间多人互动云渲染系统,其特征在于:所述动作捕捉模块(30)包括多个动捕相机(301)和动捕服务器(302);
所述动捕相机(301)以用于实时获取动捕数据,并上传;
所述动捕服务器(302)接收所述动捕数据,并根据接收到的动捕数据并计算得出用户位置信息,并上传。
3.根据权利要求1所述的大空间多人互动云渲染系统,其特征在于:还包括控制器(50),所述控制器(50)连接所述显示模块(20),所述控制器(50)用于输出控制信号,以控制虚拟模型在场景中做出交互动作并控制显示模块(20)动作。
4.根据权利要求3所述的大空间多人互动云渲染系统,其特征在于:所述云渲染服务器(10)被进一步配置为:
获取所述控制器(50)上传的控制信号;
根据所述控制信号对当前所观察的区域进行渲染;
对渲染后的数据进行编码压缩后上传。
5.根据权利要求4所述的大空间多人互动云渲染系统,其特征在于:所述显示模块(20)进一步配置为:
获取云渲染服务器(10)编码压缩的渲染后的数据;
显示模块(20)接收所述数据并进行解码;
获取显示模块(20)当前位置的投影矩阵;
根据显示模块(20)当前位置的投影矩阵显示解码后的数据对应的视频。
6.根据权利要求2所述的大空间多人互动云渲染系统,其特征在于:所述动捕相机(301)为MC1300红外光学相机。
7.根据权利要求5所述的大空间多人互动云渲染系统,在进行大空间多人互动时,每个用户身上均设置有多个定位设备,其特征在于:所述动捕服务器(302)被进一步配置为:
获取动捕相机(301)捕拍摄的用户图像;
识别用户图像内的定位设备,并计算定位设备在每一瞬间的六自由度位置信息;
根据多个定位设备在每一瞬间的的六自由度位置信息,确定运动轨迹。
8.根据权利要求1所述的大空间多人互动云渲染系统,其特征在于:所述无线通讯模块(40)为5G无线通讯模块(40)。
9.根据权利要求2所述的大空间多人互动云渲染系统,其特征在于:所述云渲染服务器(10)为GPU服务器所述GPU服务器与所述动捕服务器(302)的通信协议为TCP。
10.根据权利要求1所述的大空间多人互动云渲染系统,其特征在于:所述显示模块(20)为VR一体机。
CN202110802981.1A 2021-07-15 2021-07-15 一种大空间多人互动云渲染系统 Active CN113625869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802981.1A CN113625869B (zh) 2021-07-15 2021-07-15 一种大空间多人互动云渲染系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802981.1A CN113625869B (zh) 2021-07-15 2021-07-15 一种大空间多人互动云渲染系统

Publications (2)

Publication Number Publication Date
CN113625869A true CN113625869A (zh) 2021-11-09
CN113625869B CN113625869B (zh) 2023-12-29

Family

ID=78379897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802981.1A Active CN113625869B (zh) 2021-07-15 2021-07-15 一种大空间多人互动云渲染系统

Country Status (1)

Country Link
CN (1) CN113625869B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490097A (zh) * 2022-01-12 2022-05-13 北京易智时代数字科技有限公司 一种渲染服务的管理系统以及vr显示系统
CN114844934A (zh) * 2022-04-28 2022-08-02 北京北建大科技有限公司 基于云渲染的多人大空间vr互动场景搭建方法
CN115082610A (zh) * 2022-07-15 2022-09-20 北京智汇云舟科技有限公司 基于3d云渲染的多用户协作方法、云渲染服务器及云渲染系统
CN115793866A (zh) * 2023-02-13 2023-03-14 深圳飞蝶虚拟现实科技有限公司 基于动作捕捉的元宇宙远程互动系统
WO2024165070A1 (en) * 2023-02-10 2024-08-15 Muxic Limited System and method for rendering scene in virtual environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358528A1 (en) * 2017-02-07 2018-08-08 Siemens Healthcare GmbH Point cloud proxy for physically-based volume rendering
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN112306240A (zh) * 2020-10-29 2021-02-02 中国移动通信集团黑龙江有限公司 虚拟现实数据处理方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358528A1 (en) * 2017-02-07 2018-08-08 Siemens Healthcare GmbH Point cloud proxy for physically-based volume rendering
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN112306240A (zh) * 2020-10-29 2021-02-02 中国移动通信集团黑龙江有限公司 虚拟现实数据处理方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490097A (zh) * 2022-01-12 2022-05-13 北京易智时代数字科技有限公司 一种渲染服务的管理系统以及vr显示系统
CN114844934A (zh) * 2022-04-28 2022-08-02 北京北建大科技有限公司 基于云渲染的多人大空间vr互动场景搭建方法
CN115082610A (zh) * 2022-07-15 2022-09-20 北京智汇云舟科技有限公司 基于3d云渲染的多用户协作方法、云渲染服务器及云渲染系统
WO2024165070A1 (en) * 2023-02-10 2024-08-15 Muxic Limited System and method for rendering scene in virtual environment
CN115793866A (zh) * 2023-02-13 2023-03-14 深圳飞蝶虚拟现实科技有限公司 基于动作捕捉的元宇宙远程互动系统
CN115793866B (zh) * 2023-02-13 2023-07-28 西安飞蝶虚拟现实科技有限公司 基于动作捕捉的元宇宙远程互动系统

Also Published As

Publication number Publication date
CN113625869B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN113625869B (zh) 一种大空间多人互动云渲染系统
CN105739525B (zh) 一种配合体感操作实现虚拟飞行的系统
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
CN111935491B (zh) 直播的特效处理方法、装置以及服务器
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
CN104866101B (zh) 虚拟对象的实时互动控制方法及装置
CN109976690A (zh) Ar眼镜远程交互方法、装置和计算机可读介质
CN105739703A (zh) 面向无线头戴显示设备的虚拟现实体感交互系统及方法
US20200035025A1 (en) Triggered virtual reality and augmented reality events in video streams
CN105979224A (zh) 一种头戴显示器、视频输出设备和视频处理方法、系统
CN102221887A (zh) 互动投影系统及方法
CN107332977B (zh) 增强现实的方法及增强现实设备
CN112270754A (zh) 局部网格地图构建方法及装置、可读介质和电子设备
US20150244984A1 (en) Information processing method and device
CN103442177A (zh) 一种基于手势识别的ptz摄像机控制系统及方法
US11310560B2 (en) Bitstream merger and extractor
CN105933637A (zh) 一种视频通信的方法及系统
CN210090827U (zh) 一种轻便化的ar眼镜实现系统
CN109992111B (zh) 增强现实扩展方法和电子设备
CN110568931A (zh) 交互方法、设备、系统、电子设备及存储介质
WO2017061890A1 (en) Wireless full body motion control sensor
CN117692704A (zh) 一种虚拟场景展示方法及系统
WO2008066705A1 (en) Image capture apparatus with indicator
KR20110123907A (ko) Iptv 시스템 및 그의 컨텐츠 제공 방법
EP4156109A1 (en) Apparatus and method for establishing a three-dimensional conversational service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant