CN113382221A - 单实例多终端云渲染系统及其方法 - Google Patents

单实例多终端云渲染系统及其方法 Download PDF

Info

Publication number
CN113382221A
CN113382221A CN202110526086.1A CN202110526086A CN113382221A CN 113382221 A CN113382221 A CN 113382221A CN 202110526086 A CN202110526086 A CN 202110526086A CN 113382221 A CN113382221 A CN 113382221A
Authority
CN
China
Prior art keywords
user
rendering
picture
client
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110526086.1A
Other languages
English (en)
Inventor
吴方才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alien Reality Technology Chengdu Co ltd
Original Assignee
Alien Reality Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alien Reality Technology Chengdu Co ltd filed Critical Alien Reality Technology Chengdu Co ltd
Priority to CN202110526086.1A priority Critical patent/CN113382221A/zh
Publication of CN113382221A publication Critical patent/CN113382221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及云计算技术领域，单实例多终端云渲染系统及其方法，包括：客户端、服务端、虚拟摄像机模块、渲染模块，用于对某个用户对应的虚拟摄像机采集的画面输出到对应的渲染目标、像素流模块和逻辑模块，包括如下步骤：步骤一、启动运行实例，用户连入；步骤二、对新加入用户创建用户ID并绑定显示对象，为该显示对象绑定虚拟摄像机步骤三、若有新用户加入，重复步骤2～3；步骤四、将用户对应虚拟摄像机采集的画面输出到对应的渲染目标；步骤五、在画面的每一帧采集渲染目标的画面，并将渲染后的画面进行编码后传送回对应客户端；步骤六、用户输入相应的操作事件；实现了多个终端接入同一个运行实例，各自能够实现独立的视角与操作。

Description

单实例多终端云渲染系统及其方法
技术领域
本发明涉及云计算技术领域，具体是指单实例多终端云渲染系统及其方法。
背景技术
远程云渲染的模式与常规的云计算类似，即将3D程序放在远程的服务器中渲染，用户终端通过Web软件或者直接在本地的3D程序中点击一个“云渲染”按钮并借助高速互联网接入访问资源，指令从用户终端中发出，服务器根据指令执行对应的渲染任务，而渲染结果画面则被传送回用户终端中加以显示，然而当前云渲染技术都是单实例单终端（视频、音频、操作），即使多终端时，也是共享一个视频窗口，只能有一个操作者，主要存在以下不足：
1、多终端需要互动时，需要额外开发同步服务器，费时费力，且存在同步延时问题；
2、同一应用，多终端同时访问时，需要分别为每一个终端开启一个实例，对系统资源的开销巨大，从而导致企业在做实时云渲染服务时硬件成本剧增。
发明内容
基于以上问题，本发明提供了单实例多终端云渲染系统及其方法，实现了多个终端接入同一个运行实例，各自能够实现独立的视角与操作。
为解决以上技术问题，本发明采用的技术方案如下：
单实例多终端云渲染系统，包括：
客户端，用于显示画面并输入相应操作事件，还包括映射列表，映射列表中包含用户ID和渲染目标；
服务端，用于生成用户ID，并为用户ID绑定相应的显示对象，并将用户ID返回客户端；
虚拟摄像机模块，用于为每个用户分配一个虚拟摄像机；
渲染模块，用于对某个用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
像素流模块，在画面的每一帧分别采集每个渲染目标的画面，并分别将各个画面进行编码后传送回客户端，还用于接收客户端发送的用户ID和相对应的操作事件；
逻辑模块，用于识别用户ID并将相应的操作事件应用到显示对象上。
进一步，所述客户端为浏览器。
进一步，所述像素流模块中，采用H264编码或H265编码对画面进行编码。
单实例多终端云渲染方法，包括如下步骤：
步骤一、用户通过客户端连入服务端；
步骤二、对新加入的用户创建用户ID并绑定显示对象，为该显示对象绑定虚拟摄像机；
步骤三、若有新用户加入，重复步骤2～3；
步骤四、将用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
步骤五、在画面的每一帧采集渲染目标的画面，并将渲染后的画面进行编码后传送回对应客户端；
步骤六、用户输入相应的操作事件进行显示对象的操纵。
进一步，为用户ID绑定显示对象后，会将该用户ID反馈给客户端，客户端会在本地保存用户ID，一个用户ID绑定一个显示对象，一个显示对象对应一个虚拟摄像机，一个虚拟摄像机对应一个渲染目标，用户ID和渲染目标在客户端形成映射列表。
进一步，渲染后的画面在编码后传回对应客户端时，通过循环遍历映射列表来判断用户ID和对应的渲染目标。
与现有技术相比，本发明的有益效果是：
1、同样配置的服务器能服务更多的用户，接受多个客户端即终端连入服务端，节省运营成本；
2、多个客户端同时访问时同一个服务端，不用分别为每一个客户端开启一个实例，使得企业在做实时云渲染服务时硬件成本降低，不需要做额外的同步，做到同步无延时。
附图说明
图1为本实施例1的流程图。
具体实施方式
下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。
本实施例中，单实例多终端云渲染系统，包括如下：
客户端，包括浏览器，用于用户连入服务端以及输入相应操作事件，还包括映射列表，映射列表中包含用户ID和渲染目标；
服务端，创建用户ID，为用户ID绑定相应的显示对象，最后将用户ID返回客户端；
虚拟摄像机模块，用于为每个用户分配一个虚拟摄像机，通过该虚拟摄像机采集此用户对应的显示画面，此显示画面最终为该用户显示器呈现的画面；
渲染模块，用于对某个用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
像素流模块，在画面的每一帧分别采集每个渲染目标的画面，并分别将各个画面进行H264编码或H265编码后传送回客户端，还用于接收客户端发送的用户ID和相对应的操作事件；
逻辑模块，用于识别用户ID并将相应的操作事件应用到显示对象上。
基于以上，如图1所示，单实例多终端云渲染方法，包括如下步骤：
步骤一、开启运行实例，用户连入；
用户通过客户端连接服务端，服务端只需要开启一个运行实例即可。
步骤二、对新加入的用户创建用户ID并绑定显示对象，为该显示对象绑定虚拟摄像机；
对于新加入的用户，运行实例会给该用户生成一个用户ID，一个用户ID绑定一个显示对象，一个显示对象对应一个虚拟摄像机，一个虚拟摄像机对应一个渲染目标即rendertarget，同时，用户ID和渲染目标在客户端形成映射列表，数据结构可描述为[{1,，rendertarget1}......{n,，rendertarget n}]。
步骤三、若有新用户加入，重复步骤2～3；
浏览器引擎内部会维护对应的映射列表，例如现共有3个用户加入运行实例，分别是用户ID1、用户ID2和用户ID3，此时运行实例会为用户ID1绑定一个显示对象，该显示对象分配一个虚拟摄像机，虚拟摄像机对应一个渲染目标rendertarget1，用户2和用户3进行同样的操作，得到渲染目标rendertarget2，rendertarget3，最终，形成映射列表[{1,rendertarget1}，{2,rendertarget2}]，{3,rendertarget3}]。
步骤四、运行实例开始运行，将用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
用户ID1分配的虚拟摄像机将采集到的画面输出到渲染目标rendertarget1，用户ID2分配的虚拟摄像机将采集到的画面输出到渲染目标rendertarget2，用户ID3分配的虚拟摄像机将采集到的画面输出到渲染目标rendertarget3，像素流模块会在运行实例的的每一帧分别采集各个渲染目标的画面，并分别将画面进行H264编码或H265编码。
步骤五、在画面的每一帧采集渲染目标的画面，并将渲染后的画面进行编码后传送回对应客户端；
当画面渲染完毕后，由于是多客户端同时连入运行实例，因此像素流模块需要循环遍历映射列表，找出每个渲染目标所对应的用户ID，找出后，分别将渲染后的画面编码传输回各个客户端，各个用户即可在显示器上获得画面，例如渲染目标rendertarget1经过编码后的画面传输给用户ID1的客户端，渲染目标rendertarget2经过编码后的画面传输给用户ID2的客户端，渲染目标rendertarget3经过编码后的画面传输给用户ID3的客户端。
步骤六、用户输入相应的操作事件进行显示对象的操纵。
用户获得画面后，会通过鼠标或键盘输入操作事件，例如键盘按下弹起、鼠标点击等，浏览器或客户端会将用户ID和操作事件一起发送给像素流模块，像素流模块会将操作事件传递给逻辑模块，发送的操作事件的数据结构为{PlayerID:1,Event:KeyUp,KeyCode:100}，逻辑模块通过数据结构中的PlayerID即可知道当前操作事件对应的哪一个用户ID，逻辑模块识别出某个操作事件对应的用户ID后，将操作事件应用到此用户ID对应的显示对象上，最后显示对象根据操作事件完成相应的操作。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (6)

1.单实例多终端云渲染系统，其特征在于，包括：
客户端，用于显示画面并输入相应操作事件，还包括映射列表，映射列表中包含用户ID和渲染目标；
服务端，用于生成用户ID，并为用户ID绑定相应的显示对象，并将用户ID返回客户端；
虚拟摄像机模块，用于为每个用户分配一个虚拟摄像机；
渲染模块，用于对某个用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
像素流模块，在画面的每一帧分别采集每个渲染目标的画面，并分别将各个画面进行编码后传送回客户端，还用于接收客户端发送的用户ID和相对应的操作事件；
逻辑模块，用于识别用户ID并将相应的操作事件应用到显示对象上。
2.根据权利要求1所述的单实例多终端云渲染系统，其特征在于：所述客户端为浏览器。
3.根据权利要求1所述的单实例多终端云渲染系统，其特征在于：所述像素流模块中，采用H264编码或H265编码对画面进行编码。
4.单实例多终端云渲染方法，其特征在于：包括如下步骤：
步骤一、用户通过客户端连入服务端；
步骤二、对新加入的用户创建用户ID并绑定显示对象，为该显示对象绑定虚拟摄像机；
步骤三、若有新用户加入，重复步骤2～3；
步骤四、将用户对应的虚拟摄像机采集的画面输出到对应的渲染目标；
步骤五、在画面的每一帧采集渲染目标的画面，并将渲染后的画面进行编码后传送回对应客户端；
步骤六、用户输入相应的操作事件进行显示对象的操纵。
5.根据权利要求4所述的单实例多终端云渲染方法，其特征在于：为用户ID绑定显示对象后，会将该用户ID反馈给客户端，客户端会在本地保存用户ID，一个用户ID绑定一个显示对象，一个显示对象对应一个虚拟摄像机，一个虚拟摄像机对应一个渲染目标，用户ID和渲染目标在客户端形成映射列表。
6.根据权利要求5所述的单实例多终端云渲染方法，其特征在于：渲染后的画面在编码后传回对应客户端时，通过循环遍历映射列表来判断用户ID和对应的渲染目标。
CN202110526086.1A 2021-05-14 2021-05-14 单实例多终端云渲染系统及其方法 Pending CN113382221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110526086.1A CN113382221A (zh) 2021-05-14 2021-05-14 单实例多终端云渲染系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110526086.1A CN113382221A (zh) 2021-05-14 2021-05-14 单实例多终端云渲染系统及其方法

Publications (1)

Publication Number Publication Date
CN113382221A true CN113382221A (zh) 2021-09-10

Family

ID=77572694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110526086.1A Pending CN113382221A (zh) 2021-05-14 2021-05-14 单实例多终端云渲染系统及其方法

Country Status (1)

Country Link
CN (1) CN113382221A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082610A (zh) * 2022-07-15 2022-09-20 北京智汇云舟科技有限公司 基于3d云渲染的多用户协作方法、云渲染服务器及云渲染系统
CN115801746A (zh) * 2022-12-05 2023-03-14 广州南方智能技术有限公司 一种基于分布式的服务器渲染装置及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201700073D0 (en) * 2017-01-04 2017-02-15 Cisco Tech Inc Method and apparatus for container-based virtualisation
WO2017088484A1 (zh) * 2015-11-24 2017-06-01 成都赫尔墨斯科技有限公司 基于云计算的实时离屏渲染方法、装置及系统
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20170330034A1 (en) * 2016-05-11 2017-11-16 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
CN107358656A (zh) * 2017-06-16 2017-11-17 珠海金山网络游戏科技有限公司 一种三维游戏的ar处理系统及其处理方法
CN107370831A (zh) * 2017-09-01 2017-11-21 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
US20180225861A1 (en) * 2017-02-07 2018-08-09 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
WO2018208481A1 (en) * 2017-05-12 2018-11-15 Microsoft Technology Licensing, Llc Multiple listener cloud render with enhanced instant replay
US20190318546A1 (en) * 2016-12-28 2019-10-17 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method and apparatus for processing display data
US20190342555A1 (en) * 2018-05-01 2019-11-07 Nvidia Corporation Adaptive upscaling of cloud rendered graphics
CN110519611A (zh) * 2019-08-23 2019-11-29 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备及存储介质
CN110751712A (zh) * 2019-10-22 2020-02-04 中设数字技术股份有限公司 基于云平台的在线三维渲染技术及系统
EP3709273A1 (en) * 2019-03-14 2020-09-16 Nokia Technologies Oy Signalling of metadata for volumetric video
CN111951366A (zh) * 2020-07-29 2020-11-17 北京蔚领时代科技有限公司 一种云原生3d场景游戏方法和系统
US20200372699A1 (en) * 2019-05-24 2020-11-26 Nvidia Corporation Fine grained interleaved rendering applications in path tracing for cloud computing environments
WO2021083176A1 (zh) * 2019-10-28 2021-05-06 阿里巴巴集团控股有限公司 数据交互方法及系统、交互终端、可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
WO2017088484A1 (zh) * 2015-11-24 2017-06-01 成都赫尔墨斯科技有限公司 基于云计算的实时离屏渲染方法、装置及系统
US20170330034A1 (en) * 2016-05-11 2017-11-16 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US20190318546A1 (en) * 2016-12-28 2019-10-17 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method and apparatus for processing display data
GB201700073D0 (en) * 2017-01-04 2017-02-15 Cisco Tech Inc Method and apparatus for container-based virtualisation
US20180225861A1 (en) * 2017-02-07 2018-08-09 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
WO2018208481A1 (en) * 2017-05-12 2018-11-15 Microsoft Technology Licensing, Llc Multiple listener cloud render with enhanced instant replay
CN107358656A (zh) * 2017-06-16 2017-11-17 珠海金山网络游戏科技有限公司 一种三维游戏的ar处理系统及其处理方法
CN107370831A (zh) * 2017-09-01 2017-11-21 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
US20190342555A1 (en) * 2018-05-01 2019-11-07 Nvidia Corporation Adaptive upscaling of cloud rendered graphics
EP3709273A1 (en) * 2019-03-14 2020-09-16 Nokia Technologies Oy Signalling of metadata for volumetric video
US20200372699A1 (en) * 2019-05-24 2020-11-26 Nvidia Corporation Fine grained interleaved rendering applications in path tracing for cloud computing environments
CN110519611A (zh) * 2019-08-23 2019-11-29 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备及存储介质
CN110751712A (zh) * 2019-10-22 2020-02-04 中设数字技术股份有限公司 基于云平台的在线三维渲染技术及系统
WO2021083176A1 (zh) * 2019-10-28 2021-05-06 阿里巴巴集团控股有限公司 数据交互方法及系统、交互终端、可读存储介质
CN111951366A (zh) * 2020-07-29 2020-11-17 北京蔚领时代科技有限公司 一种云原生3d场景游戏方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛成宇: ""GPU集群云渲染平台负载均衡与优化管理算法"", 《中国优秀硕博毕业论文》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082610A (zh) * 2022-07-15 2022-09-20 北京智汇云舟科技有限公司 基于3d云渲染的多用户协作方法、云渲染服务器及云渲染系统
CN115801746A (zh) * 2022-12-05 2023-03-14 广州南方智能技术有限公司 一种基于分布式的服务器渲染装置及方法
CN115801746B (zh) * 2022-12-05 2023-09-22 广州南方智能技术有限公司 一种基于分布式的服务器渲染装置及方法

Similar Documents

Publication Publication Date Title
US10924783B2 (en) Video coding method, system and server
CN108449633B (zh) 基于nfv的机顶盒云化系统及业务实现方法
US10229651B2 (en) Variable refresh rate video capture and playback
US7197751B2 (en) Real-time collaboration client
US7222305B2 (en) Method of sharing a desktop with attendees of a real-time collaboration
US7219127B2 (en) Control unit operations in a real-time collaboration server
US7206811B2 (en) System and method for facilitating real-time collaborating by collapsing a queue for a slow client
US8117275B2 (en) Media fusion remote access system
CN113382221A (zh) 单实例多终端云渲染系统及其方法
JP7475610B2 (ja) クラウドネイティブによる３ｄ場面のゲーム方法及びシステム
US20230405479A1 (en) Data processing method and apparatus, device and storage medium
WO2014206094A1 (zh) 一种图像更新方法、系统及装置
CN113178015A (zh) 房源的交互方法、装置、电子设备及存储介质
CN102033726A (zh) 一种显示方法和服务器
Cernigliaro et al. PC-MCU: Point cloud multipoint control unit for multi-user holoconferencing systems
CN111447391A (zh) 会议数据同步方法、装置、计算机设备及存储介质
CN113826367A (zh) 用于计算平台上的功能实现的计算资源估计
CN111818383A (zh) 视频数据的生成方法、系统、装置、电子设备及存储介质
CN114374853A (zh) 内容展示方法、装置、计算机设备和存储介质
CN114598931A (zh) 一种多开云游戏的串流方法、系统、装置及介质
WO2024027611A1 (zh) 视频直播方法、装置、电子设备以及存储介质
CN113099159A (zh) 一种远程会议的控制方法及装置
Chujo et al. Implementation and Demonstration of Real-time Point Cloud Streaming System using HoloLens
CA2653799A1 (en) Method and apparatus for creating and manipulating digital images
KR20130109904A (ko) 멀티스크린 기반의 다차원 게임 서비스 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210910