CN112698958A - 基于像素流的离屏分布式集群云渲染系统及方法 - Google Patents

基于像素流的离屏分布式集群云渲染系统及方法 Download PDF

Info

Publication number
CN112698958A
CN112698958A CN202110316942.0A CN202110316942A CN112698958A CN 112698958 A CN112698958 A CN 112698958A CN 202110316942 A CN202110316942 A CN 202110316942A CN 112698958 A CN112698958 A CN 112698958A
Authority
CN
China
Prior art keywords
rendering
task
data
display card
virtual node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110316942.0A
Other languages
English (en)
Inventor
吴方才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alien Reality Technology Chengdu Co ltd
Original Assignee
Alien Reality Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alien Reality Technology Chengdu Co ltd filed Critical Alien Reality Technology Chengdu Co ltd
Priority to CN202110316942.0A priority Critical patent/CN112698958A/zh
Publication of CN112698958A publication Critical patent/CN112698958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了基于像素流的离屏分布式集群云渲染系统及方法，涉及云渲染技术领域，该系统包括包括用于运行应用程序的内容服务器和多个用于复制内容服务器的应用程序的虚拟节点，虚拟节点包括主显卡、CPU和多个任务渲染显卡，主显卡分配任务，CPU内存作为共享显存，存放渲染数据，任务渲染显卡进行渲染工作，最终渲染结果显示在移动终端上，使得移动终端能够运行渲染能力要求较高的3D程序。

Description

基于像素流的离屏分布式集群云渲染系统及方法
技术领域
本发明涉及云渲染技术领域，更具体的是涉及基于像素流的离屏分布式集群云渲染系统及方法。
背景技术
由于手机等移动终端的渲染能力有限，难以运行对渲染能力要求较高的3D程序，而服务器的渲染能力一般较强，能够运行3D程序，但是，在运行3D游戏等应用场景中，手机又需要较强的渲染能力。
如何把服务器的渲染能力应用到手机上，成为本领域技术人员亟待解决的技术问题。
发明内容
本发明的目的在于：为了解决如何把服务器较强的渲染能力应用到手机上的问题，本发明提供基于像素流的离屏分布式集群云渲染系统及方法。
本发明为了实现上述目的具体采用以下技术方案：
基于像素流的离屏分布式集群云渲染系统，其特征在于，包括用于运行应用程序的内容服务器和多个用于复制内容服务器的应用程序的虚拟节点，每个虚拟节点包括主显卡、CPU和多个任务渲染显卡，其中：
CPU，运行应用程序，CPU内存作为共享显存使用并存放待渲染任务的数据和结果队列的数据；
主显卡，以帧为单位对待渲染任务的数据进行编号，对每一帧数据按照同样大小进行分块处理，形成按照顺序排列的任务队列，根据任务渲染显卡的渲染能力从任务队列中分配渲染任务，复制结果队列中的数据，合并之后进行编码，编码完成后发送到移动终端；
任务渲染显卡，从任务队列中复制渲染任务，对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中。
进一步地，每个虚拟节点还包括用于对合并之后的数据进行编码的编码卡。
进一步地，所述移动终端为手机或笔记本电脑或平板电脑。
基于像素流的离屏分布式集群云渲染方法，包括如下步骤：
（1）选择满足渲染需求的最近的虚拟节点；
（2）虚拟节点从内容服务器上复制应用程序，CPU内存运行应用程序；
（3）虚拟节点接收移动终端发送的指令，根据指令运行应用程序并产生待渲染任务，待渲染任务的数据放在CPU内存上；
（4）主显卡对待渲染任务的数据以帧为单位进行编号，对每一帧数据按照同样大小进行分块处理，形成按照顺序排列的任务队列，之后根据任务渲染显卡的渲染能力从任务队列中分配渲染任务；
（5）任务渲染显卡，从任务队列中复制渲染任务，之后对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中；
（6）主显卡复制结果队列中的数据，同一帧的数据同步合并之后进行编码，编码完成后发送到移动终端，在移动终端上显示。
进一步地，步骤（1）中满足渲染需求的虚拟节点满足以下条件：
a．虚拟节点中CPU利用率最低；
b．虚拟节点中CPU内存最多；
c．虚拟节点中显卡专有显存剩余最高；
d．虚拟节点中主显卡利用率最低；
e．虚拟节点中任务渲染显卡利用率最低；
f．虚拟节点中CPU内存和显卡专用内存满足应用程序的需求。
本发明的有益效果如下：
（1）虚拟节点相当于虚拟服务器，通过虚拟节点进行渲染，之后把渲染的结果发送到移动终端进行显示，使得移动终端能够运行渲染能力要求较高的3D程序，拓展了移动终端的应用场景；
（2）虚拟节点包括编码卡，通过编码卡进行编码工作，使得显卡不用进行编码工作，节省了显卡的资源，显卡能够专注于渲染工作，提高了显卡的渲染能力；
（3）由于应用级显卡只能进行2路编码，如果采用编码卡进行编码工作，当虚拟节点应用在多于2路的场景时，就能够采用应用级显卡进行渲染，因为应用级显卡的成本明显低于专业级显卡，所以采用编码卡进行编码，有效降低了渲染的成本。
附图说明
图1是本发明的示意图。
具体实施方式
实施例1
基于像素流的离屏分布式集群云渲染系统，其特征在于，包括用于运行应用程序的内容服务器和多个用于复制内容服务器的应用程序的虚拟节点，每个虚拟节点包括主显卡、CPU和多个任务渲染显卡，其中：
CPU，运行应用程序，CPU内存作为共享显存使用并存放待渲染任务的数据和结果队列的数据；
主显卡，以帧为单位对待渲染任务的数据进行编号，对每一帧数据按照同样大小进行分块处理，形成按照顺序排列的任务队列，根据任务渲染显卡的渲染能力从任务队列中分配渲染任务，复制结果队列中的数据，合并之后进行编码，编码完成后发送到移动终端；
任务渲染显卡，从任务队列中复制渲染任务，对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中。
优选的，每个虚拟节点还包括用于对合并之后的数据进行编码的编码卡，编码卡可以为FPGA编码卡。
优选的，所述移动终端为手机或笔记本电脑或平板电脑。
基于像素流的离屏分布式集群云渲染方法，包括如下步骤：
（1）选择满足渲染需求的最近的虚拟节点；
（2）虚拟节点从内容服务器上复制应用程序，CPU内存运行应用程序；
（3）虚拟节点接收移动终端发送的指令，根据指令运行应用程序并产生待渲染任务，待渲染任务的数据放在CPU内存上；
（4）主显卡对待渲染任务的数据以帧为单位进行编号，对每一帧数据按照128*128的大小进行分块处理，不足128*128大小的也按照128*128的大小进行处理，形成按照顺序排列的任务队列，之后根据任务渲染显卡的渲染能力从任务队列中分配渲染任务；
（5）任务渲染显卡，从任务队列中复制渲染任务，之后对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中，从步骤（4）中看出，任务渲染显卡进行某一帧某一块的数据渲染，比如第2帧第3块的数据渲染；
（6）主显卡复制结果队列中的数据，同一帧的数据同步合并之后进行编码，编码完成后发送到移动终端，在移动终端上显示，具体的，编码完成后的数据能够通过WebRTC的通信方式发送到移动终端，移动终端接收数据解码之后即可在移动终端的屏幕上显示。
优选的，步骤（1）中满足渲染需求的虚拟节点满足以下条件：
a．虚拟节点中CPU利用率最低；
b．虚拟节点中CPU内存最多；
c．虚拟节点中显卡专有显存剩余最高；
d．虚拟节点中主显卡利用率最低；
e．虚拟节点中任务渲染显卡利用率最低；
f．虚拟节点中CPU内存和显卡专用内存满足应用程序的需求。

Claims (5)

1.基于像素流的离屏分布式集群云渲染系统，其特征在于，包括用于运行应用程序的内容服务器和多个用于复制内容服务器的应用程序的虚拟节点，每个虚拟节点包括主显卡、CPU和多个任务渲染显卡，其中：
CPU，运行应用程序，CPU内存作为共享显存使用并存放待渲染任务的数据和结果队列的数据；
主显卡，以帧为单位对待渲染任务的数据进行编号，对每一帧数据按照同样大小进行分块处理，形成按照顺序排列的任务队列，根据任务渲染显卡的渲染能力从任务队列中分配渲染任务，复制结果队列中的数据，合并之后进行编码，编码完成后发送到移动终端；
任务渲染显卡，从任务队列中复制渲染任务，对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中。
2.根据权利要求1所述的基于像素流的离屏分布式集群云渲染系统，其特征在于，每个虚拟节点还包括用于对合并之后的数据进行编码的编码卡。
3.根据权利要求1或2所述的基于像素流的离屏分布式集群云渲染系统，其特征在于，所述移动终端为手机或笔记本电脑或平板电脑。
4.基于像素流的离屏分布式集群云渲染方法，其特征在于，包括如下步骤：
（1）选择满足渲染需求的最近的虚拟节点；
（2）虚拟节点从内容服务器上复制应用程序，CPU内存运行应用程序；
（3）虚拟节点接收移动终端发送的指令，根据指令运行应用程序并产生待渲染任务，待渲染任务的数据放在CPU内存上；
（4）主显卡对待渲染任务的数据以帧为单位进行编号，对每一帧数据按照同样大小进行分块处理，形成按照顺序排列的任务队列，之后根据任务渲染显卡的渲染能力从任务队列中分配渲染任务；
（5）任务渲染显卡，从任务队列中复制渲染任务，之后对渲染任务进行渲染，渲染完成后把渲染结果存到按照顺序排列的结果队列中；
（6）主显卡复制结果队列中的数据，同一帧的数据同步合并之后进行编码，编码完成后发送到移动终端，在移动终端上显示。
5.根据权利要求4所述的基于像素流的离屏分布式集群云渲染方法，其特征在于，步骤（1）中满足渲染需求的虚拟节点满足以下条件：
a．虚拟节点中CPU利用率最低；
b．虚拟节点中CPU内存最多；
c．虚拟节点中显卡专有显存剩余最高；
d．虚拟节点中主显卡利用率最低；
e．虚拟节点中任务渲染显卡利用率最低；
f．虚拟节点中CPU内存和显卡专用内存满足应用程序的需求。
CN202110316942.0A 2021-03-25 2021-03-25 基于像素流的离屏分布式集群云渲染系统及方法 Pending CN112698958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110316942.0A CN112698958A (zh) 2021-03-25 2021-03-25 基于像素流的离屏分布式集群云渲染系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316942.0A CN112698958A (zh) 2021-03-25 2021-03-25 基于像素流的离屏分布式集群云渲染系统及方法

Publications (1)

Publication Number Publication Date
CN112698958A true CN112698958A (zh) 2021-04-23

Family

ID=75515780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316942.0A Pending CN112698958A (zh) 2021-03-25 2021-03-25 基于像素流的离屏分布式集群云渲染系统及方法

Country Status (1)

Country Link
CN (1) CN112698958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253649A (zh) * 2021-12-24 2022-03-29 武汉噢易云计算股份有限公司 图像渲染方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427033A (zh) * 2017-08-22 2019-03-05 英特尔公司 用于在机器学习环境下实现智能数据压缩的高效存储器布局
CN110442450A (zh) * 2019-07-10 2019-11-12 北京云派网络科技有限公司 图像处理设备、方法、装置以及素材计算与渲染的系统
CN111614780A (zh) * 2020-05-28 2020-09-01 深圳航天智慧城市系统技术研究院有限公司 一种云渲染的系统与方法
US20200286202A1 (en) * 2017-07-12 2020-09-10 Citrix Systems, Inc. Graphical Rendering Using Multiple Graphics Processors
CN112037117A (zh) * 2020-09-07 2020-12-04 西安芯瞳半导体技术有限公司 用于运行高性能gpu应用的方法、装置及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200286202A1 (en) * 2017-07-12 2020-09-10 Citrix Systems, Inc. Graphical Rendering Using Multiple Graphics Processors
CN109427033A (zh) * 2017-08-22 2019-03-05 英特尔公司 用于在机器学习环境下实现智能数据压缩的高效存储器布局
CN110442450A (zh) * 2019-07-10 2019-11-12 北京云派网络科技有限公司 图像处理设备、方法、装置以及素材计算与渲染的系统
CN111614780A (zh) * 2020-05-28 2020-09-01 深圳航天智慧城市系统技术研究院有限公司 一种云渲染的系统与方法
CN112037117A (zh) * 2020-09-07 2020-12-04 西安芯瞳半导体技术有限公司 用于运行高性能gpu应用的方法、装置及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全国计算机执业技能教材编写委员会: "《多媒体作品制作员》", 30 June 2009, 中央广播电视大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253649A (zh) * 2021-12-24 2022-03-29 武汉噢易云计算股份有限公司 图像渲染方法、装置、设备及可读存储介质
CN114253649B (zh) * 2021-12-24 2024-04-09 武汉噢易云计算股份有限公司 图像渲染方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
US10110936B2 (en) Web-based live broadcast
CN113141380B (zh) 用于经模糊处理的媒体的编码优化
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN111314741B (zh) 视频超分处理方法、装置、电子设备及存储介质
CN113457160A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
EP3410302B1 (en) Graphic instruction data processing method, apparatus
EP3806462A1 (en) Image encoding and decoding method , related device and storage medium
CN105103512B (zh) 用于分布式图形处理的方法和设备
CN110830805A (zh) 一种多分辨率输出的分布式文件转码方法及装置
CN112218034A (zh) 视频处理方法、系统、终端和存储介质
CN112698958A (zh) 基于像素流的离屏分布式集群云渲染系统及方法
CN113839998B (zh) 图像数据传输方法、装置、设备、存储介质及程序产品
CN105163195A (zh) 一种即时视频的编码方法和电子设备
CN105578110A (zh) 一种视频通话方法、装置和系统
US20230018087A1 (en) Data coding method and apparatus, and computer-readable storage medium
CN105163125A (zh) 一种即时视频的编码方法和电子设备
CN114938408B (zh) 一种云手机的数据传输方法、系统、设备及介质
US20220239920A1 (en) Video processing method, related apparatus, storage medium, and program product
CN112954438B (zh) 一种图像处理方法以及装置
CN116248889A (zh) 图像编码及解码方法、装置和电子设备
CN116546262A (zh) 一种数据处理方法、装置、设备及存储介质
CN114205359A (zh) 视频渲染协同方法、装置及设备
CN112584151A (zh) 图像处理方法及终端设备、服务器
WO2022048255A1 (zh) 数据处理的方法和系统、云终端、服务器和计算设备
CN114302096A (zh) 一种冻屏分享方法、装置和第一电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423

RJ01 Rejection of invention patent application after publication