CN112102457A - 3d渲染方法及系统 - Google Patents

3d渲染方法及系统 Download PDF

Info

Publication number
CN112102457A
CN112102457A CN202010885789.9A CN202010885789A CN112102457A CN 112102457 A CN112102457 A CN 112102457A CN 202010885789 A CN202010885789 A CN 202010885789A CN 112102457 A CN112102457 A CN 112102457A
Authority
CN
China
Prior art keywords
gpu
rendering
virtual
application
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010885789.9A
Other languages
English (en)
Inventor
刘威
卢涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202010885789.9A priority Critical patent/CN112102457A/zh
Priority to PCT/CN2020/130407 priority patent/WO2022041507A1/zh
Publication of CN112102457A publication Critical patent/CN112102457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

本申请提供一种3D渲染方法及系统,涉及虚拟云桌面技术领域,能够解决多个3D渲染任务访问同一公共资源时因虚拟GPU需要频繁地进行渲染上下文切换、同步、排队等操作而影响系统性能的问题。具体技术方案为:虚拟机获取至少一个3D应用发送的3D渲染指令,将每个3D渲染指令发送给与3D应用对应的虚拟GPU,其中,每个3D应用对应有一个独立的虚拟GPU;虚拟GPU对接收到的3D渲染指令进行解析,得到IR数据,并将该IR数据发送给宿主机;宿主机根据IR数据生成目标渲染指令并将目标渲染指令发送给目标物理GPU,以便目标物理GPU执行目标渲染指令。本发明用于3D渲染。

Description

3D渲染方法及系统
技术领域
本申请涉及虚拟云桌面技术领域,尤其涉及3D渲染方法及系统。
背景技术
随着云端虚拟化技术的迅速发展,公有云平台和私有云平台得到了进一步的发展,这便对虚拟桌面云平台提出了进一步的细分需求。当前,根据用户的使用行为,虚拟云桌面逐步细化出了云桌面办公用户、2D/3D设计开发用户以及3D游戏娱乐用户。在当前的技术条件下,针对云桌面办公用户的需求,桌面云提出了许多解决方案,比如QEMU(虚拟操作系统模拟器)结合spice协议开源项目。而对于2D/3D设计开发以及3D游戏娱乐这两类用户,则需要云端虚拟出来能够渲染3D应用的虚拟显卡。
目前,针对虚拟机的3D渲染需求一般有如下的三种解决方案:
第一种是在云端宿主机中安装多个物理GPU(Graphics Processing Unit,图形处理器)显卡,并借助Passthrough技术将单个物理GPU显卡映射到每个客户的虚拟机中作为该虚拟机的物理显卡来使用,其原理示意图可参见图1,虚拟机通过Passthrough到虚拟机的物理显卡实现对3D指令的渲染。
第二种是在云端宿主机中安装单个物理GPU显卡,并借助vGPU(虚拟GPU)技术将单个物理GPU显卡虚拟成多张vGPU显卡,并将这多张vGPU逐个映射到客户的虚拟机中作为虚拟显卡来使用,其原理示意图可参见图2,虚拟机通过vGPU显卡实现对3D指令的渲染。
第三种是虚拟机虚拟显卡方案,每个虚拟机通过各自的虚拟GPU显卡将渲染请求发送给宿主机,宿主机利用物理GPU显卡完成真正的渲染,其原理示意图可参见图3。
在上述的解决方案中,第一种方案实现简单,但每个虚拟机在启动时就要绑定好GPU硬件并独占使用,而实际运行当中可能根本不需要使用到GPU,从而造成GPU资源的浪费。第二种方案的技术实现相对复杂,需要GPU硬件支持,而且该功能一般限定在某些特定厂家的特定型号的GPU,价格昂贵,使用成本高。第三种方案最为灵活,虚拟机启动和运行中都不需要绑定至固定的GPU硬件,宿主机也不需要选择特定厂家特定型号的GPU硬件,从成本考虑也最优,因此,第三种方案得到了广泛的应用。
但对于第三种方案,虚拟机同时运行多个3D应用时,虚拟GPU要管理多个渲染上下文环境,每个3D应用都需要独占使用虚拟GPU,而在虚拟GPU内部,所有资源都是公共的,每个3D应用通过各自的渲染上下文向虚拟GPU发起渲染请求,虚拟GPU通过识别不同的渲染上下文环境,响应不同应用的渲染请求。这样,多个渲染任务在访问同一公共资源时,虚拟GPU就需要频繁地进行渲染上下文切换、同步、排队等操作,从而影响系统的性能。
发明内容
本申请实施例提供一种3D渲染方法及系统,能够解决多个3D渲染任务访问同一公共资源时因虚拟GPU需要频繁地进行渲染上下文切换、同步、排队等操作而影响系统性能的问题。所述技术方案如下:
根据本申请实施例的第一方面,提供一种3D渲染方法,该方法包括:
虚拟机获取至少一个3D应用发送的3D渲染指令;
所述虚拟机将每个3D渲染指令发送给与所述3D应用对应的虚拟图形处理器GPU,其中,每个所述3D应用对应有一个独立的虚拟GPU;
虚拟GPU对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给宿主机;
宿主机根据所述IR数据生成目标渲染指令,并将所述目标渲染指令发送给目标物理GPU,以便所述目标物理GPU执行所述目标渲染指令。
本申请实施例提供的3D渲染方法,为每个3D应用设置一个独立的虚拟GPU,虚拟机可以将每个3D应用发送的3D渲染指令发送给该3D应用唯一对应的虚拟GPU,虚拟GPU对接收到的3D渲染指令进行解析,并将得到的IR数据发送给宿主机,宿主机根据该IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU,以便目标物理GPU执行该目标渲染指令。这样,一个虚拟GPU只负责管理一个3D应用的渲染上下文,从而避免了一个虚拟GPU管理多个渲染上下文环境而导致虚拟GPU需要频繁地进行上下文切换、同步、排队等影响性能的问题。
在一个实施例中,所述虚拟机将每个3D渲染指令发送给与所述3D应用对应的虚拟图形处理器GPU包括:
所述虚拟机判断是否为所述3D应用创建了对应的虚拟GPU;
若已创建,则将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
在一个实施例中,所述虚拟机在判断是否为所述3D应用创建了对应的虚拟GPU之后,所述方法还包括:
若未为所述3D应用创建对应的虚拟GPU,则为所述3D应用创建对应的虚拟GPU;
将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
本申请实施例提供的3D渲染方法,虚拟机在获取到3D应用发送的3D渲染指令后,先判断是否为该3D应用创建了对应的虚拟GPU,若已创建,则将3D渲染指令发送给3D应用对应的虚拟GPU,若未创建,则先为该3D应用创建对应的虚拟GPU,然后将3D渲染指令发送给3D应用对应的虚拟GPU。可以保证每个3D应用都有一个独立的虚拟GPU。
在一个实施例中,所述将所述目标渲染指令发送给目标物理GPU之前,所述方法还包括:
宿主机根据预设规则从至少一个物理GPU中选定目标物理GPU。
在一个实施例中,所述宿主机根据预设规则从至少一个物理GPU中选定目标物理GPU包括:
宿主机从其管理的至少一个物理GPU中选择利用率最低的物理GPU作为目标物理GPU。
本申请实施例提供的3D渲染方法,宿主机能够从其管理的至少一个物理GPU中选择利用率最低的物理GPU作为目标物理GPU,然后将目标渲染指令发送给该目标物理GPU,以便该目标物理GPU执行该目标渲染指令。这样,能够以3D应用为最小颗粒进行区分,并将各3D的渲染指令分发至不同的物理GPU硬件,从而避免了一个虚拟机仅对应一个物理GPU,且该虚拟机同时运行多个3D应用时造成的该虚拟机对应物理GPU负担过重的问题。
根据本申请实施例的第二方面,提供一种3D渲染系统,该3D渲染系统包括虚拟机、宿主机、至少一个虚拟图形处理器GPU和至少一个物理GPU,所述虚拟机上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU,所述宿主机包括至少一个物理GPU;
所述虚拟机,用于获取至少一个3D应用发送的3D渲染指令,将每个3D渲染指令发送给与所述3D应用对应的虚拟GPU;
所述虚拟GPU,用于对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给所述宿主机;
所述宿主机,用于根据所述IR数据生成目标渲染指令,并将所述目标渲染指令发送给目标物理GPU;
所述物理GPU,用于执行接收到的目标渲染指令。
本申请实施例提供的3D渲染系统,包括虚拟机、宿主机、至少一个虚拟GPU和至少一个物理GPU,虚拟机上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU,宿主机包括至少一个物理GPU。该系统为每个3D应用设置了一个独立的虚拟GPU,虚拟机可以将每个3D应用发送的3D渲染指令发送给该3D应用唯一对应的虚拟GPU,虚拟GPU对接收到的3D渲染指令进行解析,并将得到的IR数据发送给宿主机,宿主机根据该IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU,以便目标物理GPU执行该目标渲染指令。这样,一个虚拟GPU只负责管理一个3D应用的渲染上下文,从而避免了一个虚拟GPU管理多个渲染上下文环境而导致虚拟GPU需要频繁地进行上下文切换、同步、排队等影响性能的问题。
在一个实施例中,所述虚拟机具体用于获取至少一个3D应用发送的3D渲染指令,判断是否为所述3D应用创建了对应的虚拟GPU,若已创建,则将所述3D渲染指令发送给所述3D应用对应的虚拟GPU;若未创建,则为所述3D应用创建对应的虚拟GPU,然后将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
这样,虚拟机在获取到3D应用发送的3D渲染指令之后,通过判断是否为所述3D应用创建了对应的虚拟GPU,若未创建,则先为该3D应用创建对应的虚拟GPU,然后再将3D渲染指令发送给该3D应用对应的虚拟GPU,能够保证每个3D应用都有一个独立的虚拟GPU。
在一个实施例中,所述宿主机具体用于根据预设规则从所述至少一个物理GPU中选定一个物理GPU,得到目标物理GPU,并将所述目标渲染指令发送给所述目标物理GPU。
在一个实施例中,所述宿主机具体用于从所述至少一个物理GPU中选择利用率最低的一个物理GPU作为目标物理GPU。
这样,可以将同一个虚拟机的多个3D应用的渲染指令,以3D应用为最小颗粒进行区分,并将各3D应用的渲染指令分发至不同的物理GPU硬件,能够避免虚拟机同时运行多个3D应用的渲染任务时造成该虚拟机对应物理GPU负担过重的问题。
在一个实施例中,所述虚拟GPU包括前端驱动和后端驱动;
所述前端驱动运行在所述虚拟机上,用于对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给所述后端驱动;
所述后端驱动运行在所述宿主机上,用于将所述IR数据发送给所述宿主机。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是现有技术中通过Passthrough技术进行3D渲染的原理图;
图2是现有技术中通过将硬件GPU虚拟化来进行3D渲染的原理图;
图3是现有技术中通过虚拟机虚拟显卡的方案进行3D渲染的原理图;
图4是本申请实施例提供的一种3D渲染系统的结构示意图;
图5是本申请实施例提供的一种3D渲染方法的流程图;
图6是本申请实施例提供的一种具体的3D渲染系统的结构示意图;
图7是本申请实施例提供的另一种3D渲染系统的结构示意图;
图8是本申请实施例提供的一种具体的3D渲染方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请实施例中,以虚拟机上运行的3D应用为最小渲染颗粒,为每一个3D应用设置一个独立的虚拟GPU,该虚拟GPU可以将该3D应用的渲染指令下发至选定的物理GPU进行执行。
本申请实施例提供一种3D渲染系统,如图4所示,该3D渲染系统40可以包括虚拟机401、宿主机402、至少一个虚拟GPU 403和至少一个物理GPU 4021,其中,宿主机402包括至少一个物理GPU 4021,比如M(M为大于等于1的整数)个物理GPU 4021;虚拟机401上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU,例如在图4中示出了N(N为大于等于1的整数)个3D应用:3D应用1、3D应用2……3D应用N,3D应用1与虚拟GPU1对应,3D应用2与虚拟GPU2对应,……3D应用N与虚拟GPU N对应。
具体的,虚拟机401用于获取至少一个3D应用发送的3D渲染指令,将每个3D渲染指令发送给与该3D应用对应的虚拟GPU。比如,在图4中,虚拟机401可以获取3D应用1、3D应用2……3D应用N分别发送的3D渲染指令,将3D应用1发送的3D渲染指令发送给虚拟GPU1,将3D应用2发送的3D渲染指令发送给虚拟GPU2,……,以此类推,将3D应用N发送的3D渲染指令发送给虚拟GPUN。
虚拟GPU 403用于对接收到的3D渲染指令进行解析,得到IR(IntermediateRepresentation,中间表示)数据,并将该IR数据发送给宿主机402。
宿主机402用于根据IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU;物理GPU用于执行接收到的目标渲染指令。
例如,在图4中,虚拟GPU1接收到虚拟机401发送的3D应用1的3D渲染指令,然后对该3D渲染指令进行解析,得到IR数据,然后将该IR数据发送给宿主机402,宿主机402根据该IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU,比如发送给物理GPU1,由物理GPU1执行该目标渲染指令。
在一个实施例中,虚拟机401具体用于获取至少一个3D应用发送的3D渲染指令,判断是否为该3D应用创建了对应的虚拟GPU,若已创建,则将该3D应用的3D渲染指令发送给该3D应用对应的虚拟GPU;若未创建,则为该3D应用创建对应的虚拟GPU,然后将该3D应用的3D渲染指令发送给创建的该3D应用对应的虚拟GPU。
在一个实施例中,宿主机402具体用于根据预设规则从至少一个物理GPU中选定一个物理GPU,得到目标物理GPU,并将目标渲染指令发送给该目标物理GPU。
在一个实施例中,宿主机402可以从其管理的至少一个物理GPU中选择利用率最低的一个物理GPU作为目标物理GPU。
在一个实施例中,虚拟GPU 403可以包括前端驱动和后端驱动。其中,前端驱动运行在虚拟机401上,用于对接收到的3D渲染指令进行解析,得到IR数据,并将该IR数据发送给后端驱动;该后端驱动运行在宿主机402上,用于将接收到的IR数据发送给宿主机402。
本申请实施例提供的3D渲染系统,包括虚拟机、宿主机、至少一个虚拟GPU和至少一个物理GPU,虚拟机上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU,宿主机包括至少一个物理GPU。该系统以虚拟机的3D应用为最小渲染颗粒,为每个3D应用设置了一个独立的虚拟GPU,虚拟机可以将每个3D应用发送的3D渲染指令发送给该3D应用唯一对应的虚拟GPU,虚拟GPU对接收到的3D渲染指令进行解析,并将得到的IR数据发送给宿主机,宿主机根据该IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU,以便目标物理GPU执行该目标渲染指令。这样,一个虚拟GPU只负责管理一个3D应用的渲染上下文,从而避免了一个虚拟GPU管理多个渲染上下文环境而导致虚拟GPU需要频繁地进行上下文切换、同步、排队等影响性能的问题。进一步的,虚拟GPU可以将3D应用的3D渲染指令下发至选定的物理GPU,由选定的物理GPU执行渲染过程,能够为每一个3D应用选择合适的物理GPU,不再是一个虚拟机仅能对应一个物理GPU,从而可以避免虚拟机同时运行多个3D应用的3D渲染时造成该虚拟机对应的物理GPU负担过重的问题。
基于上述图1对应实施例的3D渲染系统,本申请实施例还提供一种3D渲染方法,至少可以应用于上述图4对应实施例的3D渲染系统。如图5所示,该方法可以包括如下步骤:
步骤501:获取至少一个3D应用发送的3D渲染指令。
虚拟机上可以运行至少一个3D应用,当该3D应用发起3D渲染指令时,虚拟机获取这至少一个3D应用发送的3D渲染指令。
步骤502:将每个3D渲染指令发送给与3D应用对应的虚拟GPU。
虚拟机获取到至少一个3D应用发送的3D渲染指令之后,将每个3D渲染指令发送给与3D应用对应的虚拟GPU,其中,每个3D应用对应有一个独立的虚拟GPU。
比如,虚拟机上运行有3个3D应用,分别为3D应用1、3D应用2和3D应用3,这3个3D应用分别与虚拟GPU1、虚拟GPU2和虚拟GPU3一一对应。这3个3D应用在运行时分别发起了3D渲染指令,虚拟机则会将3D应用1发起的3D渲染指令发送给虚拟GPU1,将3D应用2发起的3D渲染指令发送给虚拟GPU2,将3D应用3发起的3D渲染指令发送给虚拟GPU3。
步骤503:对3D渲染指令进行解析得到IR数据。
对于每个虚拟GPU,在接收到虚拟机发送的3D渲染指令之后,对该3D渲染指令进行解析,得到IR数据,并将该IR数据发送给宿主机。通过将3D渲染指令解析为IR数据,可以屏蔽虚拟机和宿主机之间的操作系统和渲染环境的差异。
步骤504:根据IR数据生成目标渲染指令。
宿主机接收到虚拟GPU发送的IR数据之后,根据该IR数据生成目标渲染指令。这样可以将IR数据还原为宿主机支持的数据格式,得到目标渲染指令。
步骤505:将目标渲染指令发送给目标物理GPU。
宿主机根据IR数据生成目标渲染指令之后,将该目标渲染指令发送给目标物理GPU,以便目标物理GPU执行目标渲染指令。
具体的,宿主机可以管理至少一个物理GPU,宿主机在根据IR数据生成目标渲染指令之后,可以根据预设规则从这至少一个物理GPU中选定目标物理GPU,比如,可以从这至少一个物理GPU中选择利用率最低的物理GPU作为目标物理GPU。这样,可以将同一个虚拟机的多个3D应用的渲染指令发至不同的物理GPU,一个虚拟机不再仅对应一个物理GPU,可以避免虚拟机同时运行多个重度渲染的3D应用时造成的该虚拟机对应物理GPU负担过重的问题。
本申请实施例提供的3D渲染方法,虚拟机上运行的每个3D应用对应有一个独立的虚拟GPU,虚拟机获取至少一个3D应用发送的3D渲染指令,并将每个3D渲染指令发送给与该3D应用对应的虚拟GPU;虚拟GPU对接收到的3D渲染指令进行解析,得到IR数据,并将该IR数据发送给宿主机;宿主机根据该IR数据生成目标渲染指令,并将该目标渲染指令发送给目标物理GPU,以便该目标物理GPU执行接收到的目标渲染指令。由于一个虚拟GPU只负责管理一个3D应用的渲染上下文,而不是管理多个渲染上下文环境,因而可以避免虚拟GPU需要频繁地进行上下文切换、同步、排队等操作而影响系统性能的问题,提高了3D渲染的系统性能。
为了更加清楚地体现出本申请的目的,在上述实施例的基础上作进一步的举例说明。
基于上述图4对应实施例的3D渲染系统,本申请另一实施例提供一种具体的3D渲染系统,如图6所示,该3D渲染系统40包括虚拟机401、宿主机402、至少一个虚拟GPU 403和至少一个物理GPU 4021。其中,虚拟机401上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU 403。例如,在图6中示出了N(N为大于等于1的整数)个3D应用:3D应用1,3D应用2,……,3D应用N;3D应用1对应虚拟GPU1,3D应用2对应虚拟GPU2,……,3D应用N对应虚拟GPUN。实际应用中,宿主机402可以是服务器,该服务器上可以运行虚拟机401,可以负责管理物理GPU 4021。
其中,虚拟机401可以包括3D渲染入口模块4011,虚拟机401上运行的至少一个3D应用与该3D渲染入口模块4011通信连接。宿主机402可以包括3D渲染中间指令模块4022、GPU分发模块4023和至少一个物理GPU4021。例如,宿主机402可以包括M=4个物理GPU4021:物理GPU1、物理GPU2、物理GPU3和物理GPU4,这里仅是举例说明,并不用于限定本申请,实际应用中可以是任意多个物理GPU 4021。
当虚拟机401上的每个3D应用运行时,若发起3D渲染指令,该3D渲染指令比如可以是OpenGL(Open Graphics Library,开放图形库)API(Application ProgrammingInterface,应用程序接口)的调用,则会被虚拟机401的3D渲染入口模块4011捕获。具体的,3D渲染入口模块4011的捕获方式可以是以3D API函数动态库的方式呈现。比如,虚拟机401运行的是linux系统,则3D渲染入口模块4011的捕获方式可以是替换linux系统上的libGL.so动态库,这样,所有基于OpenGL API开发的3D应用在加载libGL.so动态库时实际加载的便是3D渲染入口模块4011。
进一步的,3D渲染入口模块4011在获取到至少一个3D应用发送的3D渲染指令之后,可以先判断是否已经为该3D应用创建了对应的虚拟GPU,如果已经创建,则继续走渲染流程,将各3D应用的3D渲染指令发送给该3D应用对应的虚拟GPU;否则,为之新建虚拟GPU,然后再各3D应用的3D渲染指令发送给该3D应用对应的虚拟GPU。
例如,如图6所示,假设3D应用1和3D应用2分别发起了3D渲染指令,该3D渲染指令被3D渲染入口模块4011捕获,这时,3D渲染入口模块4011判断出已经为3D应用1创建了对应的虚拟GPU1,则将3D应用1发起的3D渲染指令发送给虚拟GPU1;3D渲染入口模块4011同时判断出还未为3D应用2创建对应的虚拟GPU,则先为3D应用2创建对应的虚拟GPU2,然后将3D应用2发起的3D渲染指令发送给虚拟GPU2。
虚拟GPU 403是一个连接并运行在虚拟机和宿主机上的虚拟设备,其可以包括前端驱动4031和后端驱动4032,前端驱动4031运行在虚拟机401上,后端驱动4032运行在宿主机403上。前端驱动4031可以将接收到的3D渲染指令进行解析,得到IR数据,并将该IR数据发送给后端驱动4032;后端驱动4032接收到前端驱动4031发送的IR数据后,将该IR数据发送给宿主机402,具体的,可以是发给宿主机402的3D渲染中间指令模块4022。通过将3D渲染指令解析成IR数据,可以屏蔽虚拟机401和宿主机402之间的操作系统和渲染环境的差异。
宿主机402的3D渲染中间指令模块4022可以为每一路虚拟GPU 403创建对应的渲染上下文,并负责将从虚拟GPU 403的前端驱动4031接收到的IR数据解析为本机物理GPU4021支持的目标渲染指令,该目标渲染指令可以为3D API调用,比如可以是Vulkan API的调用,其中的Vulkan是一个跨平台的2D和3D绘图应用程序接口。
GPU分发模块4023负责管理物理GPU 4021。当3D渲染中间指令模块4022发送的目标渲染指令到达时,能够为该目标渲染指令选择一个合适的物理GPU 4021进行渲染。一种实施例中,选择物理GPU的策略可以是以物理GPU的利用率为参考,优先选择相对闲置的物理GPU作为目标物理GPU,即选择利用率最低的物理GPU作为目标物理GPU。这样,同一渲染上下文,也即同一3D应用的渲染便可以在同一个物理GPU上执行。
本申请实施例提供的3D渲染系统,能够以虚拟机上运行的3D应用为最小渲染颗粒,并为每个3D应用创建专有的虚拟GPU显卡,即为每一个3D应用设置一个独立的虚拟GPU,该虚拟GPU可以将该3D应用的渲染指令下发至选定的目标物理GPU进行执行。这样,可以将同一个虚拟机的多个3D应用的渲染指令以3D应用为最小颗粒进行区分,并将各3D应用的渲染指令分发至不同的物理GPU硬件,从而避免了一个虚拟机仅对应一个物理GPU且该虚拟机同时运行多个渲染3D应用时造成的该虚拟机对应物理GPU负担过重的问题;而且,在该方案中,一个虚拟GPU只负责管理一个3D应用的渲染上下文,可以避免因一个虚拟GPU管理多个渲染上下文环境而导致的虚拟GPU需要频繁地进行上下文切换、同步、排队等影响性能的问题,提高了系统的渲染性能。
上述实施例以一个宿主机对应一个虚拟机为例来进行说明,实际应用中也可以是一个宿主机对应多个虚拟机,比如,如图7所示,一个宿主机可以对应两个虚拟机,这两个虚拟机可以分别运行至少一个3D应用,对于每一个虚拟机,其上运行的每个3D应用都对应一个独立的虚拟GPU。宿主机可以对来自这两个虚拟机的3D渲染指令同时进行管理,为每一个3D渲染指令选定目标物理GPU。
基于上述图6对应实施例的3D渲染系统,本申请实施例还提供一种具体的3D渲染方法,至少可以应用于上述图6对应实施例的3D渲染系统。如图8所示,该方法可以包括如下步骤:
步骤801:获取至少一个3D应用发送的3D渲染指令。
虚拟机401上可以运行至少一个3D应用,当虚拟机上的3D应用发起3D渲染指令时,比如发起3D API调用时,虚拟机上的3D渲染入口模块4011会捕获该3D渲染指令。
步骤802:判断是否为3D应用创建了对应的虚拟GPU。
3D渲染入口模块4011获取到至少一个3D应用发送的3D渲染指令之后,判断是否为该3D应用创建了对应的虚拟GPU节点,即虚拟GPU显卡,若已创建,则执行步骤804,否则执行步骤803。
步骤803:为3D应用创建对应的虚拟GPU。
3D渲染入口模块4011若判断出未为3D应用创建对应的虚拟GPU,则为该3D应用新建一个虚拟GPU节点,然后执行步骤804。
步骤804:将3D渲染指令发送给3D应用对应的虚拟GPU。
3D渲染入口模块4011判断出为3D应用创建了对应的虚拟GPU之后,或者为3D应用新建一个虚拟GPU之后,将3D渲染指令发送给3D应用对应的虚拟GPU。
其中,虚拟GPU是一个连接并运行在虚拟机和宿主机上的虚拟设备,其可以包括前端驱动和后端驱动,前端驱动运行在虚拟机401上,后端驱动运行在宿主机403上。具体的,3D渲染入口模块4011可以将3D渲染指令发送给3D应用对应的虚拟GPU的前端驱动。
比如,虚拟机401上运行的3D应用1和3D应用2分别发起了3D渲染指令,3D渲染入口模块4011捕获到该3D渲染指令之后,判断是否为3D应用1和3D应用2分别创建了对应的虚拟GPU,假设已经为3D应用1创建了虚拟GPU1,而未为3D应用2创建虚拟GPU,则3D渲染入口模块4011会将3D应用1发起的3D渲染指令发送给虚拟GPU1的前端驱动,同时会为3D应用2创建虚拟GPU2后再将3D应用2发起的3D渲染指令发送给虚拟GPU2的前端驱动。
步骤805:对3D渲染指令进行解析得到IR数据。
对于每个虚拟GPU,在接收到3D渲染入口模块4011发送的3D渲染指令之后,对该3D渲染指令进行解析,得到IR数据,并将该IR数据发送给宿主机。通过将3D渲染指令解析为IR数据,可以屏蔽虚拟机和宿主机之间的操作系统和渲染环境的差异。
具体的,由虚拟GPU的前端驱动对3D渲染入口模块4011发送的3D渲染指令进行解析,生成IR数据,然后将该IR数据发送给虚拟GPU的后端驱动;虚拟GPU的后端驱动再将该IR数据发送给宿主机402的3D渲染中间指令模块4022。
步骤806:根据IR数据生成目标渲染指令。
宿主机402的3D渲染中间指令模块4022接收到虚拟GPU发送的IR数据之后,根据该IR数据生成目标渲染指令,比如可以通过解析IR数据生成目标渲染指令,这样便可以将IR数据还原为宿主机402支持的数据格式,得到目标渲染指令。然后,3D渲染中间指令模块4022将该目标渲染指令发送给GPU分发模块4023。
步骤807:选定目标物理GPU。
GPU分发模块4023接收到3D渲染中间指令模块4022发送的目标渲染指令之后,可以根据预设规则从其管理的至少一个物理GPU中选定目标物理GPU。具体的,GPU分发模块4023可以根据宿主机402所管理的各物理GPU的利用率,选择GPU利用率最低的物理GPU作为目标物理GPU。
步骤808:将目标渲染指令发送给目标物理GPU。
GPU分发模块4023选定目标物理GPU之后,将目标渲染指令发送给选定的目标物理GPU。
步骤809:执行目标渲染指令。
目标物理GPU接收到目标渲染指令之后,执行该目标渲染指令。
在本申请中,同一虚拟机的不同3D应用,可以被分发至不同的物理GPU;不同虚拟机的不同3D应用,可以被分发至相同的物理GPU。具体的,分发物理GPU的选择策略可以为优先选择处于闲置状态的物理GPU,这样可以解决宿主机中多个物理GPU忙闲不均的问题。
可以理解的,从渲染数据流角度来看,一个虚拟机运行的3D应用的所有渲染指令,始终发送至宿主机的一个物理GPU,直到该3D应用退出时渲染流程结束,对应的虚拟GPU和物理GPU被释放。可以避免虚拟GPU驱动和物理GPU驱动频繁地进行上下文切换、同步、排队等影响性能的操作,提高了渲染效率。
本申请实施例提供的3D渲染方法,当虚拟机上的3D应用发起3D渲染指令时,3D渲染入口模块捕获该3D渲染指令,判断是否为该3D应用创建了对应的虚拟GPU,若已创建,则将3D渲染指令发送给3D应用对应的虚拟GPU;若未创建,则为3D应用创建对应的虚拟GPU,然后将3D渲染指令发送给3D应用对应的虚拟GPU;虚拟GPU对3D渲染指令进行解析得到IR数据并将该IR数据发生给宿主机的3D渲染中间指令模块;的3D渲染中间指令模块根据IR数据生成目标渲染指令,并将该目标渲染指令发送给GPU分发模块;GPU分发模块选定利用率最低的物理GPU为目标物理GPU,将目标渲染指令发送给目标物理GPU,以使目标物理GPU执行目标渲染指令。能够将同一个虚拟机的多个3D应用的3D渲染指令以3D应用为最小颗粒进行区分,并将各3D应用的3D渲染指令分发至不同的物理GPU硬件,不再是一个虚拟机仅对应一个物理GPU,这样,当虚拟机同时运行多个重度渲染的3D应用时,便可以避免该虚拟机对应的物理GPU负担过重的问题。同时,一个虚拟GPU只负责管理一个3D应用的渲染上下文,可以避免一个虚拟GPU因管理多个渲染上下文环境而导致虚拟GPU驱动需要频繁地进行上下文切换、同步、排队等影响性能的问题,提高了3D渲染的效率。
基于上述图5和图8对应的实施例中所描述的3D渲染方法,本申请实施例还提供一种计算机可读存储介质,例如,非临时性计算机可读存储介质可以是只读存储器(英文:Read Only Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令,用于执行上述图5和图8对应的实施例中所描述的3D渲染方法,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种3D渲染方法,其特征在于,所述方法包括:
虚拟机获取至少一个3D应用发送的3D渲染指令;
所述虚拟机将每个3D渲染指令发送给与所述3D应用对应的虚拟图形处理器GPU,其中,每个所述3D应用对应有一个独立的虚拟GPU;
虚拟GPU对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给宿主机;
宿主机根据所述IR数据生成目标渲染指令,并将所述目标渲染指令发送给目标物理GPU,以便所述目标物理GPU执行所述目标渲染指令。
2.根据权利要求1所述的3D渲染方法,其特征在于,所述虚拟机将每个3D渲染指令发送给与所述3D应用对应的虚拟图形处理器GPU包括:
所述虚拟机判断是否为所述3D应用创建了对应的虚拟GPU;
若已创建,则将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
3.根据权利要求2所述的3D渲染方法,其特征在于,所述虚拟机在判断是否为所述3D应用创建了对应的虚拟GPU之后,所述方法还包括:
若未为所述3D应用创建对应的虚拟GPU,则为所述3D应用创建对应的虚拟GPU;
将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
4.根据权利要求1所述的3D渲染方法,其特征在于,所述将所述目标渲染指令发送给目标物理GPU之前,所述方法还包括:
宿主机根据预设规则从至少一个物理GPU中选定目标物理GPU。
5.根据权利要求4所述的3D渲染方法,其特征在于,所述宿主机根据预设规则从至少一个物理GPU中选定目标物理GPU包括:
宿主机从其管理的至少一个物理GPU中选择利用率最低的物理GPU作为目标物理GPU。
6.一种3D渲染系统,其特征在于,包括虚拟机、宿主机、至少一个虚拟图形处理器GPU和至少一个物理GPU,所述虚拟机上运行有至少一个3D应用,每个3D应用对应一个独立的虚拟GPU,所述宿主机包括至少一个物理GPU;
所述虚拟机,用于获取至少一个3D应用发送的3D渲染指令,将每个3D渲染指令发送给与所述3D应用对应的虚拟GPU;
所述虚拟GPU,用于对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给所述宿主机;
所述宿主机,用于根据所述IR数据生成目标渲染指令,并将所述目标渲染指令发送给目标物理GPU;
所述物理GPU,用于执行接收到的目标渲染指令。
7.根据权利要求6所述的3D渲染系统,其特征在于,所述虚拟机具体用于获取至少一个3D应用发送的3D渲染指令,判断是否为所述3D应用创建了对应的虚拟GPU,若已创建,则将所述3D渲染指令发送给所述3D应用对应的虚拟GPU;若未创建,则为所述3D应用创建对应的虚拟GPU,然后将所述3D渲染指令发送给所述3D应用对应的虚拟GPU。
8.根据权利要求6所述的3D渲染系统,其特征在于,所述宿主机具体用于根据预设规则从所述至少一个物理GPU中选定一个物理GPU,得到目标物理GPU,并将所述目标渲染指令发送给所述目标物理GPU。
9.根据权利要求8所述的渲染系统,其特征在于,所述宿主机具体用于从所述至少一个物理GPU中选择利用率最低的一个物理GPU作为目标物理GPU。
10.根据权利要求6所述的3D渲染系统,其特征在于,所述虚拟GPU包括前端驱动和后端驱动;
所述前端驱动运行在所述虚拟机上,用于对接收到的3D渲染指令进行解析,得到中间表示IR数据,并将所述IR数据发送给所述后端驱动;
所述后端驱动运行在所述宿主机上,用于将所述IR数据发送给所述宿主机。
CN202010885789.9A 2020-08-28 2020-08-28 3d渲染方法及系统 Pending CN112102457A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010885789.9A CN112102457A (zh) 2020-08-28 2020-08-28 3d渲染方法及系统
PCT/CN2020/130407 WO2022041507A1 (zh) 2020-08-28 2020-11-20 3d渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885789.9A CN112102457A (zh) 2020-08-28 2020-08-28 3d渲染方法及系统

Publications (1)

Publication Number Publication Date
CN112102457A true CN112102457A (zh) 2020-12-18

Family

ID=73758303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885789.9A Pending CN112102457A (zh) 2020-08-28 2020-08-28 3d渲染方法及系统

Country Status (2)

Country Link
CN (1) CN112102457A (zh)
WO (1) WO2022041507A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991505A (zh) * 2021-04-16 2021-06-18 辽宁向日葵教育科技有限公司 一种线上3d渲染方法
CN113240571A (zh) * 2021-05-07 2021-08-10 西安万像电子科技有限公司 图像处理系统、方法
CN113485773A (zh) * 2021-06-24 2021-10-08 锐捷网络(苏州)有限公司 数据处理方法、装置及系统
CN115686758A (zh) * 2023-01-03 2023-02-03 麒麟软件有限公司 一种基于帧统计的VirtIO-GPU性能可控方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579255A (zh) * 2022-03-07 2022-06-03 北京金山云网络技术有限公司 虚拟机的图像处理方法、装置、系统以及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819460B (zh) * 2012-08-07 2015-05-20 清华大学 一种基于预算功率指导的高能效gpu集群系统调度方法
CN103631634B (zh) * 2012-08-24 2017-07-25 中国电信股份有限公司 实现图形处理器虚拟化的方法与装置
US10303497B2 (en) * 2017-06-22 2019-05-28 Vmware, Inc. Hybrid software and GPU encoding for UI remoting
CN111488196B (zh) * 2020-04-13 2024-03-22 西安万像电子科技有限公司 渲染方法及装置、存储介质、处理器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991505A (zh) * 2021-04-16 2021-06-18 辽宁向日葵教育科技有限公司 一种线上3d渲染方法
CN113240571A (zh) * 2021-05-07 2021-08-10 西安万像电子科技有限公司 图像处理系统、方法
CN113485773A (zh) * 2021-06-24 2021-10-08 锐捷网络(苏州)有限公司 数据处理方法、装置及系统
CN115686758A (zh) * 2023-01-03 2023-02-03 麒麟软件有限公司 一种基于帧统计的VirtIO-GPU性能可控方法
CN115686758B (zh) * 2023-01-03 2023-03-21 麒麟软件有限公司 一种基于帧统计的VirtIO-GPU性能可控方法

Also Published As

Publication number Publication date
WO2022041507A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112102457A (zh) 3d渲染方法及系统
CN111488196B (zh) 渲染方法及装置、存储介质、处理器
US20170323418A1 (en) Virtualized gpu in a virtual machine environment
EP2622470B1 (en) Techniques for load balancing gpu enabled virtual machines
CN104598257B (zh) 远程应用程序运行的方法和装置
EP2622461B1 (en) Shared memory between child and parent partitions
WO2021008183A1 (zh) 数据传输方法、装置及服务器
US8872835B2 (en) Prevention of DoS attack by a rogue graphics application
MXPA05012972A (es) Sistemas y metodo para virtualizar subsistemas graficos.
CN110659103A (zh) 资源分配方法及装置
US9104452B2 (en) Hybrid remote sessions
CN111450524A (zh) 云游戏中的信息处理方法、装置、云游戏服务器及介质
CN108074210B (zh) 一种用于云渲染的对象获取系统和方法
CN110458748A (zh) 数据传输方法、服务器及客户端
WO2021008185A1 (zh) 数据传输方法、装置及服务器
CN111209115A (zh) 云桌面vGPU超分配方法
US20140059114A1 (en) Application service providing system and method and server apparatus and client apparatus for application service
US20240296151A1 (en) Cloud server application management method, apparatus, device, computer-readable storage medium, and computer program product
CN108073423A (zh) 一种加速器加载方法、系统和加速器加载装置
CN112642145A (zh) 云游戏运行系统及方法
CN111475255A (zh) 图像处理方法、服务器及系统
CN108733602B (zh) 数据处理
CN108667750B (zh) 虚拟资源管理方法及装置
CN112506646A (zh) 显存分配的方法及装置
CN112596852A (zh) 一种图形显示方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination