CN116074160A - 一种gpu渲染计算节点集群虚拟组网公网转发方法 - Google Patents

一种gpu渲染计算节点集群虚拟组网公网转发方法 Download PDF

Info

Publication number
CN116074160A
CN116074160A CN202310067895.XA CN202310067895A CN116074160A CN 116074160 A CN116074160 A CN 116074160A CN 202310067895 A CN202310067895 A CN 202310067895A CN 116074160 A CN116074160 A CN 116074160A
Authority
CN
China
Prior art keywords
rendering
gpu
virtual networking
node
public network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310067895.XA
Other languages
English (en)
Inventor
孙海洪
李想
陈滢
曹炳圣
杨勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fufeng Technology Co ltd
Original Assignee
Shenzhen Fufeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fufeng Technology Co ltd filed Critical Shenzhen Fufeng Technology Co ltd
Priority to CN202310067895.XA priority Critical patent/CN116074160A/zh
Publication of CN116074160A publication Critical patent/CN116074160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种GPU渲染计算节点集群虚拟组网公网转发方法，采用开源的虚拟组网方案建立基于英特网的远程虚拟组网网络，使得调度服务器无需固定公网IP也能连接指定的GPU渲染节点机，极大的节省了公网IP的使用需求，有效避免了电信运营商对固定IP的采购数量限制和远高于非固定IP的价格成本浪费。本发明采用的虚拟组网的特殊优势使得GPU渲染节点机可以不在一个机房甚至不在一个区域网络，结合调度服务器的负载监控，可以轻松实现的GPU渲染节点机的分布式部署，达到对局部区域可能突发停电、断网的灾备效果。

Description

一种GPU渲染计算节点集群虚拟组网公网转发方法
技术领域
本发明属于GPU云渲染技术领域，具体涉及一种GPU渲染计算节点集群虚拟组网公网转发方法的设计。
背景技术
目前的GPU型云服务器中，常使用一机一显卡一个固定公网IP的方式建立GPU服务器，每一个服务器实例硬件层面都关联了一张物理显卡，采用用户独占的形式进行分配，致使市面上采购GPU渲染云服务器(例如腾讯云服务器GPU型)的价格普遍高昂，是常规轻量型服务器价格的十余倍，且单卡用户独占的形式在多项目场景下无法负载均衡，造成闲置资源的浪费。如果用户选择本地私有化部署GPU渲染服务器，常见的方式是对每一个关联物理显卡的每一个实体主机绑定一个固定IP，公网IP资源消耗巨大，如图1所示；高昂的价格和有限的公网IP数，最终都将限制渲染节点的可运行实例上限数量，对GPU云渲染服务的质量造成影响。
发明内容
本发明的目的是为了解决现有的GPU服务器部署方式成本较高且公网IP数有限的问题，提出了一种GPU渲染计算节点集群虚拟组网公网转发方法。
本发明的技术方案为：一种GPU渲染计算节点集群虚拟组网公网转发方法，包括以下步骤：
S1、通过GPU渲染节点机群组和云服务器构建虚拟组网。
S2、通过GPU渲染节点机群组中的每个节点机将其节点机状态信息及本机内网IP发送至云服务器。
S3、通过用户端网页向云服务器中的固定IP发送调度指令。
S4、通过云服务器启动调度服务，并向GPU渲染节点机群组中的闲时节点机发送启动实例指令。
S5、通过用户端网页向云服务器中的固定IP建立渲染流连接。
S6、通过云服务器向GPU渲染节点机群组建立虚拟组网IP端口连接。
S7、通过GPU渲染节点机群组向云服务器发送虚拟组网渲染推流。
S8、通过云服务器启动转发服务，将推流经固定IP转发至用户端网页。
进一步地，步骤S1具体为：采用开源的虚拟组网方案Zerotier自建服务器私有部署，通过实际流量经Internet全端口互通的虚拟网关将GPU渲染节点机群组中的各个节点机和云服务器互联起来，形成虚拟组网。
进一步地，步骤S4中的调度服务为连接MySQL数据库和协同调度其它服务的基础通信管理服务，负责控制渲染节点服务的实例与信令服务实例端口的统一启动/关闭，及与用户端网页交换反馈的基础服务。
进一步地，调度服务连接3306端口MySQL数据库，项目存储服务器路径。
进一步地，调度服务指定监听端口8081接收渲染节点的通信信息，返回指令给渲染节点主机的8088端口。
进一步地，调度服务指定监听5080端口，作为项目文件包和图标信息传输端口。
进一步地，步骤S8中的转发服务采用开源的Coturn镜像进行部署，用于点对点视频/音频通话的流转发。
进一步地，GPU渲染节点机群组中的节点机均采用英伟达系列显卡的高性能渲染主机。
本发明的有益效果是：
(1)本发明中的GPU渲染节点机通过非公网IP的虚拟组网，节省了公网IP消耗，有效避免了电信运营商对固定IP的采购数量限制和远高于非固定IP的价格成本浪费。
(2)本发明中节点机物理机组网数量的最大容量可达到组网网段允许最大值，可以跑满运营商上行带宽，实例渲染数量的上限瓶颈不再是固定IP数量限制和节点机的局域网环境限制，而是运营商宽带线路的上行带宽。
(3)本发明采用的虚拟组网的特殊优势使得GPU渲染节点机可以不在一个机房甚至不在一个区域网络，结合调度服务器的负载监控，可以轻松实现的GPU渲染节点机的分布式部署，达到对局部区域可能突发停电、断网的灾备效果。
附图说明
图1所示为现有的GPU服务器网络关系拓扑图。
图2所示为本发明实施例提供的一种GPU渲染计算节点集群虚拟组网公网转发方法流程图。
图3所示为本发明实施例提供的GPU节点虚拟组网网络调度节点机推流流程图。
图4所示为本发明实施例提供的GPU节点虚拟组网网络关系拓扑图。
图5所示为本发明实施例提供的调度服务配置文件示意图。
图6所示为本发明实施例提供的节点机配置文件示意图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种GPU渲染计算节点集群虚拟组网公网转发方法，如图2和图3共同所示，包括以下步骤S1～S8：
S1、通过GPU渲染节点机群组和云服务器构建虚拟组网。
如图3和图4所示，本发明实施例中，采用开源的虚拟组网方案Zerotier自建服务器私有部署，通过实际流量经Internet全端口互通的虚拟网关将GPU渲染节点机群组中的各个节点机和云服务器互联起来，形成虚拟组网，从而实现资源的共享和运行效率的提高。虚拟组网中的节点机和云服务器可以采用虚拟组网中的域名或IP相互访问，感觉就像在局域网内一样，而无须关心对方的IP地址和网络连接方式。本发明实施例采用开源的虚拟组网方案Zerotier自建服务器私有部署，类似的也可以采用Tailscale、Easynet之类的第三方虚拟组网软件方案。
S2、通过GPU渲染节点机群组中的每个节点机将其节点机状态信息及本机内网IP发送至云服务器。
S3、通过用户端网页向云服务器中的固定IP发送调度指令。
S4、通过云服务器启动调度服务，并向GPU渲染节点机群组中的闲时节点机发送启动实例指令。
本发明实施例中，调度服务为连接MySQL数据库和协同调度其它服务的基础通信管理服务，负责控制渲染节点服务的实例与信令服务实例端口的统一启动/关闭，及与用户端网页交换反馈的基础服务。调度服务主体程序采用go语言编写，连接3306端口MySQL数据库，项目存储服务器路径；调度服务指定监听端口8081接收渲染节点的通信信息，返回指令给渲染节点主机的8088端口；调度服务指定监听5080端口，作为项目文件包和图标信息传输端口。上述各端口均为默认部署端口，提升部署兼容性，均可在配置文件中二次配置。
本发明实施例中，配置文件包括如图5所示的调度服务配置文件和图6所示的节点机配置文件，在调度服务和渲染服务配置文件中，参数化暴露了一些调度功能的设置值和一些结合虚拟组网特定网络环境下的“IP地址”参数，这些“IP地址”主要用于修正GPU渲染节点机不是公网直接可访问固定IP而进行的重定向。
例如“SSMSIP”参数，是GPU渲染节点机访问给调度服务的虚拟组网下的固定IP地址，强制调度服务采用虚拟组网网关返回消息，若未正确设置为虚拟组网消息则不能返回给无公网IP的GPU渲染节点机。
如“SSMVisitIP”参数，是调度机给用户端网页的公网访问IP，通过参数强制指定公网入口，克服难以排序的服务器网卡优先顺序问题，避免将外部无法访问的内网IP作为用户访问入口，避免出现用户外网访问断连。
S5、通过用户端网页向云服务器中的固定IP建立渲染流连接。
S6、通过云服务器向GPU渲染节点机群组建立虚拟组网IP端口连接。
S7、通过GPU渲染节点机群组向云服务器发送虚拟组网渲染推流。
S8、通过云服务器启动转发服务，将推流经固定IP转发至用户端网页。
本发明实施例中，转发服务采用开源的Coturn镜像进行部署，用于点对点视频/音频通话的流转发，可部署平台包括但不限于Windows系统或是Linux系统。启动转发服务的云服务器完整的实现了STUN/TURN/ICE协议，支持P2P穿透防火墙。
本发明实施例中，GPU渲染节点机群组中的节点机均采用英伟达系列显卡的高性能渲染主机。本发明实时例提供的GPU渲染计算节点集群虚拟组网公网转发方法，其下游业务是一种对虚幻引擎3维项目工程打包的执行程序exe文件(即渲染实例)提供的3DGPU运算，并将GPU运算画面帧结果对外指定IP的指定端口推流的服务。每一个渲染节点运行主机称为节点机，在节点机的服务启动配置文件中对其指定ID编号名为NodeID(节点编号)。通过每台节点机唯一不重复的可配置参数“NodeID”，GPU渲染节点机可以以跨地域的分布式虚拟组网方式加入到GPU群组，并通过接收调度服务的远程指令。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，包括以下步骤：
S1、通过GPU渲染节点机群组和云服务器构建虚拟组网；
S2、通过GPU渲染节点机群组中的每个节点机将其节点机状态信息及本机内网IP发送至云服务器；
S3、通过用户端网页向云服务器中的固定IP发送调度指令；
S4、通过云服务器启动调度服务，并向GPU渲染节点机群组中的闲时节点机发送启动实例指令；
S5、通过用户端网页向云服务器中的固定IP建立渲染流连接；
S6、通过云服务器向GPU渲染节点机群组建立虚拟组网IP端口连接；
S7、通过GPU渲染节点机群组向云服务器发送虚拟组网渲染推流；
S8、通过云服务器启动转发服务，将推流经固定IP转发至用户端网页。
2.根据权利要求1所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述步骤S1具体为：采用开源的虚拟组网方案Zerotier自建服务器私有部署，通过实际流量经Internet全端口互通的虚拟网关将GPU渲染节点机群组中的各个节点机和云服务器互联起来，形成虚拟组网。
3.根据权利要求1所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述步骤S4中的调度服务为连接MySQL数据库和协同调度其它服务的基础通信管理服务，负责控制渲染节点服务的实例与信令服务实例端口的统一启动/关闭，及与用户端网页交换反馈的基础服务。
4.根据权利要求3所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述调度服务连接3306端口MySQL数据库，项目存储服务器路径。
5.根据权利要求3所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述调度服务指定监听端口8081接收渲染节点的通信信息，返回指令给渲染节点主机的8088端口。
6.根据权利要求3所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述调度服务指定监听5080端口，作为项目文件包和图标信息传输端口。
7.根据权利要求1所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述步骤S8中的转发服务采用开源的Coturn镜像进行部署，用于点对点视频/音频通话的流转发。
8.根据权利要求1-7任一所述的GPU渲染计算节点集群虚拟组网公网转发方法，其特征在于，所述GPU渲染节点机群组中的节点机均采用英伟达系列显卡的高性能渲染主机。
CN202310067895.XA 2023-02-06 2023-02-06 一种gpu渲染计算节点集群虚拟组网公网转发方法 Pending CN116074160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310067895.XA CN116074160A (zh) 2023-02-06 2023-02-06 一种gpu渲染计算节点集群虚拟组网公网转发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310067895.XA CN116074160A (zh) 2023-02-06 2023-02-06 一种gpu渲染计算节点集群虚拟组网公网转发方法

Publications (1)

Publication Number Publication Date
CN116074160A true CN116074160A (zh) 2023-05-05

Family

ID=86179771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310067895.XA Pending CN116074160A (zh) 2023-02-06 2023-02-06 一种gpu渲染计算节点集群虚拟组网公网转发方法

Country Status (1)

Country Link
CN (1) CN116074160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627746A (zh) * 2023-07-21 2023-08-22 四川华鲲振宇智能科技有限责任公司 一种gpu服务器的测试设备及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627746A (zh) * 2023-07-21 2023-08-22 四川华鲲振宇智能科技有限责任公司 一种gpu服务器的测试设备及方法
CN116627746B (zh) * 2023-07-21 2023-09-15 四川华鲲振宇智能科技有限责任公司 一种gpu服务器的测试设备及方法

Similar Documents

Publication Publication Date Title
US11588886B2 (en) Managing replication of computing nodes for provided computer networks
CN112470436B (zh) 用于提供多云连通性的系统、方法、以及计算机可读介质
CN106953788B (zh) 一种虚拟网络控制器及控制方法
US11463511B2 (en) Model-based load balancing for network data plane
CN111638957B (zh) 一种集群共享式公有云负载均衡的实现方法
CN107483390A (zh) 一种云渲染网络部署子系统、系统及云渲染平台
US11153185B2 (en) Network device snapshots
CN114418574A (zh) 一种共识和资源传输方法、设备及存储介质
CN112202940B (zh) 一种kubernetes对外暴露Pod服务方式
CN111193773A (zh) 负载均衡方法、装置、设备及存储介质
WO2020209099A1 (ja) 通信システム及び通信方法
CN116074160A (zh) 一种gpu渲染计算节点集群虚拟组网公网转发方法
CN115955456A (zh) 基于IPv6的企业园区网及组网方法
Moura et al. Resilience enhancement at edge cloud systems
CN104104736A (zh) 一种云服务器及其使用方法
CN114650290A (zh) 网络连通的方法、处理装置、终端及存储介质
CN116155650A (zh) 数据报文转发方法、设备及电子设备
CN113572867B (zh) 通信方法与装置
CN109951332B (zh) 基于非对等网络的边缘计算设备组网方法、装置及系统
CN104518937B (zh) 虚拟局域网vlan多设备间通信的方法及装置
CN117354309A (zh) 一种基于lvs的负载均衡系统实现源ip透传的实现方法
CN117880006A (zh) 基于算力网关的云存储场景冷热数据快速转发的方法及装置
CN113709018A (zh) 基于Vxlan接入虚拟化网络的方法和系统
CN115567538A (zh) 负载均衡硬件设备接入openstack网络及方法
CN117785483A (zh) 跨域异构算力资源高效互联和统一管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination