CN112738193A - 云计算的负载均衡方法及装置 - Google Patents

云计算的负载均衡方法及装置 Download PDF

Info

Publication number
CN112738193A
CN112738193A CN202011556107.6A CN202011556107A CN112738193A CN 112738193 A CN112738193 A CN 112738193A CN 202011556107 A CN202011556107 A CN 202011556107A CN 112738193 A CN112738193 A CN 112738193A
Authority
CN
China
Prior art keywords
cloud service
sub
load
unit
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011556107.6A
Other languages
English (en)
Other versions
CN112738193B (zh
Inventor
邱建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Civil Aviation Cares Co ltd
Original Assignee
Shandong Xintaiyang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Xintaiyang Intelligent Technology Co ltd filed Critical Shandong Xintaiyang Intelligent Technology Co ltd
Priority to CN202011556107.6A priority Critical patent/CN112738193B/zh
Publication of CN112738193A publication Critical patent/CN112738193A/zh
Application granted granted Critical
Publication of CN112738193B publication Critical patent/CN112738193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明云计算技术领域,具体涉及云计算的负载均衡方法及装置。所述方法包括:步骤1:调度服务器获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;步骤2:所述调度服务器确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元。其通过对云服务单元之间和云服务单元内部的负载均衡,最大化利用了云服务资源,同时在进行单元间负载均衡和单元内负载均衡时,通过构建云服务资源网和资源网,进而在进行负载均衡时,能够建立最短路径,保证负载均衡的效率更高。

Description

云计算的负载均衡方法及装置
技术领域
本发明属于云计算技术领域,具体涉及云计算的负载均衡方法及装置。
背景技术
负载平衡(Load balancing)是一种计算机技术,用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载,以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。使用带有负载平衡的多个服务器组件,取代单一的组件,可以通过冗余提高可靠性。负载平衡服务通常是由专用软件和硬件来完成。主要作用是将大量作业合理地分摊到多个操作单元上进行执行,用于解决互联网架构中的高并发和高可用的问题。
传统负载均衡技术包含两个方面的含义:一方面,是将单个重负载任务分担到多个节点设备上做并行处理,结束后,再将结果汇总,返回给用户;另一方面,是将大量的并发访问或数据流量分担到多台节点设备上分别处理,以减少用户等待响应的时间。后者主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应用。
专利号为CN2007100874176A的专利公开了一种负载均衡系统及多种业务实现负载均衡的方法,包括负载均衡器,负载均衡器连接有多个客户端,还连接有多个业务服务器,负载均衡器接收客户端的服务请求消息,并分析请求内容,之后根据每个服务器的负载信息,计算出一个可用的服务器,并将该服务器的信息发送给客户端;然后客户端与该服务器进行信息交互;所述的多个服务器对外只公开负载均衡器的IP地址。能够对TVOD/VOD业务、DRM业务、MCP业务、VASS业务、SMS业务等多种业务进行负载均衡,并能实时监控各个服务器的负载情况及其可用性,使负载能够均衡,让多种业务的服务器集群中的每台服务器发挥最大的效率
其虽然实现了针对服务器群的负载均衡,但其没有同时针对服务器内的计算资源进行负载均衡,尤其是在服务器本身资源较大,服务器内的计算单元较多的情况时,这种均衡,无法充分利用每个服务器的资源。
专利号为CN201210356783.8A的专利公开了一种面向云计算的负载均衡系统及负载均衡方法。本发明使用双向通信的方式建立虚拟机与负载均衡服务器之间的负载探测方法与状态反馈方法,实现虚拟机状态的及时反馈和处理,通过增减应用服务器的数量实现应用的负载均衡。本发明针对一前端服务器多应用服务器的虚拟集群,通过增减应用服务器的数量实现应用的负载均衡效果;实现了云计算应用的弹性化;可以应用于云计算的负载均衡中。
其主要方案在于解决负载均衡过程中的负载探测方法与状态反馈方法,从而实现服务器之间的负载均衡,但其仍然未能解决云服务器本身计算单元较多的情况下,服务器自身的计算单元的负载均衡仍未能实现,未能充分利用服务器的资源。
发明内容
有鉴于此,本发明的主要目的在于云计算的负载均衡方法及装置,其通过对云服务单元之间和云服务单元内部的负载均衡,最大化利用了云服务资源,同时在进行单元间负载均衡和单元内负载均衡时,通过构建云服务资源网和资源网,进而在进行负载均衡时,能够建立最短路径,保证负载均衡的效率更高。
为达到上述目的,本发明的技术方案是这样实现的:
云计算的负载均衡方法,所述方法执行以下步骤:
步骤1:调度服务器获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;
步骤2:所述调度服务器确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;
步骤3:所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;
步骤4:所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
进一步的,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元的在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间最短的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
进一步的,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间最短的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
进一步的,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间最短的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间最短的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
进一步的,在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤3次,选取统计路径中的节点数量最少的路径作为传输路径方法包括:步骤3.1:在选取的N个节点中,确定一个中心节点,其坐标为(0,0);步骤3.2:定义均衡路径最短树,均衡路径最短树包括:均衡路径最短树的根节点和均衡路径最短树的子节点;所述均衡路径最短树的子节点可以连接的其他节点;步骤3.3:结合步骤3.1和步骤3.2,能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点;步骤3.4:按照步骤3.2和3.3建立好路径之后进行数据传输,均衡路径最短树中子节点将其收集到的数据传送给父节点,父节点对其收集到的数据以及子节点发送到的数据进行聚合操作,然后将聚合得到的数据传送给自己父节点直至中心节点;步骤3.5:运行设定的时间周期后,按照步骤3.2至步骤3.4进行树的自适应维护更新,继续进行数据的传送。
进一步的所述步骤3.3:结合步骤3.1和步骤3.2,并考虑能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点的方法执行以下步骤:将原始的路径规划公式:
Figure BDA0002858684690000051
中的ηij使用新的算子进行更新,更新后的公式为:
Figure BDA0002858684690000052
其中:t表示为时刻,τij表示信息素浓度,ηij表示i节点和节点j之间的隔离算子,α与β分别表示信息素浓度与隔离算子的权重,即在路径选择过程中所起的因素,Quote和BA表示将Sij、Pij和Bij量化到同一量纲上的参数,Ak为设定的域,范围为100~1000。
云计算的负载均衡装置,所述装置包括:调度服务器和云服务单元;所述调度服务器,配置用于获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;所述调度服务器还配置用于,确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
进一步的,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
进一步的,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
进一步的,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
本发明的云计算的负载均衡方法及装置,具有如下有益效果:其通过对云服务单元之间和云服务单元内部的负载均衡,最大化利用了云服务资源,同时在进行单元间负载均衡和单元内负载均衡时,通过构建云服务资源网和资源网,进而在进行负载均衡时,能够建立最短路径,保证负载均衡的效率更高。主要通过以下过程实现:1.单元间负载均衡,本发明通过对云服务单元之间进行负载均衡,实现单元间的负载均衡,当调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,进行单元间负载均衡,进而提升云服务单元之间的资源分配,提升资源分配利用率;2.单元内负载均衡,本发明通过单元内负载均衡,实现了云服务单元自身的资源分配,进一步提升了资源利用的效率;3.云服务资源网和资源网的建立:本发明通过将云服务单元进行互联,建立云服务资源网,通过对云服务单元内的子计算单元进行互联,建立资源网;在进行负载均衡过程中,可以进行最短路径确立,进而提升负载均衡的效率;4.最短路径的确定:本发明通过在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间最短的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径,进而提升负载均衡的效率。
附图说明
图1为本发明实施例提供的云计算的负载均衡方法的方法流程示意图;
图2为本发明实施例提供的云计算的负载均衡装置的装置结构示意图。
图3为本发明实施例提供的云计算的负载均衡方法及装置的云服务单元之间的连接结构示意图;
图4为本发明实施例提供云计算的负载均衡方法及装置的子计算单元之间的连接结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示,云计算的负载均衡方法,所述方法执行以下步骤:
步骤1:调度服务器获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;
步骤2:所述调度服务器确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;
步骤3:所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;
步骤4:所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
具体的,其通过对云服务单元之间和云服务单元内部的负载均衡,最大化利用了云服务资源,同时在进行单元间负载均衡和单元内负载均衡时,通过构建云服务资源网和资源网,进而在进行负载均衡时,能够建立最短路径,保证负载均衡的效率更高。主要通过以下过程实现:1.单元间负载均衡,本发明通过对云服务单元之间进行负载均衡,实现单元间的负载均衡,当调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,进行单元间负载均衡,进而提升云服务单元之间的资源分配,提升资源分配利用率;2.单元内负载均衡,本发明通过单元内负载均衡,实现了云服务单元自身的资源分配,进一步提升了资源利用的效率;3.云服务资源网和资源网的建立:本发明通过将云服务单元进行互联,建立云服务资源网,通过对云服务单元内的子计算单元进行互联,建立资源网;在进行负载均衡过程中,可以进行最短路径确立,进而提升负载均衡的效率;4.最短路径的确定:本发明通过在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间最短的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径,进而提升负载均衡的效率。
实施例2
在上一实施例的基础上,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元的在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间最短的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
具体的,负载平衡,又称为负载均衡(Load balancing)是一种计算机技术,用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载,以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。使用带有负载平衡的多个服务器组件,取代单一的组件,可以通过冗余提高可靠性。负载平衡服务通常是由专用软件和硬件来完成。主要作用是将大量作业合理地分摊到多个操作单元上进行执行,用于解决互联网架构中的高并发和高可用的问题。
对于互联网服务,负载平衡器通常是一个软件程序,这个程序侦听一个外部端口,互联网用户可以通过这个端口来访问服务,而作为负载平衡器的软件会将用户的请求转发给后台内网服务器,内网服务器将请求的响应返回给负载平衡器,负载平衡器再将响应发送到用户,这样就向互联网用户隐藏了内网结构,阻止了用户直接访问后台(内网)服务器,使得服务器更加安全,可以阻止对核心网络栈和运行在其它端口服务的攻击。
当所有后台服务器出现故障时,有些负载平衡器会提供一些特殊的功能来处理这种情况。例如转发请求到一个备用的负载平衡器、显示一条关于服务中断的消息等。负载平衡器使得IT团队可以显著提高容错能力。它可以自动提供大量的容量以处理任何应用程序流量的增加或减少。
实施例3
在上一实施例的基础上,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间最短的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
具体的,负载均衡最重要的一个应用是利用多台服务器提供单一服务,这种方案有时也被称为服务器农场。通常,负载平衡主要应用于Web网站,大型的Internet RelayChat网络,高流量的文件下载网站,NNTP(Network News Transfer Protocol)服务和DNS服务。现在负载平衡器也开始支持数据库服务,称之为数据库负载平衡器。
对于互联网服务,负载平衡器通常是一个软件程序,这个程序侦听一个外部端口,互联网用户可以通过这个端口来访问服务,而作为负载平衡器的软件会将用户的请求转发给后台内网服务器,内网服务器将请求的响应返回给负载平衡器,负载平衡器再将响应发送到用户,这样就向互联网用户隐藏了内网结构,阻止了用户直接访问后台(内网)服务器,使得服务器更加安全,可以阻止对核心网络栈和运行在其它端口服务的攻击。
当所有后台服务器出现故障时,有些负载平衡器会提供一些特殊的功能来处理这种情况。例如转发请求到一个备用的负载平衡器、显示一条关于服务中断的消息等。负载平衡器使得IT团队可以显著提高容错能力。它可以自动提供大量的容量以处理任何应用程序流量的增加或减少
实施例4
在上一实施例的基础上,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间最短的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间最短的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
实施例5
在上一实施例的基础上,在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤3次,选取统计路径中的节点数量最少的路径作为传输路径方法包括:步骤3.1:在选取的N个节点中,确定一个中心节点,其坐标为(0,0);步骤3.2:定义均衡路径最短树,均衡路径最短树包括:均衡路径最短树的根节点和均衡路径最短树的子节点;所述均衡路径最短树的子节点可以连接的其他节点;步骤3.3:结合步骤3.1和步骤3.2,能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点;步骤3.4:按照步骤3.2和3.3建立好路径之后进行数据传输,均衡路径最短树中子节点将其收集到的数据传送给父节点,父节点对其收集到的数据以及子节点发送到的数据进行聚合操作,然后将聚合得到的数据传送给自己父节点直至中心节点;步骤3.5:运行设定的时间周期后,按照步骤3.2至步骤3.4进行树的自适应维护更新,继续进行数据的传送。
实施例6
在上一实施例的基础上,所述步骤3.3:结合步骤3.1和步骤3.2,并考虑能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点的方法执行以下步骤:将原始的路径规划公式:
Figure BDA0002858684690000121
中的ηij使用新的算子进行更新,更新后的公式为:
Figure BDA0002858684690000122
其中:t表示为时刻,τij表示信息素浓度,ηij表示i节点和节点j之间的隔离算子,α与β分别表示信息素浓度与隔离算子的权重,即在路径选择过程中所起的因素,Quote和BA表示将Sij、Pij和Bij量化到同一量纲上的参数,Ak为设定的域,范围为100~1000。
实施例7
参考图2,云计算的负载均衡装置,所述装置包括:调度服务器和云服务单元;所述调度服务器,配置用于获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;所述调度服务器还配置用于,确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
实施例8
在上一实施例的基础上,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
参考图3,其通过对云服务单元之间和云服务单元内部的负载均衡,最大化利用了云服务资源,同时在进行单元间负载均衡和单元内负载均衡时,通过构建云服务资源网和资源网,进而在进行负载均衡时,能够建立最短路径,保证负载均衡的效率更高。主要通过以下过程实现:1.单元间负载均衡,本发明通过对云服务单元之间进行负载均衡,实现单元间的负载均衡,当调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,进行单元间负载均衡,进而提升云服务单元之间的资源分配,提升资源分配利用率;2.单元内负载均衡,本发明通过单元内负载均衡,实现了云服务单元自身的资源分配,进一步提升了资源利用的效率。
实施例9
在上一实施例的基础上,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
参考图4,云服务资源网和资源网的建立:本发明通过将云服务单元进行互联,建立云服务资源网,通过对云服务单元内的子计算单元进行互联,建立资源网;在进行负载均衡过程中,可以进行最短路径确立,进而提升负载均衡的效率;最短路径的确定:本发明通过在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径,进而提升负载均衡的效率。
实施例10
在上一实施例的基础上,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的系统,仅以上述各功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能单元来完成,即将本发明实施例中的单元或者步骤再分解或者组合,例如,上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元,以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称,仅仅是为了区分各个单元或者步骤,不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的单元、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术标记作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (10)

1.云计算的负载均衡方法,其特征在于,所述方法执行以下步骤:
步骤1:调度服务器获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;
步骤2:所述调度服务器确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;
步骤3:所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;
步骤4:所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
2.如权利要求1所述的方法,其特征在于,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元的在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间最短的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
3.如权利要求2所述的方法,其特征在于,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间最短的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
4.如权利要求3所述的方法,其特征在于,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间最短的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间最短的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
5.如权利要求4所述的方法,其特征在于,在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤3次,选取统计路径中的节点数量最少的路径作为传输路径方法包括:步骤3.1:在选取的N个节点中,确定一个中心节点,其坐标为(0,0);步骤3.2:定义均衡路径最短树,均衡路径最短树包括:均衡路径最短树的根节点和均衡路径最短树的子节点;所述均衡路径最短树的子节点可以连接的其他节点;步骤3.3:结合步骤3.1和步骤3.2,能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点;步骤3.4:按照步骤3.2和3.3建立好路径之后进行数据传输,均衡路径最短树中子节点将其收集到的数据传送给父节点,父节点对其收集到的数据以及子节点发送到的数据进行聚合操作,然后将聚合得到的数据传送给自已父节点直至中心节点;步骤3.5:运行设定的时间周期后,按照步骤3.2至步骤3.4进行树的自适应维护更新,继续进行数据的传送。
6.如权利要求5所述的方法,其特征在于:所述步骤3.3:结合步骤3.1和步骤3.2,并考虑能量Sij、传输距离Pij、信道安全Bij和k值更新路径规划的算法公式,其中,k值为邻居节点数量:i和j表示节点的方法执行以下步骤:将原始的路径规划公式:
Figure FDA0002858684680000031
中的ηij使用新的算子进行更新,更新后的公式为:
Figure FDA0002858684680000032
其中:t表示为时刻,τij表示信息素浓度,ηij表示i节点和节点j之间的隔离算子,α与β分别表示信息素浓度与隔离算子的权重,即在路径选择过程中所起的因素,Quote和BA表示将Sij、Pij和Bij量化到同一量纲上的参数,Ak为设定的域,范围为100~1000。
7.用于实现权利要求1至6之一所述方法的云计算的负载均衡装置,其特征在于,所述装置包括:调度服务器和云服务单元;所述调度服务器,配置用于获取各个云服务单元上报的负载信息,所述各个云服务单元中包含有多个子计算单元,所述负载信息为反应所述子计算单元资源占用情况的信息;所述调度服务器还配置用于,确定所述各个云服务单元中的过载子计算单元,所述过载子计算单元为负载状态为过载的子计算单元;所述调度服务器首先进行单元内负载均衡,根据所述负载信息确定当前云服务单元内的轻载的目标子计算单元,所述目标子计算单元为分担所述过载云服务单元的负载的子计算单元;当所述调度服务器在当前云服务单元内无法获得轻载的目标子集算单元,则进行单元间负载均衡,根据所述负载信息确定其他云服务单元内的轻载的目标子计算单元;所述调度服务器指示所述过载的子计算单元和所述目标子计算单元进行负载均衡;其中,所述根据负载信息确定子计算单元,包括:根据所述负载信息确定所述各个云服务单元中的轻载子计算单元;根据预置条件在所述轻载子计算单元中选择目标子计算单元;所述预置条件包括:过载子计算单元的距离,和云服务单元的负载状态的组合。
8.如权利要求7所述的装置,其特征在于,所述调度服务器在进行单元内负载均衡时,首先获取当前云服务单元中的子计算单元的数量,对每个子计算单元进行编号,将每个子计算单元作为一个节点,连接所有的子计算单元,构建资源网;通过构建的资源网,调度服务器在当前云服务单元内,结合过载的子计算单元的在所述资源网内的位置,以及其他的轻载子计算单元的位置,找到过载的子计算单元和轻载子计算单元之间的最短路径,连接过载的子计算单元和轻载的子计算单元,指示两者进行负载均衡。
9.如权利要求8所述的装置,其特征在于,所述调度服务器在进行单元间负载均衡时,首先获取所有云服务单元得数量,对云服务单元进行编号,将每个云服务单元作为一个节点,连接所有的云服务单元,构建云服务资源网;通过构建的云服务资源网,调度服务器结合过载的云服务单元在所述云服务资源网内的位置,以及其他的轻载云服务单元的位置,找到过载的云服务单元和轻载云服务单元之间的最短路径,连接过载的云服务单元和轻载的云服务单元,指示两者进行负载均衡;在进行负载均衡过程中,调度服务器在当前轻载云服务单元内,找到轻载的子计算单元,指示该轻载的子计算单元和过载的云服务单元的过载的子计算单元进行负载均衡。
10.如权利要求9所述的装置,其特征在于,在进行单元内负载均衡过程中,调度服务器找到过载的子计算单元和轻载子计算单元之间的最短路径,以及在进行单元间负载均衡过程中,调度服务器找到过载的云服务单元和轻载云服务单元之间的最短路径的方法包括:步骤1:确定资源网或云服务资源网中的路径的起始节点和路径的终节点;步骤2:在资源网或云服务资源网中随机选取N个节点,选取的节点至少包含起始节点、终节点以及其他若干个中间节点,其中起始节点为过载的子计算单元或过载的云服务单元,终结点为过载的云服务单元或过载的云服务单元,中间节点为资源网或云服务资源网中的其他节点;步骤3:在选取的N个节点中进行节点路径的路径规划,同时,统计路径中的节点数量,再重新执行本步骤5次,选取统计路径中的节点数量最少的路径作为传输路径。
CN202011556107.6A 2020-12-24 2020-12-24 云计算的负载均衡方法及装置 Active CN112738193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011556107.6A CN112738193B (zh) 2020-12-24 2020-12-24 云计算的负载均衡方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556107.6A CN112738193B (zh) 2020-12-24 2020-12-24 云计算的负载均衡方法及装置

Publications (2)

Publication Number Publication Date
CN112738193A true CN112738193A (zh) 2021-04-30
CN112738193B CN112738193B (zh) 2022-08-19

Family

ID=75615575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556107.6A Active CN112738193B (zh) 2020-12-24 2020-12-24 云计算的负载均衡方法及装置

Country Status (1)

Country Link
CN (1) CN112738193B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394929A (zh) * 2011-10-31 2012-03-28 广东电子工业研究院有限公司 一种面向会话的云计算负载均衡系统及其方法
CN102427475A (zh) * 2011-12-08 2012-04-25 曙光信息产业(北京)有限公司 一种云计算环境中负载均衡调度的系统
CN104375897A (zh) * 2014-10-27 2015-02-25 西安工程大学 基于最小相对负载不均衡度的云计算资源调度方法
US20150067135A1 (en) * 2013-08-22 2015-03-05 Inspur Electronic Information Industry Co., Ltd Member-oriented hybrid cloud operating system architecture and communication method thereof
CN105187531A (zh) * 2015-09-09 2015-12-23 上海赛为信息技术有限公司 应用于云计算虚拟化服务器集群的负载均衡的系统及方法
CN109491760A (zh) * 2018-10-29 2019-03-19 中国科学院重庆绿色智能技术研究院 一种高效能数据中心云服务器资源自主管理方法和系统
US20190158539A1 (en) * 2012-07-06 2019-05-23 Cradlepoint, Inc. Connecting a cloud network to the internet
CN111666159A (zh) * 2020-06-28 2020-09-15 腾讯科技(深圳)有限公司 负载均衡控制方法和装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394929A (zh) * 2011-10-31 2012-03-28 广东电子工业研究院有限公司 一种面向会话的云计算负载均衡系统及其方法
CN102427475A (zh) * 2011-12-08 2012-04-25 曙光信息产业(北京)有限公司 一种云计算环境中负载均衡调度的系统
US20190158539A1 (en) * 2012-07-06 2019-05-23 Cradlepoint, Inc. Connecting a cloud network to the internet
US20150067135A1 (en) * 2013-08-22 2015-03-05 Inspur Electronic Information Industry Co., Ltd Member-oriented hybrid cloud operating system architecture and communication method thereof
CN104375897A (zh) * 2014-10-27 2015-02-25 西安工程大学 基于最小相对负载不均衡度的云计算资源调度方法
CN105187531A (zh) * 2015-09-09 2015-12-23 上海赛为信息技术有限公司 应用于云计算虚拟化服务器集群的负载均衡的系统及方法
CN109491760A (zh) * 2018-10-29 2019-03-19 中国科学院重庆绿色智能技术研究院 一种高效能数据中心云服务器资源自主管理方法和系统
CN111666159A (zh) * 2020-06-28 2020-09-15 腾讯科技(深圳)有限公司 负载均衡控制方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112738193B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US10523748B2 (en) Managing health status of network devices in a distributed global server load balancing system
Zhang et al. Proactive workload management in hybrid cloud computing
Deepa et al. A comparative study of static and dynamic load balancing algorithms in cloud computing
US8380843B2 (en) System and method for determining affinity groups and co-locating the affinity groups in a distributing network
Rahman et al. Load balancer as a service in cloud computing
CN103795805B (zh) 基于sdn的分布式服务器负载均衡方法
US10715479B2 (en) Connection redistribution in load-balanced systems
US10979493B1 (en) System and method for forwarding service requests to an idle server from among a plurality of servers
CN113014611B (zh) 一种负载均衡方法及相关设备
KR100718907B1 (ko) 퍼지 그룹핑 기반의 로드 밸런싱 시스템 및 그 로드 밸런싱방법
CN108259372A (zh) 一种多链路负载均衡系统和方法
Rawadi et al. Providing local cloud services to mobile devices with inter-cloudlet communication
Vashistha et al. Comparative study of load balancing algorithms
US20090150564A1 (en) Per-user bandwidth availability
Kadhim et al. Hybrid load-balancing algorithm for distributed fog computing in internet of things environment
CN108111567A (zh) 实现服务器负载均匀的方法及系统
Ke et al. Load balancing using P4 in software-defined networks
Huang et al. BLAC: A bindingless architecture for distributed SDN controllers
CN102271078A (zh) 面向服务质量保障的负载均衡方法
Wilson Prakash et al. DServ‐LB: Dynamic server load balancing algorithm
WO2015069378A1 (en) Hierarchical distribution of control information in a massively scalable network server
CN112738193B (zh) 云计算的负载均衡方法及装置
Goldszmidt Load management for scaling up Internet services
Fan et al. An edge computing service model based on information-centric networking
Ivanisenko Methods and Algorithms of load balancing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220801

Address after: 266000 room 1803, No. 8, Qinling Road, Laoshan District, Qingdao City, Shandong Province

Applicant after: QINGDAO CIVIL AVIATION CARES Co.,Ltd.

Address before: 253600 Wangmei village, Shizhong sub district office, Leling City, Dezhou City, Shandong Province

Applicant before: Shandong xintaiyang Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant