CN116107741A - 一种负载均衡调度方法、系统、电子设备及可读存储介质 - Google Patents

一种负载均衡调度方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116107741A
CN116107741A CN202211734948.0A CN202211734948A CN116107741A CN 116107741 A CN116107741 A CN 116107741A CN 202211734948 A CN202211734948 A CN 202211734948A CN 116107741 A CN116107741 A CN 116107741A
Authority
CN
China
Prior art keywords
server
load balancing
weight
performance indexes
lease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211734948.0A
Other languages
English (en)
Inventor
姚永坤
邓宇羽
武昱
范哲豪
白艳春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202211734948.0A priority Critical patent/CN116107741A/zh
Publication of CN116107741A publication Critical patent/CN116107741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种负载均衡调度方法、系统、电子设备及可读存储介质。所述方法包括：从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。旨在提高负载均衡的均衡性和节省负载均衡过程中的资源开销。

Description

一种负载均衡调度方法、系统、电子设备及可读存储介质
技术领域
本发明涉及负载均衡技术领域，特别是涉及一种负载均衡调度方法、系统、电子设备及可读存储介质。
背景技术
随着计算机和互联网技术的发展，越来越多的服务提供商每天都面临巨大的访问压力，给系统的正常运行带来了严峻的考验。为了满足系统支持高并发、低延迟的需求，服务端系统采用服务器集群而不是单一服务器已经成为业内的主流架构方式，通过集群内服务器节点间的协同合作，对外提供稳定的服务。但是这种方式同时也带来了新的问题，服务器集群可能会出现负载不均衡的情况，造成大量可用资源的浪费，在某些场景下甚至反而会降低服务器集群整体的性能。
负载均衡技术的诞生能够很好地解决服务器集群内各个节点负载分配不均的问题。结合负载均衡技术，系统按照合理的策略，把请求转发到集群中某个服务器节点，使整个系统中的节点负载处于均衡状态，从而增大系统的吞吐量、降低请求的响应时间。因此，为了使集群系统具有更高的性能，研究探索更优秀的负载均衡调度策略显得尤为重要。
当下已经有了许多成熟的负载均衡调度策略，比如根据轮询、权重、ip或URL、最少连接以及最小响应时间等。但是这些负载均衡策略在应用于备份服务场景时仍然有一定的局限性：如当前的负载均衡策略大多都是静态的，无法根据服务器集群的工作状态进行动态调整，比如轮询、权重和IP等调度方式；已有的调度策略根据服务器集群中节点的工作状态进行调整时，进行调度评估的性能指标过于简单，比如最小连接等方式；针对负载均衡策略进行优化已经有很多相关的研究工作，但是大多算法的复杂度都比较高，对客户端负载分配的响应时间比较大。
发明内容
有鉴于此，本发明实施例提供一种负载均衡调度方法、系统、电子设备及可读存储介质，旨在提高负载均衡的均衡性和节省负载均衡过程中的资源开销。
本发明实施例第一方面提供一种负载均衡调度方法，应用于负载均衡模块，包括：
从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
可选地，所述方法还包括：
确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；
根据所述各个服务器中第i个服务器的多项性能指标的值，确定所述第i个服务器的权重，包括：
根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
可选地，确定所述多项性能指标各自对应的权重因子，包括：
根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；
根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；
将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
可选地，所述方法还包括：
以所述各个服务器的权重为排序依据，构建最大堆，所述最大堆中的每一个节点为所述各个服务器中的一个服务器，所述最大堆中的每一个节点包括至少两个字段：服务器的IP地址和服务器的权重；
根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，包括：
每当接收到负载分配请求时，将所构建的最大堆中堆顶节点对应的服务器确定为目标服务器；
将所述目标服务器的IP地址发送给所述客户端。
可选地，所述方法还包括：
建立对ETCD数据库中指定服务器的监控事件，所述指定服务器为所述各个服务器中的任一服务器；
在监控到所述指定服务器的信息发生更新时，通过fecad-etcd接口获取所述指定服务器的多项性能指标的最新值；
根据所述指定服务器的多项性能指标的最新值，确定所述指定服务器的最新权重；
根据所述指定服务器的最新权重，调整所构建的最大堆。
本发明第二方面提供一种负载均衡调度方法，应用于ETCD数据库，包括：
存储服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约；
响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
可选地，所述方法还包括：
存储所述服务器集群中新启动的服务器的注册信息，所述注册信息包括：新启动的服务器的IP地址、租约有效期；
在所述服务器集群中任一服务器的租约有效期过期时，删除该服务器的租期续约信息。
本发明第三方面提供一种负载均衡调度方法，应用于服务器集群中的任一服务器，所述方法包括：
获取服务器多项性能指标的值；
向ETCD数据库发送租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约，以使ETCD数据库响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
可选地，在每隔预设周期，获取服务器多项性能指标的值之后，所述方法还包括：
当获取到的多项性能指标的值超出预设阈值时，向所述ETCD数据库发送该服务器的多项性能指标的最新值。
可选地，获取服务器多项性能指标的值，包括：
每隔预设周期获取服务器多项性能指标的值；
向ETCD数据库发送的租期续约信息包括：该服务器在最近一个预设周期获取到的多项性能指标的值。
本发明第四方面提供一种负载均衡调度系统，所述系统包括：负载均衡模块，所述负载
Figure BDA0004032827960000041
模块包括租期续约信息获取模块、服务器权重确定模块和目标服务器确定模块；
所述租期续约信息获取模块，用于从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
所述服务器权重确定模块，用于根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
所述目标服务器确定模块，用于根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
可选地，所述系统还包括：
权重因子确定模块，用于确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；
服务器权重确定子模块，用于根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
可选地，所述权重因子确定模块，包括：
判断矩阵构建模块，用于根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；
多维向量确定模块，用于根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；
权重因子确定子模块，用于将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
本发明第五方面提供一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本发明第一方面所述的一种负载均衡调度方法的步骤。
本发明第六方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时本发明第一方面所述的一种负载均衡调度方法。
本发明实施例包括以下优点：
本发明实施例提供的一种负载均衡调度方法，负载均衡模块从ETCD数据库中获取服务器集群中各个服务器的租期续约信息，该租期续约信息中包括该服务器的多项性能指标的值；负载均衡模块根据获取到的各个服务器的多项性能指标的值，确定各个服务器的权重；根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，通过目标服务器响应于客户端发出的请求。本发明将多项性能指标的值添加到租期续约信息中，负载均衡模块直接通过解析租期续约信息便可获取到用于进行服务器的权重计算的多项性能指标的值，不会带来系统的额外开销，从而达到节省负载均衡过程中的资源开销，同时针对每个服务器基于多项性能指标的值进行权重计算，基于权重大小选择出响应于客户端发出的请求的目标服务器，从而提高负载均衡的均衡性，也就是达到更好的均衡效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例示出的一种负载均衡调度方法的流程图；
图2是本发明一实施例示出的一种负载均衡调度方法中的备份流程图；
图3是本发明一实施例示出的一种负载均衡调度方法中的最大堆示意图；
图4是本发明一实施例示出的一种负载均衡调度系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，图1是本发明一实施例示出的一种负载均衡调度方法的流程图。参照图1，本发明提供的一种负载均衡调度方法，应用于负载均衡模块，包括：
步骤S11：从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
步骤S12：根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
步骤S13：根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
在本发明的实施例中，本发明所提供的一种负载均衡调度方法尤其适用于备份服务过程中的负载均衡调度。备份服务所涉及的主要模块包括：webserver、客户端、服务端、负载均衡模块MDS、ETCD数据库以及存储数据库。在备份系统中，每启动一个服务端就会向ETCD数据库注册一条信息，该信息用来唯一标识启动的该台服务器，该注册的条信息主要包括服务器的IP和租约等信息，然后负载均衡模块MDS通过fecad-etcd接口从ETCD数据库获取后端服务器的工作状态。Web server向MDS下发备份策略后，MDS根据负载均衡策略为指定的客户端分配一个服务器IP，客户端在收到服务端IP后与该服务器IP对应的服务器建立连接并完成相应的备份任务。应当理解的是本发明所提供的一种负载均衡调度方法同样可以适用于其他负载均衡调度场景。
在本发明的实施例中，如图2所示，备份服务中负载均衡的关键模块包括负载均衡模块MDS、server(服务器)和ETCD数据库，ETCD数据库为负载均衡模块和用于进行备份服务的server(服务器)所在的服务端之间交互的媒介，对整个系统负载均衡调度的实现起着至关重要的作用。ETCD为一种可靠的分布式KV存储系统，服务器集群中每个节点通过租约的方式PUT{key＝服务，value＝"ip"}定时刷新ETCD数据库中的key，由于节点间的任务执行情况不同，不同的节点刷新ETCD数据库的时间也不同。通过etcdctl get可以获取到最近一次刷新的value，即节点IP。如果服务器集群中某个节点下线则不会刷新对应的key，从而通过etcdctl get时不会获取到下线的节点的IP，以此保证服务的可用性，也就是避免获取到下线的服务器的IP地址，导致将一个下线的服务器发送至客户端，使得客户端无法通过该下线的服务器完成备份操作。server与ETCD数据库之间通过etcdctl接口实现注册、续约等功能，所有处于工作状态的服务器的信息都将保留在ETCD数据库中。Server向ETCD数据库注册的功能命令包括：
(1)etcdctl lease grant 60：创建租约60s过期；
(2)etcdctl put--lease＝38877f89cfe9153e/testdir/testkey"apple"：向etcd插入带租约的key；
(3)etcdctl lease keep-alive 38877f89cfe9153e：在租约到期之前进行续约；
(4)etcdctl watch/testdir/testkey--rev＝0：watch监听方式获取对key的所有历史改动。
在本发明的实施例中，本发明在服务器向ETCD数据库发送租期续约信息时，将服务器的多项性能指标的值一并结合到租期续约信息中，负载均衡模块MDS借助fecad-etcd接口监听并获取到ETCD数据库中各个服务器的租期续约信息。负载均衡模块通过对获取到的服务器集群中各个服务器的租期续约信息进行解析，获取到其中包括的各个服务器各自的多项性能指标的值。对于所述各个服务器中的任意一个服务器，负载均衡模块均可基于该任意一个服务器的多项性能指标的值进行计算，确定到该任意一个服务器的权重，该权重表征该任意一个服务器的可用资源的数量，可用资源越多表示该任意一个服务器的资源占用越少，将更有可能将客户端发送的请求给到该任意一个服务器。其中，服务器的租期续约信息用户向ETCD数据库进行租期续约。
在本发明的实施例中，根据各个服务器的权重，从各个服务器中确定出用于响应客户端发出的请求的目标服务器。将确定出的目标服务器的IP地址发送给该客户端，以使得该客户端可以通过该目标服务器完成备份操作。
本发明实施例提供的一种负载均衡调度方法，负载均衡模块从ETCD数据库中获取服务器集群中各个服务器的租期续约信息，该租期续约信息中包括该服务器的多项性能指标的值；负载均衡模块根据获取到的各个服务器的多项性能指标的值，确定各个服务器的权重；根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，通过目标服务器响应于客户端发出的请求。本发明将多项性能指标的值添加到租期续约信息中，负载均衡模块直接通过解析租期续约信息便可获取到用于进行服务器的权重计算的多项性能指标的值，不会带来系统的额外开销，从而达到节省负载均衡过程中的资源开销，同时针对每个服务器基于多项性能指标的值进行权重计算，基于权重大小选择出响应于客户端发出的请求的目标服务器，从而提高负载均衡的均衡性，也就是达到更好的均衡效果。
在本发明中，所述方法还包括：确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；根据所述各个服务器中第i个服务器的多项性能指标的值，确定所述第i个服务器的权重，包括：根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
在本发明的实施例中，服务器集群中每个服务器的硬件配置都是固定的，当前大多数负载均衡分配策略均为根据服务器的硬件配置设置相应的权重，无法对处于工作状态中的服务器权重参数进行动态调整。对于固定权重的负载均衡分配策略，由于工作中的服务器可用资源可能已经与对应的权重有较大的偏差，继续按照固定权重进行负载分配并不能提升整个系统的处理能力，反而甚至有可能降低整个服务器集群的平均处理能力。因此，根据服务器集群中每一台服务器的负载情况实时调节相应的权重对提升服务器集群的整体性能至关重要。因此，本发明提出一种新的计算服务器的权重的实施方式：确定到服务器的多项性能指标中的各项性能指标各自对应的权重因子。根据服务器的各项性能指标对应的权重因子和各项性能指标的值，确定服务器的权重。其中服务器的多项性能指标至少包括：CPU、内存占用率、IO压力。
具体地，基于以下公式计算确定各个服务器的权重：
Figure BDA0004032827960000101
其中，Ei为第i个服务器的权重，W1为服务器的CPU性能参数的权重因子，W2为服务器的内存性能参数的权重因子，W3为服务器的IO性能参数的权重因子，Ci/C为第i个服务器在目标时刻的CPU使用率，Mi/M为第i个服务器在目标时刻的内存占用率，Ii/I为第i个服务器在目标时刻的IO压力；所述目标时刻为任一时刻，i为大于等于1的整数；服务器的权重指标越大，对应该服务器可以分配更多的备份任务。
本发明中服务器的权重的计算与服务器的各个性能参数的权重因子相关。本发明主要针对涉及的三个性能指标(CPU、内存占用和IO压力)进行计算分析，对于其他业务场景可以增加更多的性能参数进行相类似的计算。
在本发明中，确定所述多项性能指标各自对应的权重因子，包括：根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
在本发明的实施例中，对于不同性能参数的权重因子的计算，本发明采用一种预设的算法对各个性能参数的权重因子进行计算。
具体地，根据服务器的多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，判断矩阵的形式如下：
Figure BDA0004032827960000102
其中，A表示判断矩阵。
基于表1的数据进行判断矩阵中各个元素的取值确定，如表2所示，基于服务器的三种性能指标创建对应的如表2所示的判断矩阵。判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1；其中，i表示所述判断矩阵的第i行，对应于服务器的一种类型的性指标能，如表2中所示的判断矩阵的第1行的性能参数为CPU；j表示所述判断矩阵的第j列的性能指标，对应于服务器的一种类型的性能指标，如表2中所示的判断矩阵的第2行的性能参数为内存。
在本发明的实施例中，根据构建的判断矩阵，计算判断矩阵中第i行乘积的m次方，得到该第i行的m维向量，如下公式：
Figure BDA0004032827960000111
其中，
Figure BDA0004032827960000112
即为第i行的m维向量。
然后再将第i行的m维向量进行标准化，获得判断矩阵中第i行对应的性能参数所对应的权重因子，如下公式：
Figure BDA0004032827960000113
其中，Wi即为第i行对应的性能参数的权重因子。
Figure BDA0004032827960000114
Figure BDA0004032827960000115
Figure BDA0004032827960000121
在本发明中，以所述各个服务器的权重为排序依据，构建最大堆，所述最大堆中的每一个节点为所述各个服务器中的一个服务器，所述最大堆中的每一个节点包括至少两个字段：服务器的IP地址和服务器的权重；根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，包括：每当接收到负载分配请求时，将所构建的最大堆中堆顶节点对应的服务器确定为目标服务器；将所述目标服务器的IP地址发送给所述客户端。
在本发明的实施例中，在计算获得各个服务器的权重后，以服务器的权重大小作为最大堆的构建依据构建一个最大堆，该最大堆中一个节点就对应一个服务器，一个节点至少包括两个字段的信息，该两个字段的信息为服务器的IP地址和服务器的权重。在构建后最大堆后，每当接收到负载均衡模块发送的负载分配请求时，从所构建的最大堆中选择堆顶节点确定为目标服务器，并将该目标服务器的IP地址发送至客户端，以使得客户端可以通过该目标服务器执行备份操作。
在本发明的实施例中，如图3所示，图中的W1至W7分别表示七个服务器节点的权重，权重越大表明对应的服务器的可用资源越多，分配的优先级就越高。且最大堆中的节点满足：W1≥W2&W1≥W3；W2≥W4&W2≥W5；W3≥W6&W3≥W7。
负载均衡MDS在接收到web server下发的备份策略时，将直接获取堆顶节点的IP返回给备份策略指定的客户端，客户端在接收到分配的服务器IP后与该服务器建立连接并完成备份任务。通过维护最大堆的方式，可以快速的为客户端分配服务器IP，减少对客户端负载分配的响应时间。
在本发明中，所述方法还包括：建立对ETCD数据库中指定服务器的监控事件，所述指定服务器为所述各个服务器中的任一服务器；在监控到所述指定服务器的信息发生更新时，通过fecad-etcd接口获取所述指定服务器的多项性能指标的最新值；根据所述指定服务器的多项性能指标的最新值，确定所述指定服务器的最新权重；根据所述指定服务器的最新权重，调整所构建的最大堆。
在本发明的实施例中，本发明提供的一种负载均衡调度方法还包括负载均衡模块通过e_watch建立对ETCD数据库中指定服务器的监控事件。其中所述指定服务器为所述各个服务器中的任一服务器。在监控到指定服务器的性能指标数据发生更新时，负载均衡模块通过fecad-etcd接口获取该指定服务器的多项性能指标的最新值。根据获取到的该多项性能指标的最新值，重新计算该指定服务器的最新权重。由于该指定服务器的权重发生了变化，之前基于各个服务器的权重构建的最大堆将不再准确，因此基于该指定服务器的最新权重调整所构建的最大堆。
具体地，负载均衡模块MDS通过e_watch建立对ETCD数据库中指定服务器的key的监控事件，如果指定服务器的key的信息发生更新，负载均衡模块MDS可以及时感知并通过fecad-etcd接口获取指定服务器的key最新的相关信息，然后对该key值对应的value字段进行解析即可获取到指定服务器最新的性能指标。
在本发明的实施例中，服务器中的备份服务启动后，会首先向ETCD数据库注册租期续约信息，租期续约信息中具体内容包括key、value以及租约lease，服务器会在租约有效期内刷新key对应的租约信息进行续约。服务器可以周期性的获取本服务器的性能指标并保存在服务端的内存中，后续进行租期续约时将这些性能指标拼接到服务器对应的value字符串中。ETCD数据库中将保留每一个处于工作状态的服务器的相关租约以及性能指标信息。
本发明所提供的一种负载均衡调度方法，通过修改服务器向ETCD数据库发送租期续约信息时的数据结构，将服务器的性能指标包括CPU、内存和磁盘IO一起传输给ETCD数据库，负载均衡模块MDS在从ETCD数据库获取租期续约信息时对其进行解析，即可获取各个服务器实时的性能指标。通过基于已有的租期续约信息的传输方式，服务器的性能指标的传输不会对整个系统带来明显的额外开销。同时，本发明定义一个计算服务器的分配权重的计算方法，结合预设的算法计算每个参数指标的权重因子，负载均衡模块MDS在获取到各个服务器实时的性能指标后，可以对服务器的性能进行权重评估，该权重的计算方法能够明显提升负载均衡分配策略的精准度和有效性。负载均衡模块MDS根据每一个服务器的权重维护一个最大堆，堆中的每一个节点为一个服务器，最大堆的排序依据为每个服务器的权重，每到来一个备份任务请求时，可以直接返回堆顶节点对应的服务器，减小负载分配的响应时间。
本发明第二方面提供一种负载均衡调度方法，应用于ETCD数据库，包括：存储服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约；响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
在本发明的实施例中，ETCD数据库用于接收并存储服务器集群中的各个服务器发送的租期续约信息。其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约。同时，ETCD数据库还响应于负载均衡模块的读取请求，向负载均衡模块返回各个服务器的租期续约信息，以供负载均衡模块可以从各个服务器的租期续约信息中解析出各个服务器各自的多项性能指标的值。并基于各个服务器各自的多项性能指标的值，计算确定出各个服务器的权重，进而根据各个服务器的权重，从各个服务器中确定目标服务器，以使得客户端能够通过该目标服务器进行备份操作，服务器的权重表征该服务器的可用资源的数量。
在本发明中，所述方法还包括：存储所述服务器集群中新启动的服务器的注册信息，所述注册信息包括：新启动的服务器的IP地址、租约有效期；在所述服务器集群中任一服务器的租约有效期过期时，删除该服务器的租期续约信息。
在本发明的实施例中，ETCD数据库还用于存储服务器集群中新启动的服务器的注册信息，该注册信息包括：新启动的服务器的IP地址、租约有效期。在服务器集群中任一服务器的租约有效期过期时，从ETCD数据库中删除该服务器的租期续约信息，以防止将租约已经过期而无法进行备份操作的服务器分配至客户端，导致客户端无法完成备份任务。
本发明第三方面提供一种负载均衡调度方法，应用于服务器集群中的任一服务器，所述方法包括：获取服务器多项性能指标的值；向ETCD数据库发送租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约，以使ETCD数据库响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
在本发明的实施例中，服务器获取自身的多项性能指标的值，并将获取到的自身的多项性能指标的值结合到租期续约信息中，连同租期续约信息一同发送至ETCD数据库。服务器的租期续约信息用于向ETCD数据库进行租期续约，以使ETCD数据库响应于负载均衡模块的读取请求，向负载均衡模块返回各个服务器的租期续约信息，以供负载均衡模块从各个服务器的租期续约信息中解析出各个服务器的多项性能指标的值，并确定各个服务器的权重，进而根据各个服务器的权重，从各个服务器中确定目标服务器，以响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
在本发明中，在每隔预设周期，获取服务器多项性能指标的值之后，所述方法还包括：当获取到的多项性能指标的值超出预设阈值时，向所述ETCD数据库发送该服务器的多项性能指标的最新值。
在本发明中，获取服务器多项性能指标的值，包括：每隔预设周期获取服务器多项性能指标的值；向ETCD数据库发送的租期续约信息包括：该服务器在最近一个预设周期获取到的多项性能指标的值。
在本发明的实施例中，由于在实际工作过程中，在服务器集群的负载量较大时，各个服务器的性能指标将会经常发生变化，而为了方式服务器频繁地向ETCD数据库返回自身的多项性能指标的值，本发明设定预设周期，服务器以预设周期进行周期性地获取自身的多项性能指标的值发送至ETCD数据库。同时，为防止服务器在短时间内性能指标发生了突变，而当前时刻并未达到预设周期，导致ETCD无法接收到发生了突变的，将对负载均衡造成影响的服务器的最新的性能指标的值，本发明为每项性能指标设定对应的预设阈值，在服务器的性能指标的值超过自身对应的预设阈值时，随即向ETCD数据库返回自身的该项性能指标的最新值。
本发明第四方面提供一种负载均衡调度系统，如图4所示，所述系统400包括：负载均衡模块401，所述负载
Figure BDA0004032827960000161
模块包括租期续约信息获取模块4011、服务器权重确定模块4012和目标服务器确定模块4013；
所述租期续约信息获取模块，用于从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
所述服务器权重确定模块，用于根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
所述目标服务器确定模块，用于根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
可选地，所述系统还包括：
权重因子确定模块，用于确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；
服务器权重确定子模块，用于根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
可选地，所述权重因子确定模块，包括：
判断矩阵构建模块，用于根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；
多维向量确定模块，用于根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；
权重因子确定子模块，用于将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
本发明第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现本发明第一方面所述的一种负载均衡调度方法中的步骤。
本发明实施例第六方面提供一种可读存储介质，所述可读存储介质上存储有程序，该程序被处理器执行时实现本发明第一方面所述的一种负载均衡调度方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种负载均衡调度方法、系统、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种负载均衡调度方法，其特征在于，应用于负载均衡模块，包括：
从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
2.根据权利要求1所述负载均衡调度方法，其特征在于，所述方法还包括：
确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；
根据所述各个服务器中第i个服务器的多项性能指标的值，确定所述第i个服务器的权重，包括：
根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
3.根据权利要求2所述负载均衡调度方法，其特征在于，确定所述多项性能指标各自对应的权重因子，包括：
根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；
根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；
将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
4.根据权利要求1所述负载均衡调度方法，其特征在于，所述方法还包括：
以所述各个服务器的权重为排序依据，构建最大堆，所述最大堆中的每一个节点为所述各个服务器中的一个服务器，所述最大堆中的每一个节点包括至少两个字段：服务器的IP地址和服务器的权重；
根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，包括：
每当接收到负载分配请求时，将所构建的最大堆中堆顶节点对应的服务器确定为目标服务器；
将所述目标服务器的IP地址发送给所述客户端。
5.根据权利要求4所述负载均衡调度方法，其特征在于，所述方法还包括：
建立对ETCD数据库中指定服务器的监控事件，所述指定服务器为所述各个服务器中的任一服务器；
在监控到所述指定服务器的信息发生更新时，通过fecad-etcd接口获取所述指定服务器的多项性能指标的最新值；
根据所述指定服务器的多项性能指标的最新值，确定所述指定服务器的最新权重；
根据所述指定服务器的最新权重，调整所构建的最大堆。
6.一种负载均衡调度方法，其特征在于，应用于ETCD数据库，包括：
存储服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约；
响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
7.根据权利要求6所述负载均衡调度方法，其特征在于，所述方法还包括：
存储所述服务器集群中新启动的服务器的注册信息，所述注册信息包括：新启动的服务器的IP地址、租约有效期；
在所述服务器集群中任一服务器的租约有效期过期时，删除该服务器的租期续约信息。
8.一种负载均衡调度方法，其特征在于，应用于服务器集群中的任一服务器，所述方法包括：
获取服务器多项性能指标的值；
向ETCD数据库发送租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向所述ETCD数据库进行租期续约，以使ETCD数据库响应于负载均衡模块的读取请求，向所述负载均衡模块返回所述各个服务器的租期续约信息，以供所述负载均衡模块从所述各个服务器的租期续约信息中解析出所述各个服务器的多项性能指标的值，并确定所述各个服务器的权重，进而根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求，服务器的权重表征该服务器的可用资源的数量。
9.根据权利要求8所述负载均衡调度方法，其特征在于，在每隔预设周期，获取服务器多项性能指标的值之后，所述方法还包括：
当获取到的多项性能指标的值超出预设阈值时，向所述ETCD数据库发送该服务器的多项性能指标的最新值。
10.根据权利要求8所述负载均衡调度方法，其特征在于，获取服务器多项性能指标的值，包括：
每隔预设周期获取服务器多项性能指标的值；
向ETCD数据库发送的租期续约信息包括：该服务器在最近一个预设周期获取到的多项性能指标的值。
11.一种负载均衡调度系统，其特征在于，所述系统包括：负载均衡模块，所述负载
Figure FDA0004032827950000041
模块包括租期续约信息获取模块、服务器权重确定模块和目标服务器确定模块；
所述租期续约信息获取模块，用于从ETCD数据库中获取服务器集群中各个服务器的租期续约信息；其中，服务器的租期续约信息包括该服务器的多项性能指标的值；服务器的租期续约信息用于向ETCD数据库进行租期续约；
所述服务器权重确定模块，用于根据所述各个服务器的多项性能指标的值，确定所述各个服务器的权重；其中，服务器的权重表征该服务器的可用资源的数量；
所述目标服务器确定模块，用于根据所述各个服务器的权重，从所述各个服务器中确定目标服务器，所述目标服务器用于响应客户端发出的请求。
12.根据权利要求11所述负载均衡调度系统，其特征在于，所述系统还包括：
权重因子确定模块，用于确定所述多项性能指标各自对应的权重因子，所述多项性能指标至少包括：CPU、内存占用率、IO压力；
服务器权重确定子模块，用于根据所述第i个服务器在目标时刻的CPU使用率，所述第i个服务器在所述目标时刻的内存占用率，所述第i个服务器在目标时刻的IO压力，以及CPU、内存占用率、IO压力各自对应的权重因子，确定所述第i个服务器的权重，其中，所述目标时刻为任一时刻，i为大于等于1的整数。
13.根据权利要求12所述负载均衡调度系统，其特征在于，所述权重因子确定模块，包括：
判断矩阵构建模块，用于根据所述多项性能指标中两两性能指标之间的相对重要程度，构建判断矩阵，所述判断矩阵中的元素aij满足条件：aij＞0，aij＝1/aji，aii＝1，其中，i表示所述判断矩阵的第i行，j表示所述判断矩阵的第j列；
多维向量确定模块，用于根据所述判断矩阵，计算第i行乘积的m次方，得到第i行的m维向量；
权重因子确定子模块，用于将第i行的m维向量标准化为权重向量，作为第i行对应的性能指标的权重因子。
14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的一种负载均衡调度方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的一种负载均衡调度方法。
CN202211734948.0A 2022-12-30 2022-12-30 一种负载均衡调度方法、系统、电子设备及可读存储介质 Pending CN116107741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211734948.0A CN116107741A (zh) 2022-12-30 2022-12-30 一种负载均衡调度方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211734948.0A CN116107741A (zh) 2022-12-30 2022-12-30 一种负载均衡调度方法、系统、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116107741A true CN116107741A (zh) 2023-05-12

Family

ID=86257465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211734948.0A Pending CN116107741A (zh) 2022-12-30 2022-12-30 一种负载均衡调度方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116107741A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719645A (zh) * 2023-08-04 2023-09-08 凯泰铭科技（北京）有限公司 用于车损案件的服务进程管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719645A (zh) * 2023-08-04 2023-09-08 凯泰铭科技（北京）有限公司 用于车损案件的服务进程管理方法及系统
CN116719645B (zh) * 2023-08-04 2023-10-03 凯泰铭科技（北京）有限公司 用于车损案件的服务进程管理方法及系统

Similar Documents

Publication Publication Date Title
US7930344B2 (en) Incremental run-time session balancing in a multi-node system
US7523454B2 (en) Apparatus and method for routing a transaction to a partitioned server
US11316792B2 (en) Method and system of limiting traffic
US9870269B1 (en) Job allocation in a clustered environment
CN110933139A (zh) 一种解决Web服务器高并发的系统及方法
US20050038829A1 (en) Service placement for enforcing performance and availability levels in a multi-node system
JPH10507024A (ja) 分配されたアプリケーションの負荷分配支援ツール
CN103019853A (zh) 一种作业任务的调度方法和装置
US8782659B2 (en) Allocation of processing tasks between processing resources
CN109710412A (zh) 一种基于动态反馈的Nginx负载均衡方法
US7437459B2 (en) Calculation of service performance grades in a multi-node environment that hosts the services
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN102480502B (zh) 一种i/o负载均衡方法及i/o服务器
CN116107741A (zh) 一种负载均衡调度方法、系统、电子设备及可读存储介质
CN117370138A (zh) 大容量分布式存储系统
CN115665173B (zh) 一种基于MQ的WebSocket通信方法、系统和存储介质
CN116546028A (zh) 服务请求的处理方法、装置、存储介质及电子设备
CN114201306B (zh) 基于负载均衡技术的多维地理空间实体分布方法及系统
CN114090256A (zh) 一种基于云计算的应用交付负载管理方法及其系统
CN109040283A (zh) 一种基于差值反馈式的改进型负载均衡算法
CN114860449A (zh) 数据处理方法、装置、设备和存储介质
WO2017162075A1 (zh) 任务调度方法和装置
Zhu et al. Load balancing algorithm for web server based on weighted minimal connections
CN117992243B (zh) 用于中间件的负载均衡方法、装置和计算机设备
CN118331613B (zh) 光器件制造系统及光器件制造流程中的任务分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing

Applicant after: Tianyiyun Technology Co.,Ltd.

Address before: 100093 Floor 4, Block E, Xishan Yingfu Business Center, Haidian District, Beijing

Applicant before: Tianyiyun Technology Co.,Ltd.