CN117692458A - 一种基于标签的分布式负载均衡实现方法及系统 - Google Patents

一种基于标签的分布式负载均衡实现方法及系统 Download PDF

Info

Publication number
CN117692458A
CN117692458A CN202311681515.8A CN202311681515A CN117692458A CN 117692458 A CN117692458 A CN 117692458A CN 202311681515 A CN202311681515 A CN 202311681515A CN 117692458 A CN117692458 A CN 117692458A
Authority
CN
China
Prior art keywords
server
client
request
virtual
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311681515.8A
Other languages
English (en)
Inventor
郑明鑫
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SmartX Inc
Original Assignee
SmartX Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SmartX Inc filed Critical SmartX Inc
Priority to CN202311681515.8A priority Critical patent/CN117692458A/zh
Publication of CN117692458A publication Critical patent/CN117692458A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于标签的分布式负载均衡实现方法,包括步骤:对当前超融合场景中的各个客户端设置标签;基于标签获取客户端对应的物理机;基于物理机获取物理机对应的虚拟分布式交换机;对虚拟分布式交换机设置负载均衡器的规则;对当前超融合场景中的各个服务器设置服务器标签;基于服务器标签获取服务器对应的服务器虚拟分布式交换机;对服务器虚拟分布式交换机设置负载均衡策略;将客户端标签和服务器标签在初始状态时在超融合场景中进行平均分布,基于客户端标签的负载均衡器的规则及服务器标签的负载均衡策略实现负载均衡;基于客户端标签的负载均衡器的规则及服务器标签的负载均衡策略及时发现网络负载异常,使不同的物理机负载均衡。

Description

一种基于标签的分布式负载均衡实现方法及系统
技术领域
本发明涉及计算机领域,尤其涉及一种基于标签的分布式负载均衡实现方法及系统。
背景技术
传统的负载均衡器:部署在单独环境中做反向代理,通过虚拟地址提供对外服务能力。负载均衡器将请求该虚拟地址的流量根据负载策略选择和转发到某一个真实服务器上,由该服务器真正的做请求处理,如图11所示;在传统的负载均衡器中其转发模式一般如图12所示,client请求vip,lb通过转发算法以fullnat或者dnat等方式转发给rs,rs回包给lb,lb做反向转换后回包给client。
基于虚拟分布式交换机数据面(例如OVS)的分布式负载均衡:它是将负载均衡转发的能力下放到物理机内部,由物理服务器内部的数据转发面的虚拟分布式交换机(OVS)来实现,通过设置相应的数据面转发规则,来决定转发的目的服务器地址,并且进行直接转发,而不需要额外经过负载均衡器;当客户端跟服务器端在同一个宿主机内的时候,所有流量不需要出宿主机,从而极大提升性能,如图13所示。
对于传统的负载均衡架构,由于所有的流量都会经过负载均衡器转发,因此会造成性能上的损耗;每一个数据包都会增加至少两跳的时延;负载均衡器的可用性,稳定性直接影响整条链路的转发性能;所有业务访问流量都需要经过负载均衡器,负载均衡器容易成为性能瓶颈;对于基于虚拟分布式交换机数据面的分布式的负载均衡架构,所有的转发都是基于虚拟交换机的转发规则来完成的,不需要经过中间转发器来完成请求转发,但会面临难以配置,实现复杂度高,如:难以获取全局信息,可能需要根据不同的模式选择不同的运行方式;不同虚拟分布式交换机要如何互相协作,防止不同的交换机被互相干扰。
而在基于虚拟网络的超融合场景下,急需一种基于标签的分布式负载均衡实现方法及系统,解决传统的负载均衡架构因性能损耗的问题。
发明内容
本发明的目的在于提供一种基于标签的分布式负载均衡实现方法及系统,解决了现有技术中指出的上述技术问题。
本发明提供了一种基于标签的分布式负载均衡实现方法,包括如下操作步骤:
对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略;
将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡。
较佳的,所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则。
较佳的,所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,所述备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上。
较佳的,所述负载均衡器的规则,包括如下操作步骤:
获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip。
较佳的,对所述服务器虚拟分布式交换机设置负载均衡策略,具体包括如下操作步骤:
获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求;若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求;若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip,然后由所述虚拟ip将所述请求发送至客户端的真实ip。
相应地,本发明还提出了一种基于标签的分布式负载均衡实现系统,包括客户端标签模块、服务器标签模块、负载均衡器模块;
所述客户端标签模块,用于对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
所述服务器标签模块,用于对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略,所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则,所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,所述备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上;
所述负载均衡模块,用于将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡。
所述负载均衡器模块具体用于,获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip。
所述服务器标签模块,具体用于获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求,若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求;若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip,然后由所述虚拟ip将所述请求发送至客户端的真实ip。
与现有技术相比,本发明实施例至少存在如下方面的技术优势:
分析本发明提供的上述一种基于标签的分布式负载均衡实现方法可知,在具体应用时对当前超融合场景中的各个客户端设置客户端标签,可以基于标签比较方便地获取客户端对应的物理机,实现在超融合场景中对客户端和物理机的快速定位和管理;基于物理机获取物理机对应的虚拟分布式交换机能够了解到不同的物理机和不同网络关系;通过对虚拟分布式交换机设置负载均衡器的规则,可以实现更高效、稳定和安全的网络服务;
进一步的,对当前当前超融合场景中的各个服务器设置服务器标签,可以更好地管理服务器资源;基于所述服务标签获取所述服务器对应的服务器虚拟分布式交换机,可以更好地了解哪些服务器连接到了哪些交换机,从而更好地监控和维护整个网络;对所述服务器虚拟分布式交换机设置负载均衡策略,提高整体性能和增强了可用性;设置主负载均衡策略对应一个主虚拟分布式交换机,备负载均衡策略对应备虚拟分布式交换机,避免了主虚拟分布式交换机出现故障和不可用时,利用备虚拟分布式交换机防止了服务器停止工作,并且提高了负载均衡的容错性;
进一步的,客户端标签和服务器标签在初始状态阶段进行超融合场景中平均分布,实现对标签的负载均衡;基于客户端标签的负载均衡器的规则及服务器标签的负载均衡策略通过流量统计和分析对虚拟机进行检测,及时发现网络负载异常,并采取相应的调度措施来优化虚拟机的负载均衡;并动态的重新调度客户端标签和服务器标签的分布,使不同的物理机负载均衡;
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法的负载均衡流程图;
图2为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法超融合环境可能有的拓扑结构图;
图3为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法客户端与服务器交互负载均衡流程图;
图4为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法的客户端负载均衡规则流程图;
图5为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法客户端负载均衡规则图;
图6为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法客户端负载均衡规则整体流程图;
图7为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法的服务器负载策略流程图;
图8为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法服务器负载均衡策略图;
图9为本发明实施例一提供的一种基于标签的分布式负载均衡实现方法服务器负载均衡策略整体流程图;
图10为本发明实施例二提供的一种基于标签的分布式负载均衡实现系统流程图;
图11为现有技术中的传统的负载均衡器操作流程图;
图12为现有技术中的传统负载均衡器转发模式图;
图13为现有技术中的虚拟分布式交换机数据面的分布式负载均衡图。
附图标记:客户端标签模块10,服务器标签模块20,负载均衡器模块30。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面通过具体的实施例,并结合附图对本发明做进一步的详细描述。
实施例一
如图1所示,本发明提出了一种基于标签的分布式负载均衡实现方法,包括具体操作如下:
步骤S10:对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
解释说明:服务器在超融合场景下对各个客户端进行分配客户端标签,从而根据所有的客户端标签得到客户端标签;超融合场景是一种超融合框架,一般以集群方式部署,在通用服务器硬件上安装超融合软件,多台通用服务器之间通过以太网互联,构成的一个分布式集群;这种架构的扩展模式不依赖提高单台服务器的硬件配置,而是通过不断扩大服务器集群数量持续获得性能提升客户端标签同时在超融合场景中获取到各个客户端标签所对应的各个客户端的物理机;通过超融合场景进行查询客户端虚拟机所在的物理机信息(包括客户端配置、客户端网络连接状态),获取物理机上的虚拟分布式交换机;虚拟分布式交换机,在虚拟化网络中用以提供网络的连通性,将虚拟网络和实际的物理网络解耦,在保证虚拟交换机间的连通性后,用以实现更丰富的虚拟网络拓扑;
在不同的物理机上进行配置不同的负载均衡器,确保每个物理机都能够访问到负载均衡器,并对每台物理机进行设置只响应本物理机中的虚拟机的地址解析协议;
客户端标签对每个虚拟分布式交换机进行下发对应的客户端相关的负载均衡器,用来实现负载均衡能力;
在步骤S10中对当前超融合场景中的各个客户端设置客户端标签,通过设置标签的方式,可以更加灵活地管理和控制当前超融合场景中的客户端,提高系统的可控性和可靠性;可以基于标签比较方便地获取客户端对应的物理机,实现在超融合场景中对客户端和物理机的快速定位和管理;基于物理机获取物理机对应的虚拟分布式交换机能够了解到不同的物理机和不同网络关系;通过对虚拟分布式交换机设置负载均衡器的规则,可以优化网络资源利用、提高性能和可用性,实现更高效、稳定和安全的网络服务;
步骤S20:对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略(所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则),所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
所述负载均衡策略的主负载均衡策略与备负载均衡策略为随机分配设定;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上,从而减少服务器的负载压力;
解释说明:对当前超融合场景中的各个服务器设置服务器标签,当服务器在超融合集群内时对服务器的各个虚拟分布式交换机分别设置负载均衡策略(所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则),从所有虚拟分布式交换机中选择一个主负载均衡策略的主虚拟分布式交换机,其余作为备负载均衡策略的备虚拟分布式交换机;通过超融合场景中的超融合平台进行负载均衡器与虚拟分布式交换机的配置和网络状态进行同步,使负载均衡策略与虚拟分布式交换机进行对应;主负载均衡策略与备负载均衡策略为随机选择设定;
当主虚拟分布式交换机负责应答客户端发送的虚拟ip的地址解析协议请求时,将该客户端请求发送至备虚拟分布式交换机,备虚拟分布式交换机只能将该客户端请求转发至本地虚拟机上,从而减少了服务器标签的负载压力;
在步骤S20中,对当前当前超融合场景中的各个服务器设置服务器标签,可以更好地组织和管理服务器资源;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机,可以更好地了解哪些服务器连接到了哪些交换机,从而更好地监控和维护整个网络;对所述服务器虚拟分布式交换机设置负载均衡策略,避免某些服务器过载而导致性能的下降,提高整体性能和响应速度,增强了可用性;设置主负载均衡策略对应一个主虚拟分布式交换机,备负载均衡策略对应备虚拟分布式交换机,避免了主虚拟分布式交换机出现故障和不可用时,利用备虚拟分布式交换机防止了服务器停止工作,并且提高了负载均衡的容错性;当主虚拟分布式交换机接收客户端虚拟ip的地址解析协议请求时,备虚拟分布式交换机将请求发送至本地虚拟机上,减少了因数据在本地传输时造成的网络延迟,从而减少服务器标签的负载压力;
如图2、3所示,步骤S30:将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡;
解释说明:利用客户端标签的转发模型确保同一标签的请求能够发送到同一台服务器上,转发模型可以指示虚拟分布式交换机应该如何处理和转发数据包(目标地址、优先级、服务质量),并且标签可以包含有关数据包的各种信息;负载均衡器将根据客户端的标签信息,结合优先模式,将请求转发给本地真实服务器;优先模式是一种网络传输模式,它可以确保特定类型的数据或服务在网络中被优先处理和传输;在利用客户端标签的转发模型中,优先模式可以用于对本地真实服务器进行优先处理;
在步骤S30中,客户端标签和服务器标签在初始状态阶段进行超融合场景中平均分布,实现对标签的负载均衡;基于客户端标签的负载均衡器的规则及服务器标签的负载均衡策略通过流量统计和分析对虚拟机进行检测,及时发现网络负载异常,并采取相应的调度措施来优化虚拟机的负载均衡;并动态的重新调度客户端标签和服务器标签的分布,使不同的物理机负载均衡;
具体的,如图4、5、6所示,在步骤S10中,所述负载均衡器的规则,包括如下操作步骤:
步骤S11:获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
解释说明:在虚拟分布式交换机中设定只响应标记客户端标签的虚拟分布式交换机请求,当客户端的地址解析协议由客户端真实ip->虚拟ip时,当客户端发送请求到虚拟IP地址时,请求首先到达虚拟分式交换机,虚拟分式交换机收到来自客户端的请求时,它会查找目标IP地址是否在转发表中,如果目标地址是虚拟IP,根据转发表的映射关系,虚拟分式交换机会将请求转发到对应的服务器,实现负载均衡或故障转移等功能;对虚拟分布式交换机设定地址转换模式规则,将地址解析协议转换为客户端的真实ip->真实服务器提供服务的ip的请求;虚拟分布式交换的转发表含了每个虚拟机的地址、所在的物理主机等信息,当地址解析协议到达虚拟分布式交换机时,它会根据地址解析协议的目标地址查找转发表,并选择目标虚拟机所在的虚拟端口作为下一跳,从而实现地址解析协议的转发;
步骤S12:所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
解释说明:当服务器收到真实服务器提供服务的ip时,通过负载均衡器对客户端进行回包;负载均衡器将服务器返回收到真实服务器提供服务的ip进行减少负载压力;真实服务器提供服务的ip将经过对应的客户端的真实ip所在的虚拟分布式交换机,当客户端发送地址解析协议请求到服务器时,因为负载压力,地址解析协议请求可能会经过多个虚拟分布式交换机,对地址解析协议请求进行减少负载压力,所以回包时需要经过客户端的真实ip对应的虚拟分布式交换机;回包指当真实服务器接收到请求并处理后,会生成响应数据包并发送回客户端;响应数据包是在客户端发起请求后,服务器对请求进行处理后返回给客户端的数据包;
步骤S13:再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip;
需要说明的是,响应数据包经过虚拟分布式交换机返回虚拟ip,虚拟分布式交换机需要进行反向的地址转换模式的设定,将真实服务器提供服务的ip->客户端真实ip转换为虚拟ip->客户端真实ip形式;反向地址转换模式可以将客户端请求中的真实服务器提供服务的ip地址和虚拟ip地址转换为客户端的真实ip地址,以便确保响应数据包能够正确返回给客户端;
在步骤S11中,获取当前客户端的请求,将客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;这种方式可以确保在虚拟化网络中,客户端与其他设备之间的通信能够正常进行,并且能够正确识别客户端的真实ip地址;在步骤S12中,真实服务器提供服务的ip在接收到客户端的请求时生成回包,将回包由真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip,对应的虚拟分布式交换机,能够确保虚拟分布式交换机设置的负载均衡器和虚拟分布式交换机的支持下,客户端与真实服务器之间的通信能够正常进行,并且能够正确识别客户端的真实ip地址;在步骤S13中,再通过当前客户端对应的虚拟分布式交换机,将真实服务器提供服务的ip转化为虚拟ip,将回包通过所述虚拟ip发送至客户端的真实ip,客户端就能够正确地接收到来自服务器的响应,在后续的通信中,回包数据可以正确地返回给客户端;
具体的,如图3、图7、图8所示在步骤S20中,对所述服务器虚拟分布式交换机设置负载均衡策略,具体包括如下操作步骤:
步骤S21:获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器(所述目标服务器指的是当前客户端发送请求对应的接收方的真实服务器)对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求(本地请求指的是客户端的物理机与真实服务器的物理机属于同一个物理机的情况下,客户端向服务器发送的请求),若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip(即vip)发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
需要说明的是,客户端发送请求时,客户端的真实ip发送至服务器的虚拟ip后,虚拟分布式交换机根据负载均衡算法判断该请求是否由本地真实服务器的客户端发送来的,本地真实服务器的客户端是客户端的一个特定类型,在本地的设备上安装和运行用于远程服务器进行发送传输和交互的应用程序;负载均衡算法用于均衡请求流量的算法,将客户端的请求分发到多个服务器,确保每台服务器都能平均处理负载;若是本地真实服务器的请求,则直接进行地址转换模式转发至本地真实服务器;若否,则将该请求做地址转换模式转发,将客户端的真实ip转换为备虚拟ip,将接收的响应数据包的的本地真实服务器地址修改为备虚拟分布式交换机的备虚拟ip,然后进行地址转换模式转发,这样就可以将响应数据包发送给备份虚拟分布式交换机,以实现高可用性和负载均衡;真实服务器,实际运行着服务的服务器,处理工作负载;
在步骤S21中,获取当前客户端发送的请求,将请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,减少暴露在公共网络中的风险,提高系统的性能和可伸缩性,确保各个服务器资源的有效利用;服务器虚拟分布式交换机通过负载均衡算法判断请求是否为本地请求,可以根据实际情况进行处理,以实现更好的负载均衡和流量管理;若是,则直接将请求通过客户端的真实ip发送至真实服务器提供服务的ip,减少网络延迟和复杂性,提高请求的响应速度和效率;若否,真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将请求通过当前真实服务器对外提供服务的虚拟ip(即vip)发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将请求发送至所述真实服务器的ip,这样即使当前真实服务器不可用,备用虚拟分布式交换机仍然能够提供服务并确保请求的正常处理;
步骤S22:在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求(即判断所述请求是否为本地请求);若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip(即vip),然后由所述虚拟ip将所述请求发送至客户端的真实ip;
解释说明:将发送的地址解析协议请求生成响应数据包,将响应数据包发送至负载均衡器进行负载减压,随后通过主虚拟分布交换机反向地址转换模式规则发送所述响应数据包至当前客户端;
备虚拟分布交换机通过反向地址转换模式规则,将所述响应数据包由真实服务器提供服务的ip发送至客户端的真实ip转换为由虚拟ip发送至客户端的真实ip,由于备虚拟分布式交换机对响应数据包进行回包,因此备虚拟分布交换机将真实服务器提供服务的ip进行反向地址转换模式规则转换为虚拟ip发送至客户端的真实ip,从而减少服务器标签的负载;
在步骤S22中,在真实服务器获取到客户端的请求之后,它可以判断该请求是否为本地请求,并根据实际情况提供相应的服务并返回回包,这样可以保证服务的高效性和可靠性;若所请求为本地请求,则直接通过真实服务器的虚拟分布式交换机将回包发送至客户端的真实ip;若不是本地请求,则确定发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;根据不同情况选择合适的路径进行回包的传输,能够保证数据的高效和可靠传输;备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip(即vip),然后由虚拟ip将请求发送至客户端的真实ip;通过使用虚拟IP进行请求转发,可以实现负载均衡、隐藏真实服务器的细节和提高网络配置的灵活性,对于构建高性能、高可用性的网络系统具有重要意义;
实施例二
如图10所示,本发明提出了一种基于标签的分布式负载均衡实现系统,包括客户端标签模块10,服务器标签模块20,负载均衡器模块30;
其中,所述客户端标签模块10,用于对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
所述服务器标签模块20,用于对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略,所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则,所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,所述备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上;
所述负载均衡模块30,用于将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡。
所述负载均衡器模块30具体用于,获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip。
所述服务器标签模块20,具体用于获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求,若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求;若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip,然后由所述虚拟ip将所述请求发送至客户端的真实ip。
综上,本发明提供一种基于标签的分布式负载均衡实现方法,上述通过超融合场景所有客户端进行分配,得到客户端标签模块,可以提高管理效率、资源利用率;并根据客户端标签在超融合场景中获取各个客户端对应的物理机,能够精确的找到物理机的位置;并通过获取虚拟分布式交换机能够了解到不同的物理机和网络之间交互的关系;对虚拟分布式交换机安装负载均衡器,实现了客户端的负载均衡;进一步的,获取当前客户端的请求,将客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip,可以确保在虚拟化网络中,客户端与其他设备之间的通信能够正常进行;真实服务器提供服务的ip在接收到客户端的请求时生成回包,将回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip,能够确保虚拟分布式交换机设置的负载均衡器和虚拟分布式交换机的支持下,客户端与真实服务器之间的通信能够正常的运行,减少负载压力,并且能够精确的识别客户端的真实IP地址;再通过当前客户端对应的虚拟分布式交换机,将真实服务器提供服务的ip转化为虚拟ip,将回包通过所述虚拟ip发送至客户端的真实ip,客户端就能够正确地接收到来自服务器的响应,在后续的通信中,回包数据可以正确地返回给客户端;
同时,对当前当前超融合场景中的各个服务器设置服务器标签,可以更好地组织和管理服务器资源;基于所述服务标签获取所述服务器对应的服务器虚拟分布式交换机,可以更好地了解哪些服务器连接到了哪些交换机,从而更好地监控和维护整个网络;对所述服务器虚拟分布式交换机设置负载均衡策略,避免某些服务器过载而导致性能的下降,提高整体响应速度;设置主负载均衡策略和对应的主虚拟分布式交换机,备负载均衡策略对应的备虚拟分布式交换机,避免了主虚拟分布式交换机出现故障和不可用时,利用备虚拟分布式交换机防止了服务器停止工作,并且提高了负载均衡的容错性;当主虚拟分布式交换机接收客户端虚拟ip的地址解析协议请求时,备虚拟分布式交换机将请求发送至本地虚拟机上,减少了因数据在本地传输时造成的网络延迟,从而减少服务器标签的负载压力;
进一步的,客户端发送请求,将请求由客户端的真实ip发送至服务器虚拟分布式交换机的虚拟ip,提高系统的性能和系统的安全性,确保各个服务器资源的有效利用;服务器虚拟分布式交换机通过负载均衡算法判断请求是否为本地请求,根据实际情况进行处理,实现更好的负载均衡和流量管理;若是本地请求,则通过客户端的真实ip发送至真实服务器提供服务的ip,减少网络延迟和复杂性,提高请求的响应速度和效率;若不是本地请求,则将请求通过当前真实服务器对外提供服务的虚拟ip(即vip)发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将请求发送至所述真实服务器的ip,这样即使当前真实服务器不可用,备用虚拟分布式交换机仍然能够提供服务并确保请求的正常处理;在真实服务器获取到客户端的请求之后,判断该请求是否为本地请求,根据实际情况提供相应的服务并返回回包,可以保证服务的高效性和可靠性;若所请求为本地请求,则对真实服务器的虚拟分布式交换机将回包发送至客户端的真实ip;若不是本地请求,则确定发送请求为备虚拟分布式交换机;根据不同情况选择合适的路径进行回包的传输,能够保证数据的高效和可靠传输;备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip(即vip),然后由虚拟ip将请求发送至客户端的真实ip;通过使用虚拟IP进行请求转发,可以实现负载均衡、和提高网络配置的灵活性,对于构建高性能网络系统具有重要意义;
进一步的,客户端标签和服务器标签在初始状态阶段进行超融合场景中平均分布,实现对标签的负载均衡;基于客户端标签的负载均衡器的规则及服务器标签的负载均衡策略通过流量统计和分析对虚拟机进行检测,及时发现网络负载异常,并采取相应的调度措施来优化虚拟机的负载均衡;并动态的重新调度客户端标签和服务器标签的分布,使不同的物理机负载均衡;
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;本领域的普通技术人员可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于标签的分布式负载均衡实现方法,其特征在于,包括如下操作步骤:
对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略;
将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡。
2.根据权利要求1所述的一种基于标签的分布式负载均衡实现方法,其特征在于,所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则。
3.根据权利要求2所述的一种基于标签的分布式负载均衡实现方法,其特征在于,所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,所述备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上。
4.根据权利要求3所述的一种基于标签的分布式负载均衡实现方法,其特征在于,所述负载均衡器的规则,包括如下操作步骤:
获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip。
5.根据权利要求4所述的一种基于标签的分布式负载均衡实现方法,其特征在于,对所述服务器虚拟分布式交换机设置负载均衡策略,具体包括如下操作步骤:
获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求;若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求;若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip,然后由所述虚拟ip将所述请求发送至客户端的真实ip。
6.一种基于标签的分布式负载均衡实现系统,其特征在于,包括客户端标签模块、服务器标签模块、负载均衡器模块;
所述客户端标签模块,用于对当前超融合场景中的各个客户端设置标签;基于所述标签获取所述客户端对应的物理机;基于所述物理机获取所述物理机对应的虚拟分布式交换机;对所述虚拟分布式交换机设置负载均衡器的规则;
所述服务器标签模块,用于对当前超融合场景中的各个服务器设置服务器标签;基于所述服务器标签获取所述服务器对应的服务器虚拟分布式交换机;对所述服务器虚拟分布式交换机设置负载均衡策略,所述负载均衡策略指的是:负载均衡器中用于选择服务器的算法或规则,所述负载均衡策略包括主负载均衡策略与备负载均衡策略;所述主负载均衡策略对应有一个主虚拟分布式交换机;所述备负载均衡策略对应有一个备虚拟分布式交换机;
当主虚拟分布式交换机接收客户端发送的虚拟ip的地址解析协议的请求时,所述备虚拟分布式交换机将客户端请求发送至所述备虚拟分布式交换机对应的本地虚拟机上;
所述负载均衡模块,用于将客户端标签和服务器标签在初始状态时在所述超融合场景中进行平均分布,基于所述客户端标签的负载均衡器的规则及所述服务器标签的负载均衡策略实现负载均衡。
7.根据权利要求6所述的一种基于标签的分布式负载均衡实现系统,其特征在于,所述负载均衡器模块具体用于,获取当前客户端的请求,将所述客户端的请求由客户端的真实ip发送至对应真实服务器提供服务的ip;
所述真实服务器提供服务的ip在接收到所述客户端的请求时生成回包,将所述回包由所述真实服务器提供服务的ip通过当前客户端对应的虚拟分布式交换机发送至客户端的真实ip;
再通过当前客户端对应的虚拟分布式交换机,将所述真实服务器提供服务的ip转化为虚拟ip,将所述回包通过所述虚拟ip发送至客户端的真实ip。
8.根据权利要求7所述的一种基于标签的分布式负载均衡实现系统,其特征在于,所述服务器标签模块,具体用于获取当前客户端发送的请求,将所述请求由客户端的真实ip发送至目标服务器对应的服务器虚拟分布式交换机的虚拟ip,服务器虚拟分布式交换机通过负载均衡算法判断所述请求是否为本地请求,若是,则直接将所述请求通过客户端的真实ip发送至真实服务器提供服务的ip;若否,则确定所述真实服务器对应的虚拟分布式交换机为备虚拟分布式交换机,将所述请求通过当前所述真实服务器对外提供服务的虚拟ip发送至备虚拟分布式交换机,然后由备虚拟分布式交换机将所述请求发送至所述真实服务器的ip;
在真实服务器获取得到客户端的请求后,所述真实服务器生成回包,同时判断所述请求是否为所述真实服务器对应的物理机中的客户端发送的请求;若所述请求为本地请求,则直接通过所述真实服务器的虚拟分布式交换机将所述回包发送至所述客户端的真实ip;若不是本地请求,则确定所述发送请求的客户端对应的虚拟分布式交换机为备虚拟分布式交换机;
所述备虚拟分布式交换机将所述请求通过当前服务器的真实ip发送至客户端的真实ip过程中,将请求发送至当前所示真实服务器对外提供的虚拟ip,然后由所述虚拟ip将所述请求发送至客户端的真实ip。
CN202311681515.8A 2023-12-08 2023-12-08 一种基于标签的分布式负载均衡实现方法及系统 Pending CN117692458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311681515.8A CN117692458A (zh) 2023-12-08 2023-12-08 一种基于标签的分布式负载均衡实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311681515.8A CN117692458A (zh) 2023-12-08 2023-12-08 一种基于标签的分布式负载均衡实现方法及系统

Publications (1)

Publication Number Publication Date
CN117692458A true CN117692458A (zh) 2024-03-12

Family

ID=90131212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311681515.8A Pending CN117692458A (zh) 2023-12-08 2023-12-08 一种基于标签的分布式负载均衡实现方法及系统

Country Status (1)

Country Link
CN (1) CN117692458A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540408A (zh) * 2018-04-16 2018-09-14 广东亿迅科技有限公司 一种基于Openstack的分布式虚拟交换机的管理方法及系统
US20200186598A1 (en) * 2016-08-25 2020-06-11 Nhn Entertainment Corporation Method and system for processing load balancing using virtual switch in virtual network environment
CN112929264A (zh) * 2019-12-06 2021-06-08 厦门网宿有限公司 业务流量传输方法、系统及网络设备
CN113687940A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 负载均衡方法、装置及物理机
CN116489098A (zh) * 2023-04-03 2023-07-25 浙江大华技术股份有限公司 负载均衡方法、电子设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200186598A1 (en) * 2016-08-25 2020-06-11 Nhn Entertainment Corporation Method and system for processing load balancing using virtual switch in virtual network environment
CN108540408A (zh) * 2018-04-16 2018-09-14 广东亿迅科技有限公司 一种基于Openstack的分布式虚拟交换机的管理方法及系统
CN112929264A (zh) * 2019-12-06 2021-06-08 厦门网宿有限公司 业务流量传输方法、系统及网络设备
CN113687940A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 负载均衡方法、装置及物理机
CN116489098A (zh) * 2023-04-03 2023-07-25 浙江大华技术股份有限公司 负载均衡方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
TWI724106B (zh) 資料中心間的業務流量控制方法、裝置及系統
CN111615066B (zh) 一种基于广播的分布式微服务注册及调用方法
US6397260B1 (en) Automatic load sharing for network routers
US9659075B2 (en) Providing high availability in an active/active appliance cluster
US5581552A (en) Multimedia server
US9058213B2 (en) Cloud-based mainframe integration system and method
EP2939401B1 (en) Method for guaranteeing service continuity in a telecommunication network and system thereof
CN103119400B (zh) 用于跨ip网络连接的串行数据链路会话的状态同步的方法和设备
WO2021008591A1 (zh) 数据传输方法、装置及系统
JPH10198642A (ja) サーバ装置
CN116048538B (zh) 用于dpu的服务网格部署方法及装置
CN112968965A (zh) Nfv网络节点的元数据服务方法、服务器及存储介质
CN115037785B (zh) 即时通讯系统及方法
CN113726648B (zh) 多路径通信方法、装置、电子设备及计算机可读介质
KR20200072941A (ko) 실시간 오류 감지를 통한 vrrp 기반의 네트워크 장애 대응 방법 및 장치
CN117692458A (zh) 一种基于标签的分布式负载均衡实现方法及系统
US11576072B2 (en) Methods, systems, and computer-readable media for distributing S1 connections to mobility management entities (MMEs) and N2 connections to access and mobility management functions (AMFs)
CN115514651A (zh) 基于软件定义层叠网的云边数据传输路径规划方法及系统
CN114900526A (zh) 负载均衡方法及系统、计算机存储介质、电子设备
CN114024971A (zh) 业务数据处理方法、Kubernetes集群及介质
Cisco Designing APPN Internetworks
CN113055477B (zh) 中间件软件实现tcp通信互载均衡方法
CN114826887B (zh) 私网连接通信方法和系统
WO2024065424A1 (zh) 链路优化方法和系统
CN114268615B (zh) 基于tcp连接的业务处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Building 1B, No.48 Zhichun Road, Haidian District, Beijing, 100080

Applicant after: Beijing Zhiling Haina Technology Co.,Ltd.

Address before: Building 1B, No.48 Zhichun Road, Haidian District, Beijing, 100080

Applicant before: Beijing zhilinghaina Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information