CN110209492B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN110209492B
CN110209492B CN201910217195.8A CN201910217195A CN110209492B CN 110209492 B CN110209492 B CN 110209492B CN 201910217195 A CN201910217195 A CN 201910217195A CN 110209492 B CN110209492 B CN 110209492B
Authority
CN
China
Prior art keywords
container
target
service
load balancing
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910217195.8A
Other languages
English (en)
Other versions
CN110209492A (zh
Inventor
周洪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910217195.8A priority Critical patent/CN110209492B/zh
Publication of CN110209492A publication Critical patent/CN110209492A/zh
Application granted granted Critical
Publication of CN110209492B publication Critical patent/CN110209492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种数据处理方法及装置,所述数据处理方法包括:向数据中心中的目标功能集合发送模拟业务请求;将目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于业务响应结果确定每个目标功能块分别对应的第一业务质量信息;基于每个目标功能块分别对应的第一业务质量信息在目标功能集合中确定至少一个正常功能块;当接收到针对目标功能集合的实际业务请求时,将实际业务请求分发至至少一个正常功能块,通过至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。采用本发明实施例,可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
云操作系统是云计算后台数据中心的整体管理运营系统,是指架构于服务器、存储、网络等基础硬件资源和单片机操作系统、中间件、数据库等基础软件之上的、管理海量的基础硬件、软件资源的云平台综合管理系统。
现有的云操作系统主要面向微服务应用的PaaS(平台即服务)平台,可以实现对新加入完成操作系统初始化安装的设备进行基于镜像的服务注册、拉起,数据的存储、转发,数据库与中间件的管理等功能。现有的云操作系统具有一定的局限性,如在无法进行设备操作系统初始化安装,或管理平台的数据、控制或者业务出现故障时,可能会造成该云操作系统全面瘫痪,导致该云操作系统中的所有功能均无法实现,进而导致云操作系统的使用效率低下,还会造成运维成本过大。
发明内容
本发明实施例提供一种数据处理方法和装置,可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本。
本发明一方面提供了一种数据处理方法,包括:
向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合均包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个目标功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,所述向数据中心中的目标功能集合发送模拟业务请求,包括:
获取所述目标功能集合中所述每个目标功能块分别对应的历史业务质量信息;
根据所述历史业务质量信息确定所述每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数;
根据所述第一模拟频率参数、所述第一模拟流量参数,生成所述每个目标功能块分别对应的模拟业务请求。
其中,所述基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块,包括:
若存在所述目标功能块对应的第一业务质量信息小于第一负载均衡节点中的目标阈值,则将小于所述目标阈值的第一业务质量信息对应的功能块确定为故障功能块;
将所述目标功能集合中除故障功能块之外的剩余目标功能块均确定为正常功能块。
其中,所述方法还包括:
根据所述故障功能块对应的第一业务质量信息,确定所述故障功能块对应的第二模拟频率参数、第二模拟流量参数;
基于所述第二模拟频率参数、所述第二模拟流量参数,获取所述故障功能块对应的第二业务质量信息;
若存在所述故障功能块对应的第二业务质量信息大于或等于所述目标阈值,则将大于或等于所述目标阈值的第二业务质量信息对应的故障功能块恢复成正常功能块。
其中,所述当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理,包括:
当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;
根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至每个正常功能块,通过所述每个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,所述方法还包括:
若所述第一总流量信息小于所述目标功能集合对应的第二容量阈值,则触发所述目标功能集合将第一目标数量的正常功能块删除,根据删除后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;所述第一目标数量是基于所述第一总流量信息与所述第二容量阈值之间的关系所确定的。
其中,所述根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至每个正常功能块,通过所述每个正常功能块中的容器集群对所述实际业务请求进行业务处理,包括:
根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,并根据增加后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
其中,所述方法还包括:
若存在至少两个具有相同业务服务的容器对应的容器子流量小于所述容器集群对应的第四容量阈值,则从所述至少两个具有相同业务服务的容器中删除第二目标数量的容器,并根据删除后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;所述第二目标数量是基于所述容器子流量、所述第四容量阈值所确定的。
其中,所述若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,包括:
若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则将大于所述第三容量阈值的容器子流量对应的容器确定为待扩容容器;
从所述待扩容容器所属的容器集群的空闲资源节点中,选择待扩容资源节点,并基于所述待扩容资源节点生成新增容器;所述新增容器与所述待扩容容器具有相同的业务服务。
其中,所述目标功能集合为带外管理功能集合;
所述带外管理功能集合用于对所述数据中心中的网络设备、服务器设备以及电源系统进行集中化整合管理。
本发明一方面提供了一种数据处理装置,包括:
发送模块,用于向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合均包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个目标功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
获取模块,用于将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
确定模块,用于基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
分发模块,用于当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,所述发送模块包括:
第一获取单元,用于获取所述目标功能集合中所述每个目标功能块分别对应的历史业务质量信息;
第一参数确定单元,用于根据所述历史业务质量信息确定所述每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数;
模拟请求生成单元,用于根据所述第一模拟频率参数、所述第一模拟流量参数,生成所述每个目标功能块分别对应的模拟业务请求。
其中,所述确定模块包括:
第一比较单元,用于若存在所述目标功能块对应的第一业务质量信息小于第一负载均衡节点中的目标阈值,则将小于所述目标阈值的第一业务质量信息对应的功能块确定为故障功能块;
功能块确定单元,用于将所述目标功能集合中除故障功能块之外的剩余目标功能块均确定为正常功能块。
其中,所述装置还包括:
恢复模块,用于获取所述故障功能块对应的第二业务质量信息,并根据所述第二业务质量信息来确定是否恢复所述故障功能块;
所述恢复模块包括:
第二参数确定单元,用于根据所述故障功能块对应的第一业务质量信息,确定所述故障功能块对应的第二模拟频率参数、第二模拟流量参数;
第二获取单元,用于基于所述第二模拟频率参数、所述第二模拟流量参数,获取所述故障功能块对应的第二业务质量信息;
第二比较单元,用于若存在所述故障功能块对应的第二业务质量信息大于或等于所述目标阈值,则将大于或等于所述目标阈值的第二业务质量信息对应的故障功能块恢复成正常功能块。
其中,所述分发模块包括:
统计单元,用于当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
功能块增加单元,用于若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;
实际请求分发单元,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至每个正常功能块,通过所述每个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,所述装置还包括:
功能块删除模块,用于若所述第一总流量信息小于所述目标功能集合对应的第二容量阈值,则触发所述目标功能集合将第一目标数量的正常功能块删除,根据删除后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;所述第一目标数量是基于所述第一总流量信息与所述第二容量阈值之间的关系所确定的。
其中,所述实际请求分发单元包括:
第一分发子单元,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
流量确定子单元,用于根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
容器增加子单元,用于若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,并根据增加后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
第二分发子单元,用于根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
其中,所述装置还包括:
容器删除模块,用于若存在至少两个具有相同业务服务的容器对应的容器子流量小于所述容器集群对应的第四容量阈值,则从所述至少两个具有相同业务服务的容器中删除第二目标数量的容器,并根据删除后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;所述第二目标数量是基于所述容器子流量、所述第四容量阈值所确定的。
其中,所述容器增加子单元包括:
待扩容容器确定子单元,用于若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则将大于所述第三容量阈值的容器子流量对应的容器确定为待扩容容器;
新增容器生成子单元,用于从所述待扩容容器所属的容器集群的空闲资源节点中,选择待扩容资源节点,并基于所述待扩容资源节点生成新增容器;所述新增容器与所述待扩容容器具有相同的业务服务。
本发明一方面提供了一种数据处理装置,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中一方面中的方法。
本发明实施例一方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中一方面中的方法。
在本发明实施例中,可以将数据中心分离为多个相互隔离的功能集合,每个功能集合分别具有不同的系统管理功能,每个功能集合可以包括多个相互隔离的功能块,每个功能块可以包括多个相互隔离的容器集群,每个容器集群都可以由多个相互隔离且具有业务服务的容器构成;在每个功能集合中,可以向每个功能块发送模拟业务请求,获得每个功能块分别对应的业务质量信息,进而可以根据业务质量信息确定正常功能块,即根据业务质量信息判断各功能块是否可以成功处理业务,将可以成功处理业务的功能块确定为正常功能块,当接收到实际业务请求时,可以将该实际业务请求分发给正常功能块,通过上述正常功能块对实际业务请求进行处理。可见,在整个数据中心中,可以根据系统功能将云操作系统划分成多个功能集合,当多个功能集合中的任一功能集合出现故障时,其余功能集合仍然可以正常运行,可以避免其余功能集合出现瘫痪,进而可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a和图1b是本发明实施例提供的一种数据处理方法的场景示意图;
图2是本发明实施例提供的一种数据处理方法的流程示意图;
图3是本发明实施例提供的一种云操作系统的部署架构图;
图4是本发明实施例提供的一种云操作系统集装箱模块的结构示意图;
图5是本发明实施例提供的另一种数据处理方法的流程示意图;
图6a和图6b是本发明实施例提供的一种云操作系统的数据流示意图;
图7是本发明实施例提供的另一种数据处理方法的流程示意图;
图8是本发明实施例提供的一种垂直扩容方法的界面示意图;
图9是本发明实施例提供的一种云操作系统单平面流程示意图;
图10是本发明实施例提供的一种数据处理装置的结构示意图;
图11是本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1a,图1a是本发明实施例提供的一种数据处理方法的场景示意图。网络数据中心(Internet Data Center,IDC)可以包括多个功能集合,每个功能集合之间相互设备隔离及网络隔离,可以实现功能集合之间的功能管理的完全隔离,每个功能集合均可以包括多个基于容器隔离的功能块(也可以称之为集装箱,集装箱是基于容器技术将功能集合按照业务逻辑进行划分而形成的),每个功能块可以包括多个基于容器技术相互隔离的容器集群,在每个容器集群中,还可以包括多个容器,每个容器均具有业务服务。在IDC中,同一个功能集合可以进行同一类型的业务处理,不同的功能集合可以处理不同类型的业务服务,下面以IDC中的其中一个功能集合为例,如图1a和图1b所示,功能集合300a可以包括多个功能块,如功能块500a、功能块500b,每个功能块中可以包括多个容器集群,每个功能块均可以由多台服务器组成,通过多台服务器为每个功能块提供相应的系统资源。服务器110a可以向每个功能块发送模拟业务请求和实际业务请求。其中,IDC是电信等互联网服务提供商利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机房环境,为企业、政府提供服务器托管、租用以及相关增值等方面的全方位服务。其中,容器技术可以是指将运行所需软件要求配置的计算环境的关键要素打包进一个轻量级的虚拟机,可以减少软件应用的复杂性。
其中,上述功能块500a与功能块500b的具体结构如图1b中所示,功能块500a可以包括容器集群1、容器集群2,容器集群1可以包括容器1、容器2,容器集群2可以包括容器3、容器4;功能块500b可以包括容器集群3、容器集群4,容器集群3可以包括容器5、容器6,容器集群4可以包括容器7、容器8。需要说明的是,可以通过容器技术实现每个功能块之间业务处理的相对隔离,换言之,当某功能块接收到某一业务请求时,该功能块只能调用该功能块自身包含的容器集群对该业务请求进行业务处理,而无法调用其它功能块中的容器集群对该业务请求进行业务处理,即每个功能块只能对该功能块自身包含的容器集群进行管理和控制,同时,每个容器集群之间以及每个容器之间均可以通过容器技术进行相互隔离,即每个容器集群只能对自身包含的容器进行管理与控制,而无法调用其余容器集群中的容器资源,每个容器可以具有相同的业务服务,也可以具有不同的业务服务,在容器进行业务处理时,同样无法调用其余容器所包含的服务资源。服务器110a可以包括图1b中的云拨测900与第一负载均衡节点800,在功能集合300a中,云拨测900可以向该功能集合300a中的每个功能块发送模拟业务请求,即从用户请求环境向该功能集合300a中的每个功能块发送模拟业务请求,可以得到每个功能块分别对应的业务质量结果(即针对发送的模拟业务请求,每个功能块对模拟业务请求的业务处理结果),云拨测900可以将业务质量结果汇报给第一负载均衡节点800(也可以称之为一级负载均衡),第一负载均衡节点800可以根据上述业务质量结果来确定该功能集合300a中的故障功能块(针对模拟业务请求中的业务,处理失败次数超过阈值的功能块)和正常功能块(针对模拟业务请求中的业务,处理成功次数超过阈值的功能块),当第一负载均衡节点800接收到针对该功能集合300a的实际业务请求时,可以将该实际业务请求分发给上述正常功能块,若根据云拨测900汇报的业务质量结果可以确定功能块500a和功能块500b均为正常功能块,则在第一负载均衡节点800接收到实际业务请求时,将该实际业务请求分发给功能块500a和功能块500b,通过功能块500a和功能块500b对该实际业务请求进行业务处理;若根据云拨测900汇报的业务质量结果可以确定功能块500a为故障功能块,功能块500b为正常功能块,则在第一负载均衡节点800接收到实际业务请求时,可以将该实际业务请求分发给功能块500b,通过功能块500b对该实际业务请求进行业务处理。其中,第一负载均衡节点800可以提供安全快捷的流量分配服务,可以实现更高水平的应用程序容错能力,即可以为功能集合中的功能块自动分配流量;云拨测900是一种服务质量检测网络,可以对网站、域名、后台接口等进行周期性检测,用户可以通过查看可用率和延时随时间区间变化来分析站点质量情况,可以实时检测功能块的业务处理情况,以保证业务正常运行。
请参见图2,图2是本发明实施例提供的一种数据处理方法的流程示意图。如图2所示,该方法可以包括:
步骤S101,向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合均包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
具体的,可以根据业务类型从数据中心中选取一个功能集合作为目标功能集合,在该目标功能集合中,可以向该目标功能集合发送模拟业务请求,其中,该模拟业务请求是指模拟用户请求从用户环境中向该目标功能集合中的所有功能块进行拨测,即实时检测该目标功能集合中的每个功能块的业务处理情况,以保证业务稳定正常运行,上述模拟业务请求可以进行周期性发送,即按照一定的时间频率进行发送,该时间频率可以根据实际需要进行设置,这里不做限制。请一并参见图3,图3是本发明实施例提供的一种云操作系统的部署架构图。如图3所示,云操作系统100(即网络数据中心)可以包括四个相互设备隔离及网络隔离的平面(相当于上述功能集合),分别为带外管理平面300a、控制平面300b、数据平面300c、业务平面300d,每个平面均可以包括多个基于容器隔离的集装箱(相当于上述功能块),每个集装箱可以包括多个基于容器隔离的容器集群。其中,带外管理平面400a是指在IDC生产系统200中,专门规划出来的独立的较小带宽(10M-1000M)的网络平面,可以对IDC中的网络设备、服务器设备及电源系统进行集中化整合管理,在云IDC操作系统100中,带外管理平面300a可以部署独立的带外管理容器集群,只与云IDC生产系统200中的带外管理平面400a网络互通;控制平面400b是指在IDC生产系统200中,专门规划出来的独立的中等带宽(1000M*2)的网络平面,可以接收云IDC操作系统100的管理,如管理IaaS(基础设施即服务,可以提供虚拟计算、存储、数据库等基础设施服务)、PaaS(平台即服务,可以为开发人员提供构建应用程序的环境)、SaaS(软件即服务,可以提供基于云的应用)等服务,在云IDC操作系统100中,控制平面300b可以部署独立的控制平面容器集群,只与云IDC生产系统控制平面400b网络互通;数据平面400c是指在IDC生产系统200中,专门规划出来的独立的较高带宽(1000M*2-10000M*2)的网络平面,可以接收云IDC操作系统100中的数据交互,如检测数据上报,作业平台脚本操作、包发布管理等,在云IDC操作系统100中,数据平面300c可以部署独立的数据平面容器集群,只与云IDC生产系统200中的数据平面400c网络互通;业务平面400d是指在IDC生产系统200中,专门规划出来的独立的最高带宽(10000M*2-25000M*2)的网络平面,可以接收云IDC操作系统100的业务交互,如账号、权限、计量、计费、底层云操作API(Application Program Interface)等接口交互,在云IDC操作系统100中,业务平面300d可以部署独立的业务平面容器集群,只与云IDC生产系统200中的业务平面400d网络互通。需要理解的是,每个平面之间可以通过物理设备、虚拟机、网络端口等进行设备隔离及网络隔离。
其中,上述每个平面均可以包括多个集装箱,请一并参见图4,图4是本发明实施例提供的一种云操作系统集装箱模块的结构示意图。每个集装箱均可以包括多个容器集群,每个容器集群均由多个具有业务服务的容器构成,即每个集装箱具有相同的结构,以其中一个集装箱为例,集装箱的具体结构示意图如图4所示,对于集装箱500a,可以包括负载均衡层600a与容器集群700a,其中,容器集群700a可以包括接入服务层710a、产品服务层710b和公共服务层710c,支撑服务110是上述图3中整个云IDC操作系统100的公共服务,可以为云IDC操作系统100中的所有集装箱提供存储支撑,如容器10可以用于实现分布式数据库(Tencent Distributed MySQL,TDSQL)存储支撑,容器11可以用于实现Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)存储支撑,容器12可以用于实现消息队列(Message Queue,MQ)存储支撑等。其中,负载均衡层600a中可以包括内网负载均衡,可以接收一级负载均衡的请求,按照负载均衡策略将请求分发至容器集群700a的接入层Ingress(一个负载均衡应用,可以支持7层的负载均衡)服务;接入服务层710a可以通过Ingress反向代理,指向网页服务(云IDC操作系统前端页面)、表现层状态转换接口(RestFul API)服务、权限管理、控制台(云组件控制台),上述每个服务均可以通过独立的容器来完成,如容器1可以用于实现网页服务,容器2可以用于实现权限管理服务,容器3可以用于实现控制台服务等;公共服务层710c可以为接入服务层710a和云IDC生产系统200提供检测、网络时间协议(Network Time Protocol,NTP)、软件包管理器(Yellow dog Updater Modified,YUM)、域名系统(Domain Name System,DNS)、密码库、用户账户和权限管理服务,上述每个服务均可以通过独立的容器来完成,如容器4可以用于实现NTP服务,容器5可以用于实现YUM服务,容器6可以用于实现DNS服务等;产品服务层710b可以提供云IDC操作系统100的生产环境的云计算、云存储、虚拟网络、宿主机管理、负载均衡、带外管理等云产品组件操作系统服务,上述每个服务均可以通过独立的容器来完成,如容器7可以用于实现云计算服务,容器8可以用于实现云存储服务,容器9可以用于实现负载均衡服务等。
步骤S102,将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
具体的,在向目标功能集合发送了模拟业务请求后,可以将该目标功能集合中的所有功能块都确定为目标功能块,即该目标功能集合中的所有功能块均可以对上述模拟业务请求进行业务处理,进而可以获取每个目标功能块对上述模拟业务请求的业务响应结果,即针对上述模拟业务请求,每个目标功能块对模拟业务的处理结果,根据该处理结果,可以确定每个目标功能块分别对应的第一业务质量信息,其中,上述第一业务质量信息是指在每个目标功能块在处理上述模拟业务请求中的模拟业务时的处理成功率,即每个目标功能块的可用率。例如,在一个周期(如5分钟)内,总共向每个目标功能块发送了50次模拟业务请求,其中一个目标功能块针对上述50次模拟业务请求,成功处理40次,失败10次,则该目标功能块对应的第一业务质量信息可以为80%。
步骤S103,基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
具体的,当获取到上述每个目标功能块对应的第一业务质量信息后,可以根据每个目标功能块对应的第一业务质量信息,确定该目标功能块是否为正常功能块,例如第一业务质量信息超过80%,即目标功能块的可用率超过80%时,该目标功能块能够实现业务正常运行功能,可以将该第一业务质量信息对应的目标功能块确定为正常功能块。
步骤S104,当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。
具体的,当接收到用户针对上述目标功能集合的实际业务请求时,可以将该实际业务请求分发至上述确定的每一个正常功能块中,可以通过每个正常功能块中的容器集群对该实际业务请求进行业务处理。换言之,可以将接收到的实际业务请求按照负载均衡策略分发至每个正常功能块中,每个正常功能块负责处理该实际业务请求中的某一子业务,每个正常功能块之间互不影响,可以独立地进行业务处理。
在本发明实施例中,可以将数据中心分离为多个相互隔离的功能集合(即带外管理平面、控制平面、数据平面、业务平面),每个功能集合分别具有不同的系统管理功能,每个功能集合可以包括多个相互隔离的功能块,每个功能块可以包括多个相互隔离的容器集群,每个容器集群都可以由多个相互隔离且具有业务服务的容器构成;在每个功能集合中,可以向每个功能块发送模拟业务请求,获得每个功能块分别对应的业务质量信息,进而可以根据业务质量信息确定正常功能块,即根据业务质量信息判断各功能块是否可以成功处理业务,将可以成功处理业务的功能块确定为正常功能块,当接收到实际业务请求时,可以将该实际业务请求分发给正常功能块,通过上述正常功能块对实际业务请求进行处理。可见,在整个数据中心中,可以根据系统功能将云操作系统划分成多个功能集合,当多个功能集合中的任一功能集合出现故障时,其余功能集合仍然可以正常运行,可以避免其余功能集合出现瘫痪,进而可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本;通过周期性地检测功能块的业务处理情况,可以实现业务的稳定正常运行。
请参见图5,图5是本发明实施例提供的另一种数据处理方法的流程示意图。如图5所示,该方法可以包括:
步骤S201,获取所述目标功能集合中所述每个目标功能块分别对应的历史业务质量信息;
具体的,可以获取目标功能集合中每个目标功能块分别对应的历史业务质量信息,该历史业务质量信息可以是指每个目标功能块在当前时刻之前每次处理模拟业务请求时的业务质量信息。
步骤S202,根据所述历史业务质量信息确定所述每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数;
具体的,可以根据上述每个目标功能块分别对应的历史业务质量信息,确定每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数。其中,上述第一模拟频率参数是指向目标功能块发送模拟业务请求的时间频率参数,上述第一模拟流量参数是指向目标功能块发送的模拟业务请求的流量大小。若在目标功能集合的所有目标功能块中存在一个目标功能块对应的历史业务质量信息均低于40%,则该目标功能块对应的第一模拟频率参数可以比该目标功能块之前设置的频率参数更大一些(如之前的频率参数为5分钟,则第一模拟频率参数可以设置成10分钟),第一模拟流量参数可以比该目标功能块之前设置的流量参数更小一些。应当理解,每个正常功能块分别对应的第一模拟频率参数与第一模拟流量参数可以是一样的,也可以是不一样的。
步骤S203,根据所述第一模拟频率参数、所述第一模拟流量参数,生成所述每个目标功能块分别对应的模拟业务请求;
具体的,根据上述每个目标功能块分别对应的第一模拟频率参数与第一模拟流量参数,可以生成每个目标功能块分别对应的模拟业务请求。可以理解的是,当两个目标功能块分别对应的第一模拟频率参数、第一模拟流量参数不同时,上述两个目标功能块分别对应的模拟业务请求也会不同。
步骤S204,将所述目标功能集合中的所有功能块均确定为目标功能块,获取所述目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
其中,上述步骤S204的具体实现方式可以参见上述图2所对应实施例中对步骤S102的描述,这里不再进行赘述。
步骤S205,若存在所述目标功能块对应的第一业务质量信息小于第一负载均衡节点中的目标阈值,则将小于所述目标阈值的第一业务质量信息对应的功能块确定为故障功能块;
具体的,若在所有目标功能块分别对应的第一业务质量信息中,存在第一业务质量信息小于第一负载均衡节点中的目标阈值,则将该第一业务质量信息对应的目标功能块确定为故障功能块,表明该目标功能块出现了故障,无法实现业务稳定正常运行。上述第一负载均衡节点中预先设置有一个针对第一质量信息的目标阈值,通过将获取到的第一业务质量信息与该目标阈值作比较,可以确定上述目标功能块是否为故障功能块。例如,上述第一负载均衡节点中的目标阈值可以为70%,当第一业务质量信息小于70%时,可以将第一业务质量信息小于70%的所有目标功能块均确定为故障功能块。
步骤S206,将所述目标功能集合中除故障功能块之外的剩余目标功能块均确定为正常功能块;
具体的,在确定出了上述故障功能块后,可以将上述目标功能集合中剩下的目标功能块均确定为正常功能块,上述正常功能块可以实现业务稳定正常运行。换言之,可以将第一业务质量信息大于或等于目标阈值的目标功能块均确定为正常功能块,根据上述确定的正常功能块可以更新上述第一负载均衡节点中的第一负载均衡策略,即正常功能块的数量的变化会影响第一负载均衡节点中的第一负载均衡策略,如正常功能块的数量增加,分配给每个正常功能块的流量会变少,正常功能块的数量减少,分配给每个正常功能块的流量会变多。
请一并参见图6a,图6a是本发明实施例提供的一种确定正常集装箱的界面示意图。如图6a所示,目标平面(即目标功能集合)中包括集装箱500a、集装箱500b、集装箱500c(即目标功能块),云拨测900可以向上述3个集装箱进行拨测,可以获取上述三个集装箱分别对应的第一业务质量信息。换言之,云拨测可以执行上述步骤S201-步骤S204,获取每个集装箱分别对应的第一业务质量信息,并将上述第一业务质量信息汇报给一级负载均衡800(即第一负载均衡节点),一级负载均衡800通过将接收到的第一业务质量信息与目标阈值作比较,可以确定上述3个集装箱中故障集装箱(即故障功能块)和正常集装箱(即正常功能块),若集装箱500a对应的第一业务质量信息小于一级负载均衡800中的目标阈值,则将集装箱500a确定为故障集装箱;若集装箱500b、集装箱500c分别对应的第一业务质量信息均大于或等于一级负载均衡800中的目标阈值,则将集装箱500b、集装箱500c确定为正常功能块。
步骤S207,根据所述故障功能块对应的第一业务质量信息,确定所述故障功能块对应的第二模拟频率参数、第二模拟流量参数;
具体的,对于上述确定的故障功能块,可以根据故障功能块对应的第一业务质量信息,可以确定故障功能块对应的第二模拟频率参数与第二模拟流量参数。应当理解,相对于当前时刻而言,故障功能块对应的第一业务质量信息可以看成是故障功能块对应的历史业务质量信息,上述第二模拟频率参数与第二模拟流量参数的具体确定方式可以参见上述步骤S202中的描述(即第一模拟频率参数与第二模拟流量参数的确定方式),这里不再赘述。
步骤S208,基于所述第二模拟频率参数、所述第二模拟流量参数,获取所述故障功能块对应的第二业务质量信息;
具体的,根据上述故障功能块对应的第二模拟频率参数与第二模拟流量参数,可以生成故障功能块对应的模拟业务请求,将故障功能块对应的模拟业务请求发送至故障功能块,可以获得故障功能块针对该模拟业务请求的业务响应结果,基于上述业务响应结果可以确定上述故障功能块对应的第二业务质量信息。应当理解,若故障功能块为多个时,可以根据每个故障功能块分别对应的第二模拟频率参数与第二模拟流量参数,生成每个故障功能块分别对应的模拟业务请求,进而可以获取每个故障功能块分别对应的第二业务质量信息。
步骤S209,若存在所述故障功能块对应的第二业务质量信息大于或等于所述目标阈值,则将大于或等于所述目标阈值的第二业务质量信息对应的故障功能块恢复成正常功能块;
具体的,若在所有故障功能块分别对应的第二业务质量信息,存在第二业务质量信息大于或等于第一负载均衡节点中的目标阈值,则将该第二业务质量信息对应的故障功能块恢复成正常功能块。例如,上述第一负载均衡节点中的目标阈值可以为70%,当故障功能块对应的第二业务质量信息大于或等于70%时,可以将第二业务质量信息大于或等于70%的所有故障功能块恢复成正常功能块。根据恢复的正常功能块与其余正常功能块更新上述第一负载均衡节点中的第一负载均衡策略。
步骤S210,当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,上述步骤S210的具体实现方式可以参见上图2所对应实施例中对步骤S104的描述,这里不再进行赘述。
请一并参见图6b,是本发明实施例提供的一种云操作系统的数据流示意图。云拨测900可以用于拨测每个集装箱分别对应的二级负载均衡(如二级负载均衡600a对应于集装箱500a,二级负载均衡600b对应于集装箱500b,二级负载均衡600c对应于集装箱500c),即获取每个集装箱分别对应的第一业务质量信息,并将第一业务质量信息汇报给一级负载均衡800。换言之,云拨测900可以用于执行上述步骤S201-步骤S204。一级负载均衡800可以汇集每个集装箱中容器集群对应的IP(Internet Protocol),并将汇集的所有IP归拢到一个外部请求IP,统一入口进行流量统计和限流,根据云拨测900汇报的拨测状态(即第一业务质量信息),根据每个集装箱中的容器集群的规模吞吐量来设定每个集装箱对应的权重,将数据分发到每个二级负载均衡,当接收到的集装箱对应的第一业务质量信息达到一级负载均衡800中的预定阀值时,会剔除该第一业务质量信息对应的集装箱的数据转发;二级负载均衡可以汇集该二级负载均衡对应的集装箱中容器集群分别对应的IP,并将汇集到的所有IP归拢到一个外部请求IP,将数据分发到容器集群,如二级负载均衡600a可以汇集集装箱500a中的容器集群对应的IP,将汇集到的所有IP归拢到一个外部请求IP;容器集群(如容器集群700a,容器集群700b,容器集群700c)可以将容器作为虚拟机使用,不绑定任何开发语言架构,可以在POD(一种用于记录Perl编程语言的轻量级标记语言)内跑多个进程,通过Kubernetes(一种容器集群管理系统)来进行服务治理、健康检查和垂直扩容,使用Kubernetes的Ingress和DNS来做容器集群内的路由分发;容器集群和二级负载均衡可以作为一个功能集合集装箱,如容器集群700a与二级负载均衡600a可以作为集装箱500a,按管理功能可以划分为带外管理集群、业务集群、控制集群、数据集群,可按根据业务安全再细分功能集群;每个集装箱有预先规划的设计规模吞吐量,当系统负载超出当前设计吞吐量(容器集群垂直扩容极限已经达到)可水平扩缩容一个或多个集装箱,只需通知云拨测900和一级负载均衡就能动态完成。
可选的,云拨测900可以根据每个集装箱分别对应的第一业务质量信息,来确定集装箱是否为故障集装箱,也可以将每个集装箱分别对应的第一业务质量信息汇报给一级负载均衡800,由一级负载均衡800根据第一业务质量信息来确定集装箱是否为故障集装箱。
在本发明实施例中,可以将数据中心分离为多个相互隔离的功能集合(即带外管理平面、控制平面、数据平面、业务平面),每个功能集合分别具有不同的系统管理功能,每个功能集合可以包括多个相互隔离的功能块,每个功能块可以包括多个相互隔离的容器集群,每个容器集群都可以由多个相互隔离且具有业务服务的容器构成;在每个功能集合中,可以向每个功能块发送模拟业务请求,获得每个功能块分别对应的业务质量信息,进而可以根据业务质量信息确定正常功能块,即根据业务质量信息判断各功能块是否可以成功处理业务,将可以成功处理业务的功能块确定为正常功能块,当接收到实际业务请求时,可以将该实际业务请求分发给正常功能块,通过上述正常功能块对实际业务请求进行处理。可见,在整个数据中心中,可以根据系统功能将云操作系统划分成多个功能集合,当多个功能集合中的任一功能集合出现故障时,其余功能集合仍然可以正常运行,可以避免其余功能集合出现瘫痪,进而可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本;通过周期性地检测功能块的业务处理情况,可以实现业务的稳定正常运行。
请参见图7,图7是本发明实施例提供的另一种数据处理方法的流程示意图。如图7所示,该方法可以包括:
步骤S301,向数据中心中的目标功能集合发送模拟业务请求;
步骤S302,将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
步骤S303,基于所述每个目标功能块分别对应的第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
其中,上述步骤S301-步骤S303的具体实现方式可以参见上述图2所对应实施例中对步骤S101-步骤S103的描述,或者可以参见上述图5所对应实施例中对步骤S201-步骤S209的描述,这里不再进行赘述。
步骤S304,当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
具体的,在确定了目标功能集合中的正常功能块后,当接收到针对该目标功能集合的实际业务请求时,可以统计该实际业务请求对应的第一总流量信息,即完成该实际业务请求所需要的容量,以确保该实际业务请求可以正常运行。
步骤S305,若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;
具体的,若上述实际业务请求对应的第一总流量信息大于上述目标功能集合对应的第一容量阈值,则可以触发该目标功能集合增加功能块,上述第一容量阈值可以是指该目标功能集合中所有初始正常功能块的最大设计容量阈值之和,可以将增加的功能块确定为正常功能块,根据新增加的功能块与之前确定的正常功能块更新上述第一负载均衡节点中的第一负载均衡策略,即重新调整分配给每个正常功能块的流量。
步骤S306,若所述第一总流量信息小于所述目标功能集合对应的第二容量阈值,则触发所述目标功能集合将第一目标数量的正常功能块删除,根据删除后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;所述第一目标数量是基于所述第一总流量信息与所述第二容量阈值之间的关系所确定的;
具体的,若上述实际业务请求对应的第一总流量信息小于上述目标功能集合对应的第二容量阈值,则可以触发该目标功能集合删除第一目标数量的正常功能块,上述第二容量阈值可以是指该目标功能模块中初始正常功能块的最小设计容量之和,该第二容量阈值小于上述第一容量阈值,上述第一目标数量可以通过第二容量阈值与第一总流量信息之间的差值来确定,可以根据删除第一目标数量后的剩余正常功能块更新上述第一负载均衡节点中的第一负载均衡策略,即重新调整分配给每个正常功能块的流量。例如,实际业务请求对应的第一总流量信息为800M,该目标功能集合对应的第二容量阈值为1000M,每个正常功能块对应的最大设计容量为100M,则可以触发该目标功能集合删除2个正常功能块,根据删除后所有正常功能块更新上述第一负载均衡节点中的第一负载均衡策略。
步骤S307,根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
具体的,通过上述增加正常功能块或者删除正常功能块对上述第一负载均衡节点中的第一负载均衡策略进行更新后,可以根据更新后的第一负载均衡策略将上述实际业务请求分发至每个正常功能块分别对应的第二负载均衡节点,即将上述实际业务请求中的第一总流量信息分配给每个正常功能块分别对应的第二负载均衡节点。
步骤S308,根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
具体的,根据分发至每个第二负载均衡节点的实际业务请求,可以确定每个正常功能块分别分配的流量信息,进而可以确定分配给每个正常功能块中容器集群对应的第二总流量信息,上述第二总流量信息可以包括容器集群中每个容器的容器子流量,即分配至容器集群中每个容器的容器子流量之和。应当理解,上述容器集群中每个容器均具有业务服务功能,每个容器对应的容器子流量可以是相同的,也可以是不同的,对于分配至每个正常功能块的实际业务请求可以包含多个子业务,对于同一个子业务,可以通过某一个容器进行业务处理,也可以通过多个容器同时进行该子业务的业务处理。
步骤S309,若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则将大于所述第三容量阈值的容器子流量对应的容器确定为待扩容容器;
具体的,若在容器集群中存在容器对应的容器子流量大于上述容器集群对应的第三容量阈值,则可以将大于该第三容量阈值的容器子流量对应的容器确定为待扩容容器,上述第三容量阈值可以是指上述容器集群中每个容器对应的最大设计容量阈值,对于容器集群中的不同容器,每个容器对应的最大设计容量阈值可以是相同的,也可以是不同的。当每个容器对应的最大设计容量阈值不同时,即第三容量阈值并不是固定不变的,因此需要将每个容器对应的容器子流量分别与该容器对应的第三容器阈值(最大设计容量阈值)作比较,如容器1对应的容器子流量与容器1的最大设计容量阈值作比较,若容器1对应的容器子流量大于容器1的最大设计容量阈值,则可以将容器1确定为待扩容容器。
步骤S310,从所述待扩容容器所属的容器集群的空闲资源节点中,选择待扩容资源节点,并基于所述待扩容资源节点生成新增容器;所述新增容器与所述待扩容容器具有相同的业务服务;
具体的,在确定出待扩容容器后,可以从该待扩容容器所属的容器集群的空闲资源节点中,选择出与该待扩容容器具有相同数量节点的空闲资源节点数,并将选择出的空闲资源节点作为待扩容资源节点,基于上述待扩容资源节点生成新增容器,该新增容器与上述待扩容容器具有相同的业务服务。
其中,对于每个正常功能块中的容器集群都需要进行上述处理,确定出每个正常功能块中的待扩容容器,进而生成每个正常功能块中的待扩容容器。请一并参见图8,是本发明实施例提供的一种水平扩容方法的界面示意图。对于不同的容器集群,进行垂直扩容(即增加容器数量)的方式是相同的,以其中一个容器集群为例,具体的垂直扩容如图8所示,容器集群700a中可以包括资源节点1,资源节点2,…,资源节点8,其中资源节点1与资源节点2构成了容器720a,资源节点3和资源节点4构成了容器720b,资源节点5,…,资源节点8为该容器集群700a的空闲资源节点,若容器720a对应的容器子流量大于该容器720a对应的最大设计容量阈值,则可以将容器720a确定为待扩容容器,可以从该容器集群700a的空闲资源节点中选择待扩容资源节点,如资源节点5与资源节点6,可以将资源节点5与资源节点6构成容器720c,则容器720c即为新增容器,且容器720c与容器720a具有相同的业务服务,即可以处理相同的业务。
步骤S311,根据包含所述新增容器的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
具体的,根据容器集群中包含新增容器的所有容器对该容器集群所对应的第二负载均衡节点中的第二负载均衡策略。换言之,每个第二负载均衡节点中的第二负载均衡策略均通过该第二负载均衡节点对应的容器集群中的所有容器进行更新,即每个第二负载均衡节点中的第二负载均衡策略是分别进行更新的。如容器集群1中生成了新增容器1和新增容器2,则可以根据容器集群1中包含上述新增容器1和新增容器2的所有容器对该容器集群1对应的第二负载均衡节点1中的第二负载均衡策略进行更新。
步骤S312,若存在至少两个具有相同业务服务的容器对应的容器子流量小于所述容器集群对应的第四容量阈值,则从所述至少两个具有相同业务服务的容器中删除第二目标数量的容器,并根据删除后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;所述第二目标数量是基于所述容器子流量、所述第四容量阈值所确定的;
具体的,若在容器集群中存在至少两个具有相同业务服务的容器对应的容器子流量小于上述容器集群对应的第四容量阈值,则可以从上述多个具有相同业务服务的容器中删除第二目标数量的容器,上述第四容量阈值可以是指上述容器集群中每个容器对应的最小设计容量阈值,该第四容量阈值小于上述第三容量阈值,上述第二目标数量可以通过第四容量阈值与容器子流量之间的差值来确定,可以通过每个第二负载均衡节点对应的容器集群中的所有容器对该第二负载均衡节点中的第二负载均衡策略均进行更新,即重新调整分配给每个容器的流量。例如,三个具有相同业务服务的容器同时处理上述实际业务请求中的同一个子业务,若上述三个具有相同业务服务的容器对应的容器子流量只达到了容器本身设定的最小容量阈值的50%,则可以从上述三个具有相同业务服务的容器中删除一个容器。
步骤S313,根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
具体的,可以根据上述每个第二负载均衡节点中分别更新后的第二负载均衡策略,可以将分发至第二负载均衡节点中的实际业务请求再次分发至每个正常功能块包含的容器集群中,通过容器集群中的容器对上述实际业务请求进行业务处理。
请一并参见图9,图9是本发明实施例一种云操作系统单平面流程示意图。如图9所示,在数据中心的任一平面中,可以根据该平面中的后端集装箱的设计吞吐量(即集装箱的设计容量)提前设置一级负载均衡800的负载均衡策略(即第一负载均衡节点中的第一负载均衡策略);可以在云拨测900中提前准备好该平面的拨测业务,可以支持动态设定拨测集装箱模块、拨测阀值、拨测频率,模拟用户请求从用户请求环境直接向该平面集装箱模块进行拨测,即提前设置好针对该平面的模拟业务请求、以及发送模拟业务请求的频率等信息,云拨测900模拟用户发送该平面拨测业务请求到该平面集装箱模块,当云拨测900发现拨测失败的次数超过设定阀值时,可以更新一级负载均衡800的负载均衡策略,剔除拨测失败的次数超过设定阀值的故障集装箱模块;当云拨测900发现拨测成功的次数超过设定阀值时,可以更新一级负载均衡的负载均衡策略,将拨测成功的次数超过设定阀值的集装箱恢复成故障恢复集装箱模块;一级负载均衡800转发用户对该平面的实际业务请求,可以支持动态设置该平面请求阀值,并对该实际业务请求进行流量统计和频率限制等操作,一级负载均衡800一旦发现用户的实际业务请求超过当前平面的设计容量阀值,如果流量超过系统最大请求阀值会启动频率限制操作,并触发该平面新增集装箱模块弹性扩容,反之会缩容归还计算资源;一级负载均衡800可以通过负载均衡策略分发用户的实际业务请求到集装箱模块的二级负载均衡(如二级负载均衡600a,二级负载均衡600b,二级负载均衡600c);二级负载均衡可以支持动态设置该容器集群请求阀值,并对分发至集装箱模块的实际业务请求进行流量统计和频率限制等操作,容器集群一旦发现用户的实际业务请求超过当前容器集群的设计容量阀值,如果流量超过系统最大请求阀值会启动频率限制操作,并触发该集群新增容器模块弹性扩容,反之会缩容归还计算资源;二级负载均衡分发实际业务请求到容器内,容器集群通过Ingress反向代理和DNS路由分发请求到对应节点模块的Pod节点服务上,Pod节点的负载均衡、健康状态检测、垂直扩缩容机制由容器集群管控来提供,例如,容器集群700a中的所有Pod节点的负载均衡、健康状态检测、垂直扩缩容机制均由该容器集群700a来提供。
在本发明实施例中,可以将数据中心分离为多个相互隔离的功能集合(即带外管理平面、控制平面、数据平面、业务平面),每个功能集合分别具有不同的系统管理功能,每个功能集合可以包括多个相互隔离的功能块,每个功能块可以包括多个相互隔离的容器集群,每个容器集群都可以由多个相互隔离且具有业务服务的容器构成;在每个功能集合中,可以向每个功能块发送模拟业务请求,获得每个功能块分别对应的业务质量信息,进而可以根据业务质量信息确定正常功能块,即根据业务质量信息判断各功能块是否可以成功处理业务,将可以成功处理业务的功能块确定为正常功能块,当接收到实际业务请求时,可以将该实际业务请求分发给正常功能块,通过上述正常功能块对实际业务请求进行处理。可见,在整个数据中心中,可以根据系统功能将云操作系统划分成多个功能集合,当多个功能集合中的任一功能集合出现故障时,其余功能集合仍然可以正常运行,可以避免其余功能集合出现瘫痪,进而可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本;通过周期性地检测功能块的业务处理情况,可以实现业务的稳定正常运行;可以采用容器技术将功能集合分为多个相互隔离的功能块,可以支持垂直扩容和水平扩容,进而可以提高云操作系统的业务处理效率。
请参见图10,图10是本发明实施例提供的一种数据处理装置的结构示意图。如图10所示,该数据处理装置1可以包括:发送模块10,获取模块20,确定模块30,分发模块40;
发送模块10,用于向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合均包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个目标功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
获取模块20,用于将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
确定模块30,用于基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
分发模块40,用于当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,发送模块10,获取模块20,确定模块30,分发模块40的具体功能实现方式可以参见上述图2所对应实施例中的步骤S101-步骤S104,这里不再进行赘述。
请一并参见图10,该数据处理装置1还可以包括:恢复模块50,功能块删除模块60,容器删除模块70;
恢复模块50,用于获取所述故障功能块对应的第二业务质量信息,并根据所述第二业务质量信息来确定是否恢复所述故障功能块;
功能块删除模块60,用于若所述第一总流量信息小于所述目标功能集合对应的第二容量阈值,则触发所述目标功能集合将第一目标数量的正常功能块删除,根据删除后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;所述第一目标数量是基于所述第一总流量信息与所述第二容量阈值之间的关系所确定的;
容器删除模块70,用于若存在至少两个具有相同业务服务的容器对应的容器子流量小于所述容器集群对应的第四容量阈值,则从所述至少两个具有相同业务服务的容器中删除第二目标数量的容器,并根据删除后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;所述第二目标数量是基于所述容器子流量、所述第四容量阈值所确定的.
其中,恢复模块50的具体功能实现方式可以参见上述图5所对应实施例中的步骤S207-步骤S209,功能块删除模块60,容器删除模块70的具体功能实现方式可以参见上述图7所对应实施例中的步骤S306、步骤S312,这里不再进行赘述。
请一并参见图10,发送模块10可以包括:第一获取单元101,第一参数确定单元102,模拟请求生成单元103;
第一获取单元101,用于获取所述目标功能集合中所述每个目标功能块分别对应的历史业务质量信息;
第一参数确定单元102,用于根据所述历史业务质量信息确定所述每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数;
模拟请求生成单元103,用于根据所述第一模拟频率参数、所述第一模拟流量参数,生成所述每个目标功能块分别对应的模拟业务请求。
其中,第一获取单元101,第一参数确定单元102,模拟请求生成单元103的具体功能实现方式可以参见上述图5所对应实施例中的步骤S201-步骤S203,这里不再进行赘述。
请一并参见图10,确定模块30可以包括:第一比较单元301,功能块确定单元302;
第一比较单元301,用于若存在所述目标功能块对应的第一业务质量信息小于第一负载均衡节点中的目标阈值,则将小于所述目标阈值的第一业务质量信息对应的功能块确定为故障功能块;
功能块确定单元302,用于将所述目标功能集合中除故障功能块之外的剩余目标功能块均确定为正常功能块。
其中,第一比较单元301,功能块确定单元302的具体功能实现方式可以参见上述图5所对应实施例中的步骤S205-步骤S206,这里不再进行赘述。
请一并参见图10,分发模块40可以包括:统计单元401,功能块增加单元402,实际请求分发单元403;
统计单元401,用于当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
功能块增加单元402,用于若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;
实际请求分发单元403,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至每个正常功能块,通过所述每个正常功能块中的容器集群对所述实际业务请求进行业务处理。
其中,统计单元401,功能块增加单元402,实际请求分发单元403的具体功能实现方式可以参见上述图7所对应实施例中的步骤S304-步骤S305、步骤S307-步骤S311以及步骤S313,这里不再进行赘述。
请一并参见图10,恢复模块50可以包括:第二参数确定单元501,第二获取单元502,第二比较单元503;
第二参数确定单元501,用于根据所述故障功能块对应的第一业务质量信息,确定所述故障功能块对应的第二模拟频率参数、第二模拟流量参数;
第二获取单元502,用于基于所述第二模拟频率参数、所述第二模拟流量参数,获取所述故障功能块对应的第二业务质量信息;
第二比较单元503,用于若存在所述故障功能块对应的第二业务质量信息大于或等于所述目标阈值,则将大于或等于所述目标阈值的第二业务质量信息对应的故障功能块恢复成正常功能块。
其中,第二参数确定单元501,第二获取单元502,第二比较单元503的具体功能实现方式可以参见上述图5所对应实施例中的步骤S207-步骤S209,这里不再进行赘述。
请一并参见图10,实际请求分发单元403可以包括:第一分发子单元4031,流量确定子单元4032,容器增加子单元4033,第二分发子单元4034;
第一分发子单元4031,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
流量确定子单元4032,用于根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
容器增加子单元4033,用于若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,并根据增加后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
第二分发子单元4034,用于根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
其中,第一分发子单元4031,流量确定子单元4032,容器增加子单元4033,第二分发子单元4034的具体功能实现方式可以参见上述图7所对应实施例中的步骤S307-步骤S211以及步骤S313,这里不再进行赘述。
请一并参见图10,容器增加子单元4033可以包括:待扩容容器确定子单元40331,新增容器生成子单元40332;
待扩容容器确定子单元40331,用于若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则将大于所述第三容量阈值的容器子流量对应的容器确定为待扩容容器;
新增容器生成子单元40332,用于从所述待扩容容器所属的容器集群的空闲资源节点中,选择待扩容资源节点,并基于所述待扩容资源节点生成新增容器;所述新增容器与所述待扩容容器具有相同的业务服务。
其中,待扩容容器确定子单元40331,新增容器生成子单元40332的具体功能实现方式可以参见上述图7所对应实施例中的步骤309-步骤S310,这里不再进行赘述。
在本发明实施例中,可以将数据中心分离为多个相互隔离的功能集合(即带外管理平面、控制平面、数据平面、业务平面),每个功能集合分别具有不同的系统管理功能,每个功能集合可以包括多个相互隔离的功能块,每个功能块可以包括多个相互隔离的容器集群,每个容器集群都可以由多个相互隔离且具有业务服务的容器构成;在每个功能集合中,可以向每个功能块发送模拟业务请求,获得每个功能块分别对应的业务质量信息,进而可以根据业务质量信息确定正常功能块,即根据业务质量信息判断各功能块是否可以成功处理业务,将可以成功处理业务的功能块确定为正常功能块,当接收到实际业务请求时,可以将该实际业务请求分发给正常功能块,通过上述正常功能块对实际业务请求进行处理。可见,在整个数据中心中,可以根据系统功能将云操作系统划分成多个功能集合,当多个功能集合中的任一功能集合出现故障时,其余功能集合仍然可以正常运行,可以避免其余功能集合出现瘫痪,进而可以提高云操作系统的使用效率,还可以降低云操作系统的运维成本;通过周期性地检测功能块的业务处理情况,可以实现业务的稳定正常运行;可以采用容器技术将功能集合分为多个相互隔离的功能块,可以支持垂直扩容和水平扩容,进而可以提高云操作系统的业务处理效率。
请参见图11,图11是本发明实施例提供的另一种数据处理装置的结构示意图。如图11所示,该数据处理装置1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述数据处理装置1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图11所示的数据处理装置1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现上述图2、图5、图7任一个所对应实施例中对所述数据处理方法的描述,在此不再赘述。
应当理解,本发明实施例中所描述的数据处理装置1000可执行前文图2、图5、图7任一个所对应实施例中对所述数据处理方法的描述,也可执行前文图10所对应实施例中对所述数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机可读存储介质,且所述计算机可读存储介质中存储有前文提及的数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2、图5、图7任一个所对应实施例中对所述数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储存储器(Read-Only Memory,ROM)或随机存储存储器(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新第一负载均衡节点中的第一负载均衡策略;
根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,并根据增加后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
2.根据权利要求1所述的方法,其特征在于,所述向数据中心中的目标功能集合发送模拟业务请求,包括:
获取所述目标功能集合中所述每个目标功能块分别对应的历史业务质量信息;
根据所述历史业务质量信息确定所述每个目标功能块分别对应的第一模拟频率参数和第一模拟流量参数;
根据所述第一模拟频率参数、所述第一模拟流量参数,生成所述每个目标功能块分别对应的模拟业务请求。
3.根据权利要求1所述的方法,其特征在于,所述基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块,包括:
若存在所述目标功能块对应的第一业务质量信息小于第一负载均衡节点中的目标阈值,则将小于所述目标阈值的第一业务质量信息对应的功能块确定为故障功能块;
将所述目标功能集合中除故障功能块之外的剩余目标功能块均确定为正常功能块。
4.根据权利要求3所述的方法,其特征在于,还包括:
根据所述故障功能块对应的第一业务质量信息,确定所述故障功能块对应的第二模拟频率参数、第二模拟流量参数;
基于所述第二模拟频率参数、所述第二模拟流量参数,获取所述故障功能块对应的第二业务质量信息;
若存在所述故障功能块对应的第二业务质量信息大于或等于所述目标阈值,则将大于或等于所述目标阈值的第二业务质量信息对应的故障功能块恢复成正常功能块。
5.根据权利要求1所述的方法,其特征在于,还包括:
若所述第一总流量信息小于所述目标功能集合对应的第二容量阈值,则触发所述目标功能集合将第一目标数量的正常功能块删除,根据删除后的所有正常功能块更新所述第一负载均衡节点中的第一负载均衡策略;所述第一目标数量是基于所述第一总流量信息与所述第二容量阈值之间的关系所确定的。
6.根据权利要求1所述的方法,其特征在于,还包括:
若存在至少两个具有相同业务服务的容器对应的容器子流量小于所述容器集群对应的第四容量阈值,则从所述至少两个具有相同业务服务的容器中删除第二目标数量的容器,并根据删除后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;所述第二目标数量是基于所述容器子流量、所述第四容量阈值所确定的。
7.根据权利要求1所述的方法,其特征在于,所述若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,包括:
若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则将大于所述第三容量阈值的容器子流量对应的容器确定为待扩容容器;
从所述待扩容容器所属的容器集群的空闲资源节点中,选择待扩容资源节点,并基于所述待扩容资源节点生成新增容器;所述新增容器与所述待扩容容器具有相同的业务服务。
8.根据权利要求1所述的方法,其特征在于,所述目标功能集合为带外管理功能集合;
所述带外管理功能集合用于对所述数据中心中的网络设备、服务器设备以及电源系统进行集中化整合管理。
9.一种数据处理装置,其特征在于,包括:
发送模块,用于向数据中心中的目标功能集合发送模拟业务请求;所述数据中心包括至少一个功能集合,每个功能集合之间相互设备隔离及网络隔离,所述每个功能集合均包括至少一个基于容器隔离的功能块,所述每个功能集合分别具有不同的系统管理功能;每个目标功能块包括至少一个基于容器隔离的容器集群,所述容器集群是由至少一个具有业务服务的容器构成;
获取模块,用于将所述目标功能集合中的所有功能块均确定为目标功能块,获取多个目标功能块针对所述模拟业务请求的业务响应结果,基于所述业务响应结果确定每个目标功能块分别对应的第一业务质量信息;
确定模块,用于基于所述每个目标功能块分别对应的所述第一业务质量信息在所述目标功能集合中确定至少一个正常功能块;
分发模块,用于当接收到针对所述目标功能集合的实际业务请求时,将所述实际业务请求分发至所述至少一个正常功能块,通过所述至少一个正常功能块中的容器集群对所述实际业务请求进行业务处理;
其中,所述分发模块包括:
统计单元,用于当接收到针对所述目标功能集合的实际业务请求时,统计所述实际业务请求对应的第一总流量信息;
功能块增加单元,用于若所述第一总流量信息大于所述目标功能集合对应的第一容量阈值,则触发所述目标功能集合增加功能块,将增加的功能块确定为正常功能块,根据新增后的所有正常功能块更新第一负载均衡节点中的第一负载均衡策略;
实际请求分发单元,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至每个正常功能块,通过所述每个正常功能块中的容器集群对所述实际业务请求进行业务处理;
所述实际请求分发单元包括:
第一分发子单元,用于根据所述第一负载均衡节点中更新后的第一负载均衡策略,将所述实际业务请求分发至与所述每个正常功能块分别对应的第二负载均衡节点;
流量确定子单元,用于根据分发至每个第二负载均衡节点的实际业务请求,分别确定所述每个正常功能块中容器集群对应的第二总流量信息;所述第二总流量信息包括所述容器集群中每个容器的容器子流量;
容器增加子单元,用于若存在容器对应的容器子流量大于所述容器集群对应的第三容量阈值,则触发大于所述第三容量阈值的容器子流量对应的容器所属的容器集群增加容器,并根据增加后的所有容器分别更新所述每个第二负载均衡节点中的第二负载均衡策略;
第二分发子单元,用于根据所述每个第二负载均衡节点中分别更新后的第二负载均衡策略,将所述实际业务请求分发至所述每个目标功能块分别对应的容器集群,通过所述容器集群中的容器进行业务处理。
10.一种数据处理装置,其特征在于,还包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-8任一项所述的方法。
CN201910217195.8A 2019-03-21 2019-03-21 一种数据处理方法及装置 Active CN110209492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910217195.8A CN110209492B (zh) 2019-03-21 2019-03-21 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910217195.8A CN110209492B (zh) 2019-03-21 2019-03-21 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110209492A CN110209492A (zh) 2019-09-06
CN110209492B true CN110209492B (zh) 2023-09-05

Family

ID=67785129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910217195.8A Active CN110209492B (zh) 2019-03-21 2019-03-21 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110209492B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782122B (zh) * 2019-09-16 2023-11-24 腾讯大地通途(北京)科技有限公司 数据处理方法、装置及电子设备
CN113014608B (zh) * 2019-12-19 2022-07-26 深圳云天励飞技术有限公司 一种流量分发控制方法、装置、电子设备及存储介质
CN111124682B (zh) * 2019-12-24 2021-01-08 珠海大横琴科技发展有限公司 一种弹性资源分配方法、装置、电子设备和存储介质
CN111273999B (zh) * 2020-01-20 2021-07-20 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN111552748A (zh) * 2020-05-08 2020-08-18 深圳知路科技有限公司 数据处理方法、装置和系统
CN111796858B (zh) * 2020-07-07 2024-03-22 金蝶软件(中国)有限公司 Kubernetes集群内部应用程序访问检测的方法、系统及相关设备
CN112463366B (zh) * 2020-11-19 2022-12-06 上海交通大学 面向云原生的微服务自动扩缩容和自动熔断方法及系统
CN114579294A (zh) * 2020-12-02 2022-06-03 上海交通大学 云原生环境下支持服务负载激增预测的容器弹性伸缩系统
CN113807918A (zh) * 2021-09-14 2021-12-17 上海佳应科技有限公司 电子商务云服务平台
CN114024971B (zh) * 2021-10-21 2024-02-13 郑州云海信息技术有限公司 业务数据处理方法、Kubernetes集群及介质
CN115022403B (zh) * 2022-07-07 2022-12-13 中航信移动科技有限公司 一种用于多渠道服务代理的信息处理系统
CN116112441A (zh) * 2023-02-01 2023-05-12 北京百度网讯科技有限公司 服务请求的限流方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899518A (zh) * 2017-02-27 2017-06-27 腾讯科技(深圳)有限公司 一种基于互联网数据中心的资源处理方法以及装置
CN107291551A (zh) * 2017-06-22 2017-10-24 北京奇艺世纪科技有限公司 一种容器的负载均衡调度方法和装置
CN107645508A (zh) * 2017-10-16 2018-01-30 深圳市买买提乐购金融服务有限公司 一种数据处理系统、方法、客户端及服务器
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
WO2018095138A1 (zh) * 2016-11-25 2018-05-31 华为技术有限公司 容器的部署方法、服务间的通信方法及相关装置
CN108399100A (zh) * 2017-02-06 2018-08-14 中国移动通信集团公司 一种容器资源的调整方法及装置
CN108628694A (zh) * 2017-03-20 2018-10-09 腾讯科技(深圳)有限公司 一种基于可编程硬件的数据处理方法以及装置
CN108737215A (zh) * 2018-05-29 2018-11-02 郑州云海信息技术有限公司 一种云数据中心Kubernetes集群容器健康检查的方法和装置
CN108737548A (zh) * 2018-05-24 2018-11-02 南京邮电大学 分布式web微服务容器集群架构系统及其实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346143B2 (en) * 2017-06-21 2019-07-09 Ca, Inc. Systems and methods for transforming service definitions in a multi-service containerized application

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819802A (zh) * 2016-09-13 2018-03-20 华为软件技术有限公司 一种在节点集群中的镜像获取方法、节点设备及服务器
WO2018095138A1 (zh) * 2016-11-25 2018-05-31 华为技术有限公司 容器的部署方法、服务间的通信方法及相关装置
CN108399100A (zh) * 2017-02-06 2018-08-14 中国移动通信集团公司 一种容器资源的调整方法及装置
CN106899518A (zh) * 2017-02-27 2017-06-27 腾讯科技(深圳)有限公司 一种基于互联网数据中心的资源处理方法以及装置
CN108628694A (zh) * 2017-03-20 2018-10-09 腾讯科技(深圳)有限公司 一种基于可编程硬件的数据处理方法以及装置
CN107291551A (zh) * 2017-06-22 2017-10-24 北京奇艺世纪科技有限公司 一种容器的负载均衡调度方法和装置
CN107645508A (zh) * 2017-10-16 2018-01-30 深圳市买买提乐购金融服务有限公司 一种数据处理系统、方法、客户端及服务器
CN108737548A (zh) * 2018-05-24 2018-11-02 南京邮电大学 分布式web微服务容器集群架构系统及其实现方法
CN108737215A (zh) * 2018-05-29 2018-11-02 郑州云海信息技术有限公司 一种云数据中心Kubernetes集群容器健康检查的方法和装置

Also Published As

Publication number Publication date
CN110209492A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110209492B (zh) 一种数据处理方法及装置
CN110401696B (zh) 一种去中心化处理的方法、通信代理、主机以及存储介质
CN107872402B (zh) 全局流量调度的方法、装置及电子设备
CN112000448A (zh) 基于微服务架构的应用管理方法
CN108712464A (zh) 一种面向集群微服务高可用的实现方法
JP5914245B2 (ja) 多階層の各ノードを考慮した負荷分散方法
CN103888277B (zh) 一种网关容灾备份方法、装置和系统
CN113489691B (zh) 网络访问方法、装置、计算机可读介质及电子设备
US9152441B2 (en) Systems and methods involving virtual machine host isolation over a network via a federated downstream cluster
US11032358B2 (en) Monitoring web applications including microservices
CN106911648B (zh) 一种环境隔离方法及设备
CN113010313A (zh) 一种负载均衡方法、装置、电子设备及计算机存储介质
CN110289999A (zh) 一种数据处理方法、系统及装置
CN115623000B (zh) 一种数联网上数据高效分发方法与装置
CN113778615A (zh) 一种快速稳定的网络靶场虚拟机构建系统
CN108737543B (zh) 一种分布式物联网中间件及工作方法
CN107426012B (zh) 一种基于超融合架构的故障恢复方法及其装置
CN116781564B (zh) 一种容器云平台的网络检测方法、系统、介质和电子设备
Dorsch et al. Enabling hard service guarantees in Software-Defined Smart Grid infrastructures
CN108366087B (zh) 一种基于分布式文件系统的iscsi服务实现方法和装置
CN113326100A (zh) 一种集群管理方法、装置、设备及计算机存储介质
JP2013206112A (ja) 計算機システム及びサブシステム管理方法
IL268670A (en) Automatic detection of server clusters
CN113890850B (zh) 路由容灾系统及方法
CN113347066B (zh) 请求处理方法、Ambari架构、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant