CN112711465A - 基于云平台的数据处理方法、装置、电子设备及存储介质 - Google Patents

基于云平台的数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112711465A
CN112711465A CN202110306448.6A CN202110306448A CN112711465A CN 112711465 A CN112711465 A CN 112711465A CN 202110306448 A CN202110306448 A CN 202110306448A CN 112711465 A CN112711465 A CN 112711465A
Authority
CN
China
Prior art keywords
virtual machine
target
data
load balancing
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110306448.6A
Other languages
English (en)
Other versions
CN112711465B (zh
Inventor
林智鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110306448.6A priority Critical patent/CN112711465B/zh
Publication of CN112711465A publication Critical patent/CN112711465A/zh
Application granted granted Critical
Publication of CN112711465B publication Critical patent/CN112711465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances

Abstract

本申请公开了一种基于云平台的数据处理方法、装置、电子设备及存储介质,涉及云计算技术领域,该方法包括:获取目标云所接入虚拟机集群的数据处理状态;根据数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,目标虚拟机集群中包括至少一个处理数据的目标虚拟机;为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;将统一负载均衡策略按照预定规则共享至每个目标虚拟机;通过每个目标虚拟机,根据统一负载均衡策略,对与每个目标虚拟机所匹配的数据进行同源同宿处理。本申请在基于云平台进行数据处理过程中有效应对流量突变的情况的同时降低应对成本,且提升基于云平台进行数据处理的可靠性。

Description

基于云平台的数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及云计算技术领域,具体涉及一种基于云平台的数据处理方法、装置、电子设备及存储介质。
背景技术
随着云计算等大数据技术的发展,云平台中通常需要基于网络功能虚拟化(NFV,Network Functions Virtualization)产品进行云端数据处理,网络功能虚拟化产品即承载网络功能虚拟化架构的虚拟机。
目前,一方面,云上为了实现虚拟机高可用,主要提供虚拟机的主备模式工作方案,这种方式同时只有一台虚拟机在工作,不方便通过调整同时工作的虚拟机的数量进行水平扩缩容,特别对于数据的流量突增的情况,只能够通过增加虚拟机本身的配置(如CPU、内存等)进行垂直扩容,而且需要对同时主虚拟机和备虚拟机同时增加配置扩容,导致成本极高。另一方面,由于云上数据分配随机性,难以通过调整同时工作的虚拟机的数量进行平行扩缩容,因为不能保证同一会话的数据分配到相同的虚拟机来实现同源同宿式处理,难以保证数据处理的可靠性。
发明内容
本申请实施例提供一种基于云平台的数据处理方法及相关装置,旨在基于云平台进行数据处理过程中有效应对流量突变的情况的同时降低应对成本,且提升基于云平台进行数据处理的可靠性。
为解决上述技术问题,本申请实施例提供以下技术方案:
根据本申请的一个实施例,一种基于云平台的数据处理方法,其包括:获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;为所述目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
根据本申请的一个实施例,一种基于云平台的数据处理装置,其包括:获取模块,用于获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;调整模块,用于根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;分配模块,用于为所述目标虚拟机集群中的所有所述目标虚拟机分配统一负载均衡策略;共享模块,用于将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;处理模块,用于通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
在本申请的一些实施例中,所述调整模块包括:策略确定单元,用于根据所述数据处理状态,确定所述虚拟机集群的平行扩缩容策略;数量调整单元,用于根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群。
在本申请的一些实施例中,所述平行扩缩容策略包括平行扩容策略,所述平行扩容策略用于指示虚拟机的增加数量;所述数量调整单元,包括:扩容子单元,用于获取所述增加数量个扩容虚拟机;扩容组合子单元,用于将所有所述扩容虚拟机及所述虚拟机集群中所有预设虚拟机的组合,作为所述目标虚拟机集群,其中,每个所述扩容虚拟机及所述虚拟机集群中每个预设虚拟机对应一个所述目标虚拟机。
在本申请的一些实施例中,所述共享模块包括:第一同步单元,用于将所述统一负载均衡策略同步至所述扩容虚拟机,得到待接入虚拟机;第二同步单元,用于将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述第二同步单元,包括:第一数据获取子单元,用于获取所述目标云中分配给所述扩容虚拟机的待处理数据;第一同步子单元,用于将所述扩容虚拟机的待处理数据同步至所述待接入虚拟机后,将所述待接入虚拟机接入所述目标云;第二数据获取子单元,用于在所述待接入虚拟机成功接入所述目标云后,获取所述目标云中分配给所述虚拟机集群中每个预设虚拟机的待处理数据;第二同步子单元,用于将所述统一负载均衡策略及所述虚拟机集群中每个预设虚拟机的待处理数据,同步至所述虚拟机集群中每个预设虚拟机。
在本申请的一些实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;所述第一同步子单元,用于将所述待接入虚拟机接入所述目标云的等价路由,以将所述待接入虚拟机接入所述目标云。
在本申请的一些实施例中,所述平行扩缩容策略包括平行缩容策略,所述平行缩容策略用于指示虚拟机的减少数量;所述数量调整单元,包括:缩容子单元,用于在所述虚拟机集群中,确定所述减少数量个待剔除虚拟机;缩容组合子单元,用于将所述虚拟机集群中除所述待剔除虚拟机之外的其它虚拟机的组合,确定为所述目标虚拟机集群,其中,每个所述其它虚拟机对应一个所述目标虚拟机。
在本申请的一些实施例中,所述共享模块,包括:第三同步单元,用于将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机;第四同步单元,用于在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;所述第三同步单元,包括:第三数据获取子单元,用于获取所述待剔除虚拟机中正在处理的数据;第三同步子单元,用于将所述统一负载均衡策略和所述正在处理的数据共享至所述待剔除虚拟机及所述其它虚拟机后,断开所述待剔除虚拟机与所述等价路由的连接,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机,所述未处理数据为所述待剔除虚拟机中残留的数据;所述第四同步单元,包括:资源释放子单元,用于在所述未处理数据转发完成后,释放所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述处理模块,包括:信息提取单元,用于通过每个所述目标虚拟机接收所述目标云中分配的待处理数据,从接收到的待处理数据中提取数据标识信息;策略匹配单元,用于将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机;传输处理单元,用于每个所述目标虚拟机将接收到的待处理数据,传输给所述接收到的待处理数据所匹配的目标虚拟机进行同源同宿处理。
在本申请的一些实施例中,每个所述目标虚拟机中同步了相同的哈希策略,所述信息提取单元,包括:哈希处理子单元,用于每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,利用所述哈希策略对接收到的待处理数据进行哈希处理,得到哈希值;信息确定子单元,用于将所述哈希值作为提取到的数据标识信息。
在本申请的一些实施例中,所述策略匹配单元,包括:编号获取子单元,用于利用所述统一负载均衡策略对所述数据标识信息及所有所述目标虚拟机的个数进行取余计算,得到虚拟机编号;虚拟机匹配单元,用于确定所述虚拟机编号所对应的目标虚拟机;虚拟机确定单元,用于将所述虚拟机编号所对应的目标虚拟机,作为所述接收到的待处理数据所匹配的目标虚拟机。
根据本申请的另一实施例,一种电子设备可以包括:存储器,存储有计算机可读指令;处理器,读取存储器存储的计算机可读指令,以执行本申请实施例所述的方法。
根据本申请的另一实施例,一种存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行本申请实施例所述的方法。
根据本申请的另一实施例,一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。
本申请实施例通过获取目标云所接入虚拟机集群的数据处理状态,该虚拟机集群中包括至少一个预设虚拟机;根据数据处理状态对虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,目标虚拟机集群中包括至少一个处理数据的目标虚拟机;为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;将统一负载均衡策略按照预定规则共享至每个目标虚拟机;通过每个目标虚拟机,根据统一负载均衡策略,对目标云中与每个目标虚拟机所匹配的数据进行同源同宿处理。
以这种方式,根据数据处理状态对目标云所接入的虚拟机集群中预设虚拟机进行平行扩缩容处理,可以对处理数据的虚拟机进行平行扩容处理(即增加虚拟机的数量)或者平行缩容处理(即减少虚拟机的数量),构建目标虚拟机集群,应对流量突变的情况,进一步的,对于目标虚拟机集群,为其中所有目标虚拟机分配统一负载均衡策略,并将该统一负载均衡策略按照预定规则共享至每个目标虚拟机,可以使得每个目标虚拟机根据统一负载均衡策略获取与自身所匹配的数据进行同源同宿处理,进而,所有目标虚拟机都成为负载均衡器和数据处理器,可以共同同源同宿式处理云端数据,使得平行扩缩容得以实现;有效应对流量突变的情况的同时降低应对成本,且有效提升云端数据处理的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本申请实施例的系统的示意图。
图2示出了可以应用本申请实施例的另一个系统的示意图。
图3示出了根据本申请的一个实施例的基于云平台的数据处理方法的流程图。
图4示出了根据图3实施例的基于云平台的数据处理方法的流程图。
图5示出应用本申请实施例的一种场景下基于云平台的数据处理流程图。
图6示出了图5所示流程中虚拟机处理数据的流程图。
图7示出了根据本申请的一个实施例的基于云平台的数据处理装置的框图。
图8示出了根据本申请的一个实施例的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
图1示出了可以应用本申请实施例的系统100的示意图。如图1所示系统100可以包括云服务器101、终端102,云服务器101上可以构建目标云对应的专属云上网络空间,即虚拟私有云VPC(Virtual Private Cloud),虚拟私有云可以通过等价路由ECMP(Equal-CostMultipathRouting)连接虚拟机,虚拟机上承载网络功能虚拟化NFV(NetworkFunctions Virtualization)架构。
云服务器101可以是提供云服务、数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。云服务器101可以执行后台任务。
一种实施方式中,云服务器101可以提供人工智能云服务,例如提供大型多人在线角色扮演游戏(MMORPG)的人工智能云服务。所谓人工智能云服务,一般也被称作是AIaaS(AI as a Service,中文为“AI即服务”)。这是目前主流的一种人工智能平台中的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城:所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务,例如,云服务器101可以提供基于人工智能的数据处理。
虚拟私有云VPC(Virtual Private Cloud)是基于云构建的专属云上网络空间,为云上的资源提供网络服务,不同私有网络间完全逻辑隔离。作为云上的专属网络空间,可以通过软件定义网络的方式管理您的私有网络VPC,实现IP 地址、子网、路由表、网络 ACL 、流日志等功能的配置管理。
网络功能虚拟化NFV(Network Functions Virtualization)通过使用x86等通用性硬件以及虚拟化技术,来承载很多功能的软件处理。从而降低网络昂贵的设备成本。可以通过软硬件解耦及功能抽象,使网络设备功能不再依赖于专用硬件,资源可以充分灵活共享,实现新业务的快速开发和部署,并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。可以应用于路由器、防火墙等传统网络产品上。
等价路由ECMP(Equal-CostMultipathRouting)用于存在多条不同链路到达同一目的地址的网络环境中,本实施例中等价路由可以接入多个虚拟机形成多条链路,等价路由可以在网络环境下同时使用多条链路,不仅增加了传输带宽,并且可以无时延无丢包地备份失效链路的数据。
终端102可以是边缘设备,例如智能手机,电脑等。用户可以通过终端102上的客户端进行数据上传云端、修改及删除等操作。
其中,终端102上的客户端可以通过目标协议链路向服务器101传输数据,目标协议链路可以包括基于运输层协议的链路,例如传输控制协议(TCP,Transmission ControlProtocol)链路或者用户数据报协议(UDP,User Datagram Protocol)链路传输以及其他运输层协议。
一种实施方式中,如图2所示,系统100中还可以包括系统200,系统200可以是由客户端201、多个节点202(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统,终端102可以归属于多个节点202中。
以该分布式系统为区块链系统为例,参见图2,图2是本申请实施例提供的分布式系统200应用于区块链系统的一个可选的结构示意图,由多个节点202(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端201形成,节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P 协议是一个运行在传输控制协议(TCP,TransmissionControl Protocol )协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点202,节点包括硬件层、中间层、操作系统层和应用层。
参见图2示出的区块链系统中各节点的功能,涉及的功能包括:1)路由,节点具有的基本功能,用于支持节点之间的通信。节点除具有路由功能外,还可以具有以下功能:2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。例如,应用实现的业务包括:2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币;2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
本示例的一种实施方式中,云服务器101可以获取目标云所接入虚拟机集群的数据处理状态,该虚拟机集群中包括至少一个预设虚拟机;根据数据处理状态对虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,目标虚拟机集群中包括至少一个处理数据的目标虚拟机;为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;将统一负载均衡策略按照预定规则共享至每个目标虚拟机;通过每个目标虚拟机,根据统一负载均衡策略,对目标云中与每个目标虚拟机所匹配的数据进行同源同宿处理。
图3示意性示出了根据本申请的一个实施例的基于云平台的数据处理方法的流程图。该基于云平台的数据处理方法的执行主体可以是任意具有计算处理功能的电子设备。
如图3所示,该基于云平台的数据处理方法可以包括步骤S310至步骤S350。
步骤S310,获取目标云所接入虚拟机集群的数据处理状态,该虚拟机集群中包括至少一个预设虚拟机;步骤S320,根据数据处理状态对虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,该目标虚拟机集群中包括至少一个处理数据的目标虚拟机;步骤S330,为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;步骤S340,将统一负载均衡策略按照预定规则共享至每个目标虚拟机;步骤S350,通过每个目标虚拟机,根据统一负载均衡策略,对目标云中与每个目标虚拟机所匹配的数据进行同源同宿处理。
下面描述基于云平台的数据处理过程中,所进行的各步骤的具体过程。
在步骤S310中,获取目标云所接入虚拟机集群的数据处理状态,该虚拟机集群中包括至少一个预设虚拟机。
本示例的实施方式中,结合图1,目标云可以是虚拟私有云VPC(Virtual PrivateCloud),目标云所接入虚拟机集群是接入目标云的至少一个预设虚拟机所组成的集群,例如1个或者5个预设虚拟机组成的集群,虚拟机为承载网络功能虚拟化NFV(NetworkFunctions Virtualization)架构的虚拟机。
其中,目标云所接入虚拟机集群中预设虚拟机是在相同时间参与数据处理的预设虚拟机组成的集群,即目标云所接入虚拟机集群中的所有预设虚拟机同时工作。一个示例中,对于主备模式下,同一时间只有一个虚拟机工作,该唯一工作的虚拟机单独构成目标云所接入虚拟机集群。
虚拟机集群中的预设虚拟机通过目标云中的等价路由接入目标云,虚拟机可以接收目标云中等价路由随机分配的数据(即会话的报文,每个会话的会话信息被切分为报文发送给虚拟机)进行处理。
数据处理状态可以是虚拟机集群处理数据时与数据流量变化情况相关的状态信息,例如网络吞吐量或者CPU内存占用等状态信息。
获取目标云所接入虚拟机集群的数据处理状态,可以通过实时或者定时监测虚拟机集群的数据处理过程,得到例如网络吞吐量或者CPU内存占用等状态信息。
一种实施例中,虚拟机集群中包含有至少2个预设虚拟机,所有预设虚拟机可以同时处理目标云中的数据,虚拟机集群中的所有预设虚拟机上可以共享相同的统一负载均衡策略,统一负载均衡策略为确定每个预设虚拟机接收到的待处理数据所匹配的预设虚拟机(目标预设虚拟机)的策略。
其中,一个示例中,统一负载均衡策略为基于负载均衡算法的策略,基于负载均衡算法的策略具体包括将待处理数据中提取的数据标识信息与虚拟机集群中的所有预设虚拟机的个数进行取余计算,得到的值作为预设虚拟机编号,确定虚拟机编号对应的预设虚拟机为待处理数据匹配的预设虚拟机(目标预设虚拟机)。
另一个示例中,统一负载均衡策略为基于负载均衡表的策略,基于负载均衡表的策略,利用待处理数据中提取的数据标识信息,从负载均衡表(其中包含有数据标识信息与虚拟机集群中预设虚拟机的虚拟机编号的对应关系)中查询确定待处理数据匹配的虚拟机。
每个虚拟机接收到等价路由随机分配的待处理数据时,可以从接收到的待处理数据中提取数据标识信息,然后,将数据标识信息与统一负载均衡策略进行匹配处理,得到接收到的待处理数据所匹配的预设虚拟机,进而,每个预设虚拟机可以将接收到的待处理数据,传输给接收到的待处理数据所匹配的虚拟机进行处理(包括如果某个预设虚拟机接收到的待处理数据所匹配的预设虚拟机为某个预设虚拟机自身,则某个预设虚拟机自身处理,如果接收到的待处理数据所匹配的预设虚拟机为集群中其它预设虚拟机,则传输给其它预设虚拟机进行处理),基于虚拟机集群进行数据的同源同宿式处理。
从接收到的待处理数据中提取数据标识信息,可以是虚拟机集群中的所有虚拟机上可以设置相同的哈希策略,每个虚拟机接收到等价路由随机分配的待处理数据时,可以利用哈希策略对接收到的待处理数据进行哈希处理,得到哈希值,该哈希值作为提取到的数据标识信息。该哈希策略为基于哈希算法的策略,例如基于toeplitz hash算法的策略。
其中,待处理数据(即会话的报文)可以携带有五元组信息(包括源IP地址、源端口、目的IP地址、目的端口和传输层协议这五个量组成的一个集合,例如:192.168.1.110000 TCP 121.14.88.76 80 就构成了一个五元组),哈希算法进行哈希处理时保证五元组正反一致,进而,具有相同哈希值(即提取到的数据标识信息)属于同一个会话,进而,属于同一个会话的待处理数据可以准确地匹配至同一预设虚拟机进行同源同宿式处理。
在步骤S320中,根据数据处理状态对虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,该目标虚拟机集群中包括至少一个处理数据的目标虚拟机。
本示例的实施方式中,数据处理状态可以是虚拟机集群处理数据时与运输量流量变化情况相关的状态信息,例如网络吞吐量或者CPU内存占用等状态信息。
进而,可以设置数据处理状态符合预定状态条件(例如网络吞吐量大于第一吞吐量或者CPU内存占用大于第一预定占用量等)时,触发调整虚拟机集群中预设虚拟机的数量,其中,触发调整虚拟机集群中预设虚拟机的数量包括:增加虚拟机集群中预设虚拟机的数量及减少虚拟机集群中预设虚拟机的数量。例如,网络吞吐量大于第一吞吐量及CPU内存占用大于第一预定占用量中至少一种出现时,触发增加虚拟机集群中预设虚拟机的数量;网络吞吐量小于第二吞吐量及CPU内存占用小于第二预定占用量中至少一种出现时,触发减少虚拟机集群中预设虚拟机的数量。
调整虚拟机集群中预设虚拟机的数量,得到构建的目标虚拟机集群,该目标虚拟机集群用于在后续步骤中同时处理目标云中的数据。该目标虚拟机集群中包括至少一个处理数据的目标虚拟机,例如,2个或者6个,目标虚拟机可以包括调整前虚拟机集群中的预设虚拟机及新增的扩容虚拟机。
一种实施例中,参阅图4,步骤S320,根据数据处理状态对虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,包括:步骤S321,根据数据处理状态,确定虚拟机集群的平行扩缩容策略;步骤S322,根据平行扩缩容策略调整虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群。
平行扩缩容策略即虚拟机集群中预设虚拟机的数量调整策略,可以包括平行扩容策略及平行缩容策略,平行扩容策略用于指示虚拟机的增加数量(例如增加2个),平行缩容策略用于指示虚拟机的减少数量(例如减少1个)。
根据数据处理状态,确定虚拟机集群的平行扩缩容策略,可以预先设置不同平行扩缩容策略对应的预定状态条件(例如网络吞吐量大于第一吞吐量或者CPU内存占用大于第一预定占用量等),然后,基于获取的数据处理状态与不同平行扩缩容策略对应的预定状态条件进行匹配,得到获取的数据处理状态匹配的预定状态条件,进而,可以将匹配的预定状态条件所对应的平行扩缩容策略,确定为虚拟机集群的平行扩缩容策略。
例如,某个预定状态条件为网络吞吐量大于第一吞吐量,该某个预定状态条件所对应的调整策略为目标扩容策略(具体策略指示增加虚拟机数量);某个数据处理状态包括网络吞吐量为第三吞吐量,此时,如果第三吞吐量大于第一吞吐量,则确定该某个数据处理状态匹配该某个预定状态条件,进而,可以确定目标扩容策略(具体策略指示增加虚拟机数量)为虚拟机集群的调整策略。
然后,便可以根据平行扩缩容策略调整虚拟机集群中预设虚拟机的数量,构建目标虚拟机集群。
一种实施例中,平行扩缩容策略包括平行扩容策略,平行扩容策略用于指示虚拟机的增加数量;步骤S322,根据平行扩缩容策略调整虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群,包括:获取增加数量个扩容虚拟机;将所有扩容虚拟机及虚拟机集群中所有预设虚拟机的组合,作为目标虚拟机集群,其中,每个扩容虚拟机及虚拟机集群中每个预设虚拟机对应一个目标虚拟机。
例如,平行扩容策略用于指示虚拟机的增加数量为2个,则可以从云上虚拟网络(即云服务器对应的公有云)的资源池中申请2个虚拟机,得到2个扩容虚拟机。
然后,将2个扩容虚拟机和虚拟机集群中所有预设虚拟机(例如3个)的组合,一共5个虚拟机作为目标虚拟机集群,组合中的每个虚拟机即目标虚拟机集群中的一个目标虚拟机。
一种实施例中,平行扩缩容策略包括平行缩容策略,平行缩容策略用于指示虚拟机的减少数量;步骤S322,根据平行扩缩容策略调整虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群,包括:在虚拟机集群中,确定减少数量个待剔除虚拟机;将虚拟机集群中除待剔除虚拟机之外的其它虚拟机的组合,确定为目标虚拟机集群,其中,每个其它虚拟机对应一个目标虚拟机。
例如,平行缩容策略用于指示虚拟机的减少数量为1个,则可以从虚拟机集群中随机确定1个预设虚拟机,作为待剔除虚拟机。
然后,如果虚拟机集群共有3个预设虚拟机,则将除去待剔除虚拟机之外的2个其它虚拟机的组合作为目标虚拟机集群,其中,2个其它虚拟机即目标虚拟机集群中的目标虚拟机。
在步骤S330中,为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略。
本示例的实施方式中,统一负载均衡策略为确定每个目标虚拟机接收到的待处理数据所匹配的目标虚拟机的策略。为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略,即为后台服务为构建的目标虚拟机集群中的所有目标虚拟机分配的统一负载均衡策略。
其中,一个示例中,该统一负载均衡策略为基于负载均衡算法的策略,基于负载均衡算法的策略具体包括将待处理数据中提取的数据标识信息与目标虚拟机集群中的所有目标虚拟机的个数进行取余计算,得到的值作为虚拟机编号,确定虚拟机编号对应的目标虚拟机为待处理数据匹配的目标虚拟机。
另一个示例中,统一负载均衡策略为基于负载均衡表的策略,基于负载均衡表的策略,利用待处理数据中提取的数据标识信息,从负载均衡表(其中包含有数据标识信息与目标虚拟机集群中目标虚拟机的虚拟机编号或者标识的对应关系)中查询确定待处理数据匹配的目标虚拟机。
在步骤S340中,将统一负载均衡策略按照预定规则共享至每个目标虚拟机。
本示例的实施方式中,将统一负载均衡策略按照预定规则共享至每个目标虚拟机,使得目标虚拟机集群中的所有目标虚拟机共享相同的统一负载均衡策略,每个目标虚拟机作为处理数据的数据处理器的同时作为负载均衡器。
一种实施例中,步骤310中的虚拟机集群中预设虚拟机如果预设有历史统一负载均衡策略(可以是为虚拟机集群中所有虚拟机事先分配的统一负载均衡策略),由于目标虚拟机可以包括步骤S310中的虚拟机集群中预设虚拟机,将统一负载均衡策略共享至每个目标虚拟机,可以包括存在历史统一负载均衡策略的目标虚拟机将历史统一负载均衡策略更新为新的统一负载均衡策略(所有目标虚拟机所分配的统一负载均衡策略)。
一种实施例中,继续参阅图4,步骤S340中,将统一负载均衡策略按照预定规则共享至每个目标虚拟机,包括:步骤S341,将统一负载均衡策略同步至扩容虚拟机,得到待接入虚拟机;步骤S342,将待接入虚拟机接入目标云后,将统一负载均衡策略同步至虚拟机集群中每个预设虚拟机,以完成将统一负载均衡策略按照预定规则共享至每个目标虚拟机。
本实施例中,目标虚拟机集群为预扩容的集群,即目标虚拟机集群中,虚拟机集群中所有预设虚拟机已接入目标云的专属网络空间,新申请的扩容虚拟机还处于云上虚拟网络,还未接入目标云对应的专属网络空间。
将统一负载均衡策略先同步至扩容虚拟机,得到待接入虚拟机后,再将待接入虚拟机接入目标云,可以保证扩容虚拟机一接入目标云,接收到待处理数据就可以可靠地根据统一负载均衡策略进行数据的处理。
待接入虚拟机接入目标云后,将统一负载均衡策略同步至虚拟机集群中每个预设虚拟机,可以使得待接入虚拟机接入之前,虚拟机集群中每个预设虚拟机按照之前的工作方式继续工作,在待接入虚拟机接入目标云后又转变为按照新分配的统一负载均衡策略(为所有目标虚拟机分配的统一负载均衡策略)进行工作,进而完成将统一负载均衡策略共享至每个目标虚拟机,保证目标云的虚拟机扩容的可靠性。
一种实施例中,步骤S342,将待接入虚拟机接入目标云后,将统一负载均衡策略同步至虚拟机集群中每个预设虚拟机,包括:获取目标云中分配给扩容虚拟机的待处理数据;将扩容虚拟机的待处理数据同步至待接入虚拟机后,将待接入虚拟机接入目标云;在待接入虚拟机成功接入目标云后,获取目标云中分配给虚拟机集群中每个预设虚拟机的待处理数据;将统一负载均衡策略及虚拟机集群中每个预设虚拟机的待处理数据,同步至虚拟机集群中每个预设虚拟机。
这样可以进一步在扩容虚拟机接入目标云之前,将目标云中分配给扩容虚拟机的待处理数据(随机分配的待处理数据)及统一负载均衡策略提前同步给扩容虚拟机,得到最终的待接入虚拟机来接入目标云,使得待接入虚拟机一接入目标云,就可以可靠地根据统一负载均衡策略进行提前分配的待处理数据的处理,进一步避免接入扩容虚拟机之前数据处理过程的影响。
然后,在待接入虚拟机成功接入目标云后,获取目标云中分配给虚拟机集群中每个预设虚拟机的待处理数据;将统一负载均衡策略及虚拟机集群中每个预设虚拟机的待处理数据,同步至虚拟机集群中每个预设虚拟机,可以使得目标虚拟机集群中所有目标虚拟机同时进行数据处理,进一步保证目标云的虚拟机扩容的可靠性。
一种实施例中,虚拟机集群中每个预设虚拟机通过目标云的等价路由接入目标云;步骤:将待接入虚拟机接入目标云,包括:将待接入虚拟机接入目标云的等价路由,以将待接入虚拟机接入目标云。
等价路由可以在网络环境下同时使用多条链路,不仅增加了传输带宽,并且可以无时延无丢包地备份失效链路的数据。将待接入虚拟机接入目标云的等价路由,进而将目标虚拟机集群中所有目标虚拟机接入目标云,基于等价路由,向所有目标虚拟机分配数据,对于所有目标虚拟机对应的链路,不仅可以增加传输带宽,并且可以无时延无丢包地备份失效链路的数据。
一种实施例中,继续参阅图4,步骤S340中,将统一负载均衡策略按照预定规则共享至每个目标虚拟机,包括:步骤S343,将统一负载均衡策略,共享至待剔除虚拟机及其它虚拟机,以使得待剔除虚拟机根据统一负载均衡策略将未处理数据转发至其它虚拟机;步骤S344,在未处理数据转发完成后,剔除待剔除虚拟机,以完成将统一负载均衡策略按照预定规则共享至每个目标虚拟机。
本实施例中,目标虚拟机集群为预缩容的集群,即虚拟机集群中所有预设虚拟机已接入目标云对应的专属网络空间,待剔除虚拟机还未断开与目标云的连接,目标虚拟机集群中的目标虚拟机为虚拟机集群中除待剔除虚拟机之外的其它虚拟机,该统一负载均衡策略实质是为除待剔除虚拟机之外的所有其它虚拟机分配的。
此时,将该统一负载均衡策略,共享至待剔除虚拟机及其它虚拟机,可以使得待剔除虚拟机根据该统一负载均衡策略,从所有其它虚拟机中确定未处理数据所匹配的其它虚拟机,进而将待剔除虚拟机中未处理数据转发至所匹配的其它虚拟机,以由所匹配的其它虚拟机进行未处理数据的处理。
此时,如果待剔除虚拟机中有历史统一负载均衡策略(可以是为虚拟机集群中所有预设虚拟机事先分配的统一负载均衡策略),待剔除虚拟机也可以根据新的统一负载均衡策略(为目标虚拟机集群中所有目标虚拟机分配的统一负载均衡策略)将未处理数据转发至所匹配的其它虚拟机,以由所匹配的其它虚拟机进行未处理数据的处理。
然后,在未处理数据转发完成后剔除待剔除虚拟机,完成将统一负载均衡策略共享至每个目标虚拟机,可以使得平行缩容有序进行。
一种实施例中,虚拟机集群中每个预设虚拟机通过目标云的等价路由接入目标云;步骤S343,将统一负载均衡策略,共享至待剔除虚拟机及其它虚拟机,以使得待剔除虚拟机根据统一负载均衡策略将未处理数据转发至其它虚拟机,包括:获取待剔除虚拟机中正在处理的数据;将统一负载均衡策略和正在处理的数据共享至待剔除虚拟机及其它虚拟机后,断开待剔除虚拟机与等价路由的连接,以使得待剔除虚拟机根据统一负载均衡策略将未处理数据转发至其它虚拟机,未处理数据为待剔除虚拟机中残留的数据;步骤S344,在未处理数据转发完成后,剔除待剔除虚拟机,以完成将统一负载均衡策略按照预定规则共享至每个目标虚拟机,包括:在未处理数据转发完成后,释放待剔除虚拟机所占用虚拟资源,以完成将统一负载均衡策略按照预定规则共享至每个目标虚拟机。
该实施例中,获取待剔除虚拟机中正在处理的数据,可以是在确定待剔除虚拟机后,待剔除虚拟机主动同步的其正在处理的数据。
然后,将统一负载均衡策略(为目标虚拟机集群中所有目标虚拟机分配的统一负载均衡策略)和正在处理的数据共享至待剔除虚拟机及其它虚拟机(其它虚拟机对应于目标虚拟机)后,待剔除虚拟机及其它虚拟机可以根据统一负载均衡策略确定这些正在处理的数据所匹配的目标其它虚拟机(即目标目标虚拟机)。
然后,断开待剔除虚拟机与等价路由的连接,再次使得待剔除虚拟机根据统一负载均衡策略将未处理数据转发至其它虚拟机,未处理数据为待剔除虚拟机中残留的数据(包括获取待剔除虚拟机中正在处理的数据后,等价路由未断开的情况下,等价路由继续传输的数据),可以有效保证待剔除虚拟机中的数据不被漏掉,在转发完成后释放待剔除虚拟机所占用虚拟资源(例如释放待剔除虚拟机至资源池),完成将统一负载均衡策略共享至每个目标虚拟机,有效保证平行缩容的可靠性。
在步骤S350,通过每个目标虚拟机,根据统一负载均衡策略,对目标云中与每个目标虚拟机所匹配的数据进行同源同宿处理。
每个目标虚拟机,根据为所有目标虚拟机分配的统一负载均衡策略,可以获取目标云中与每个目标虚拟机所匹配的数据进行处理,实现同源同宿处理,具体地,每个目标虚拟机接收到等价路由随机分配的待处理数据时,可以从接收到的待处理数据中提取数据标识信息,然后,将数据标识信息与统一负载均衡策略进行匹配处理,得到接收到的待处理数据所匹配的目标虚拟机。
每个目标虚拟机可以将接收到的待处理数据,传输给接收到的待处理数据所匹配的目标虚拟机进行处理(包括某个目标虚拟机如果接收到的待处理数据所匹配的目标虚拟机为自身,则某个目标虚拟机自身处理,如果接收到的待处理数据所匹配的目标虚拟机为集群中其它目标虚拟机,则传输给其它目标虚拟机进行处理),基于目标虚拟机集群实现数据的同源同宿式处理,同时使得虚拟机的平行扩容或平行缩容得以实现。
进而,在数据处理过程中,可以通过调整同时工作的虚拟机的数量,进行平行扩容或平行缩容,得到目标虚拟机集群进行数据的同源同宿式处理,有效应对流量突变的情况的同时降低应对成本,同时提升数据处理的可靠性。
一种实施例中,继续参阅图4,步骤S350中,通过每个目标虚拟机,根据统一负载均衡策略,对目标云中与每个目标虚拟机所匹配的数据进行同源同宿处理,包括:步骤S351,每个目标虚拟机接收到目标云中分配的待处理数据时,从接收到的待处理数据中提取数据标识信息;步骤S352,将数据标识信息与统一负载均衡策略进行匹配处理,得到接收到的待处理数据所匹配的目标虚拟机;步骤S353,每个目标虚拟机将接收到的待处理数据,传输给接收到的待处理数据所匹配的目标虚拟机进行同源同宿处理。
每个目标虚拟机接收到目标云中分配的待处理数据为随机分配的数据时,可以从接收到的待处理数据中提取数据标识信息,然后,将数据标识信息与统一负载均衡策略进行匹配处理,得到接收到的待处理数据所匹配的目标虚拟机。
每个目标虚拟机可以将接收到的待处理数据,传输给接收到的待处理数据所匹配的目标虚拟机进行处理(包括如果某个目标虚拟机接收到的待处理数据所匹配的目标虚拟机为自身,则某个目标虚拟机自身处理,如果接收到的待处理数据所匹配的目标虚拟机为集群中其它目标虚拟机,则传输给其它目标虚拟机进行处理),基于目标虚拟机集群实现数据的同源同宿式处理,同时使得虚拟机的平行扩容或平行缩容得以实现。
一种实施例中,每个目标虚拟机中同步了相同的哈希策略,步骤S351,每个目标虚拟机接收到目标云中分配的待处理数据时,从接收到的待处理数据中提取数据标识信息,包括:每个目标虚拟机接收到目标云中分配的待处理数据时,利用哈希策略对接收到的待处理数据进行哈希处理,得到哈希值;将哈希值作为提取到的数据标识信息。
目标虚拟机集群中的所有目标虚拟机上设置相同的哈希策略,每个目标虚拟机接收到等价路由随机分配的待处理数据时,可以利用哈希策略对接收到的待处理数据进行哈希处理,得到哈希值,该哈希值作为提取到的数据标识信息。该哈希策略为基于哈希算法的策略,例如基于toeplitz hash算法的策略。
其中,待处理数据(即会话的报文)可以携带有五元组信息(包括源IP地址、源端口、目的IP地址、目的端口和传输层协议这五个量组成的一个集合,例如192.168.1.1、10000、121.14.88.76、80、TCP就构成了一个五元组),哈希算法进行哈希处理时保证五元组信息正反一致,进而,准确提取到反映待处理数据是否为同一会话的哈希值,作为提取到的数据标识信息。具有相同哈希值(即提取到的数据标识信息)属于同一个会话,进而,属于同一个会话的待处理数据可以准确地匹配至同一目标虚拟机进行同源同宿式处理。
一种实施例中,步骤S352,将数据标识信息与统一负载均衡策略进行匹配处理,得到接收到的待处理数据所匹配的目标虚拟机,包括:利用统一负载均衡策略对数据标识信息及所有目标虚拟机的个数进行取余计算,得到虚拟机编号;确定虚拟机编号所对应的目标虚拟机;将虚拟机编号所对应的目标虚拟机,作为接收到的待处理数据所匹配的目标虚拟机。
例如,数据标识信息为X,所有目标虚拟机的个数为5,对数据标识信息及所有目标虚拟机的个数进行取余计算,即X(数据标识信息)%5(个数),得到整数解即虚拟机编号。
该实施例中,统一负载均衡策略为基于负载均衡算法的策略,基于负载均衡算法的策略具体包括将待处理数据中提取的数据标识信息与目标虚拟机集群中的所有目标虚拟机的个数进行取余计算,得到的值作为虚拟机编号,确定虚拟机编号对应的目标虚拟机为待处理数据匹配的目标虚拟机。
一种实施例中,统一负载均衡策略为基于负载均衡表的策略,基于负载均衡表的策略,利用待处理数据中提取的数据标识信息,从负载均衡表(其中包含有数据标识信息与目标虚拟机集群中目标虚拟机的虚拟机编号的对应关系)中查询确定待处理数据匹配的目标虚拟机。
以这种方式,基于步骤S310-步骤S350,根据数据处理状态对目标云所接入的虚拟机集群中预设虚拟机进行平行扩缩容处理,可以对处理数据的虚拟机进行平行扩容处理(即增加虚拟机的数量)或者平行缩容处理(即减少虚拟机的数量),构建目标虚拟机集群,应对流量突变的情况,进一步的,对于目标虚拟机集群,为其中所有目标虚拟机分配统一负载均衡策略,并将该统一负载均衡策略按照预定规则共享至每个目标虚拟机,可以使得每个目标虚拟机根据统一负载均衡策略获取与自身所匹配的数据进行同源同宿处理,进而,所有目标虚拟机都成为负载均衡器和数据处理器,可以共同同源同宿式处理云端数据,使得平行扩缩容得以实现;有效应对流量突变的情况的同时降低应对成本,且有效提升云端数据处理的可靠性。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
图5示出了应用本申请的实施例的一种场景下基于云平台的数据处理的流程图。该场景下目标云为目标虚拟私有云,目标虚拟私有云的等价路由接入虚拟机集群处理用户业务中的会话信息(即云平台中数据,例如客户端与目标虚拟私有云之间的会话信息),虚拟机集群中包括至少一个预设虚拟机,参阅图4,该场景下基于云平台的数据处理过程包括步骤S410至步骤S440。
在步骤S410:后台服务基于用户设定的弹性策略(即预定状态条件)对网络功能虚拟化NFV设备(即目标虚拟私有云VPC所接入虚拟机集群)进行持续监控和检测,获取目标虚拟私有云所接入虚拟机集群的数据处理状态(例如网络吞吐量),对于用户的业务出现高峰的情况,发现数据处理状态触发上限阈值(例如网络吞吐量大于第一吞吐量时),则触发动态平行扩容策略。
在步骤S420,基于平行扩容策略进行平行扩容处理,包括步骤S4201-步骤S4204。
步骤S4201,根据平行扩容策略指示的增加数量,获取增加数量个扩容虚拟机,具体从资源池中申请增加数量个扩容虚拟机,加入到云上虚拟网络当中;将所有扩容虚拟机及虚拟机集群中所有虚拟机的组合,作为目标虚拟机集群。
其中,当前正在工作的虚拟机(即虚拟机集群中的预设虚拟机)将当前正在处理的会话信息会同步到负载均衡和会话DB,其中,负载均衡和会话DB为所有虚拟机共享的数据库,每个虚拟机生成的时候内部都配置该负载均衡和会话DB,每个虚拟机处理完会话信息后都同步到负载均衡和会话DB中。
步骤S4202,为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略,将统一负载均衡策略共享至每个目标虚拟机,以使得每个目标虚拟机,根据统一负载均衡策略,获取目标虚拟私有云VPC中与每个目标虚拟机所匹配的数据进行处理。
具体地,后台服务在负载均衡和会话DB中重新分配统一负载均衡策略,并获取目标虚拟私有云VPC中等价路由分配给扩容虚拟机的会话信息,将分配给扩容虚拟机的会话信息和重新分配的统一负载均衡策略同步给扩容虚拟机,得到待接入虚拟机。
步骤S4203,将待接入虚拟机接入接入目标虚拟私有云VPC的等价路由,进而将待接入虚拟机接入目标虚拟私有云VPC,开始处理会话信息。
步骤S4204,获取目标虚拟私有云VPC中分配给虚拟机集群中每个预设虚拟机的会话信息;将统一负载均衡策略及虚拟机集群中每个预设虚拟机的会话信息,同步至虚拟机集群中每个预设虚拟机。
进而,平行扩容得到的目标虚拟机集群中所有目标虚拟机接入目标虚拟私有云,每个目标虚拟机,可以根据统一负载均衡策略,获取目标虚拟私有云中与每个目标虚拟机所匹配的数据进行处理。
在步骤S430:后台服务基于用户设定的弹性策略(即预定状态条件)对网络功能虚拟化NFV设备(即目标虚拟私有云VPC所接入虚拟机集群)进行持续监控和检测,获取目标虚拟私有云所接入虚拟机集群的数据处理状态(例如网络吞吐量),对于用户的业务高峰回落的情况,发现数据处理状态触发下限阈值(例如网络吞吐量小于第二吞吐量时),则触发动态平行缩容策略。
在步骤S440,基于平行缩容策略进行平行缩容处理,包括步骤S4401-步骤S4405。
步骤S4401,根据平行缩容策略指示的虚拟机的减少数量,在虚拟机集群中,确定所述减少数量个待剔除虚拟机;将虚拟机集群中除待剔除虚拟机之外的其它虚拟机的组合,确定为目标虚拟机集群;为目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略。
步骤S4402,获取所述待剔除虚拟机中正在处理的会话信息;将统一负载均衡策略和正在处理的数据共享至待剔除虚拟机及其它虚拟机。具体包括:确定待剔除虚拟机后,控制待剔除虚拟机同步待剔除虚拟机中正在处理的会话信息到负载均衡和会话DB中,并将该待剔除虚拟机的会话信息和统一负载均衡策略同步至其它虚拟机的负载均衡和会话DB;所有虚拟机从负载均衡和会话DB中同步新的统一负载均衡策略和待剔除虚拟机中正在处理的会话信息。
步骤S4403,断开待剔除虚拟机与等价路由的连接,即在目标虚拟私有云VPC中停止掉待剔除虚拟机与等价路由ECMP的连接。
步骤S4404,待剔除虚拟机根据统一负载均衡策略,将未处理数据转发至所述其它虚拟机,未处理数据为待剔除虚拟机中残留的数据(例如断开与等价路由连接之前,等价路由继续分配的数据)。
步骤S4405,在未处理数据转发完成后,释放待剔除虚拟机所占用虚拟资源,完成将统一负载均衡策略共享至每个目标虚拟机。
进而,平行缩容得到的目标虚拟机集群中所有目标虚拟机接入目标虚拟私有云,每个目标虚拟机,可以根据统一负载均衡策略,获取目标虚拟私有云中与每个目标虚拟机所匹配的数据进行处理。
图6示出了图5所示流程中虚拟机处理数据的流程图。参阅图6,虚拟机处理会话信息的过程包括步骤S510-步骤S550。
在步骤S510,目标虚拟机(即目标虚拟机集群中的任意目标虚拟机)中的负载均衡和会话DB,接收等价路由分配的目标虚拟私有云中的会话信息(即图6中的流量报文)。
每个目标虚拟机中同步了相同的哈希策略及统一负载均衡策略,目标虚拟机可以利用哈希策略对接收到的会话信息进行哈希处理,得到哈希值,作为提取到的数据标识信息;目标虚拟机利用统一负载均衡策略对数据标识信息及所有目标虚拟机的个数进行取余计算,得到虚拟机编号。
在步骤S520,目标虚拟机从负载均衡和会话DB中同步分配的会话信息和统一负载均衡策略。
在步骤S530,目标虚拟机利用哈希策略对接收到的会话信息进行统一哈希处理,得到哈希值,作为提取到的数据标识信息,其中哈希处理时保证会话信息的五元组正反一致;目标虚拟机利用统一负载均衡策略对数据标识信息及所有目标虚拟机的个数进行取余计算,得到虚拟机编号;将虚拟机编号所对应的目标虚拟机,作为接收到的会话信息所匹配的目标虚拟机。
在步骤S540,如果接收到的会话信息所匹配的虚拟机为目标虚拟机自身,则接收到的会话信息为目标虚拟机自身需要处理的会话信息,该目标虚拟机自身处理会话信息(包括流量重组(即将同一会话的报文重组在一起)及流量处理(即对重组后的会话信息进行路径追踪等处理)),其中,处理完的会话信息同步到负载均衡和会话DB。
在步骤S550,如果接收到的会话信息所匹配的虚拟机为其他目标虚拟机自身,则接收到的会话信息为其他目标虚拟机需要处理的会话信息,目标虚拟机将会话信息传输给该其他目标虚拟机进行处理(包括流量重组(即将同一会话的报文重组在一起)及流量处理(即对重组后的会话信息进行路径追踪等处理)),其中,处理完的会话信息同步到负载均衡和会话DB。
进而,目标虚拟机集群中的所有目标虚拟机处理完的会话信息,都会被同步到负载均衡和会话DB。同理,当目标虚拟机集群中的目标虚拟机的数量发生变化时,后台服务会重新分配统一负载均衡策略,目标虚拟私有云中的会话信息也会按重新分配的统一负载均衡策略同步给新集群中的对应虚拟机进行同源同宿式处理。
以这种方式,相比现有的垂直扩容,本申请提供更加灵活的平行扩缩容策略,针对流量突增等场景会有更好的应对效果,用户不需要担心因为流量突增而导致业务受到影响,也可以大大节省支出,提升数据处理可靠性。
其次相较于相关技术,相关技术中云计算软件定义网络SDN中的等价路由ECMP天然支持同源同宿,但等价路由ECMP天然支持同源同宿对云计算的虚拟交换机会带来较大的压力,导致云平台网络吞吐受到影响。
为便于更好的实施本申请实施例提供的数据处理方法,本申请实施例还提供一种基于上述云平台中的数据处理方法的云平台中的数据处理装置。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。图7示出了根据本申请的一个实施例的基于云平台的数据处理装置的框图。
如图7所示,基于云平台的数据处理装置600中可以包括获取模块610、调整模块620、分配模块630、共享模块640及处理模块650。
获取模块610可以用于获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;调整模块620可以用于根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;分配模块630可以用于为所述目标虚拟机集群中的所有所述目标虚拟机分配统一负载均衡策略;共享模块640用于将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;处理模块650用于通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
在本申请的一些实施例中,所述调整模块620包括:策略确定单元,用于根据所述数据处理状态,确定所述虚拟机集群的平行扩缩容策略;数量调整单元,用于根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群。
在本申请的一些实施例中,所述平行扩缩容策略包括平行扩容策略,所述平行扩容策略用于指示虚拟机的增加数量;所述数量调整单元,包括:扩容子单元,用于获取所述增加数量个扩容虚拟机;扩容组合子单元,用于将所有所述扩容虚拟机及所述虚拟机集群中所有预设虚拟机的组合,作为所述目标虚拟机集群,其中,每个所述扩容虚拟机及所述虚拟机集群中每个预设虚拟机对应一个所述目标虚拟机。
在本申请的一些实施例中,所述共享模块640包括:第一同步单元,用于将所述统一负载均衡策略同步至所述扩容虚拟机,得到待接入虚拟机;第二同步单元,用于将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述第二同步单元,包括:第一数据获取子单元,用于获取所述目标云中分配给所述扩容虚拟机的待处理数据;第一同步子单元,用于将所述扩容虚拟机的待处理数据同步至所述待接入虚拟机后,将所述待接入虚拟机接入所述目标云;第二数据获取子单元,用于在所述待接入虚拟机成功接入所述目标云后,获取所述目标云中分配给所述虚拟机集群中每个预设虚拟机的待处理数据;第二同步子单元,用于将所述统一负载均衡策略及所述虚拟机集群中每个预设虚拟机的待处理数据,同步至所述虚拟机集群中每个预设虚拟机。
在本申请的一些实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;所述第一同步子单元,用于将所述待接入虚拟机接入所述目标云的等价路由,以将所述待接入虚拟机接入所述目标云。
在本申请的一些实施例中,所述平行扩缩容策略包括平行缩容策略,所述平行缩容策略用于指示虚拟机的减少数量;所述数量调整单元,包括:缩容子单元,用于在所述虚拟机集群中,确定所述减少数量个待剔除虚拟机;缩容组合子单元,用于将所述虚拟机集群中除所述待剔除虚拟机之外的其它虚拟机的组合,确定为所述目标虚拟机集群,其中,每个所述其它虚拟机对应一个所述目标虚拟机。
在本申请的一些实施例中,所述共享模块640,包括:第三同步单元,用于将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机;第四同步单元,用于在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;所述第三同步单元,包括:第三数据获取子单元,用于获取所述待剔除虚拟机中正在处理的数据;第三同步子单元,用于将所述统一负载均衡策略和所述正在处理的数据共享至所述待剔除虚拟机及所述其它虚拟机后,断开所述待剔除虚拟机与所述等价路由的连接,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机,所述未处理数据为所述待剔除虚拟机中残留的数据;所述第四同步单元,包括:资源释放子单元,用于在所述未处理数据转发完成后,释放所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
在本申请的一些实施例中,所述处理模块650,包括:信息提取单元,用于通过每个所述目标虚拟机接收所述目标云中分配的待处理数据,从接收到的待处理数据中提取数据标识信息;策略匹配单元,用于将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机;传输处理单元,用于每个所述目标虚拟机将接收到的待处理数据,传输给所述接收到的待处理数据所匹配的目标虚拟机进行同源同宿处理。
在本申请的一些实施例中,每个所述目标虚拟机中同步了相同的哈希策略,所述信息提取单元,包括:哈希处理子单元,用于每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,利用所述哈希策略对接收到的待处理数据进行哈希处理,得到哈希值;信息确定子单元,用于将所述哈希值作为提取到的数据标识信息。
在本申请的一些实施例中,所述策略匹配单元,包括:编号获取子单元,用于利用所述统一负载均衡策略对所述数据标识信息及所有所述目标虚拟机的个数进行取余计算,得到虚拟机编号;虚拟机匹配单元,用于确定所述虚拟机编号所对应的目标虚拟机;虚拟机确定单元,用于将所述虚拟机编号所对应的目标虚拟机,作为所述接收到的待处理数据所匹配的目标虚拟机。
以这种方式,基于云平台的数据处理装置600,根据数据处理状态进行目标云所接入的虚拟机集群中预设虚拟机平行扩缩容处理,可以对处理数据的虚拟机进行平行扩容(即增加虚拟机的数量)或者平行缩容(即减少虚拟机的数量),得到目标虚拟机集群,应对流量突变的情况,进一步的,对于目标虚拟机集群,为其中所有目标虚拟机分配统一负载均衡策略,并将该统一负载均衡策略按照预定规则共享至每个目标虚拟机,可以使得每个目标虚拟机根据统一负载均衡策略对与自身所匹配的数据进行处理,进而,所有虚拟机可以共同同源同宿式处理数据,使得平行扩、缩容得以实现;进而,有效应对流量突变的情况的同时降低应对成本,且有效提升数据处理的可靠性。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,本申请实施例还提供一种电子设备,该电子设备可以为终端或者服务器,如图8所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:该电子设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中:处理器701是该电子设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器702内的软件程序和/或模块,以及调用存储在存储器702内的数据,执行计算机设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
电子设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的应用程序,从而实现各种功能,如下:获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;为所述目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
一种实施例中,在根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群时,处理器701可以执行:根据所述数据处理状态,确定所述虚拟机集群的平行扩缩容策略;根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群。
一种实施例中,所述平行扩缩容策略包括平行扩容策略,所述平行扩容策略用于指示虚拟机的增加数量;在根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群时,处理器701可以执行:获取所述增加数量个扩容虚拟机;将所有所述扩容虚拟机及所述虚拟机集群中所有预设虚拟机的组合,作为所述目标虚拟机集群,其中,每个所述扩容虚拟机及所述虚拟机集群中每个预设虚拟机对应一个所述目标虚拟机。
一种实施例中,在将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机时,处理器701可以执行:将所述统一负载均衡策略同步至所述扩容虚拟机,得到待接入虚拟机;将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
一种实施例中,在将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机时,处理器701可以执行:获取所述目标云中分配给所述扩容虚拟机的待处理数据;将所述扩容虚拟机的待处理数据同步至所述待接入虚拟机后,将所述待接入虚拟机接入所述目标云;在所述待接入虚拟机成功接入所述目标云后,获取所述目标云中分配给所述虚拟机集群中每个预设虚拟机的待处理数据;将所述统一负载均衡策略及所述虚拟机集群中每个预设虚拟机的待处理数据,同步至所述虚拟机集群中每个预设虚拟机。
一种实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;在将所述待接入虚拟机接入所述目标云时,处理器701可以执行:将所述待接入虚拟机接入所述目标云的等价路由,以将所述待接入虚拟机接入所述目标云。
一种实施例中,所述平行扩缩容策略包括平行缩容策略,所述平行缩容策略用于指示虚拟机的减少数量;在根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群时,处理器701可以执行:在所述虚拟机集群中,确定所述减少数量个待剔除虚拟机;将所述虚拟机集群中除所述待剔除虚拟机之外的其它虚拟机的组合,确定为所述目标虚拟机集群,其中,每个所述其它虚拟机对应一个所述目标虚拟机。
一种实施例中,在将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机时,处理器701可以执行:将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机;在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
一种实施例中,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;在将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机时,处理器701可以执行:获取所述待剔除虚拟机中正在处理的数据;将所述统一负载均衡策略和所述正在处理的数据共享至所述待剔除虚拟机及所述其它虚拟机后,断开所述待剔除虚拟机与所述等价路由的连接,以使得所述待剔除虚拟机根据所述统一负载均衡策略,将所述未处理数据转发至所述其它虚拟机,所述未处理数据为所述待剔除虚拟机中残留的数据;在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机时,处理器701可以执行:在所述未处理数据转发完成后,释放所述待剔除虚拟机所占用虚拟资源,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
一种实施例中,在通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理时,处理器701可以执行:通过每个所述目标虚拟机接收所述目标云中分配的待处理数据,从接收到的待处理数据中提取数据标识信息;将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机;每个所述目标虚拟机将接收到的待处理数据,传输给所述接收到的待处理数据所匹配的目标虚拟机进行同源同宿处理。
一种实施例中,每个所述目标虚拟机中同步了相同的哈希策略,在每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,从接收到的待处理数据中提取数据标识信息时,处理器701可以执行:每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,利用所述哈希策略对接收到的待处理数据进行哈希处理,得到哈希值;将所述哈希值作为提取到的数据标识信息。
一种实施例中,在将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机时,处理器701可以执行:利用所述统一负载均衡策略对所述数据标识信息及所有所述目标虚拟机的个数进行取余计算,得到虚拟机编号;确定所述虚拟机编号所对应的目标虚拟机;将所述虚拟机编号所对应的目标虚拟机,作为所述接收到的待处理数据所匹配的目标虚拟机。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例还提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请上述实施例中各种可选实现方式中提供的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的实施例,而可以在不脱离其范围的情况下进行各种修改和改变。

Claims (15)

1.一种基于云平台的数据处理方法,其特征在于,包括:
获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;
根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;
为所述目标虚拟机集群中的所有目标虚拟机分配统一负载均衡策略;
将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;
通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,包括:
根据所述数据处理状态,确定所述虚拟机集群的平行扩缩容策略;
根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群。
3.根据权利要求2所述的方法,其特征在于,所述平行扩缩容策略包括平行扩容策略,所述平行扩容策略用于指示虚拟机的增加数量;
所述根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群,包括:
获取所述增加数量个扩容虚拟机;
将所有所述扩容虚拟机及所述虚拟机集群中所有预设虚拟机的组合,作为所述目标虚拟机集群,其中,每个所述扩容虚拟机及所述虚拟机集群中每个预设虚拟机对应一个所述目标虚拟机。
4.根据权利要求3所述的方法,其特征在于,所述将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机,包括:
将所述统一负载均衡策略同步至所述扩容虚拟机,得到待接入虚拟机;
将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
5.根据权利要求4所述的方法,其特征在于,所述将所述待接入虚拟机接入所述目标云后,将所述统一负载均衡策略同步至所述虚拟机集群中每个预设虚拟机,包括:
获取所述目标云中分配给所述扩容虚拟机的待处理数据;
将所述扩容虚拟机的待处理数据同步至所述待接入虚拟机后,将所述待接入虚拟机接入所述目标云;
在所述待接入虚拟机成功接入所述目标云后,获取所述目标云中分配给所述虚拟机集群中每个预设虚拟机的待处理数据;
将所述统一负载均衡策略及所述虚拟机集群中每个预设虚拟机的待处理数据,同步至所述虚拟机集群中每个预设虚拟机。
6.根据权利要求4所述的方法,其特征在于,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;所述将所述待接入虚拟机接入所述目标云,包括:
将所述待接入虚拟机接入所述目标云的等价路由,以将所述待接入虚拟机接入所述目标云。
7.根据权利要求2所述的方法,其特征在于,所述平行扩缩容策略包括平行缩容策略,所述平行缩容策略用于指示虚拟机的减少数量;
所述根据所述平行扩缩容策略调整所述虚拟机集群中预设虚拟机的数量,以构建目标虚拟机集群,包括:
在所述虚拟机集群中,确定所述减少数量个待剔除虚拟机;
将所述虚拟机集群中除所述待剔除虚拟机之外的其它虚拟机的组合,确定为所述目标虚拟机集群,其中,每个所述其它虚拟机对应一个所述目标虚拟机。
8.根据权利要求7所述的方法,其特征在于,所述将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机,包括:
将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机;
在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
9.根据权利要求8所述的方法,其特征在于,所述虚拟机集群中每个预设虚拟机通过所述目标云的等价路由接入所述目标云;
所述将所述统一负载均衡策略,共享至所述待剔除虚拟机及所述其它虚拟机,以使得所述待剔除虚拟机根据所述统一负载均衡策略将未处理数据转发至所述其它虚拟机,包括:
获取所述待剔除虚拟机中正在处理的数据;
将所述统一负载均衡策略和所述正在处理的数据共享至所述待剔除虚拟机及所述其它虚拟机后,断开所述待剔除虚拟机与所述等价路由的连接,以使得所述待剔除虚拟机根据所述统一负载均衡策略,将所述未处理数据转发至所述其它虚拟机,所述未处理数据为所述待剔除虚拟机中残留的数据;
所述在所述未处理数据转发完成后,剔除所述待剔除虚拟机,以完成将所述统一负载均衡策略共享至每个所述目标虚拟机,包括:
在所述未处理数据转发完成后,释放所述待剔除虚拟机所占用虚拟资源,以完成将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理,包括:
通过每个所述目标虚拟机接收所述目标云中分配的待处理数据,从接收到的待处理数据中提取数据标识信息;
将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机;
每个所述目标虚拟机将接收到的待处理数据,传输给所述接收到的待处理数据所匹配的目标虚拟机进行同源同宿处理。
11.根据权利要求10所述的方法,其特征在于,每个所述目标虚拟机中同步了相同的哈希策略,所述每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,从接收到的待处理数据中提取数据标识信息,包括:
每个所述目标虚拟机接收到所述目标云中分配的待处理数据时,利用所述哈希策略对接收到的待处理数据进行哈希处理,得到哈希值;
将所述哈希值作为提取到的数据标识信息。
12.根据权利要求11所述的方法,其特征在于,所述将所述数据标识信息与所述统一负载均衡策略进行匹配处理,得到所述接收到的待处理数据所匹配的目标虚拟机,包括:
利用所述统一负载均衡策略对所述数据标识信息及所有所述目标虚拟机的个数进行取余计算,得到虚拟机编号;
确定所述虚拟机编号所对应的目标虚拟机;
将所述虚拟机编号所对应的目标虚拟机,作为所述接收到的待处理数据所匹配的目标虚拟机。
13.一种基于云平台的数据处理装置,其特征在于,包括:
获取模块,用于获取目标云所接入虚拟机集群的数据处理状态,所述虚拟机集群中包括至少一个预设虚拟机;
调整模块,用于根据所述数据处理状态对所述虚拟机集群中预设虚拟机进行平行扩缩容处理,以构建目标虚拟机集群,所述目标虚拟机集群中包括至少一个处理数据的目标虚拟机;
分配模块,用于为所述目标虚拟机集群中的所有所述目标虚拟机分配统一负载均衡策略;
共享模块,用于将所述统一负载均衡策略按照预定规则共享至每个所述目标虚拟机;
处理模块,用于通过每个所述目标虚拟机,根据所述统一负载均衡策略,对所述目标云中与每个所述目标虚拟机所匹配的数据进行同源同宿处理。
14.一种电子设备,其特征在于,包括:存储器,存储有计算机可读指令;处理器,读取存储器存储的计算机可读指令,以执行权利要求1-12任一项所述的方法。
15.一种存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-12任一项所述的方法。
CN202110306448.6A 2021-03-23 2021-03-23 基于云平台的数据处理方法、装置、电子设备及存储介质 Active CN112711465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110306448.6A CN112711465B (zh) 2021-03-23 2021-03-23 基于云平台的数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110306448.6A CN112711465B (zh) 2021-03-23 2021-03-23 基于云平台的数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112711465A true CN112711465A (zh) 2021-04-27
CN112711465B CN112711465B (zh) 2021-06-18

Family

ID=75550197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110306448.6A Active CN112711465B (zh) 2021-03-23 2021-03-23 基于云平台的数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112711465B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296794A (zh) * 2021-05-25 2021-08-24 多点(深圳)数字科技有限公司 一种软件工程管理方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173642A1 (en) * 2011-06-14 2012-12-20 Vmware, Inc. Decentralized management of virtualized hosts
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
US9135043B1 (en) * 2010-09-28 2015-09-15 Netapp, Inc. Interface for enabling an application in a virtual machine to access high performance devices
CN105391771A (zh) * 2015-10-16 2016-03-09 张陵 一种面向多租户的云网络架构
CN105988858A (zh) * 2015-05-15 2016-10-05 中国银联股份有限公司 一种虚拟机资源调度方法、装置及系统
CN104184813B (zh) * 2014-08-20 2018-03-09 杭州华为数字技术有限公司 虚拟机的负载均衡方法和相关设备及集群系统
CN109495596A (zh) * 2017-09-13 2019-03-19 阿里巴巴集团控股有限公司 一种实现地址转换的方法及装置
CN111796908A (zh) * 2020-06-18 2020-10-20 聚好看科技股份有限公司 一种资源自动弹性伸缩的系统、方法及云平台

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135043B1 (en) * 2010-09-28 2015-09-15 Netapp, Inc. Interface for enabling an application in a virtual machine to access high performance devices
WO2012173642A1 (en) * 2011-06-14 2012-12-20 Vmware, Inc. Decentralized management of virtualized hosts
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
CN104184813B (zh) * 2014-08-20 2018-03-09 杭州华为数字技术有限公司 虚拟机的负载均衡方法和相关设备及集群系统
CN105988858A (zh) * 2015-05-15 2016-10-05 中国银联股份有限公司 一种虚拟机资源调度方法、装置及系统
CN105391771A (zh) * 2015-10-16 2016-03-09 张陵 一种面向多租户的云网络架构
CN109495596A (zh) * 2017-09-13 2019-03-19 阿里巴巴集团控股有限公司 一种实现地址转换的方法及装置
CN111796908A (zh) * 2020-06-18 2020-10-20 聚好看科技股份有限公司 一种资源自动弹性伸缩的系统、方法及云平台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296794A (zh) * 2021-05-25 2021-08-24 多点(深圳)数字科技有限公司 一种软件工程管理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112711465B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10491523B2 (en) Load distribution in data networks
US20210126867A1 (en) Data-interoperability-oriented trusted processing method and system
EP2058980B1 (en) A method, system and device for establishing a peer to peer connection in a p2p network
CN111277629A (zh) 一种基于高可用性的web高并发系统及方法
US10742559B2 (en) Eliminating data traffic redirection in scalable clusters
CN111338806B (zh) 一种业务控制方法及装置
CN103475566A (zh) 一种实时消息交换平台及分布式集群组建方法
CN110266822B (zh) 一种基于nginx的共享式负载均衡实现方法
CN102164116A (zh) 均衡负载的方法、系统及相应设备
CN109547512A (zh) 一种基于NoSQL的分布式Session管理的方法及装置
CN110327621A (zh) 用于网络游戏客户端匹配的方法及设备
CN108228393A (zh) 一种可扩展的大数据高可用的实现方法
Hao et al. {EdgeCons}: Achieving Efficient Consensus in Edge Computing Networks
CN112612769A (zh) 文件处理方法、装置及存储介质
CN106797384B (zh) 以不同的协议将请求路由到集群中的相同端点
CN112711465B (zh) 基于云平台的数据处理方法、装置、电子设备及存储介质
EP3902279A1 (en) Audio and video stream distribution method in audio and video stream distribution system, and dynamic parent node
CN111541608B (zh) 一种网络通信的方法、系统以及相关装置
CN110049081A (zh) 用于搭建及使用高可用性Docker私库的方法和系统
CN112532754B (zh) 校网文件快速服务方法和系统
CN101369915B (zh) 可运营p2p网络资源管理系统
Wander et al. Towards peer-to-peer-based cryptanalysis
CN111416852A (zh) 在多个负载均衡器之间进行会话同步的方法和负载均衡器
CN112769776B (zh) 分布式业务响应方法、系统、装置及存储介质
Al-Rousan et al. Dcra: Decentralized cognitive resource allocation model for game as a service

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041983

Country of ref document: HK