CN110471756A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN110471756A CN110471756A CN201810438535.5A CN201810438535A CN110471756A CN 110471756 A CN110471756 A CN 110471756A CN 201810438535 A CN201810438535 A CN 201810438535A CN 110471756 A CN110471756 A CN 110471756A
- Authority
- CN
- China
- Prior art keywords
- tenant
- service node
- portfolio
- node
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 239000000178 monomer Substances 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000005012 migration Effects 0.000 claims description 71
- 238000013508 migration Methods 0.000 claims description 71
- 230000007704 transition Effects 0.000 claims description 25
- 230000001360 synchronised effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 4
- 238000000151 deposition Methods 0.000 claims 2
- 230000015654 memory Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请实施方式公开了一种数据处理方法及装置。所述方法包括:获取服务节点的整体业务量,所述服务节点中设置有多个租户;当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。利用本申请的技术方案,可以降低满足多租户计算需求的成本,以及提升资源整体利用率。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种数据处理方法及装置。
背景技术
近年来,多租户(multi-tenancy)技术作为云环境下的基础性技术,已经广泛应用于应用程序服务提供行业中。在多租户技术中,多个租户可以共用一个应用程序或运算环境,且在大部分租户不会使用太多运算资源的情况下,对服务供应商来说,多租户技术可以有效地降低环境建置的成本,其中包括硬件成本、操作系统以及相关软件的授权成本等等。
在利用多租户技术向多个租户提供服务的业务场景中,可以通过权限控制和资源隔离的方式实现多分组多租户的部署形态。在多分组多租户中,可以将多个租户划分至不同的分组内,且每个分组内可以包括一个或者多个服务节点,以满足分组内租户的计算需求和存储需求。但是,当分组内业务量剧增时,分组内的服务节点往往无法满足租户的计算需求或者存储需求,现有技术中的解决方式通常是扩充分组内服务节点的数量,以满足业务计算需求或者存储需求。
现有技术中增加服务节点以满足业务计算需求或者存储需求的处理方式往往需要耗费较多的成本。另外,若不具有足够数量的服务节点进行扩充,则无法满足分组内租户的计算需求或者存储需求。
因此,现有技术中亟需一种低成本地、快速有效地满足分组内多租户计算需求的数据处理方式。
发明内容
本申请实施方式的目的是提供一种数据处理方法及装置,可以降低满足多租户计算需求的成本,以及提升资源整体利用率。
具体地,所述数据处理方法及装置是这样实现的:
一种数据处理方法,所述方法包括:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;
根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
一种数据处理方法,所述方法包括:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上。
一种数据处理装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;
根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
一种数据处理装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上。
本申请提供的数据处理方法及装置,可以将资源占用率过高的服务节点上的租户迁移至其他服务节点上,与现有技术中扩充服务节点的方式相比,至少具有以下优势:
(1)现有技术中扩充服务节点的成本较高,而本申请的技术方案中将资源占用率较高的服务节点中的租户迁移至资源占用率较低的服务节点中,不需要增加新的服务节点,成本大大降低;
(2)现有技术中若服务提供方没有足够的服务节点进行扩充,则无法满足租户数据的计算需求,而本申请的技术方案充分利用各个服务节点的剩余资源,降低因没有服务节点进行扩充而无法满足租户数据计算需求的风险;
(3)现有技术中出现部分服务节点资源占用率过高、部分服务节点资源占用率过低的情况,造成整体资源的浪费,而本申请的技术方案充分利用各个服务节点的剩余资源,实现服务节点之间的负载均衡,提升整体资源的使用率。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术多分组多租户中扩展分组的方法示意图;
图2是本申请提供的数据处理方法的应用场景示意图;
图3是本申请提供的数据处理方法的应用场景示意图;
图4是本申请提供的数据处理方法的一种实施例的方法流程图;
图5为本申请提供的数据处理装置的一个实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都应当属于本申请保护的范围。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面首先通过图1对技术方案实现的技术环境进行说明。
服务提供方可以基于已有的资源(如硬件资源、操作系统资源、相关软件资源等)向租户提供诸如邮件管理、银行数据管理、智能问答等多种服务。在服务提供方的平台上,可以采用多租户技术软件框架进行用户数据的管理。如上述,服务提供方可以通过权限控制和资源隔离的方式实现多分组多租户的部署形态。在多分组多租户中,可以将多个租户划分至不同的分组内,且每个分组内可以包括一个或者多个服务节点,以满足分组内租户数据的计算需求和存储需求。如图1所示,服务分组1具有两个租户,租户1和租户2,在该分组中,可以存储和运行为租户1和租户2提供服务所需的数据集合。服务分组1内包含两个服务节点,服务节点1和服务节点2,所述服务节点可以包括单台服务器或者多个服务器组成的服务器集群,所述服务节点还可以包括单个容器或者由多个容器组成的容器集群等。在上述两个服务节点中,所述服务节点2可以为所述服务节点1的备用服务节点,当服务节点1发生故障时,可以利用服务节点2加载数据以运行相关应用程序。
在一些实时性较高的应用场景中,如智能问答业务场景中,租户数据的计算量和存储量均随着租户中使用用户(租户往往为企业,企业的注册用户有多个)的增加而与日俱增,此时,服务分组中的服务节点已经无法满足租户数据的计算需求和存储需求。如图1所示,在现有技术中,往往通过增加服务节点的方式以缓解上述需求。图1中的服务节点3和服务节点4为增加的服务节点,其中,服务节点3为服务节点1的扩展节点,服务节点4为服务节点3的备用服务节点。由此可见,会出现诸如下述技术问题:
(1)服务分组中每增加一个服务节点,都要相应地增加该服务节点的备用服务节点,并且,在实际应用场景中,备用服务节点的个数往往不少于四个,因此,扩充服务节点的成本较高;
(2)若服务提供方没有足够的服务节点进行扩充,则无法满足租户数据的计算需求;
(3)在其他服务分组中,可能出现服务节点的资源剩余情况,扩充服务节点的方式会导致服务分组之间资源严重不均衡。
基于类似于上文所述的技术需求,本申请提供一种数据处理方法,该方法可以在避免扩充服务节点的基础上,采用分组间租户迁移的方式,使得各个服务分组资源利用最优化,并且可以满足各个租户的计算需求或者存储需求。
下面结合附图2、图3对本申请技术方案的应用场景进行描述。如图2所述,服务提供方具有服务分组1和服务分组2,服务分组1中具有两个服务节点,其中,服务节点1中部署有租户1和租户2,服务节点2为服务节点1的备用节点,因此,服务节点2与服务节点1上的数据相同。服务分组2中具有两个服务节点,服务节点3和服务节点4,其中,服务节点4是服务节点3的备用节点,服务节点3上部署有租户3。在服务方为各个服务分组中的租户提供服务的过程中,服务方可以实时监测各个服务分组对应的整体业务量,具体可以包括CPU利用率、内存利用率等。即,服务方可以预先设置各个服务分组整体业务量的阈值,当服务分组的整体业务量超过阈值时,可以确定该服务分组需要迁移部分租户到其他服务节点上。在本场景中,在对各服务分组进行整体业务量监测时,发现服务分组1的整体业务量为CPU占用率为82%,内存占用率为83%,超出预先设置的阈值(CPU占用率80%,内存占用率80%),因此,需要将服务分组1中的其中一个租户迁移至其他服务分组中。在对租户1和租户2的用户日志进行查询的过程中发现,租户1正在进行智能问答业务,正在占据服务分组的大部分资源,并且业务量还处于持续增长的趋势,因此,可以将租户1迁移至其他服务节点上。通过对其他服务分组的整体业务量的确定之后,发现服务分组2的整体业务量较低,适合增加租户1。因此,如图3所示,可以将租户1迁移至服务分组2中。
下面结合附图对本申请所述的数据处理方法进行详细的说明。图4是本申请提供的数据处理方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据处理过程中,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的数据处理方法的一种实施例如图4所示,所述方法可以包括:
S401:获取服务节点的整体业务量,所述服务节点中设置有多个租户。
S403:当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量。
S405:根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
本实施例中,所述服务节点上可以包括多个租户,所述租户可以包括企业、银行等组织,基于多租户软件框架,多个租户可以享受同一个服务(如邮件管理、金融业务管理等)。另外,各个租户可以允许自己的用户访问其服务对应的应用程序(如企业内部邮件系统),但是不同租户之间的数据需要进行隔离,以保证各个组织之间数据的保密性。通常情况下,单个服务节点上可以设置有多个租户,且所述租户运行所述服务时所需要的数据均可以存储于所述服务节点上。基于以上所述,在一些如智能问答、实时通讯的业务场景下,所述服务节点上可能出现业务量在短时间内剧增的情况。基于此,可以对所述服务节点的整体业务量进行实时统计。其中,所述整体业务量可以包括下述中的至少一种:计算资源占用率、存储资源占用率。所述计算资源占用率可以包括CPU资源的占用率,如某服务节点上具有8核CPU,已使用4核,则计算资源占用率为50%。所述存储资源占用率可以包括内存占用率,如某服务节点上具有32G内存,以使用24G,则存储资源占用率为66.67%。
在本申请的一个实施例中,为了获取所述服务节点的整体业务量,可以对所述服务节点上的多个租户进行实时监控。具体地,可以分别获取所述多个租户的租户日志,所述租户日志例如可以包括各个租户使用的CPU使用量记录、内存使用量记录等。当获取到多个租户的租户日志之后,可以统计所述服务节点的整体业务量。例如在一个示例中,可以将所述多个租户的CPU使用量、内存使用量等数据进行求和处理,获取所述服务节点上的CPU使用量总和及内存使用量总和,并根据所述CPU使用量总和及内存使用量总和计算得到所述服务节点的整体业务量。
本实施例中,当所述整体业务量大于第一预设阈值时,可以将所述多个租户中的至少一个租户迁移至其他服务节点上。所述第一预设阈值可以进行预先设置,例如,当所述整体业务量包括CPU占用率时,对应的第一预设阈值可以设置为80%、75%、79%等;当所述整体业务量包括内存占用率时,对应的第一预设阈值可以设置为82%、78%、79%等,本申请对于第一预设阈值的设置不做限制。所述其他服务节点上可以设置有租户,所述其他服务节点还可以为新创建的服务节点。在本申请的一个实施例中,当确定所述整体业务量大于第一预设阈值时,可以确定所述多个租户中需要迁移出去的至少一个迁移租户。在一个实施例中,可以分别获取所述多个租户的单体业务量,并根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。其中,所述单体业务量可以包括下述中的至少一种:计算资源占用率、存储资源占用率。在一个实施例中,所述迁移租户可以包括单体业务量大于第二预设阈值的租户。例如,当所述服务节点的CPU占用率为85%,且大于第一预设阈值82%时,可以将CPU占用率大于第二预设阈值40%的租户从所述服务节点上迁移出去。当然,在其他实施例中,所述迁移租户还可以包括单体业务量排序前预设数量的租户。例如可以将所述服务节点上单体业务量最大的租户迁移出去,还可以将单体业务量最大的前三位租户迁移出去。在其他实施例中,还可以将单体业务量增长速率最快的一个或者多个租户迁移出去,还可以将单体业务量增长速率大于第三预设阈值的用户迁移出去,所述单体业务量增长速率例如包括10000条消息/天,即每天处理的单体业务量的增长速率为10000条消息。对于单体业务量增长最快的租户,可以预估该租户在此后的一段时间内,可能持续占用更多的资源,因此,将此类租户迁移出去,可以避免所述服务节点在短时间内再次遇到迁移租户的风险。
本实施例中,在确定所述迁移租户之后,可以获取整体业务量符合预置迁移条件的目标服务节点。所述预置迁移条件可以包括所述目标服务节点的资源剩余量大于所述多个迁移租户所需的资源需求量。例如,所述多个迁移租户需要8核CPU,64G内存,那么为了满足上述计算需求和存储需求,所述目标服务节点至少需要剩余8核CPU,64G内存的资源量。当然,为了满足后续资源占用增长的需求,所述目标服务节点可以至少需要剩余10核CPU,70G内存的资源量。基于上述预置迁移条件,可以通过查询多个服务节点的资源剩余信息,以获取到满足所述预置迁移条件的目标服务节点。
本实施例中,在确定所述迁移租户以及所述目标服务节点之后,可以将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点。并在满足预置切换条件时,可以将所述目标服务节点切换为所述至少一个迁移租户的工作节点。本实施例中,可以在不影响所述服务节点和所述目标服务节点上其他租户正常运行的情况下,可以将运行所述迁移租户的数据同步复制到所述目标服务节点上。在进行数据同步复制的过程中,所述服务节点依然可以作为所述迁移租户的工作节点,即所述服务节点依然是作为与外部进行通信的节点。
本实施例中,所述的预置切换条件可以包括下述中的至少一种:
所述迁移租户对应的数据已同步复制完到所述目标服务节点;
所述迁移租户在所述服务节点上无新数据流量进入。
本实施例中,当所述迁移租户对应的数据已同步复制完到所述目标服务节点时,可以将所述目标服务节点切换为所述至少一个迁移租户的工作节点。在一个实施例中,所述服务节点和所述目标服务节点中对应于所述至少一个迁移租户的数据量相等时,可以确定所述迁移租户已经完全复制到所述目标服务节点上。在另一个实施例中,不仅需要所述迁移租户对应的数据已经完全复制到所述目标服务节点上,还需要所述迁移租户在所述服务节点上无新数据流量流入,以避免中断所述迁移租户正在进行的数据通信。
需要说明的是,在数据迁移过程中,在对所述多个租户进行数据同步复制的过程中,可以以租户为单位进行并行迁移,这样,可以加快迁移速度,提高迁移效率。
在本申请的一个实施例中,还可以获取所述目标服务节点的备用服务节点,并将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。所述备用服务节点用于实现所述目标服务节点的数据冗余和容灾,例如,当所述目标服务节点发生故障时,可以切换至所述备用服务节点以运行相应的应用程序。由于所述备用服务节点与所述目标服务节点的数据是同步的,因此,在将所述迁移租户的数据同步复制到所述目标服务节点的同时,还可以将所述数据同步复制到所述目标服务节点的备用服务节点上。当然,在其他实施例中,还可以从所述目标服务节点上同步复制到所述备用服务节点上,本申请对于数据同步的方式不做限制。
在本实施例中,当所述迁移租户的数据迁移至目标服务节点上,且将所述目标服务节点切换为所述多个租户的工作节点之后,可以从所述服务节点上删除所述至少一个迁移租户对应的数据。这样,可以清理多余的数据移作他用。
在本申请的另一个实施例中,还可以将所述多个迁移租户迁移至不同的目标服务节点上。具体地,在确定后迁移租户之后,可以资源占用率符合预置迁移条件的多个服务节点。本实施例中,可以分别获取各个迁移租户所需的资源量,那么,所述预置迁移条件可以包括剩余资源量大于其中一个迁移租户所需的资源量。例如,确定迁移租户1所需的资源量为2核CPU、6G内存,迁移租户2所需的资源量为8核CPU、32G内存,那么,剩余资源量为(4核CPU、8G内存)、(10核CPU、40G内存)、(12核CPU、40G内存)的服务节点1、2、3均可确定为符合预置迁移条件的服务节点。在确定符合预置迁移条件的多个服务节点之后,可以从所述多个服务节点中分别选取所述至少一个迁移租户的目标服务节点,并将所述迁移租户对应的数据同步复制到所述目标服务节点上。在上述示例中,可以将迁移租户1的数据迁移至服务节点1上,将迁移租户2的数据迁移至服务节点2上,或者将迁移租户1和迁移租户2的数据都迁移至服务节点2上。后续地,在满足预置切换条件时,可以将所述目标服务节点切换为所述迁移租户的工作节点。具体的实施方式可以参考上述实施例,在此不再赘述。
本申请提供的数据处理方法及装置,可以将资源占用率过高的服务节点上的租户迁移至其他服务节点上,与现有技术中扩充服务节点的方式相比,至少具有以下优势:
(1)现有技术中扩充服务节点的成本较高,而本申请的技术方案中将业务量较高的服务节点中的租户迁移至业务量较低的服务节点中,不需要增加新的服务节点,成本大大降低;
(2)现有技术中若服务提供方没有足够的服务节点进行扩充,则无法满足租户数据的计算需求,而本申请的技术方案充分利用各个服务节点的剩余资源,降低因没有服务节点进行扩充而无法满足租户数据计算需求的风险;
(3)现有技术中出现部分服务节点业务量过高、部分服务节点业务量过低的情况,造成整体资源的浪费,而本申请的技术方案充分利用各个服务节点的剩余资源,实现服务节点之间的负载均衡,提升整体资源的使用率。
在本申请的一个实施例中,还可以将资源占用率过低的服务节点上的租户数据全部迁移至其他服务节点上。本实施例中,当所述资源占用率小于第四预设阈值时,可以将所述多个租户迁移至其他服务节点上。具体的租户迁移方式可以参考上述实施例,本申请在此不做限制。
对应于上述数据处理方法,如图5所示,本申请还提供一种数据处理装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时可以实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;
根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
可选的,在本申请的一个实施例中,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时可以包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的目标服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点。
可选的,在本申请的一个实施例中,所述处理器在实现步骤在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点之后,还可以包括:
从所述服务节点上删除所述至少一个迁移租户对应的数据。
可选的,在本申请的一个实施例中,所述处理器在实现步骤在所述获取整体业务量符合预置迁移条件的目标服务节点之后,还可以包括:
获取所述目标服务节点的备用服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
可选的,在本申请的一个实施例中,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时可以包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述至少一个迁移租户的目标服务节点,并将所述迁移租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述迁移租户的工作节点。
可选的,在本申请的一个实施例中,所述的预置切换条件可以包括下述中的至少一种:
所述迁移租户对应的数据已同步复制完到所述目标服务节点;
所述迁移租户在所述服务节点上无新数据流量进入。
可选的,在本申请的一个实施例中,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时可以包括:将所述多个租户中满足下述至少一个条件的租户迁移至其他服务节点上:
单体业务量大于第二预设阈值;
单体业务量在所述多个租户的单体业务量中排序前预设数量位;
单体业务量增长速率大于第三预设阈值。
可选的,在本申请的一个实施例中,所述处理器在实现步骤获取服务节点的整体业务量时可以包括:
分别获取服务节点上多个租户的租户日志;
基于所述多个租户的所述租户日志,统计所述服务节点的整体业务量。
可选的,在本申请的一个实施例中,所述整体业务量、单体业务量可以包括下述中的至少一种:计算资源占用率、存储资源占用率。
本申请还提供数据处理装置的另一种实施例,所述装置包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时可以实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上。
可选的,在本申请的一个实施例中,所述处理器在实现步骤当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上时可以包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的目标服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点。
可选的,在本申请的一个实施例中,所述处理器在实现步骤在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点之后,还可以包括:
从所述服务节点上删除所述多个租户对应的数据。
可选的,在本申请的一个实施例中,所述处理器在实现步骤在所述获取整体业务量符合预置迁移条件的目标服务节点之后,还可以包括:
获取所述目标服务节点的备用服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
可选的,在本申请的一个实施例中,所述处理器在实现步骤当所述整体业务量小于第四预设阈值时,将所述多个租户中的至少一个租户迁移至其他服务节点上时可以包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述多个租户的目标服务节点,并将所述租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述租户的工作节点。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是当所述资源占用率小于第三预设阈值时,将所述多个租户迁移至其他服务节点上。
软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等,目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
虽然通过实施方式描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (28)
1.一种数据处理方法,其特征在于,所述方法包括:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;
根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的目标服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点。
3.根据权利要求2所述的方法,其特征在于,在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点之后,所述方法还包括:
从所述服务节点上删除所述至少一个迁移租户对应的数据。
4.根据权利要求2所述的方法,其特征在于,在所述获取整体业务量符合预置迁移条件的目标服务节点之后,所述方法还包括:
获取所述目标服务节点的备用服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
5.根据权利要求1所述的方法,其特征在于,所述根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述至少一个迁移租户的目标服务节点,并将所述迁移租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述迁移租户的工作节点。
6.根据权利要求2-5中任意一项所述的方法,其特征在于,所述的预置切换条件包括下述中的至少一种:
所述迁移租户对应的数据已同步复制完到所述目标服务节点;
所述迁移租户在所述服务节点上无新数据流量进入。
7.根据权利要求1所述的方法,其特征在于,所述根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上包括:将所述多个租户中满足下述至少一个条件的租户迁移至其他服务节点上:
单体业务量大于第二预设阈值;
单体业务量在所述多个租户的单体业务量中排序前预设数量位;
单体业务量增长速率大于第三预设阈值。
8.根据权利要求1所述的方法,其特征在于,所述获取服务节点的整体业务量包括:
分别获取服务节点上多个租户的租户日志;
基于所述多个租户的所述租户日志,统计所述服务节点的整体业务量。
9.根据权利要求1或8所述的方法,其特征在于,所述整体业务量、单体业务量包括下述中的至少一种:计算资源占用率、存储资源占用率。
10.一种数据处理方法,其特征在于,所述方法包括:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上。
11.根据权利要求10所述的方法,其特征在于,所述当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的目标服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点。
12.根据权利要求11所述的方法,其特征在于,在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点之后,所述方法还包括:
从所述服务节点上删除所述多个租户对应的数据。
13.根据权利要求11所述的方法,其特征在于,在所述获取整体业务量符合预置迁移条件的目标服务节点之后,所述方法还包括:
获取所述目标服务节点的备用服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
14.根据权利要求10所述的方法,其特征在于,所述当所述整体业务量小于第四预设阈值时,将所述多个租户中的至少一个租户迁移至其他服务节点上包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述多个租户的目标服务节点,并将所述租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述租户的工作节点。
15.一种数据处理装置,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量大于第一预设阈值时,分别获取所述多个租户的单体业务量;
根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上。
16.根据权利要求15所述的装置,其特征在于,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的目标服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点。
17.根据权利要求16所述的装置,其特征在于,所述处理器在实现步骤在满足预置切换条件时,将所述目标服务节点切换为所述至少一个迁移租户的工作节点之后,还包括:
从所述服务节点上删除所述至少一个迁移租户对应的数据。
18.根据权利要求16所述的装置,其特征在于,所述处理器在实现步骤在所述获取整体业务量符合预置迁移条件的目标服务节点之后,还包括:
获取所述目标服务节点的备用服务节点;
将所述至少一个迁移租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
19.根据权利要求15所述的装置,其特征在于,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时包括:
根据所述多个租户的单体业务量,确定所述多个租户中需要迁移的至少一个迁移租户;
获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述至少一个迁移租户的目标服务节点,并将所述迁移租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述迁移租户的工作节点。
20.根据权利要求16-19中任意一项所述的装置,其特征在于,所述的预置切换条件包括下述中的至少一种:
所述迁移租户对应的数据已同步复制完到所述目标服务节点;
所述迁移租户在所述服务节点上无新数据流量进入。
21.根据权利要求15所述的装置,其特征在于,所述处理器在实现步骤根据所述多个租户的单体业务量,将所述多个租户中的至少一个租户迁移至其他服务节点上时包括:将所述多个租户中满足下述至少一个条件的租户迁移至其他服务节点上:
单体业务量大于第二预设阈值;
单体业务量在所述多个租户的单体业务量中排序前预设数量位;
单体业务量增长速率大于第三预设阈值。
22.根据权利要求15所述的装置,其特征在于,所述处理器在实现步骤获取服务节点的整体业务量时包括:
分别获取服务节点上多个租户的租户日志;
基于所述多个租户的所述租户日志,统计所述服务节点的整体业务量。
23.根据权利要求15或22所述的装置,其特征在于,所述整体业务量、单体业务量包括下述中的至少一种:计算资源占用率、存储资源占用率。
24.一种数据处理装置,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取服务节点的整体业务量,所述服务节点中设置有多个租户;
当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上。
25.根据权利要求24所述的装置,其特征在于,所述处理器在实现步骤当所述整体业务量小于第四预设阈值时,将所述多个租户迁移至其他服务节点上时包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的目标服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点;
在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点。
26.根据权利要求25所述的装置,其特征在于,所述处理器在实现步骤在满足预置切换条件时,将所述目标服务节点切换为所述多个租户的工作节点之后,还包括:
从所述服务节点上删除所述多个租户对应的数据。
27.根据权利要求25所述的装置,其特征在于,所述处理器在实现步骤在所述获取整体业务量符合预置迁移条件的目标服务节点之后,还包括:
获取所述目标服务节点的备用服务节点;
将所述多个租户对应的数据同步复制到所述目标服务节点的所述备用服务节点。
28.根据权利要求24所述的装置,其特征在于,所述处理器在实现步骤当所述整体业务量小于第四预设阈值时,将所述多个租户中的至少一个租户迁移至其他服务节点上时包括:
当所述整体业务量小于第四预设阈值时,获取整体业务量符合预置迁移条件的多个服务节点;
从所述多个服务节点中分别选取所述多个租户的目标服务节点,并将所述租户对应的数据同步复制到所述目标服务节点上;
在满足预置切换条件时,将所述目标服务节点切换为所述租户的工作节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810438535.5A CN110471756A (zh) | 2018-05-09 | 2018-05-09 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810438535.5A CN110471756A (zh) | 2018-05-09 | 2018-05-09 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110471756A true CN110471756A (zh) | 2019-11-19 |
Family
ID=68503567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810438535.5A Pending CN110471756A (zh) | 2018-05-09 | 2018-05-09 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110471756A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110179415A1 (en) * | 2010-01-20 | 2011-07-21 | International Business Machines Corporation | Enablement and acceleration of live and near-live migration of virtual machines and their associated storage across networks |
CN105653630A (zh) * | 2015-12-25 | 2016-06-08 | 北京奇虎科技有限公司 | 分布式数据库的数据迁移方法与装置 |
CN107844376A (zh) * | 2017-11-21 | 2018-03-27 | 北京星河星云信息技术有限公司 | 计算系统的资源调配方法、计算系统、介质和服务器 |
CN107885758A (zh) * | 2016-09-30 | 2018-04-06 | 华为技术有限公司 | 一种虚拟节点的数据迁移方法和虚拟节点 |
-
2018
- 2018-05-09 CN CN201810438535.5A patent/CN110471756A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110179415A1 (en) * | 2010-01-20 | 2011-07-21 | International Business Machines Corporation | Enablement and acceleration of live and near-live migration of virtual machines and their associated storage across networks |
CN105653630A (zh) * | 2015-12-25 | 2016-06-08 | 北京奇虎科技有限公司 | 分布式数据库的数据迁移方法与装置 |
CN107885758A (zh) * | 2016-09-30 | 2018-04-06 | 华为技术有限公司 | 一种虚拟节点的数据迁移方法和虚拟节点 |
CN107844376A (zh) * | 2017-11-21 | 2018-03-27 | 北京星河星云信息技术有限公司 | 计算系统的资源调配方法、计算系统、介质和服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107247619B (zh) | 虚拟机热迁移方法、装置、系统、存储介质及设备 | |
CN104601680B (zh) | 一种资源管理方法及装置 | |
US9674343B2 (en) | System and method for instantiation of services at a location based on a policy | |
CN102917025A (zh) | 一种云计算平台的业务迁移方法 | |
CN106339386B (zh) | 数据库弹性调度方法以及装置 | |
CN106096038A (zh) | 一种云计算架构下的分布式数据库架构 | |
CN106484528A (zh) | 分布式框架中用于实现集群动态伸缩的方法及装置 | |
CN106681839B (zh) | 弹性计算动态分配方法 | |
CN104657149A (zh) | 一种存储系统的管理模块的软件框架实现方法 | |
CN104503826A (zh) | 一种云计算数据中心的虚拟机映射方法及装置 | |
US20160044096A1 (en) | Scaling Up and Scaling Out of a Server Architecture for Large Scale Real-Time Applications | |
CN110958297B (zh) | 一种数据迁移方法及系统 | |
CN109117308A (zh) | 快照处理的方法和装置 | |
CN109582459A (zh) | 应用的托管进程进行迁移的方法及装置 | |
CN103414739B (zh) | 采用自动漂移的云服务器自动监控系统及方法 | |
CN109213566A (zh) | 一种虚拟机迁移的方法、装置和设备 | |
AU2018303662B2 (en) | Scalable statistics and analytics mechanisms in cloud networking | |
CN108900435A (zh) | 一种业务部署的方法、装置及计算机存储介质 | |
CN110502575B (zh) | 一种数据同步的方法、装置以及设备 | |
CN108390914A (zh) | 一种服务更新方法及装置、系统 | |
JP2011209811A (ja) | 仮想マシンシステムおよび仮想マシン配置方法 | |
CN109118361A (zh) | 额度管理方法、装置及系统 | |
CN112015515B (zh) | 一种虚拟网络功能的实例化方法及装置 | |
CN110471756A (zh) | 一种数据处理方法及装置 | |
CN107426012A (zh) | 一种基于超融合架构的故障恢复方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191119 |