CN117271138B - 一种基于数据中心的数据处理方法及系统 - Google Patents
一种基于数据中心的数据处理方法及系统 Download PDFInfo
- Publication number
- CN117271138B CN117271138B CN202311406046.9A CN202311406046A CN117271138B CN 117271138 B CN117271138 B CN 117271138B CN 202311406046 A CN202311406046 A CN 202311406046A CN 117271138 B CN117271138 B CN 117271138B
- Authority
- CN
- China
- Prior art keywords
- server
- value
- load
- data
- transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000005059 dormancy Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000007958 sleep Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 abstract description 9
- 238000013500 data storage Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000005587 bubbling Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请涉及一种基于数据中心的数据处理方法及系统，涉及数据处理技术的领域，该方法包括于数据非高峰时段内实时获取各服务器的数据负载数值；判断数据负载数值是否小于基准负载数值；若小于，则将该服务器定义为低负载服务器，并将该低负载服务器的数据负载数值定义为需求转出数值；若不小于，则将该服务器定义为正常服务器，并根据正常服务器的数据负载数值以及限负载数值确定许可转入数值；根据需求转出数值确定转出顺序且根据许可转入数值确定转入顺序；根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器休眠。本申请具有减少数据存储处理时造成的能源浪费的效果。
Description
技术领域
本申请涉及数据处理技术的领域，尤其是涉及一种基于数据中心的数据处理方法及系统。
背景技术
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理，数据经过解释并赋予一定的意义之后，便成为信息，数据处理是对数据的采集、存储、检索、加工、变换和传输。
相关技术中，在对数据进行存储处理时，一般需要基于数据中心进行实现，数据中心中存在有多个服务器，需要存储的数据通过通信连接的数据链传输至数据中心的服务器中进行存储，当需要使用该数据时又可通过对应的指令于服务器中进行调用。通过服务器中所存储的数据大小情况可将服务器区分为低负载服务器、中负载服务器以及高负载服务器，其中低负载服务器虽然能供数据进行存储，但消耗能源的同时提供不了较好的工作效率，而高负载服务器虽然提供了较好的工作效率但会有可能会存在数据卡顿的情况，因此一般情况下外部所输入的需要进行存储的数据会优先放置于中负载服务器中。
针对上述中的相关技术，发明人认为当服务器中的数据被调用后，处于服务器中的数据会消失，当处于非高峰时段而没有新的外部数据进行填补时，会使该服务器长时间处于低负载服务器的情况，此时该服务器不仅消耗能源且提供不了较好的工作效率，造成了能源的浪费，尚有改进空间。
发明内容
为了减少数据存储处理时造成的能源浪费，本申请提供一种基于数据中心的数据处理方法及系统。
第一方面，本申请提供一种基于数据中心的数据处理方法，采用如下的技术方案：
一种基于数据中心的数据处理方法，包括：
获取当前时间点；
于当前时间点处于预设的数据非高峰时段内时实时获取各服务器的数据负载数值；
判断数据负载数值是否小于预设的基准负载数值；
若数据负载数值小于基准负载数值，则将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值；
若数据负载数值不小于基准负载数值，则将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值；
根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序；
根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠。
通过采用上述技术方案，获取当前时间点以判断当前是否处于非高峰时段，当处于非高峰时段时对每个服务器的负载情况进行确定，以对低负载服务器进行确定，从而能够将低负载服务器中的数据转移至其余的正常服务器中并对不存在数据的服务器进行休眠，从而使得较为散乱的数据能够集中至较少的服务器中，以减少数据存储处理时造成的能源浪费。
可选的，根据需求转出数值确定各低负载服务器的转出顺序的步骤包括：
于低负载服务器中进行数据组分析以获取独立组分数量以及各数据组的组分负载数值；
根据预设的排序规则对所有低负载服务器所确定的组分负载数值进行排序，并由大至小对数据组赋予处理难度值；
于单个低负载服务器中根据所有的数据组对应的处理难度值进行求和计算以确定综合难度值；
根据综合难度值以及相对应的独立组分数量进行均值计算以确定均值难度值；
根据排序规则对均值难度值由小至大进行排序以确定转出顺序。
通过采用上述技术方案，对每个服务器中所需转移的数据的难度进行确定，以优先对难度较小的服务器中的数据进行转移。
可选的，于均值难度值确定后，转出顺序的确定步骤还包括：
获取各低负载服务器的连续作业时长；
根据连续作业时长以当前时间点为后端点以建立检测区间，并于检测区间内生成一可于检测区间内进行移动的检测点，且获取检测点的单点负载数值；
根据检测点以及检测区间的前端点生成作业区间，并根据作业区间确定检测时长；
于作业区间内根据所有点位的单点负载数值进行求和计算以确定作业负载数值，并根据作业负载数值以及检测时长进行计算以确定检测点的前序影响值；
根据预设的压力匹配关系以确定前序影响值以及单点负载数值相对应的单点压力值；
根据所有的单点压力值进行求和计算以确定综合压力值；
根据预设的修正匹配关系以确定综合压力值相对应的修正参数，并根据修正参数对均值难度值进行修正更新。
通过采用上述技术方案，对各低负载服务器长时间作业所受的压力情况进行确定，以使得压力较大的低负载服务器中的数据能够优先转移，从而使得对应的低负载服务器能够进行休眠以减少压力。
可选的，控制数据转移的步骤包括：
将当前需要进行数据转移的低负载服务器定义为转出服务器，并将当前需要进行数据转入的正常服务器定义为转入服务器，且将转入服务器相对应的许可转入数值定义为剩余负载数值；
于转出服务器中判断数据组的组分负载数值是否大于剩余负载数值；
若组分负载数值大于剩余负载数值，则将该数据组定义为无效数据组；
若组分负载数值不大于剩余负载数值，则将该数据组定义为有效数据组；
于有效数据组中根据排序规则确定数值最大的组分负载数值，并将该组分负载数值相对应的有效数据组转移至转入服务器内，且于剩余的数据组中继续确定有效数据组以进行数据转移，直至不存在有效数据组时控制转入服务器根据转入顺序变化。
通过采用上述技术方案，可对低负载服务器中能够进行转移的数据组由负载大的优先进行转移，便于实现低负载服务器中所有数据组进行转移。
可选的，还包括：
于低负载服务器中将所有的正常服务器均成为过转入服务器后仍留有的数据组定义为疑难数据组，且将疑难数据组所对应的低负载服务器定义为待处理服务器；
于所有的待处理服务器中根据所有的疑难数据组进行穷举组合以确定数据组组合，并根据数据组组合确定需求占用数量，且根据数据组组合以及需求占用数量确定占用服务器；
根据排序规则确定数值最小的需求占用数量，并判断是否存在至少两个需求占用数量数值最小的情况；
若不存在至少两个需求占用数量数值最小的情况，则根据该数据组组合控制数据组转移至对应的占用服务器中；
若存在至少两个需求占用数量数值最小的情况，则根据各数据组组合以及相对应的占用服务器确定需求转移负载；
根据排序规则确定数值最小的需求转移负载，并根据该需求转移负载对应的数据组组合控制数据组进行转移。
通过采用上述技术方案，当出现所有正常服务器均无法容纳对应的数据组时，可对各疑难数据组进行整合归纳，使得部分服务器能够进行休眠作业。
可选的，根据数据组组合以及需求占用数量确定占用服务器的步骤包括：
于待处理服务器中根据需求占用数量进行组合以确定服务器占用组合；
于服务器占用组合中根据各服务器的综合压力值进行均值计算以确定组合压力值；
于服务器占用组合中根据排序规则确定数值最大的综合压力值，并将该综合压力值定义为极限压力值；
根据数据组组合以及服务器占用组合确定模拟转移负载；
根据预设的优先级算法结合组合压力值、极限压力值以及模拟转移负载进行计算以确定组合优先参数；
根据排序规则确定数值最大的组合优先参数，并将该组合优先参数相对应的服务器占用组合中的待处理服务器确定为占用服务器。
通过采用上述技术方案，可根据各服务器的压力情况确定较为合适的占用服务器进行使用。
可选的，于服务器占用组合确定前，基于数据中心的数据处理方法还包括：
判断待处理服务器的综合压力值是否大于预设的上限压力值；
若待处理服务器的综合压力值不大于上限压力值，则维持待处理服务器定义；
待待处理服务器的综合压力值大于上限压力值，则取消待处理服务器定义。
通过采用上述技术方案，可对部分长时间使用的待处理服务器进行排除，以便于该类待处理服务器进行休眠，减少服务器长时间作业而出现损坏的情况。
第二方面，本申请提供一种基于数据中心的数据处理系统，采用如下的技术方案：
一种基于数据中心的数据处理系统，包括：
获取模块，用于获取当前时间点；
处理模块，与获取模块和判断模块连接，用于信息的存储和处理；
判断模块，与获取模块和处理模块连接，用于信息的判断；
于判断模块判断出当前时间点处于预设的数据非高峰时段内时获取模块实时获取各服务器的数据负载数值；
判断模块判断数据负载数值是否小于预设的基准负载数值；
若判断模块判断出数据负载数值小于基准负载数值，则处理模块将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值；
若判断模块判断出数据负载数值不小于基准负载数值，则处理模块将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值；
处理模块根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序；
处理模块根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠。
通过采用上述技术方案，获取模块获取当前时间点以使判断模块判断当前是否处于非高峰时段，当判断模块判断出处于非高峰时段时处理模块对每个服务器的负载情况进行确定，以对低负载服务器进行确定，从而能够将低负载服务器中的数据转移至其余的正常服务器中并对不存在数据的服务器进行休眠，从而使得较为散乱的数据能够集中至较少的服务器中，以减少数据存储处理时造成的能源浪费。
综上所述，本申请包括以下至少一种有益技术效果：
在非高峰时段可对低负载服务器中的数据进行转移以实现数据整合，使得相同量的数据无需启用较多的服务器，从而减少了数据存储处理时造成的能源浪费；
可对数据转移顺序进行确定，以便于对低负载服务器中的数据进行有效转移；
可对无法转移的数据组进行整合以减少需要启用的服务器的数量，尽可能减少能源的浪费。
附图说明
图1是基于数据中心的数据处理方法的流程图。
图2是转出顺序确定方法的流程图。
图3是转出顺序修正方法的流程图。
图4是数据转移控制方法的流程图。
图5是疑难数据组整合处理方法的流程图。
图6是占用服务器确定方法的流程图。
图7是服务器排除分析方法的流程图。
图8是基于数据中心的数据处理方法的模块流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-8及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例公开一种基于数据中心的数据处理方法，在非高峰时段可对每个服务器中的数据存储负载情况进行确定，以对低负载服务器中的数据能进行转移，实现数据的整合，使得所需启用的服务器数量减少，从而减少能源的浪费。
参照图1，基于数据中心的数据处理方法的方法流程包括以下步骤：
步骤S100：获取当前时间点。
当前时间点为当前利用数据中心的服务器对数据进行存储处理的时间点。
步骤S101：于当前时间点处于预设的数据非高峰时段内时实时获取各服务器的数据负载数值。
数据非高峰时段为工作人员所设定的认定不会存在数据变动较大的时段，以外卖平台为例，数据非高峰时段可以设定为凌晨2点-5点，具体的可由工作人员根据实际情况进行设定；当当前时间点处于数据非高峰时段内时，此时数据的变动不会较大，需要对当前的低负载服务器进行分析处理；数据负载数值为当前服务器中所存储的数据的量，可通过CPU占用率进行确定。
步骤S102：判断数据负载数值是否小于预设的基准负载数值。
基准负载数值为工作人员所设定的认定该服务器为低负载服务器时的最大数据负载数值，判断的目的是为了得知当前该服务器是否为低负载服务器。
步骤S1021：若数据负载数值小于基准负载数值，则将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值。
当数据负载数值小于基准负载数值时，说明该服务器为低负载服务器，此时对该服务器进行定义以实现对不同服务器的区分；同时定义需求转出数值以对该服务器上需要转出的数据量进行确定，以便于后续分析。
步骤S1022：若数据负载数值不小于基准负载数值，则将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值。
当数据负载数值不小于基准负载数值时，说明该服务器不为低负载服务器，此时定义该服务器为正常服务器以进行标识，以实现不同服务器的区分；上限负载数值为服务器所能存储的最大负载数值，许可转入数值为该服务器还可供数据转入的负载数值，由上限负载数值减去数据负载数值进行确定。
步骤S103：根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序。
转出顺序为各低负载服务器的数据进行转出时的顺序，即哪个低负载服务器的数据先转出哪个低负载服务器的数据后转出，具体确定方法下文进行说明，此处不作赘述；转入顺序为转出的顺序优先转入哪个正常服务器的顺序，该顺序可通过对许可转入数值进行排序，以使得许可转入数值较大的正常服务器顺序靠前，从而使得各正常服务器的负载量能尽可能靠近上限负载数值。
步骤S104：根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠。
控制数据进行转移使得低负载服务器无需继续供数据进行存储，此时将该低负载服务器确定为空闲服务器进行标识，使得能对空闲服务器进行休眠控制，从而实现相同量的数据下所启用的服务器数量减少，进而减少了能源的浪费。
参照图2，根据需求转出数值确定各低负载服务器的转出顺序的步骤包括：
步骤S200：于低负载服务器中进行数据组分析以获取独立组分数量以及各数据组的组分负载数值。
数据组为共同进行存储不可进行拆分的数据所形成的数据组合，例如同一时间段下存储进入的一批数据，即使每个数据都是独立的，但是为了方便后续的调用，不可放置于多个服务器中进行存储，这些数据便形成一个数据组；数据组的分析可通过存储时间、数据本身情况等进行分析，独立组分数量为一个低负载服务器中所拥有的数据组的数量，组分负载数值为每个数据组的负载数值。
步骤S201：根据预设的排序规则对所有低负载服务器所确定的组分负载数值进行排序，并由大至小对数据组赋予处理难度值。
排序规则为工作人员所设定的能对数值大小进行排序的方法，例如冒泡法，通过排序规则可对每个数据组的组分负载数值进行排序，组分负载数值越低，说明越好对该数据组进行移动，例如负载为1的数据组，在上线负载为100的情况下，负载99的服务器依旧能够对该数据组进行接纳，处理难度值为对数据组进行移动的难度值，负载越大难度越大，通过排序情况可赋予不同的难度值，由大到小可依次进行赋值，例如共有5个数据组，则处理难度值可以由大至小依次为5、4、3、2、1，具体的处理难度值大小由工作人员根据实际情况进行设定。
步骤S202：于单个低负载服务器中根据所有的数据组对应的处理难度值进行求和计算以确定综合难度值。
综合难度值为对该低负载服务器中的数据组进行全部转移的难度值，由该低负载服务器中的所有数据组对应的处理难度值相加获取。
步骤S203：根据综合难度值以及相对应的独立组分数量进行均值计算以确定均值难度值。
均值难度值为反应处理该低负载服务器中的数据的难易程度值。
步骤S204：根据排序规则对均值难度值由小至大进行排序以确定转出顺序。
通过排序规则根据均值难度值由小至大确定转出顺序，可对转移难度较小的服务器中的数据进行优先转移，使得正常服务器能尽可能的填满。
参照图3，于均值难度值确定后，转出顺序的确定步骤还包括：
步骤S300：获取各低负载服务器的连续作业时长。
连续作业时长为低负载服务器从上次休眠结束后至当前时间点之间的时长。
步骤S301：根据连续作业时长以当前时间点为后端点以建立检测区间，并于检测区间内生成一可于检测区间内进行移动的检测点，且获取检测点的单点负载数值。
建立检测区间可便于对该低负载服务器于连续作业时长内的作业数据进行获取并分析；生成检测点可对检测区间中每个时间点的数据进行采集，单点负载数值为该低负载服务器于检测点所在位置时所存储的数据负载数值。
步骤S302：根据检测点以及检测区间的前端点生成作业区间，并根据作业区间确定检测时长。
建立作业区间可对该低负载服务器于检测点之间的作业情况进行分析；检测时长为作业区间的跨度时长。
步骤S303：于作业区间内根据所有点位的单点负载数值进行求和计算以确定作业负载数值，并根据作业负载数值以及检测时长进行计算以确定检测点的前序影响值。
作业负载数值为低负载服务器于作业区间中所承受的所有数据负载，由作业区间中所确定的所有单点负载数值相加获取；不同的作业负载数值说明该服务器于作业区间内的CPU调用率不同，此时服务器作业所产生的热量也不同，因此于检测点时服务器的作业状态也不同，前序影响值即服务器于作业区间内的作业情况对当前检测点作业状态的影响数值，当检测时长越大，作业负载数值越大时，前序影响值也越大，两者的计算公式为ε=αI+βT，其中ε为前序影响值，I为作业负载数值，α为作业负载数值的调整参数，T为检测时长，β为检测时长的调整参数，α以及β均为工作人员设定的定值。
步骤S304：根据预设的压力匹配关系以确定前序影响值以及单点负载数值相对应的单点压力值。
单点压力值为检测点处服务器所受到的存储压力，当前序影响值越大时，说明对当前的存储压力影响较大，当单点负载数值较大时，同样说明对当前的存储压力影响较大，三者之间的压力匹配关系由工作人员事先根据多次试验以确定，不作赘述。
步骤S305：根据所有的单点压力值进行求和计算以确定综合压力值。
综合压力值为当前该低负载服务器进行作业所受到的压力值，该压力值越大说明低负载服务器的存储效果越差，也即需要对该服务器进行休眠处理以减少服务器长时间作业而出现损坏的情况。
步骤S306：根据预设的修正匹配关系以确定综合压力值相对应的修正参数，并根据修正参数对均值难度值进行修正更新。
修正参数为对均值难度值进行修正的参数，不同的综合压力值说明服务器需要休息的程度不一样，此时确定不同的修正参数对均值难度值进行修正更新，使得转出顺序排序时可综合服务器使用情况进行确定，提高转出顺序确定的合理性；其中两者之间的修正匹配关系由工作人员事先根据多次试验以确定。
参照图4，控制数据转移的步骤包括：
步骤S400：将当前需要进行数据转移的低负载服务器定义为转出服务器，并将当前需要进行数据转入的正常服务器定义为转入服务器，且将转入服务器相对应的许可转入数值定义为剩余负载数值。
定义转出服务器以及转入服务器以便于对当前进行数据转移的情况进行分析，同时定义剩余负载数值可对转入服务器中可供数据转入的空间进行确定，便于后续分析。
步骤S401：于转出服务器中判断数据组的组分负载数值是否大于剩余负载数值。
判断的目的是为了得知转出服务器中的该数据组是否能够转移至转入服务器中。
步骤S4011：若组分负载数值大于剩余负载数值，则将该数据组定义为无效数据组。
当组分负载数值大于剩余负载数值时，说明转入服务器的空间不足以容纳该数据组，此时该数据组无法转移至转入服务器中，从而将该数据组定义为无效数据组以进行标识，以便于后续分析。
步骤S4012：若组分负载数值不大于剩余负载数值，则将该数据组定义为有效数据组。
当组分负载数值不大于剩余负载数值时，说明转入服务器的空间足以容纳该数据组，此时该数据组能转移至转入服务器中，从而将该数据组定义为有效数据组以进行标识，以便于后续分析。
步骤S402：于有效数据组中根据排序规则确定数值最大的组分负载数值，并将该组分负载数值相对应的有效数据组转移至转入服务器内，且于剩余的数据组中继续确定有效数据组以进行数据转移，直至不存在有效数据组时控制转入服务器根据转入顺序变化。
通过排序规则将能够转移的有效数据组中负载最大的数据组进行转移，以使得转移难度较大的能优先进行处理，从而使得低负载服务器中的数据能够尽可能的全部进行转移；依次选择不同的转入服务器进行数据转移，使得低负载服务器中的数据能够有效转移。
参照图5，基于数据中心的数据处理方法还包括：
步骤S500：于低负载服务器中将所有的正常服务器均成为过转入服务器后仍留有的数据组定义为疑难数据组，且将疑难数据组所对应的低负载服务器定义为待处理服务器。
在数据转移过程中，可能出现部分数据组负载较大而不易转移至其余正常服务器的情况，需要进一步分析；此时定义疑难数据组以及待处理服务器以便于后续分析；其中，当有疑难数据组存在时，先不对该疑难数据组进行处理，以根据转出顺序继续对其余低负载服务器进行处理，直至剩余疑难数据组后再对所有的疑难数据组进行统一处理。
步骤S501：于所有的待处理服务器中根据所有的疑难数据组进行穷举组合以确定数据组组合，并根据数据组组合确定需求占用数量，且根据数据组组合以及需求占用数量确定占用服务器。
数据组组合为疑难数据组进行搭配时的组合，例如存在疑难数据组A、B、C，其中数据组组合可以为以下五种情况：①A、B、C；②A、BC；③B，AC；④C、AB；⑤ABC；当五种情况确定后，需要对组合情况进行分析，例如ABC三个疑难数据组的负载相加大于上限负载数值时，则不存在ABC处于同一服务器的情况，此时数据组组合不应存在上述中的第⑤方案；需求占用数量为根据数据组组合对疑难数据组进行组合时所需用到的服务器数量，以上述例子进行说明，其中①方案的需求占用数量为3；占用服务器为数据组组合需要转移至的服务器，该占用服务器于待处理服务器中进行选取，具体确定方法下文进行说明，此处不作赘述。
步骤S502：根据排序规则确定数值最小的需求占用数量，并判断是否存在至少两个需求占用数量数值最小的情况。
通过排序规则可确定出需要服务器最少的方案，判断的目的是为了得知是否有多个使用服务器均最少的方案，以便于判断是否需要于多个方案中继续选取情况，以上述例子进行说明，②③④的需求占用数量均为2，此时需要进一步分析以确定需要选用何种方案。
步骤S5021：若不存在至少两个需求占用数量数值最小的情况，则根据该数据组组合控制数据组转移至对应的占用服务器中。
当不存在至少两个需求占用数量数值最小的情况时，说明仅有一种方案所需选用的服务器数量最少，此时根据该数据组组合的方案进行数据组转移即可。
步骤S5022：若存在至少两个需求占用数量数值最小的情况，则根据各数据组组合以及相对应的占用服务器确定需求转移负载。
当存在至少两个需求占用数量数值最小的情况时，说明至少有两个方案所选用的服务器数量同时最少，需要进一步分析；需求转移负载为根据数据组组合以及占用服务器时所需要转移的数据组负载之和。
步骤S503：根据排序规则确定数值最小的需求转移负载，并根据该需求转移负载对应的数据组组合控制数据组进行转移。
通过排序规则可确定数值最小的需求转移负载，以根据该需求转移负载对应的数据组组合进行数据转移，从而使得整体所需转移的数量较少，便于实现数据转移。
参照图6，根据数据组组合以及需求占用数量确定占用服务器的步骤包括：
步骤S600：于待处理服务器中根据需求占用数量进行组合以确定服务器占用组合。
服务器占用组合为所需占用的服务器的组合，例如存在待处理服务器X、Y、Z，需求占用数量为2，则服务器占用组合分别为XY、XZ和YZ。
步骤S601：于服务器占用组合中根据各服务器的综合压力值进行均值计算以确定组合压力值。
组合压力值为所选用的服务器占用组合中的低负载服务器的综合压力值之和。
步骤S602：于服务器占用组合中根据排序规则确定数值最大的综合压力值，并将该综合压力值定义为极限压力值。
通过排序规则可确定每个服务器占用组合中最大压力的服务器，并将该服务器的综合压力值定义为极限压力值以进行标识，以便于后续分析。
步骤S603：根据数据组组合以及服务器占用组合确定模拟转移负载。
模拟转移负载为数据组组合根据服务器占用组合进行转移时所需要进行转移的数据负载，以上述方案②以及XY进行说明，其中A需要占用一个服务器，BC占用一个服务器，此时存在两种情况，即一，A占用X服务器以及BC占用Y服务器；二A占用Y服务器以及BC占用X服务器，此时的模拟转移负载为两种情况下所需转移的数据负载的最小值。
步骤S604：根据预设的优先级算法结合组合压力值、极限压力值以及模拟转移负载进行计算以确定组合优先参数。
组合优先参数为服务器占用组合确定时的优先参数，该数值越大说明该组合优先级越高；优先级算法为，其中ρ为组合优先参数，θ为组合压力值，μ为极限压力值，σ为模拟转移负载。
步骤S605：根据排序规则确定数值最大的组合优先参数，并将该组合优先参数相对应的服务器占用组合中的待处理服务器确定为占用服务器。
通过排序规则可确定数值最大的组合优先参数，即该组合优先参数对应的服务器占用组合最为合理，此时根据该服务器占用组合确定占用服务器即可。
参照图7，于服务器占用组合确定前，基于数据中心的数据处理方法还包括：
步骤S700：判断待处理服务器的综合压力值是否大于预设的上限压力值。
上限压力值为工作人员所设定的服务器作业压力较大需要进行休眠状态时的最小综合压力值，判断的目的是为了得知待处理服务器中是否有服务器一定需要进行休眠处理。
步骤S7001：若待处理服务器的综合压力值不大于上限压力值，则维持待处理服务器定义。
当待处理服务器的综合压力值不大于上限压力值时，说明该待处理服务器能够继续进行作业，此时对该待处理服务器的定义进行维持，以便于后续确定占用服务器。
步骤S7002：待待处理服务器的综合压力值大于上限压力值，则取消待处理服务器定义。
当待处理服务器的综合压力值大于上限压力值时，说明该待处理服务器需要进行休眠处理，不可继续进行数据存储，此时对该待处理服务器的定义取消，以减少该待处理服务器被定义为占用服务器的情况发生。
参照图8，基于同一发明构思，本发明实施例提供一种基于数据中心的数据处理系统，包括：
获取模块，用于获取当前时间点；
处理模块，与获取模块和判断模块连接，用于信息的存储和处理；
判断模块，与获取模块和处理模块连接，用于信息的判断；
于判断模块判断出当前时间点处于预设的数据非高峰时段内时获取模块实时获取各服务器的数据负载数值；
判断模块判断数据负载数值是否小于预设的基准负载数值；
若判断模块判断出数据负载数值小于基准负载数值，则处理模块将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值；
若判断模块判断出数据负载数值不小于基准负载数值，则处理模块将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值；
处理模块根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序；
处理模块根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠；
转出顺序确定模块，用于确定各低负载服务器的转出顺序；
转出顺序修正模块，综合考虑各低负载服务器的作业压力情况以对转出顺序进行修正；
数据转移控制模块，用于控制低负载服务器中的数据进行转移；
疑难数据组整合模块，用于对疑难数据组进行整合以减少需要启用的服务器数量；
占用服务器确定模块，用于确定较为合适的占用服务器进行使用；
服务器排除分析模块，用于对压力较大的待处理服务器进行排除，以减少服务器长时间作业而出现损坏的情况。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
Claims (4)
1.一种基于数据中心的数据处理方法，其特征在于，包括：
获取当前时间点；
于当前时间点处于预设的数据非高峰时段内时实时获取各服务器的数据负载数值；
判断数据负载数值是否小于预设的基准负载数值；
若数据负载数值小于基准负载数值，则将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值；
若数据负载数值不小于基准负载数值，则将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值；
根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序；
根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠；
根据需求转出数值确定各低负载服务器的转出顺序的步骤包括：
于低负载服务器中进行数据组分析以获取独立组分数量以及各数据组的组分负载数值；
根据预设的排序规则对所有低负载服务器所确定的组分负载数值进行排序，并由大至小对数据组赋予处理难度值；
于单个低负载服务器中根据所有的数据组对应的处理难度值进行求和计算以确定综合难度值；
根据综合难度值以及相对应的独立组分数量进行均值计算以确定均值难度值；
根据排序规则对均值难度值由小至大进行排序以确定转出顺序；
于均值难度值确定后，转出顺序的确定步骤还包括：
获取各低负载服务器的连续作业时长；
根据连续作业时长以当前时间点为后端点以建立检测区间，并于检测区间内生成一可于检测区间内进行移动的检测点，且获取检测点的单点负载数值；
根据检测点以及检测区间的前端点生成作业区间，并根据作业区间确定检测时长；
于作业区间内根据所有点位的单点负载数值进行求和计算以确定作业负载数值，并根据作业负载数值以及检测时长进行计算以确定检测点的前序影响值；
根据预设的压力匹配关系以确定前序影响值以及单点负载数值相对应的单点压力值；
根据所有的单点压力值进行求和计算以确定综合压力值；
根据预设的修正匹配关系以确定综合压力值相对应的修正参数，并根据修正参数对均值难度值进行修正更新；
控制数据转移的步骤包括：
将当前需要进行数据转移的低负载服务器定义为转出服务器，并将当前需要进行数据转入的正常服务器定义为转入服务器，且将转入服务器相对应的许可转入数值定义为剩余负载数值；
于转出服务器中判断数据组的组分负载数值是否大于剩余负载数值；
若组分负载数值大于剩余负载数值，则将该数据组定义为无效数据组；
若组分负载数值不大于剩余负载数值，则将该数据组定义为有效数据组；
于有效数据组中根据排序规则确定数值最大的组分负载数值，并将该组分负载数值相对应的有效数据组转移至转入服务器内，且于剩余的数据组中继续确定有效数据组以进行数据转移，直至不存在有效数据组时控制转入服务器根据转入顺序变化；
还包括：
于低负载服务器中将所有的正常服务器均成为过转入服务器后仍留有的数据组定义为疑难数据组，且将疑难数据组所对应的低负载服务器定义为待处理服务器；
于所有的待处理服务器中根据所有的疑难数据组进行穷举组合以确定数据组组合，并根据数据组组合确定需求占用数量，且根据数据组组合以及需求占用数量确定占用服务器；
根据排序规则确定数值最小的需求占用数量，并判断是否存在至少两个需求占用数量数值最小的情况；
若不存在至少两个需求占用数量数值最小的情况，则根据该数据组组合控制数据组转移至对应的占用服务器中；
若存在至少两个需求占用数量数值最小的情况，则根据各数据组组合以及相对应的占用服务器确定需求转移负载；
根据排序规则确定数值最小的需求转移负载，并根据该需求转移负载对应的数据组组合控制数据组进行转移。
2.根据权利要求1所述的基于数据中心的数据处理方法，其特征在于，根据数据组组合以及需求占用数量确定占用服务器的步骤包括：
于待处理服务器中根据需求占用数量进行组合以确定服务器占用组合；
于服务器占用组合中根据各服务器的综合压力值进行均值计算以确定组合压力值；
于服务器占用组合中根据排序规则确定数值最大的综合压力值，并将该综合压力值定义为极限压力值；
根据数据组组合以及服务器占用组合确定模拟转移负载；
根据预设的优先级算法结合组合压力值、极限压力值以及模拟转移负载进行计算以确定组合优先参数；
根据排序规则确定数值最大的组合优先参数，并将该组合优先参数相对应的服务器占用组合中的待处理服务器确定为占用服务器。
3.根据权利要求2所述的基于数据中心的数据处理方法，其特征在于，于服务器占用组合确定前，基于数据中心的数据处理方法还包括：
判断待处理服务器的综合压力值是否大于预设的上限压力值；
若待处理服务器的综合压力值不大于上限压力值，则维持待处理服务器定义；
待待处理服务器的综合压力值大于上限压力值，则取消待处理服务器定义。
4.一种基于数据中心的数据处理系统，其特征在于，包括：
获取模块，用于获取当前时间点；
处理模块，与获取模块和判断模块连接，用于信息的存储和处理；
判断模块，与获取模块和处理模块连接，用于信息的判断；
于判断模块判断出当前时间点处于预设的数据非高峰时段内时获取模块实时获取各服务器的数据负载数值；
判断模块判断数据负载数值是否小于预设的基准负载数值；
若判断模块判断出数据负载数值小于基准负载数值，则处理模块将该服务器定义为低负载服务器，并将该低负载服务器相对应的数据负载数值定义为需求转出数值；
若判断模块判断出数据负载数值不小于基准负载数值，则处理模块将该服务器定义为正常服务器，并根据正常服务器相对应的数据负载数值以及预设的上限负载数值进行差值计算以确定许可转入数值；
处理模块根据需求转出数值确定各低负载服务器的转出顺序且根据许可转入数值确定各正常服务器的转入顺序；
处理模块根据转入顺序以将低负载服务器内的数据根据转出顺序转移至各正常服务器内，并于低负载服务器内的数据全部转移后将该低负载服务器确定为空闲服务器，且对该空闲服务器进行休眠；
处理模块于低负载服务器中进行数据组分析以使获取模块获取独立组分数量以及各数据组的组分负载数值；
处理模块根据预设的排序规则对所有低负载服务器所确定的组分负载数值进行排序，并由大至小对数据组赋予处理难度值；
处理模块于单个低负载服务器中根据所有的数据组对应的处理难度值进行求和计算以确定综合难度值；
处理模块根据综合难度值以及相对应的独立组分数量进行均值计算以确定均值难度值；
处理模块根据排序规则对均值难度值由小至大进行排序以确定转出顺序；
获取模块获取各低负载服务器的连续作业时长；
处理模块根据连续作业时长以当前时间点为后端点以建立检测区间，并于检测区间内生成一可于检测区间内进行移动的检测点，且获取检测点的单点负载数值；
处理模块根据检测点以及检测区间的前端点生成作业区间，并根据作业区间确定检测时长；
处理模块于作业区间内根据所有点位的单点负载数值进行求和计算以确定作业负载数值，并根据作业负载数值以及检测时长进行计算以确定检测点的前序影响值；
处理模块根据预设的压力匹配关系以确定前序影响值以及单点负载数值相对应的单点压力值；
处理模块根据所有的单点压力值进行求和计算以确定综合压力值；
处理模块根据预设的修正匹配关系以确定综合压力值相对应的修正参数，并根据修正参数对均值难度值进行修正更新；
处理模块将当前需要进行数据转移的低负载服务器定义为转出服务器，并将当前需要进行数据转入的正常服务器定义为转入服务器，且将转入服务器相对应的许可转入数值定义为剩余负载数值；
判断模块于转出服务器中判断数据组的组分负载数值是否大于剩余负载数值；
若判断模块判断出组分负载数值大于剩余负载数值，则处理模块将该数据组定义为无效数据组；
若判断模块判断出组分负载数值不大于剩余负载数值，则处理模块将该数据组定义为有效数据组；
处理模块于有效数据组中根据排序规则确定数值最大的组分负载数值，并将该组分负载数值相对应的有效数据组转移至转入服务器内，且于剩余的数据组中继续确定有效数据组以进行数据转移，直至不存在有效数据组时控制转入服务器根据转入顺序变化；
处理模块于低负载服务器中将所有的正常服务器均成为过转入服务器后仍留有的数据组定义为疑难数据组，且将疑难数据组所对应的低负载服务器定义为待处理服务器；
处理模块于所有的待处理服务器中根据所有的疑难数据组进行穷举组合以确定数据组组合，并根据数据组组合确定需求占用数量，且根据数据组组合以及需求占用数量确定占用服务器；
处理模块根据排序规则确定数值最小的需求占用数量，并使判断模块判断是否存在至少两个需求占用数量数值最小的情况；
若判断模块判断出不存在至少两个需求占用数量数值最小的情况，则处理模块根据该数据组组合控制数据组转移至对应的占用服务器中；
若判断模块判断出存在至少两个需求占用数量数值最小的情况，则处理模块根据各数据组组合以及相对应的占用服务器确定需求转移负载；
处理模块根据排序规则确定数值最小的需求转移负载，并根据该需求转移负载对应的数据组组合控制数据组进行转移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311406046.9A CN117271138B (zh) | 2023-10-27 | 2023-10-27 | 一种基于数据中心的数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311406046.9A CN117271138B (zh) | 2023-10-27 | 2023-10-27 | 一种基于数据中心的数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117271138A CN117271138A (zh) | 2023-12-22 |
| CN117271138B true CN117271138B (zh) | 2024-03-01 |
Family
ID=89217809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311406046.9A Active CN117271138B (zh) | 2023-10-27 | 2023-10-27 | 一种基于数据中心的数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117271138B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109642A (ja) * | 1999-10-08 | 2001-04-20 | Toshiba Corp | クラスタシステム、及びそのデータ複写方法 |
| JP2009116380A (ja) * | 2007-11-01 | 2009-05-28 | Nec Corp | 仮想サーバ移動制御装置、仮想サーバ移動制御方法およびプログラム |
| CN101662370A (zh) * | 2008-08-26 | 2010-03-03 | 华为技术有限公司 | 服务器休眠/唤醒方法及具有休眠/唤醒功能的服务器 |
| CN103188277A (zh) * | 2011-12-27 | 2013-07-03 | 中国电信股份有限公司 | 负载能耗管理系统、方法和服务器 |
| CN106713377A (zh) * | 2015-07-29 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 分布式数据库负载调平的方法和装置 |
| CN115840686A (zh) * | 2022-11-14 | 2023-03-24 | 苏州浪潮智能科技有限公司 | 一种服务器性能测试方法、装置、电子设备以及存储介质 |
-
2023
- 2023-10-27 CN CN202311406046.9A patent/CN117271138B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109642A (ja) * | 1999-10-08 | 2001-04-20 | Toshiba Corp | クラスタシステム、及びそのデータ複写方法 |
| JP2009116380A (ja) * | 2007-11-01 | 2009-05-28 | Nec Corp | 仮想サーバ移動制御装置、仮想サーバ移動制御方法およびプログラム |
| CN101662370A (zh) * | 2008-08-26 | 2010-03-03 | 华为技术有限公司 | 服务器休眠/唤醒方法及具有休眠/唤醒功能的服务器 |
| CN103188277A (zh) * | 2011-12-27 | 2013-07-03 | 中国电信股份有限公司 | 负载能耗管理系统、方法和服务器 |
| CN106713377A (zh) * | 2015-07-29 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 分布式数据库负载调平的方法和装置 |
| CN115840686A (zh) * | 2022-11-14 | 2023-03-24 | 苏州浪潮智能科技有限公司 | 一种服务器性能测试方法、装置、电子设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 史倩倩.基于深度强化学习的数据中心网络能耗管理系统.北京邮电大学硕士学位论文.2021,第1-49页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117271138A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2265800A1 (en) | Load sharing controller for optimizing monetary cost | |
| US7725900B2 (en) | Method of assigning objects to processing units | |
| CN117271138B (zh) | 一种基于数据中心的数据处理方法及系统 | |
| CN106681656A (zh) | 一种动态可调的云存储系统容错方法 | |
| CN106982245A (zh) | 监管控制和数据采集系统中的客户端和服务器 | |
| CN110427270A (zh) | 一种面向rdma网络下分布式连接算子的动态负载均衡方法 | |
| EP3872505A1 (en) | Charging pile test method, device and system, storage medium and processor | |
| CN105608138A (zh) | 一种优化阵列数据库并行数据加载性能的系统 | |
| CN111064586B (zh) | 一种分布式并行计费方法 | |
| CN112860532A (zh) | 性能测试方法、装置、设备及介质、程序产品 | |
| CN110489221B (zh) | 一种自动化任务数量动态调整计算资源的方法及系统 | |
| CN114398166B (zh) | 基于二分法的分布式计算任务调度方法及设备 | |
| WO2012017699A1 (ja) | 計算機システム、及び、データ管理方法 | |
| CN115421900A (zh) | 一种前置数据采集方法、系统及存储介质 | |
| CN110750608B (zh) | 一种基于规则库的空间数据分析自动调度方法 | |
| CN111913791A (zh) | 任务调度方法、装置、设备和计算机可读存储介质 | |
| CN114356515A (zh) | 一种数据转换任务的调度方法 | |
| CN118708326A (zh) | 一种基于数据中心的资源调度方法及系统 | |
| CN118779119A (zh) | 一种基于数据中心的信息存储方法及系统 | |
| WO2023128735A1 (ko) | 충전 부하 분산을 위한 전기자동차 충전소 최적 위치 선정 방법 | |
| JP2002244738A (ja) | 物流自動化工場でのキャリア搬送制御方法 | |
| CN114374695B (zh) | 一种分布式数据采集系统运行方法及系统 | |
| CN112579297B (zh) | 一种数据处理方法及装置 | |
| CN118012711B (zh) | 一种基于互联网的集成芯片运行状态监管系统及方法 | |
| CN115766944A (zh) | 话务路由方法、话务承载中心、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |