CN112000479B - 一种基于大数据的处理方法、系统及服务器平台 - Google Patents

Abstract

本发明公开了一种基于大数据的处理方法、系统及服务器平台，该方法包括S1、接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；S2、实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；S3、若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照负荷阈值调整规则调高负荷阈值一次；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

Description

一种基于大数据的处理方法、系统及服务器平台

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于大数据的处理方法、系统及服务器平台。

背景技术

传统的大数据处理模式是，来一个数据就随机分发至服务器中的某一子服务器处理，这样至少会带来两个问题：①个别的子服务器的运行负荷一直较高，即基本满负荷运行，如此一方面会导致个别的子服务器的使用寿命较低，另一方面会导致数据处理遇到拥堵，影响数据处理效率；②所有子服务器已经满负荷运行处理了，但是新的数据处理任务仍然会被分发至子服务器，这样严重加重了子服务器的处理负担，进而导致数据处理缓慢甚至崩机。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于大数据的处理方法、系统及服务器平台，以克服现有技术中数据处理模式不合理导致数据处理缓慢的缺陷。

根据本发明，提供了一种基于大数据的处理方法，包括：

S1、接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

S2、实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

S3、若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照负荷阈值调整规则调高负荷阈值一次；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

进一步地，所述数据分发规则包括：按照若干子服务器的编号顺序分发数据，每次数据分给一个子服务器，下次数据分给下一个子服务器，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器。

进一步地，所述数据分发规则还包括：若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器。

进一步地，所述负荷阈值介于30%-100%，负荷阈值的初始值为30%。

进一步地，所述阈值调整规则为每次将负荷阈值增加10%。

又提供了一种基于大数据的处理系统，包括：

数据分发单元，用于接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

监测单元，用于实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

调整单元，用于若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照阈值调整规则调高负荷阈值；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值。

进一步地，所述调整单元包括：

若干第一计数模块，对应若干子服务器，用于子服务器的运行负荷率在第一预设时间段内超过负荷阈值一次时，记录该子服务器超过负荷阈值一次；

第二计数模块，用于所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值一次时计数加1；

调整模块，用于在任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次时，则按照预定阈值调整规则调高负荷阈值；并在所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，将负荷阈值调整为初始值。

进一步地，所述数据分发规则包括：按照若干子服务器的编号顺序分发数据，每次数据分给一个子服务器，下次数据分给下一个子服务器，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器；若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器。

进一步地，所述阈值调节规则为每次将负荷阈值增加10%，负荷阈值介于30%-100%，负荷阈值的初始值为30%。

又提供了一种基于大数据的服务器平台，包括服务器，服务器上存储有计算机程序，服务器执行计算机程序时实现上述处理方法。

本发明的数据分发规则合理，当子服务器的运行负荷率超过负荷阈值后，就会跳过该子服务器，而且还会根据实际运行情况动态调整负荷阈值，使得每个子服务器处理数据的频率大致相同，而且也不会高负荷运行，也不会使得数据等待处理的时间过长，总体来说提高了数据的处理效率。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1为本发明基于大数据的处理方法的流程示意图；

图2为本发明基于大数据的处理系统的结构示意图；

图3为本发明基于大数据的服务器平台中工作箱的结构示意图；

图4为图3中装载架完全伸展出工作箱的结构示意图；

图5为图4中上连杆和下连杆的结构示意图；

图6为图4中装载板和支撑板的结构示意图；

图7为本发明工作箱增加移动板的结构示意图；

图8为本发明装载架的底部结构示意图。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

如图1所示，本实施例的基于大数据的处理方法包括如下步骤：

步骤S1、接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理。数据分发规则包括：按照若干子服务器的编号顺序分发数据，例如1、2……n，每次数据分给一个子服务器，下次数据分给下一个子服务器，即接收到数据1后将该数据1分发至子服务器1，接收到数据2后将该数据2分发至子服务器2……，接收到数据n后将该数据n分发至子服务器n，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器，例如欲将数据2分发至子服务器2时，先判断子服务器2的运行负荷率，如果子服务器2的运行负荷率未超过负荷阈值，则将数据2分发至子服务器2，如果子服务器2的运行负荷率超过负荷阈值，则跳过子服务器2，判断下一个子服务器即子服务器3的运行负荷率，如此类推，如果子服务器3的运行负荷率未超过负荷阈值，则将数据2分发至子服务器3。此外，若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器，即在将数据n分发至子服务器n后，下一次数据n+1将分发给子服务器1。

本步骤中的数据分发规则合理，当子服务器的运行负荷率超过负荷阈值后，就会跳过该子服务器，如此可以最大程度调动所有子服务器。

步骤S2、实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较。这里，运行负荷率是指子服务器实现运行负荷与额定运行负荷的比值，其处于0-100%之间，若运行负荷率为0，则表明子服务器当前无数据处理任务，若运行负荷率为100%，则表明子服务器当前满负荷运行处理数据。

步骤S3、若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照负荷阈值调整规则调高负荷阈值一次，阈值调整规则为每次将负荷阈值增加10%，例如监测到子服务器2的运行负荷率在10S内超过负荷阈值a次，说明基本所有子服务器已经运行起来了，数据分发均匀了，则将负荷阈值调高10%，负荷阈值不高于100%，接收下一批数据。若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值，例如监测到所有子服务器的运行负荷率在30S内未超过负荷阈值b次，表明此时处理数据的任务不大，需要降低负荷阈值使得数据分发均匀，将负荷阈值调整为初始值。这里，负荷阈值介于30%-100%，负荷阈值的初始值为30%，而且第二预设时间段大于第一预设时间段，b大于a，具体数值根据子服务器数量及数据处理量设定。

如图2所示，本实施例的基于大数据的处理系统包括数据分发单元、监测单元和调整单元。数据分发单元用于接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理，数据分发规则包括：按照若干子服务器的编号顺序分发数据，例如1、2……n，每次数据分给一个子服务器，下次数据分给下一个子服务器，即接收到数据1后将该数据1分发至子服务器1，接收到数据2后将该数据2分发至子服务器2……，接收到数据n后将该数据n分发至子服务器n，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器，例如欲将数据2分发至子服务器2时，先判断子服务器2的运行负荷率，如果子服务器2的运行负荷率未超过负荷阈值，则将数据2分发至子服务器2，如果子服务器2的运行负荷率超过负荷阈值，则跳过子服务器2，判断下一个子服务器即子服务器3的运行负荷率，如此类推，如果子服务器3的运行负荷率未超过负荷阈值，则将数据2分发至子服务器3。此外，若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器，即在将数据n分发至子服务器n后，下一次数据n+1将分发给子服务器1。监测单元用于实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较，运行负荷率是指子服务器实现运行负荷与额定运行负荷的比值，其处于0-100%之间，若运行负荷率为0，则表明子服务器当前无数据处理任务，若运行负荷率为100%，则表明子服务器当前满负荷运行处理数据。调整单元用于若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照阈值调整规则调高负荷阈值，例如监测到子服务器2的运行负荷率在10S内超过负荷阈值a次，说明基本所有子服务器已经运行起来了，数据分发均匀了，则将负荷阈值调高10%，负荷阈值不高于100%，接收下一批数据。若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值，例如监测到所有子服务器的运行负荷率在30S内未超过负荷阈值b次，表明此时处理数据的任务不大，需要降低负荷阈值使得数据分发均匀，将负荷阈值调整为初始值。这里，负荷阈值介于30%-100%，负荷阈值的初始值为30%，而且第二预设时间段大于第一预设时间段，b大于a，具体数值根据子服务器数量及数据处理量设定。其中调整单元包括：第一计数模块、第二计数模块和调整模块，其中第一计数模块设置若干，对应若干子服务器，用于子服务器的运行负荷率在第一预设时间段内超过负荷阈值一次时，记录该子服务器超过负荷阈值一次。第二计数模块用于所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值一次时计数加1。调整模块用于在任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次时，则按照预定阈值调整规则调高负荷阈值；并在所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，将负荷阈值调整为初始值。

本实施例的一种基于大数据的服务器平台包括服务器，该服务器上存储有计算机程序，服务器执行计算机程序时实现前述大数据处理方法。如图3至图6所示，服务器平台还包括用于装载服务器的工作箱1，工作箱1内设有可伸展的装载架，装载架包括装载板2和位于装载板2两侧的支撑板3，支撑板3通过伸展机构与工作箱1的内部铰接，支撑板3设有限位结构，支撑板3完全伸展出工作箱1后，限位结构与伸展机构配合以限定支撑板3的伸展状态。这样，在工作箱1内设有可伸展的装载架，装载架完全伸展出工作箱1后，限位结构会与伸展机构配合以限定装载架的伸展状态，可以将服务器伸展出工作箱1，便于检修和维护。

支撑板3转动连接有上连杆4和下连杆5，上连杆4和下连杆5分别平行地转动连接在工作箱1内，上连杆4上设有上限位销6，支撑板3完全伸展出工作箱1后，上限位销6与限位结构配合实现对上连杆4的限位。具体来说，限位结构包括与支撑板3转动连接的限位板7，限位板7设有限位槽8，限位板7与支撑板3的转动处设有扭簧，上连杆4和下连杆5完全展开后，上限位销6滑入限位槽8内实现对上连杆4的限位，而且支撑板3开设有弧形槽9，弧形槽9内设有滑块10，滑块10与限位板7固定连接，支撑板3设有拉杆座11，拉杆座11内滑动设有拉杆12，拉杆12与滑块10固定连接。当装载板2和支撑板3未完全伸展出工作箱1时，滑块10在扭簧的作用下位于弧形槽9内端，在装载板2和支撑板3完全伸展出工作箱1时，上限位销6会自动滑入限位槽8内并在扭簧的作用下与限位槽8牢靠配接，实现对上连杆4的限位，此时位于装载板2上的服务器被抬高，如此方便检修和维护，检修和维护后，通过拉杆12拉动滑块10使得限位槽8与上限位销6脱离，这样可以将装载板2和支撑板3折叠到工作箱1内。

在装载板2和支撑板3完全伸展出工作箱1后，为进一步提高装载板2和支撑板3的限位锁定强度，本实施例的工作箱1内固定有下定位销13，下定位销13与下连杆5抵接实现对下连杆5的限位。

如图7所示，另一实施例在装载板2上设有移动板14，移动板14与装载板2滑动连接，服务器装载在移动板14上，装载板2上设有移动槽15，移动板14沿着移动槽15在装载板2上移动，而且装载板2和支撑板3完全伸展出工作箱1后，移动板14的高度与工作箱1的高度一致，并能与工作箱1的台面对接，装载板2上设有扶手16。在通过扶手16将装载板2和支撑板3完全伸展出工作箱1后，可以将移动板14从装载板2上移动使得其与工作箱1的台面对接，这样便于将服务器从装载板2上移动至工作箱1的台面上，更加方便检修和维护。

如图8所示，另一实施例在装载板2底部设有锁销17、三角杆18、锁杆19和弹簧套20，三角杆18具有第一端、第二端和第三端，三角杆18的第一端与锁销17铰接，三角杆18的第二端与支撑板3铰接，三角杆18的第三端与锁杆19铰接，锁杆19套接弹簧套20后伸出扶手16，工作箱1内设有不规则齿槽，锁销17在弹簧套20的作用下从支撑板3伸出与不规则齿槽锁定连接，实现在装载板2和支撑板3不伸展出工作箱1的限位。而且通过锁杆19拉动三角杆18就能将锁销17与工作箱1内的不规则齿槽脱离，这样可以伸展装载板2和支撑板3。

通过设置锁销17等结构，一方面可以实现装载板2和支撑板3完全折叠在工作箱1内的限位及位置锁定，防止装载板2和支撑板3异动导致服务器运行不平稳，另一方面可以对装载板2和支撑板3乃至服务器处于小幅度伸展状态下的位置锁定（受不规则齿槽位置的限制），即在这个区间，可以将装载板2和支撑板3乃至服务器锁定至任何位置，便于小问题的检修和维护，无需将其完全伸展出。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种基于大数据的处理系统，其特征在于，包括：

数据分发单元，用于接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

监测单元，用于实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

调整单元，用于若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则按照阈值调整规则调高负荷阈值；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则将负荷阈值调整为初始值；

其中，所述调整单元包括：

若干第一计数模块，对应若干子服务器，用于子服务器的运行负荷率在第一预设时间段内超过负荷阈值一次时，记录该子服务器超过负荷阈值一次；

第二计数模块，用于所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值一次时计数加1；

调整模块，用于在任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次时，则按照预定阈值调整规则调高负荷阈值；并在所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，将负荷阈值调整为初始值。

2.根据权利要求1所述的一种基于大数据的处理系统，其特征在于，所述数据分发规则包括：按照若干子服务器的编号顺序分发数据，每次数据分给一个子服务器，下次数据分给下一个子服务器，而且在分发前判断当前子服务器的运行负荷率，若是当前子服务器的运行负荷率超过负荷阈值，则跳过当前子服务器；若当前子服务器为最后的一个子服务器，则当前子服务器的下一个子服务器是最开始的一个子服务器。

3.根据权利要求1所述的一种基于大数据的处理系统，其特征在于，所述阈值调节规则为每次将负荷阈值增加10％，负荷阈值介于30％-100％，负荷阈值的初始值为30％。

4.一种基于大数据的服务器平台，其特征在于，包括服务器，服务器上存储有计算机程序，服务器执行计算机程序时实现：

数据分发单元接收数据后，按照数据分发规则将数据分发给服务器中若干子服务器中之一的子服务器处理；

监测单元实时监测若干子服务器的运行负荷率，并将每个子服务器的运行负荷率与负荷阈值相比较；

若是任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次，则调整单元按照阈值调整规则调高负荷阈值；若是所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，则调整单元将负荷阈值调整为初始值；其中，所述调整单元包括：

若干第一计数模块，对应若干子服务器，用于子服务器的运行负荷率在第一预设时间段内超过负荷阈值一次时，记录该子服务器超过负荷阈值一次；

第二计数模块，用于所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值一次时计数加1；

调整模块，用于在任意一个子服务器的运行负荷率在第一预设时间段内超过负荷阈值a次时，则按照预定阈值调整规则调高负荷阈值；并在所有的子服务器的运行负荷率在第二预设时间段内均未超过负荷阈值b次，将负荷阈值调整为初始值。

Images