CN115883584A - 一种基于云计算大数据服务器的数据管理方法和系统 - Google Patents
一种基于云计算大数据服务器的数据管理方法和系统 Download PDFInfo
- Publication number
- CN115883584A CN115883584A CN202211479414.8A CN202211479414A CN115883584A CN 115883584 A CN115883584 A CN 115883584A CN 202211479414 A CN202211479414 A CN 202211479414A CN 115883584 A CN115883584 A CN 115883584A
- Authority
- CN
- China
- Prior art keywords
- client system
- cloud
- system file
- server
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013523 data management Methods 0.000 title claims abstract description 29
- 230000001360 synchronised effect Effects 0.000 claims abstract description 68
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明所请求保护的基于云计算大数据服务器的数据管理方法和系统，通过将客户端系统文件进行待同步操作，将客户端系统文件进行推堆栈处理；分析获取客户端系统文件的云存储指标值；依据客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将客户端系统文件发送到对应的云同步服务器中。该方案不单纯考虑了数据的静态属性信息，充分考虑了待发送数据的动态密度变化，和云同步服务器运行状态的动态波动性，将批量到达客户端系统文件进行合理的评估、排序和客户端系统文件分配，实现动态的的历史数据均衡，避免客户端系统文件拥塞和的历史数据热点的形成通过将数据的动态发送的密度信息进行基于考量；本发明还将服务器的同步处理进行定时合理开启和交互同步处理，可以更好地调度发挥各方性能。
Description
技术领域
本发明属于大数据处理分析领域，具体的，涉及一种基于云计算大数据服务器的数据管理方法和系统。
背景技术
云计算业务服务器端不断整合服务，各种系统都整合在云计算服务器中，各个系统的数据都是孤立的；通常采用的方式是数据库物化视图、goldengate等数据库技术实现数据同步，而采用这种方法有几种弊端，一是系统内部各个模块之间数据同步还可以，如果是系统间数据同步，一般就没法实现了。二是同步的数据不够准确，可能会有部分垃圾数据。三是各个数据库关联性太强，如果系统需要更新或者业务变化，都影响数据同步工作。基于此，现提供一种采用数据库锁的方式来实现云计算环境下并发控制任务的调用工作的方法，一是保证了数据同步的效率；二是系统需要什么样的数据我们就同步什么样的数据。
随着云计算业务服务器端不断整合服务，各种系统都整合在云计算服务器中，各个系统的数据都是孤立的；通常采用的方式是数据库物化视图、goldengate等数据库技术实现数据同步，而采用这种方法有几种弊端，一是系统内部各个模块之间数据同步还可以，如果是系统间数据同步，一般就没法实现了。二是同步的数据不够准确，可能会有部分垃圾数据。三是各个数据库关联性太强，如果系统需要更新或者业务变化，都影响数据同步工作。四是数据之间同步有延迟，无法实时同步到生产环境中。我们采用消息队列、监听器、监听端口和数据库锁的方式来实现云计算环境下并发实时同步数据的调用工作，一是保证了数据同步的效率；二是系统需要什么样的数据我们就同步什么样的数据，三是保证实时同步到生产环境中。
云计算是网格计算、效用计算、网络存储、虚拟化、负载均衡等计算机技术和网络技术相融合的产物。它将所有的计算资源集中起来，并由软件实现自动管理，用户无需参与实际的管理。这使得企业和个人没有必要为计算能力和存储以及对这些资源的管理而烦恼，能够更加专注于自己的业务流程，有利于创新和降低成本。作为一种按需服务、高性价比和资源透明化的业务提供方式，其本质就是通过对互联网的计算、存储及传送等资源的池化，满足不同用户的个性化、多层次服务需求。云计算提供了可靠、安全的数据存储中心，用户不必再担心数据丢失、病毒入侵等严重问题；同时云计算可应用于多种用户终端设备，电脑、手机、电视等终端均可接入；此外，云计算可以轻松实现不同设备间的数据与应用共享，更重要的是云计算在网络使用方面也提供了无限多的可能。
目前，云计算平台下的数据同步还存在效率不高的问题。
发明内容
本发明实施例的目的在于提供一种基于云计算大数据服务器的数据管理方法和系统，以实现动态的为客户端分配云同步服务器。具体技术方案如下：
为了达到上述目的，第一方面，本发明实施例提供了一种基于云计算大数据服务器的数据管理方法，其特征在于，包括：
将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
分析获取所述客户端系统文件的云存储指标值；
依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
可选的，所述将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
可选的，所述分析获取所述客户端系统文件的云存储指标值，还包括：
监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估；
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
可选的，所述依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
可选的，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器，将其作为最优云同步服务器，并将所述客户端系统文件发送至所述最优云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
本发明实施例还提供了一种基于云计算大数据服务器的数据管理系统，其特征在于，包括：
待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
权重划分模块，分析获取所述客户端系统文件的云存储指标值；
同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
可选的，所述待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
可选的，所述权重划分模块，分析获取所述客户端系统文件的云存储指标值，还包括：监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估；
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
可选的，所述同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
可选的，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
本发明所请求保护的基于云计算大数据服务器的数据管理方法和系统，通过将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；分析获取所述客户端系统文件的云存储指标值；依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。该方案不单纯考虑了数据的静态属性信息，充分考虑了待发送数据的动态密度变化，和云同步服务器运行状态的动态波动性，将批量到达客户端系统文件进行合理的评估、排序和客户端系统文件分配，实现动态的的历史数据均衡，避免客户端系统文件拥塞和的历史数据热点的形成通过将数据的动态发送的密度信息进行基于考量；同时，本发明还将服务器的同步处理进行定时合理开启和交互同步处理，可以更好地调度发挥各方性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将将实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明提供的一种基于云计算大数据服务器的数据管理方法的工作流程图；
图2为本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例一的工作流程图；
图3为本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例二的工作流程图；
图4为本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例三的工作流程图；
图5为本发明提供的一种基于云计算大数据服务器的数据管理系统的结构模块图。
具体实施方式
下面将结合本发明实施例中的附图，将本发明实施例中的技术方案进行描述。
参照附图1，本发明请求保护一种基于云计算大数据服务器的数据管理方法，其特征在于，包括：
将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
分析获取所述客户端系统文件的云存储指标值；
依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
其中，所述客户端系统文件为客户端持续不断发送的需要给各个云同步服务器的数据，所述客户端系统文件可以但不限于包括：客户端用户的浏览数据，如html类型数据、视频数据、音乐数据；客户端用户的待处理或已处理文件数据，如txt、pdf、word、excel格式等数据。客户端希望将这些数据进行有效的管理。
各个云同步服务器为将这些数据进行系统管理的结构，依据多种因素将各个客户端系统文件进行分配至各个云同步服务器是本发明的最终目的。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
参照附图2，本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例一的工作流程图；
具体的，所述将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述第一堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
所述第一堆栈由第一线程创建，所述第一线程由第一云同步服务器分配；
所述第一堆栈的进栈时间标签与第一云同步服务器的第一时间范围相同，保证所述进栈的客户端系统文件均符合第一云同步服务器的时间范围。
例如第一云同步服务器的第一时间范围为9:00-15:00，则对应的所述第一云同步服务器创建第一线程，所述第一线程创建第一堆栈，为所述第一堆栈赋时间标签9:00-15:00。
当客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间为11:00时，其处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述第一堆栈处理；
如果所述客户端系统文件的同步时间为16:00时，其不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则由第二云同步服务器的第二线程创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
其中，16:00需要落入第二云同步服务器的时间范围。
具体的，所述分析获取所述客户端系统文件的云存储指标值，还包括：
监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估，
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
设定客户端中的云同步服务器数量为n，n＞0；
所述监测客户端系统的历史数据包括：
获取客户端新到达客户端系统文件的数量XDSL、每个新到客户端系统文件将线程数量的历史平均需求LSPROCESS、每个新到客户端系统文件将存储空间的历史平均需求LSMEMORY、每个新到客户端系统文件将堆栈大小的历史平均需求LSSTACK、客户端中各个云同步服务器当前空闲可用的线程数量KXPROCESS、客户端中各个云同步服务器当前空闲可用存储空间KXMEMORY、客户端中各个云同步服务器当前空闲可用堆栈大小KXSTACK、各个云同步服务器上一次完成的客户端系统文件所使用的时间SCSJ、各个云同步服务器上一次完成客户端系统文件到当前的跨度时间KDSJ、各个云同步服务器最近一次宕机持续时间DJSJ、各个云同步服务器最近一次宕机到当前的跨度时间DJKDSJ、各个云同步服务器上一次完成客户端系统文件所释放的线程数量SFPROCESS、各个云同步服务器上一次完成客户端系统文件所释放的存储空间SFMEMORY、各个云同步服务器上一次完成客户端系统文件所释放的堆栈大小SFSTACK；
所述将所述客户端系统的历史数据进行评估包括：
A1、设定所述客户端系统资源历史需求度为LSXQD：
计算LSXQD＝(LSPROCESS×LSMEMORY×LSSTACK)/XDSL获取所述客户端系统资源历史需求度LSXQD；
A2、设定各个云同步服务器的客户端系统文件空闲执行率为SXZXL：
计算SXZXL＝(KXPROCESS×KXMEMORY×KXSTACK)/XDSL获取各个云同步服务器的客户端系统文件空闲执行率；
A3、设定近期客户端系统文件空闲影响效应的各个云同步服务器的客户端系统文件历史执行率为LSZXL：
计算LSZXL＝(SCSJ×KDSJ×DJSJ×DJKDSJ)/XDSL获取近期客户端系统文件空闲影响效应的各个云同步服务器的客户端系统文件历史执行率LSZXL；
A4、设定等效未来释放执行率为SFZXL：
计算SFZXL＝(SFPROCESS×SFMEMORY×SFSTACK)/XDSL获取等效未来释放执行率。
所述基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值YCCZBZ包括：
计算YCCZBZ＝(LSXQD×SXZXL×LSZXL×SFZXL)获取所述客户端系统文件的云存储指标值；
参照附图3，本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例二的工作流程图；
具体的，所述依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
例如，通过计算获得客户端系统文件的权重为20，第一云同步服务器的云存储指标值范围为0-50，则开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间为12:00，属于第一时间范围9:00-15:00，将所述客户端系统文件发送至所述第一云同步服务器；
如果当前同步处理时间为17:00，不属于第一时间范围9:00-15:00，将所述客户端系统文件发送至第一备份云同步服务器。
所述第一备份云同步服务器用于在闲时将其存储的客户端系统文件发送给第一云同步服务器。
参照附图4，本发明提供的一种基于云计算大数据服务器的数据管理方法的实施例三的工作流程图；
具体的，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器，将其作为最优云同步服务器，并将所述客户端系统文件发送至所述最优云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
具体的，设定单位时间为5min，获取到5min内的客户端系统文件为10条，各条数据的云存储指标值为20,40,42,38,60,70,18,78,42,90，当前第一云同步服务器的云存储指标值范围为0-50，第二云同步服务器的云存储指标值范围为50-100，由此可看出，6条数据处于第一云同步服务器的云存储指标值范围内，4条数据处于第二云同步服务器的云存储指标值范围内，因此，优先开启第一云同步服务器，将其作为最优云同步服务器，并将所述客户端系统文件发送至所述最优云同步服务器，并将该10条数据发送给最优云同步服务器。
获取所述最优云同步服务器的最优时间范围9:00-15:00和所述最优云同步服务器中不属于所述云同步服务器的类型的4条客户端系统文件，获取属于所述云同步服务器的类型的4条客户端系统文件的第二云同步服务器的第二时间范围14:00-18:00，获取所述最优时间范围9:00-15:00和所述第二时间范围14:00-18:00的重叠部分14:00-15:00，在所述重叠部分的时间14:00-15:00到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的4条客户端系统文件发送至所述第二云同步服务器。
如果所述最优时间范围9:00-15:00和所述第二时间范围(假设为16:00-20:00)不存在重叠，依据预设闲时时间范围22:00-5:00，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的4条客户端系统文件发送至所述第二云同步服务器。
参照图5，为本发明提供的一种基于云计算大数据服务器的数据管理系统的结构模块图。
本发明实施例还提供了一种基于云计算大数据服务器的数据管理系统，其特征在于，包括：
待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
权重划分模块，分析获取所述客户端系统文件的云存储指标值；
同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
可选的，所述待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
可选的，所述权重划分模块，分析获取所述客户端系统文件的云存储指标值，还包括：监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估，
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
可选的，所述同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
可选的，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是将本公开的说明，而不应被认为是将其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以将示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是将本公开的说明，而不应被认为是限于所公开的特定实施例，并且将所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，将上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以将这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于云计算大数据服务器的数据管理方法，其特征在于，包括：
将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
分析获取所述客户端系统文件的云存储指标值；
依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
2.如权利要求1所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述第一堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
3.如权利要求1所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述分析获取所述客户端系统文件的云存储指标值，还包括：
监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估，
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
4.如权利要求1所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
5.如权利要求4所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器，将其作为最优云同步服务器，并将所述客户端系统文件发送至所述最优云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
6.一种基于云计算大数据服务器的数据管理系统，其特征在于，包括：
待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理；
权重划分模块，分析获取所述客户端系统文件的云存储指标值；
同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中。
7.如权利要求6所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述待同步操作模块，将客户端系统文件进行待同步操作，将所述客户端系统文件进行推堆栈处理，具体包括：
创建第一堆栈，将所述堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第一堆栈的客户端系统文件的同步时间区间范围；
所述客户端系统文件需要进行待同步操作时，获取所述客户端系统文件的同步时间，如果所述客户端系统文件的同步时间处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则将所述客户端系统文件入所述堆栈处理；
如果所述客户端系统文件的同步时间不处于所述第一堆栈的客户端系统文件的同步时间区间范围中，则创建第二堆栈，将所述第二堆栈赋进栈时间标签，所述进栈时间标签表示允许进入所述第二堆栈的客户端系统文件的同步时间区间范围，将所述待处理数据进行入第二堆栈处理。
8.如权利要求6所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述权重划分模块，分析获取所述客户端系统文件的云存储指标值，还包括：
监测客户端系统的历史数据；
将所述客户端系统的历史数据进行评估；
将各客户端系统文件的动态数据属性进行评估，
基于所述客户端系统的历史数据、所述各客户端系统文件的动态数据属性获取所述客户端系统文件的云存储指标值。
9.如权利要求6所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述同步处理模块，依据所述客户端系统文件的云存储指标值，识别对应的云同步服务器进行数据同步处理，将所述客户端系统文件发送到对应的云同步服务器中，还包括：
当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道；
获取当前同步处理时间，如果所述同步处理时间属于第一时间范围，将所述客户端系统文件发送至所述第一云同步服务器；
如果所述同步处理时间不属于第一时间范围，将所述客户端系统文件发送至第一备份云同步服务器。
10.如权利要求9所述的一种基于云计算大数据服务器的数据管理方法，其特征在于，所述当所述客户端系统文件的云存储指标值属于第一云同步服务器的云存储指标值范围时，开启所述第一云同步服务器的同步处理通道前，还包括：
获取所述客户端系统文件的单位时间的同步处理密度，如果所述客户端系统文件的单位时间的同步处理密度大于预设阈值，获取所述客户端系统文件单位时间内的多个客户端系统文件的云存储指标值在所述客户端系统的占比，开启所述单位时间内的多个客户端系统文件发送给云存储指标值占比最多的云同步服务器；
获取所述最优云同步服务器的最优时间范围和所述最优云同步服务器中不属于所述云同步服务器的类型的客户端系统文件，获取属于所述云同步服务器的类型的客户端系统文件的第二云同步服务器的第二时间范围，获取所述最优时间范围和所述第二时间范围的重叠部分，在所述重叠部分的时间到来时，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器；
如果所述最优时间范围和所述第二时间范围不存在重叠，依据预设闲时时间范围，在所述预设闲时时间范围内，开启所述最优云同步服务器和第二云同步服务器，将所述不属于所述云同步服务器的类型的客户端系统文件发送至所述第二云同步服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211479414.8A CN115883584A (zh) | 2022-11-24 | 2022-11-24 | 一种基于云计算大数据服务器的数据管理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211479414.8A CN115883584A (zh) | 2022-11-24 | 2022-11-24 | 一种基于云计算大数据服务器的数据管理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115883584A true CN115883584A (zh) | 2023-03-31 |
Family
ID=85760772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211479414.8A Withdrawn CN115883584A (zh) | 2022-11-24 | 2022-11-24 | 一种基于云计算大数据服务器的数据管理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115883584A (zh) |
-
2022
- 2022-11-24 CN CN202211479414.8A patent/CN115883584A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107295110B (zh) | 计算任务的处理方法、边缘节点、业务服务器及系统 | |
| CN107241281B (zh) | 一种数据处理方法及其装置 | |
| CN111027736A (zh) | 多目标优化下的微服务组合部署与调度方法 | |
| CN110071965B (zh) | 一种基于云平台的数据中心管理系统 | |
| Kim et al. | On maximizing quality of information for the internet of things: A real-time scheduling perspective | |
| CN101800762A (zh) | 一种对多个业务进行融合的业务云系统及业务实现方法 | |
| CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
| WO2024016596A1 (zh) | 容器集群调度的方法、装置、设备及存储介质 | |
| CN104469392A (zh) | 一种视频文件存储方法及装置 | |
| US9817698B2 (en) | Scheduling execution requests to allow partial results | |
| CN112565774A (zh) | 视频转码资源调度方法及装置 | |
| CN102981973A (zh) | 在存储系统中执行请求的方法 | |
| CN114844788B (zh) | 网络数据分析方法、系统、设备及存储介质 | |
| US8527565B2 (en) | Selecting and reassigning a blade for a logical partition for service scheduling of a blade server | |
| CN114036031B (zh) | 一种企业数字中台中资源服务应用的调度系统和方法 | |
| CN105450784A (zh) | 向mq中的消息分配消费节点的装置及方法 | |
| CN116991562B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN111881086B (zh) | 大数据的存储方法、查询方法、电子装置及存储介质 | |
| Zhang et al. | Efficient online surveillance video processing based on spark framework | |
| CN106257447A (zh) | 云存储服务器的视频存储及检索方法、视频云存储系统 | |
| CN108667920B (zh) | 一种雾计算环境业务流量加速系统及其业务流量加速方法 | |
| CN115883584A (zh) | 一种基于云计算大数据服务器的数据管理方法和系统 | |
| CN115225645B (zh) | 一种服务更新方法、装置、系统和存储介质 | |
| CN112104682A (zh) | 云桌面服务器智能分配方法及系统、存储介质及中控服务器 | |
| WO2022089321A1 (zh) | 调度接入点的方法、装置、服务器以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231114 Address after: 241000 Anhui Wuhu Fanchang Economic Development Zone Applicant after: WUHU TIANMENG INFORMATION TECHNOLOGY Co.,Ltd. Address before: The 3rd Villager Group of Weidang Village, Tongda Town, Lujiang County, Hefei City, Anhui Province 241000 Applicant before: Xu Zhong |
|
| TA01 | Transfer of patent application right | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230331 |
|
| WW01 | Invention patent application withdrawn after publication |