CN111078712A - 大数据集群的更新方法、装置、计算机设备和存储介质 - Google Patents
大数据集群的更新方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111078712A CN111078712A CN201910978277.4A CN201910978277A CN111078712A CN 111078712 A CN111078712 A CN 111078712A CN 201910978277 A CN201910978277 A CN 201910978277A CN 111078712 A CN111078712 A CN 111078712A
- Authority
- CN
- China
- Prior art keywords
- updating
- preset
- appointed
- big data
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请揭示了一种大数据集群的更新方法、装置、计算机设备和存储介质,所述方法包括:获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新。
Description
技术领域
本申请涉及到计算机领域,特别是涉及到一种大数据集群的更新方法、装置、计算机设备和存储介质。
背景技术
现在大数据管理工具有很多,大部分工具都是针对单个集群进行管理,没有多集群监控管理工具。对于大公司而言,集群多样化是正常需求,基本上都会十几套集群,目前的方案或者对每套集群都单独管理(例如更新),维护成本高,管理不便;或者专门搭建一个管理平台,对多个大数据集群进行统一管理,那么则需要额外搭建专门用于管理的平台,费时费力;或者由每个终端都自行管理,则难以实现统一管理,效率低且错误率高。因此,目前的技术方案缺乏对多个大数据集群进行高效更新的方法。
发明内容
本申请的主要目的为提供一种大数据集群的更新方法、装置、计算机设备和存储介质,旨在提高多个大数据集群进行更新的效率。
为了实现上述发明目的,本申请提出一种大数据集群的更新方法,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
判断所述指定版本号是否满足预设的更新触发条件;
若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
进一步地,所述数据库在获取新的数据时会生成快照,所述从预设的数据库中获取更新数据的步骤,包括:
获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷;
比较所述第一快照卷和所述第二快照卷,从而获得所述第一快照卷相对于所述第二快照卷的差异数据,其中,所述差异数据标注有指定版本号;
将所述差异数据记为所述更新数据,并获取所述更新数据。
进一步地,所述第一快照卷以指定哈希值作为密钥进行加密为第一密文,所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成,所述获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤,包括:
获取所述第一密文和所述第二快照卷,其中所述第一密文的创建时间离当前时间最近,所述第二快照卷的创建时间离所述第一密文最近;
对所述第二快照卷采用所述指定哈希算法进行哈希计算,从而得到所述指定哈希值;
采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密,从而得到所述第一快照卷。
进一步地,所述指定版本号为a1.a2.a3.....am,所述判断所述指定版本号是否满足预设的更新触发条件的步骤,包括:
根据公式:A=(k1·a1,k2·a2,k3·a3,...,km·am),生成版本号向量A,其中k1、k2、k3、...、km为预设的参数;
判断所述相似程度值D是否大于预设的相似程度阈值;
若所述相似程度值D大于预设的相似程度阈值,则判定所述指定版本号满足预设的更新触发条件。
进一步地,所述根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略的步骤,包括:
根据预设的更新策略与更新策略向量的对应关系,获取与预设的多个更新策略一一对应的多个更新策略向量E;
根据公式:
将数值最小的策略选择参数F记为指定更新策略向量,并将所述指定更新策略向量对应的更新策略记为指定更新策略,并获取所述指定更新策略。
进一步地,所述判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端的步骤之后,包括:
若所述指定更新策略中记载有除所述指定终端之外的其他终端,则生成与所述其他终端一一对应的多个数据包,其中所述数据包为所述更新数据中的一部分;
将所述多个数据包分别发送给所述其他终端。
进一步地,所述若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端的步骤之后,包括:
统计所述指定终端运行时的参数环境,从而得到参数信息,其中所述参数信息至少包括参数数量和每个参数的参数条件的数量;
采用所述测试用例对更新后的指定终端进行验证,并判断所述验证的结果是否通过;
若所述验证的结果通过,则判定大数据集群更新成功。
本申请提供一种大数据集群的更新装置,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
数量阈值判断单元,用于获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
更新数据获取单元,用于若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
更新触发条件判断单元,用于判断所述指定版本号是否满足预设的更新触发条件;
指定更新策略获取单元,用于若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
指定更新策略判断单元,用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
指定终端更新单元,用于若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的大数据集群的更新方法、装置、计算机设备和存储介质,获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新,并且相对于管理平台必须采用构建多个信息通道(有多少个终端,就需要构建多少个信息通道),本申请直接利用原有的信息通道,进一步节省了时间和成本。
附图说明
图1为本申请一实施例的大数据集群的更新方法的流程示意图;
图2为本申请一实施例的大数据集群的更新装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种大数据集群的更新方法,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
S1、获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
S2、若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
S3、判断所述指定版本号是否满足预设的更新触发条件;
S4、若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
S5、判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
S6、若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
本申请通过对多个大数据集群的交叉点(即指定终端,所述指定终端同时归属于多个大数据集群)作为大数据集群更新的发起者,从而不需要单独建立管理平台。并且由于指定终端同时归属于多个大数据集群,因此其可以在不需要搭建新的渠道即可高效地完成更新数据的传递,从而完成大数据集群的更新。其中,所述指定终端之所以能够胜任大数据集群更新的发起者,在于存储更新数据的数据库,被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值,从而仅对指定终端放开权限,以便实现整个大数据集群更新。
如上述步骤S1所述,获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值。由于指定终端是大数据集群更新的发起者,因此若指定终端仅是少数大数据集群交叉点,那么指定终端无法满足高效地大数据集群更新。据此,获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值,从而仅在所述大数据集群的数量大于预设的数量阈值的情况下,才利用所述指定终端进行大数据集群的更新,以避免“若指定终端仅是少数大数据集群交叉点,那么指定终端无法满足高效地大数据集群更新”(例如,当存在n个大数据集群,而所述指定终端仅在其中1个大数据集群之中,那么所述指定终端无法直接与其他的大数据集群产生通信连接,因此不利于大数据集群更新)的情况出现。
如上述步骤S2所述,若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值。只有当所述大数据集群的数量大于预设的数量阈值之时,对应终端才适宜进行发起大数据集群更新,也才具有访问数据库的权限。其中,所述更新数据例如为参数修改、数据替换等内容。所述参数修改例如为,修改所述数据库中的参数类型,参数范围等。所述数据替换例如为,将用于集群更新的数据全部或者部分替换。进一步地,所述数量阈值可设置为固定数值,例如3-10,也可设置为大数据集群总数量的百分比,例如为50%乘以大数据集群总数量。本申请采用了判断所述大数据集群的数量是否大于预设的数量阈值的方式,以确定所述指定终端是否可以作为第一节点,即当所述大数据集群的数量大于预设的数量阈值之时,所述指定终端可以作为第一节点,从而具有访问数据库的权限;反之,当所述大数据集群的数量不大于预设的数量阈值之时,所述指定终端不能作为第一节点,因此无法访问数据库。
如上述步骤S3所述,判断所述指定版本号是否满足预设的更新触发条件。所述更新触发条件可以为任意可行条件,例如为从所述指定版本号中提取主版本号,判断所述主版本号是否属于预设的更新版本号,若是则判定符合更新触发条件。或者,根据公式:A=(k1·a1,k2·a2,k3·a3,...,km·am),生成版本号向量A,其中k1、k2、k3、...、km为预设的参数;根据公式:计算得到相似程度值D,其中A为版本号向量,B为预设的标准向量,Ai为所述版本号向量A的第i个分向量,Bi为所述标准向量B的第i个分向量;判断所述相似程度值D是否大于预设的相似程度阈值;若所述相似程度值D大于预设的相似程度阈值,则判定所述指定版本号满足预设的更新触发条件。进一步地,所述更新触发条件还可以为:获取所述指定版本号的更新时间,将所述指定版本号的更新时间与预设的时间点进行对比,若所述指定版本号的更新时间晚于预设的时间点,则判定所述指定版本号满足预设的更新触发条件。
如上述步骤S4所述,若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略。其中,获取与所述指定版本号对应的指定更新策略,例如为:根据预设的更新策略与更新策略向量的对应关系,获取与预设的多个更新策略一一对应的多个更新策略向量E;根据公式:
计算得到与多个更新策略一一对应的多个策略选择参数F,其中,Ai为所述版本号向量A的第i个分向量,Ei为更新策略向量E的第i个分向量;将数值最小的策略选择参数F记为指定更新策略向量,并将所述指定更新策略向量对应的更新策略记为指定更新策略,并获取所述指定更新策略。进一步地,所述指定更新策略例如为:利用所述更新数据先更新所述指定终端,再根据预设的洪水算法,将所述更新数据发送给与所述指定终端直接相连的其他终端,直至最后一个终端接收到更新数据。从而完成快速更新。
如上述步骤S5所述,判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端。所述指定终端是更新数据的发起者,若所述指定更新策略中还记载有除所述指定终端之外的其他终端,则还需要将相应的更新数据发送给所述其他终端。反之,则只对所述指定终端进行更新,即可实现对整个大数据集群的更新。
如上述步骤S6所述,若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。若所述指定更新策略中未记载除所述指定终端之外的其他终端,则此次大数据集群的更新仅涉及指定终端,据此,根据所述指定更新策略,利用所述更新数据,更新所述指定终端。其中指定更新策略可以为任意策略,例如为整块数据替换策略(即将更新数据完全替换原有数据);参数修改+数据替换策略(将能够通过参数数值修改实现的更新内容通过参数修改的方式实现,其余数据通过数据替换的方式实现)等。
在一个实施方式中,所述数据库在获取新的数据时会生成快照,所述从预设的数据库中获取更新数据的步骤S2,包括:
S201、获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷;
S202、比较所述第一快照卷和所述第二快照卷,从而获得所述第一快照卷相对于所述第二快照卷的差异数据,其中,所述差异数据标注有指定版本号;
S203、将所述差异数据记为所述更新数据,并获取所述更新数据。
如上所述,实现了从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号。本申请中,所述数据库在获取新的数据时会生成快照,从而提高了信息的安全性与可补救性。其中,快照的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。本申请的数据库在获取新的数据时会生成快照从而利用快照能够实行本案的特殊操作,即:快速获取更新数据。快照卷记载了生成快照之时的数据与原始数据的区别数据,因此第一快照卷记载了最新数据与原始数据的区别数据,第二快照卷记载了次新数据与原始数据的区别数据。因此,通过比较所述第一快照卷和所述第二快照卷,即可获得所述第一快照卷相对于所述第二快照卷的差异数据,再将所述差异数据记为所述更新数据,并获取所述更新数据。由此,仅利用快照卷,无需对数据库本身进行额外处理,即可获取所述更新数据。
在一个实施方式中,所述第一快照卷以指定哈希值作为密钥进行加密为第一密文,所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成,所述获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤S201,包括:
S2011、获取所述第一密文和所述第二快照卷,其中所述第一密文的创建时间离当前时间最近,所述第二快照卷的创建时间离所述第一密文最近;
S2012、对所述第二快照卷采用所述指定哈希算法进行哈希计算,从而得到所述指定哈希值;
S2013、采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密,从而得到所述第一快照卷。
如上所述,实现了获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷。为了保证信息安全性,本申请对第一快照卷以指定哈希值作为密钥进行加密为第一密文,并且,为了增加存储空间的利用率,采用与第一快照卷最相近的第二快照卷作为密钥的生成基础,即所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成,从而在保证信息安全性的前提下(若不法分子能够获取所有数据,那么密钥同样也能被获取;若不法分子只能获取部分数据,由于其无法知道密钥的生成基础,因此安全性仍然得到保证),不需要额外花费存储空间来存储密钥。据此,获取所述第一密文和所述第二快照卷,其中所述第一密文的创建时间离当前时间最近,所述第二快照卷的创建时间离所述第一密文最近;对所述第二快照卷采用所述指定哈希算法进行哈希计算,从而得到所述指定哈希值;采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密,从而得到所述第一快照卷,从而得到第一快照卷和第二快照卷。进一步地,所述第二快照卷也通过第二哈希值作为密钥进行加密为第二密文,所述第二哈希值通过对第三快照卷采用指定哈希算法计算而生成,其中第三快照卷是创造时间离所述第二快照卷的创造时间最近的快照卷。从而实现了梯次加密,更进一步提高信息安全性。
在一个实施方式中,所述指定版本号为a1.a2.a3.....am,所述判断所述指定版本号是否满足预设的更新触发条件的步骤S3,包括:
S301、根据公式:A=(k1·a1,k2·a2,k3·a3,...,km·am),生成版本号向量A,其中k1、k2、k3、...、km为预设的参数;
S303、判断所述相似程度值D是否大于预设的相似程度阈值;
S304、若所述相似程度值D大于预设的相似程度阈值,则判定所述指定版本号满足预设的更新触发条件。
如上所述,实现了判断所述指定版本号是否满足预设的更新触发条件。本申请将指定版本号映射为版本号向量A,再通过公式:计算得到相似程度值D,若所述相似程度值D大于预设的相似程度阈值,则判定所述指定版本号满足预设的更新触发条件,从而实现灵活设置触发条件(例如通过控制预设的参数k1、k2、k3、...、km;或者通过控制标准向量,实现对指定版本号中的特定子版本号的筛选)。并且,还可以对相似程度阈值进行设置,以调整更新触发条件。从而不必采用调整更新触发条件对应关系的方式调整相应设置,而只需对参数或者向量预先设置即可。并且由于多种方式的结合,使得更新触发条件的覆盖面更广。其中,相似程度值D的最大值为1,当相似程度值D越接近于1时,表明向量A与向量B越相似,也即越满足更新触发条件。
在一个实施方式中,所述根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略的步骤S4,包括:
S401、根据预设的更新策略与更新策略向量的对应关系,获取与预设的多个更新策略一一对应的多个更新策略向量E;
S402、根据公式:
S403、将数值最小的策略选择参数F记为指定更新策略向量,并将所述指定更新策略向量对应的更新策略记为指定更新策略,并获取所述指定更新策略。
如上所述,实现了根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略。本申请采用根据公式:计算得到与多个更新策略一一对应的多个策略选择参数F,其中,Ai为所述版本号向量A的第i个分向量,Ei为更新策略向量E的第i个分向量;将数值最小的策略选择参数F记为指定更新策略向量,并将所述指定更新策略向量对应的更新策略记为指定更新策略,并获取所述指定更新策略。其中,由于前述的相似程度值D的计算公式,仅考虑了向量之间的角度关系,不涉及向量长度。因此,为了更准确地获取指定更新策略,本申请还采用公式:计算策略选择参数F,其中数值最小的策略选择参数F即表明对应的更新策略向量与版本号向量A最相近,因此对应的更新策略即为指定更新策略。据此,通过进一步引入向量长度的方式,实现了更准确地获取指定更新策略。
在一个实施方式中,所述判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端的步骤S5之后,包括:
S51、若所述指定更新策略中记载有除所述指定终端之外的其他终端,则生成与所述其他终端一一对应的多个数据包,其中所述数据包为所述更新数据中的一部分;
S52、将所述多个数据包分别发送给所述其他终端。
如上所述,实现了将所述多个数据包分别发送给所述其他终端。若所述指定更新策略中记载有除所述指定终端之外的其他终端,则表示大数据集群的更新还涉及到其他终端,并且由于其他终端的更新数据也肯定包含在所述更新数据之中,因此生成与所述其他终端一一对应的多个数据包,其中所述数据包为所述更新数据中的一部分。再将所述多个数据包分别发送给所述其他终端,待其他终端根据所述多个数据包完成更新,即可实现整个大数据集群的更新。从而避免了建立用于大数据集群的管理平台的额外花费。
在一个实施方式中,所述若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端的步骤S6之后,包括:
S61、统计所述指定终端运行时的参数环境,从而得到参数信息,其中所述参数信息至少包括参数数量和每个参数的参数条件的数量;
S63、采用所述测试用例对更新后的指定终端进行验证,并判断所述验证的结果是否通过;
S64、若所述验证的结果通过,则判定大数据集群更新成功。
如上所述,实现了利用测试用例进行验证。为了确定大数据集群更新是否成功,并且采用最小的计算量来完成验证,本申请通过统计所述指定终端运行时的参数环境;采用正交实验法获取用于测试所述参数环境的测试用例,其中所述测试用例的数量为其中Ak为所述参数环境中第k个参数的参数条件的数量,所述参数环境共有n个参数;采用所述测试用例对更新后的指定终端进行验证,并判断所述验证的结果是否通过;若所述验证的结果通过,则判定大数据集群更新成功。其中,正交实验法是研究多因素多水平的一种设计方法,它是根据正交性从全面试验中挑选出部分有代表性的点进行试验,这些有代表性的点具备了“均匀分散,齐整可比”的特点。采用正交实验法获得所述接口测试的测试用例的方法包括:生成正交表,所述正交表由行和列构成,每个所述行代表一个测试用例,每个所述列代表一个参数水平,所述正交表依据下述原则生成:每一列中各数字(即所述参数水平在相应的所述输入参数中的排序数)出现的次数都一样多;任何两列所构成的各有序数对(即将同一行的两个数字看成有序数对)出现的次数都一样多。所述正交表中所表示的测试用例的总和(即正交表的所有行)即为所述接口测试的测试用例。从而利用正交法,并以公式限定的测试用例数量,完成验证。其中,参数条件的数量即是指参数的可选择数量。
本申请的大数据集群的更新方法,获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新,并且相对于管理平台必须采用构建多个信息通道(有多少个终端,就需要构建多少个信息通道),本申请直接利用原有的信息通道,进一步节省了时间和成本。
参照图2,本申请实施例提供一种大数据集群的更新装置,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
数量阈值判断单元10,用于获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
更新数据获取单元20,用于若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
更新触发条件判断单元30,用于判断所述指定版本号是否满足预设的更新触发条件;
指定更新策略获取单元40,用于若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
指定更新策略判断单元50,用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
指定终端更新单元60,用于若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述数据库在获取新的数据时会生成快照,所述更新数据获取单元20,包括:
快照卷获取子单元,用于获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷;
差异数据获取子单元,用于比较所述第一快照卷和所述第二快照卷,从而获得所述第一快照卷相对于所述第二快照卷的差异数据,其中,所述差异数据标注有指定版本号;
更新数据获取子单元,用于将所述差异数据记为所述更新数据,并获取所述更新数据。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述第一快照卷以指定哈希值作为密钥进行加密为第一密文,所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成,所述快照卷获取子单元,包括:
第一密文获取模块,用于获取所述第一密文和所述第二快照卷,其中所述第一密文的创建时间离当前时间最近,所述第二快照卷的创建时间离所述第一密文最近;
哈希计算模块,用于对所述第二快照卷采用所述指定哈希算法进行哈希计算,从而得到所述指定哈希值;
第一快照卷获取模块,用于采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密,从而得到所述第一快照卷。
其中上述模块分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述指定版本号为a1.a2.a3.....am,所述更新触发条件判断单元30,包括:
版本号向量A生成子单元,用于根据公式:A=(k1·a1,k2·a2,k3·a3,...,km·am),生成版本号向量A,其中k1、k2、k3、...、km为预设的参数;
相似程度值D判断子单元,用于判断所述相似程度值D是否大于预设的相似程度阈值;
更新触发判定子单元,用于若所述相似程度值D大于预设的相似程度阈值,则判定所述指定版本号满足预设的更新触发条件。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述指定更新策略获取单元40,包括:
更新策略向量E获取子单元,用于根据预设的更新策略与更新策略向量的对应关系,获取与预设的多个更新策略一一对应的多个更新策略向量E;
策略选择参数F计算子单元,用于根据公式:
指定更新策略获取子单元,用于将数值最小的策略选择参数F记为指定更新策略向量,并将所述指定更新策略向量对应的更新策略记为指定更新策略,并获取所述指定更新策略。
其中上述子单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
多个数据包生成单元,用于若所述指定更新策略中记载有除所述指定终端之外的其他终端,则生成与所述其他终端一一对应的多个数据包,其中所述数据包为所述更新数据中的一部分;
多个数据包发送单元,用于将所述多个数据包分别发送给所述其他终端。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
参数信息获取单元,用于统计所述指定终端运行时的参数环境,从而得到参数信息,其中所述参数信息至少包括参数数量和每个参数的参数条件的数量;
测试用例验证单元,用于采用所述测试用例对更新后的指定终端进行验证,并判断所述验证的结果是否通过;
更新成功判定单元,用于若所述验证的结果通过,则判定大数据集群更新成功。
其中上述单元分别用于执行的操作与前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
本申请的大数据集群的更新装置,获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新,并且相对于管理平台必须采用构建多个信息通道(有多少个终端,就需要构建多少个信息通道),本申请直接利用原有的信息通道,进一步节省了时间和成本。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储大数据集群的更新方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大数据集群的更新方法。
上述处理器执行上述大数据集群的更新方法,其中所述方法包括的步骤分别与执行前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新,并且相对于管理平台必须采用构建多个信息通道(有多少个终端,就需要构建多少个信息通道),本申请直接利用原有的信息通道,进一步节省了时间和成本。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现大数据集群的更新方法,其中所述方法包括的步骤分别与执行前述实施方式的大数据集群的更新方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,获取所述指定终端归属的大数据集群的数量;若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,所述数据库被设置为仅允许第一节点进行访问;若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。从而不需要额外搭建新的管理平台,即可实现多个大数据集群的同时更新,并且相对于管理平台必须采用构建多个信息通道(有多少个终端,就需要构建多少个信息通道),本申请直接利用原有的信息通道,进一步节省了时间和成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种大数据集群的更新方法,其特征在于,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据;其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
判断所述指定版本号是否满足预设的更新触发条件;
若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
2.根据权利要求1所述的大数据集群的更新方法,其特征在于,所述数据库在获取新的数据时会生成快照;
所述从预设的数据库中获取更新数据的步骤,包括:
获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷;
比较所述第一快照卷和所述第二快照卷,从而获得所述第一快照卷相对于所述第二快照卷的差异数据,其中,所述差异数据标注有指定版本号;
将所述差异数据记为所述更新数据,并获取所述更新数据。
3.根据权利要求2所述的大数据集群的更新方法,其特征在于,所述第一快照卷以指定哈希值作为密钥进行加密为第一密文,所述指定哈希值通过对所述第二快照卷采用指定哈希算法计算而生成,所述获取创建时间离当前时间最近的第一快照卷,以及获取创建时间离所述第一快照卷的创建时间最近的第二快照卷的步骤,包括:
获取所述第一密文和所述第二快照卷,其中所述第一密文的创建时间离当前时间最近,所述第二快照卷的创建时间离所述第一密文最近;
对所述第二快照卷采用所述指定哈希算法进行哈希计算,从而得到所述指定哈希值;
采用所述指定哈希值作为密钥对所述第一快照卷密文进行解密,从而得到所述第一快照卷。
6.根据权利要求1所述的大数据集群的更新方法,其特征在于,所述判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端的步骤之后,包括:
若所述指定更新策略中记载有除所述指定终端之外的其他终端,则生成与所述其他终端一一对应的多个数据包,其中所述数据包为所述更新数据中的一部分;
将所述多个数据包分别发送给所述其他终端。
8.一种大数据集群的更新装置,其特征在于,应用于指定终端,所述指定终端同时归属于多个大数据集群,包括:
数量阈值判断单元,用于获取所述指定终端归属的大数据集群的数量,并判断所述大数据集群的数量是否大于预设的数量阈值;
更新数据获取单元,用于若所述大数据集群的数量大于预设的数量阈值,则从预设的数据库中获取更新数据,其中所述更新数据标注有指定版本号,所述数据库被设置为仅允许第一节点进行访问,所述第一节点同时归属的大数据集群的数量大于所述数量阈值;
更新触发条件判断单元,用于判断所述指定版本号是否满足预设的更新触发条件;
指定更新策略获取单元,用于若所述指定版本号满足预设的更新触发条件,则根据预设的更新策略获取规则,获取与所述指定版本号对应的指定更新策略;
指定更新策略判断单元,用于判断所述指定更新策略中是否记载有除所述指定终端之外的其他终端;
指定终端更新单元,用于若所述指定更新策略中未记载除所述指定终端之外的其他终端,则根据所述指定更新策略,利用所述更新数据,更新所述指定终端。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910978277.4A CN111078712B (zh) | 2019-10-15 | 2019-10-15 | 大数据集群的更新方法、装置、计算机设备和存储介质 |
PCT/CN2019/117664 WO2021072862A1 (zh) | 2019-10-15 | 2019-11-12 | 大数据集群的更新方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910978277.4A CN111078712B (zh) | 2019-10-15 | 2019-10-15 | 大数据集群的更新方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111078712A true CN111078712A (zh) | 2020-04-28 |
CN111078712B CN111078712B (zh) | 2022-08-26 |
Family
ID=70310394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910978277.4A Active CN111078712B (zh) | 2019-10-15 | 2019-10-15 | 大数据集群的更新方法、装置、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111078712B (zh) |
WO (1) | WO2021072862A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080076B (zh) * | 2022-08-23 | 2022-11-01 | 江苏北弓智能科技有限公司 | 一种云手机软件管理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160055230A1 (en) * | 2014-08-21 | 2016-02-25 | Codership Oy | Method for avoiding conflicts in database cluster |
US20160112516A1 (en) * | 2013-07-02 | 2016-04-21 | Huawei Technologies Co., Ltd. | Distributed storage system, cluster node and range management method thereof |
US9465857B1 (en) * | 2013-09-26 | 2016-10-11 | Groupon, Inc. | Dynamic clustering for streaming data |
US20170168811A1 (en) * | 2015-12-14 | 2017-06-15 | Pivotal Software, Inc. | Deploying updates in a distributed database systems |
CN107820221A (zh) * | 2016-09-12 | 2018-03-20 | 大唐移动通信设备有限公司 | 集群组呼业务加密方法及集群核心网 |
US20190012278A1 (en) * | 2017-07-10 | 2019-01-10 | Fungible, Inc. | Data processing unit for compute nodes and storage nodes |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9678667B2 (en) * | 2015-10-30 | 2017-06-13 | Netapp, Inc. | Techniques for maintaining device coordination in a storage cluster system |
CN106202365B (zh) * | 2016-07-07 | 2020-01-31 | 帅斌鹏 | 数据库更新同步的方法、系统及数据库集群 |
CN107465714B (zh) * | 2017-01-23 | 2021-01-01 | 北京思特奇信息技术股份有限公司 | 一种基于应用集群的配置数据动态更新系统及方法 |
CN109189855A (zh) * | 2018-08-14 | 2019-01-11 | 平安普惠企业管理有限公司 | 基于分布存储技术的数据同步方法及终端设备 |
-
2019
- 2019-10-15 CN CN201910978277.4A patent/CN111078712B/zh active Active
- 2019-11-12 WO PCT/CN2019/117664 patent/WO2021072862A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160112516A1 (en) * | 2013-07-02 | 2016-04-21 | Huawei Technologies Co., Ltd. | Distributed storage system, cluster node and range management method thereof |
US9465857B1 (en) * | 2013-09-26 | 2016-10-11 | Groupon, Inc. | Dynamic clustering for streaming data |
US20160055230A1 (en) * | 2014-08-21 | 2016-02-25 | Codership Oy | Method for avoiding conflicts in database cluster |
US20170168811A1 (en) * | 2015-12-14 | 2017-06-15 | Pivotal Software, Inc. | Deploying updates in a distributed database systems |
CN107820221A (zh) * | 2016-09-12 | 2018-03-20 | 大唐移动通信设备有限公司 | 集群组呼业务加密方法及集群核心网 |
US20190012278A1 (en) * | 2017-07-10 | 2019-01-10 | Fungible, Inc. | Data processing unit for compute nodes and storage nodes |
Also Published As
Publication number | Publication date |
---|---|
CN111078712B (zh) | 2022-08-26 |
WO2021072862A1 (zh) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542961B (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
WO2021027570A1 (zh) | 区块链部署方法、装置、计算机设备和存储介质 | |
EP3672143A1 (en) | Method for generating stateful hash based signatures of messages to be signed | |
CN109246130A (zh) | 数据加密方法、装置、计算机设备及存储介质 | |
CN111078712B (zh) | 大数据集群的更新方法、装置、计算机设备和存储介质 | |
DE102018101535A1 (de) | Gesicherte Daisy-Chain-Übermittlung | |
CN112016122A (zh) | 网页数据处理方法、装置、计算机设备及存储介质 | |
CN111079153A (zh) | 安全建模方法、装置、电子设备及存储介质 | |
CN111274315B (zh) | 同步数据通道构建方法、装置、计算机设备和存储介质 | |
CN103139136B (zh) | 一种密码的管理方法和设备 | |
CN114143090A (zh) | 基于网络安全架构的防火墙部署方法、装置、设备及介质 | |
CN108389124A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115022075B (zh) | 计算机网络信息安全管理方法、装置、设备以及存储介质 | |
CN111262689B (zh) | 更新存储在非易失性存储器的加密金钥的装置及其方法 | |
CN112492008B (zh) | 节点位置确定方法、装置、计算机设备和存储介质 | |
CN114491657A (zh) | 一种模型保护方法、数据处理方法、装置、设备及介质 | |
CN113204774A (zh) | 基于多云环境下的一种快速数据安全保护算法 | |
CN112468453A (zh) | 多协议设备的接入方法、系统、电子设备及存储介质 | |
CN112862454A (zh) | 试验执行工单更新方法、装置、计算机设备和存储介质 | |
CN111787004B (zh) | 基于通信通道的组件集群生成方法、装置和计算机设备 | |
KR102313584B1 (ko) | 비-휘발성 메모리에 저장된 암호키 업데이트 | |
CN114443608B (zh) | 分布式文件存储及下载方法、装置、设备及介质 | |
EP3681100B1 (en) | Updating cryptographic keys stored in non-volatile memory | |
CN111813853B (zh) | 基于区块链系统的数据采集方法、装置和计算机设备 | |
CN114079560B (zh) | 一种通信加密方法及飞行器、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |