发明内容
针对现有技术存在的问题,本发明提供了一种电网多样性数据分级存储均衡与交易安全方法及系统。
本发明是这样实现的,一种电网多样性数据分级存储均衡与交易安全方法包括:对获取的电力业务管理信息大区数据中的多个指标进行量化,得到不同数据价值;
将得到的所述数据价值利用基尼系数衡量数据存储均衡率指标,利用获得的数据存储均衡率指标选择出存储方式,利用所述存储方式将电力业务管理信息大区数据存储到异地存储设备中。
进一步,基于模糊综合评价算法中数据访问次数、数据量大小、数据完整率以及数据时效性四个指标对电力业务管理信息大区的数据进行量化;
所述数据存储均衡率指标包括数据存储均衡率和数据存储价格成本。
进一步,所述将得到的所述数据价值利用基尼系数衡量数据存储均衡率指标,利用获得的数据存储均衡率指标选择出存储方式具体包括:
基于二分图的方法,将所需存储数据和数据存储中心抽象为需方节点和数据中心,利用基尼系数构建数据存储均衡率指标,并结合价格因素,从存储数据的建设成本和维护成本计算得出数据存储的总成本;再基于价值工程融合数据存储均衡性和价格,获取数据存储价值均衡率指标,通过数据存储价值均衡率计算选择出最优存储方式。
进一步,所述电网多样性数据分级存储均衡与交易安全方法还包括:
S1,对电力业务管理信息大区的安全三区管理区和安全四区信息区,构建基于价值体系的分级流程;
S2,使用基尼系数衡量数据存储价值均衡率指标,并选择最优数据存储方式,所述数据存储价值均衡率指标包括存储均衡评估指标和存储价格评估指标。
进一步,在步骤S1中,基于价值体系的分级流程包括:
S1.1对电网中每一个服务器节点分为DAS,NAS,FC-SAN;
S1.2对获取数据和评价体系进行标准化;
S1.3熵权法计算各数据的权重;
S1.4根据权重进行模糊综合评价;
S1.5根据综合评价和评价体系得出评语进行分级存储。
进一步,在步骤S1.1中磁盘阵列四个存储设备,对每一个获取的数据块,判断是否为加密数据,若是加密数据则直接存储到FC-SAN中,否则将执行基于价值评价体系的评估分级进行存储;
在所述步骤S1.2中,标准化大数据的各个价值的计算公式未:
其中,Xij’为标准化大数据第j项指标,xij为标准化大数据第j项数据的第i个测试值,maxx.j为标准化大数据第j项数据的最大数据峰值;minx.j为标准化大数据第j项数据的最小数据谷值;
所述步骤S1.2中,构建五阶体系Si,其中,S1≤0.2,0.2<S2≤0.4,0.4<S3 ≤0.6,0.6<S4<≤0.8,S5>0.8,综合评价小于0.2为基本不再出现,综合评价大于 0.2小于0.4为不重要,大于0.4小于0.6为一般,大于0.6小于0.8为重要,大于0.8非常重要;
所述步骤S1.3中,利用熵权法计算各项数据的信息熵计算公式为:
1)计算在第j项数据中的第i个测试值的占比pij:
其中,pij为在第j项数据中的第i个测试值的占比,x′ij为标准化大数据第 j项指标的第i个测试值;
2)计算j项数据的信息熵Iej;
其中,Iei为第j项指标的信息熵,pij为在第j项数据中的第i个测试值的占比;
3)计算j项数据的信息熵冗余度Irj,Iei为第j项指标的信息熵;
Irj=1-Iej;
其中,Irj为第j项指标的信息熵冗余度;
4)计算j项数据的权重wj,其中Irj为第j项指标的信息熵冗余度;
最后权重向量表示为W={w1,w2,w3…};
所述步骤S1.4中,根据权重构建模糊关系矩阵R的步骤包括:
构建隶属度函数:
其中μp(x)为隶属度函数,a1,a2,a3,a4对应价值体系的评价标准,即a1=0.2, a2=0.4,a3=0.6,a4=0.8;
构建模糊关系矩阵R,对每一个价值指标求出对应每一个情况s1,s2,s3, s4,s5的隶属度关系为一行,共n个指标:
得出模糊综合评价基于模糊关系矩阵和权重向量:
其中
为综合价值评价向量
之后对b
1,b
2...b
n进行排序找出最大的值即为综合分值S;
S=max{b1b2...bn};
所述步骤S1.5中,根据综合分值S和评价体系来划分存储方式,对综合分值S,将非常重要和重要划分给FC-SAN一级存储介质,存储一些内部信息和访问频率非常高的信息,将NAS设置为二级存储介质;将DAS设置为三级存储,用于存储低价值存储信息;本机磁盘阵列为四级存储,用于备份不再访问的信息。
进一步,在所述步骤S2中,基于二分图方法衡量数据存储均衡率,所述衡量数据存储均衡率包括存储均衡评估、存储价格评估;存储均衡评估包括:
计算第i个需方节点将数据存储到第j个节点后增加的节点利用率
其中,
表示在某一段时间隔内第i个用户需要的存储空间大小,
表示第i个存储节点总存储空间的大小;
其中,
表示数据中心节点使用率,
表示第i个需方节点将数据存储到第j个节点后增加的节点利用率
第i个存储节点的利用率表示为
表示第i个存储节点总存储空间的大小,
表示第i个存储节点已经使用的存储空间大小;
计算各数据中心节点使用率的累计百分比;
对于电网中实际应用场景,根据本次存储所涉及到的数据中心个数n将节点个数的累计百分比均分为n组,记为
数据中心节点使用率的累计百分比
为:
其中,
为数据中心节点使用率的累计百分,
表示数据中心节点使用率;
根据基尼系数的定义,BS的计算式为:
其中,以X-Y坐标系为例,S(Part1)表示曲线y=x与洛伦兹曲线所围面积,S(Part2)表示洛伦兹曲线与x轴所围面积,S(Part2)使用微积分的方法计算,将x轴等分为
份,得到多个高度都为
的小梯形,
个小梯形面积之和约等于S(Part2),计算得:
其中,
S(Part2)为:
采用多个梯形叠加得到曲边图形的面积,采用
份梯形叠加近似获得;
将S(Part2)公式代入公式
进一步得BS计算公式:
所述存储价格评估包括:分析价格的因素,根据不同的存储分配方式,计算每种方式的总价格,归一化得到价格因子Price;
计算价格因子Price的步骤包括:
获得建设各个数据中心i的经济成本Ecj;
计算存储单位数据i的维护成本因子aij;
其中MaxRoomj表示第j个数据中心本身的存储能力,Roomj表示第j个数据中心已经存储的量,m表示单位数据所占用空间的大小;
计算存储单位数据i的维护成本cx:
cx=aij·Eci;
计算存储单位数据i的存储成本修正因子Ehij,
定义存储成本修正因子Ehij评估热度对成本的影响:
Ehij=aij×min(Ecj)×Heat%;
Heat%表示所存储数据的访问热度;
计算存储单位数据i的修正成本cij:
cij=cx+Ehij;
计算前述各存储方案的总成本C:
归一化总成本C,得到Cn:
利用价值工程综合分析存储均衡程度和价格因素,利用数据存储价值均衡率指标V,选择性价比最高的存储方式进行存储;
计算各存储方案的数据存储价值均衡率V:
BS越小,1-BS越大,数据存储越均匀,Cn越小,价格越低,V最大,存储方案的性价比最高。
本发明的另一目的在于提供一种电网多样性数据分级存储均衡与交易安全系统包括:
数据价值获取模块,用于基于模糊综合评价算法中数据访问次数、数据量大小、数据完整率以及数据时效性四个指标对电力业务管理信息大区的数据进行量化,得到海量数据的不同数据价值;
数据存储模块,用于基于数据价值,把数据存储到异地存储设备中;
最优存储方式获取模块,用于对于不同存储方式,基于存储价值均衡率指标综合选择出最优的存储方式。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的电网多样性数据分级存储均衡与交易安全方法。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述的电网多样性数据分级存储均衡与交易安全方法。
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
第一、针对上述现有技术存在的技术问题以及解决该问题的难度,紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等,详细、深刻地分析本发明技术方案如何解决的技术问题,解决问题之后带来的一些具备创造性的技术效果。具体描述如下:
本发明解决了电网业务数据在网络中存储时产生的不均衡性和成本较高的问题具有重大意义。将基于重要性的分级思想融入存储体系,同时用多维的数据评估将存储交易利益最大化。
第二,把技术方案看做一个整体或者从产品的角度,本发明所要保护的技术方案具备的技术效果和优点,具体描述如下:
本发明针对拥有大量智能设备的电力业务管理信息大区,具有数据种类繁多和数据量大的特点。首先基于模糊综合评价算法中数据访问次数、数据量大小、数据完整率以及数据时效性四个指标对电力业务管理信息大区的数据进行量化,得到海量数据的不同评语数值,即数据价值;然后基于数据价值,把数据存储到异地存储设备中。然后对于不同存储方式,本发明基于存储价值均衡率指标综合分析选择出最优的存储方案,不仅可以在数据安全方面维护交易可靠性,同时可以提高电网管理信息大区的资源利用率,提升服务器性能与服务质量,增强存储的可靠性和系统的健壮性。
本发明在分级存储时,综合分析数据存储均衡率和数据存储价格成本,提出了数据存储价值均衡率指标。在不同的存储方式中,基于二分图的思想,将所需存储数据和数据存储中心抽象为需方节点和数据中心,利用基尼系数构建数据存储均衡率指标;在此基础上,分析价格因素的影响,从存储数据的建设成本和维护成本两方面计算得出数据存储的总成本;最后基于价值工程理念融合数据存储均衡性和价格,提出了数据存储价值均衡率指标,通过指标计算选择出最优存储方案,有效的提升了电网管理信息大区业务数据存储的效率,并节省了数据存储成本。
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
本发明的技术方案转化后的预期收益和商业价值为:目前基于数据存储均衡和数据交易安全的可行性方案应用到信息管理大区的多维智能化设备中并不能体现优越性,针对信息管理大区的特定数据和数据类型的分级体系以及引入价值工程的评估标准进行部署和维护可以使存储交易利益最大化利润提高 10%,磁盘利用率提高5%。
本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题:之前的存储体系均衡问题考虑主要是以下几个方面1.针对数据的分区,进行分区管理。2.新增节点动态资源分配,使网络存储节点部署合理化。本发明将分区的数据进行细化分析,进一步通过构建价值评估体系对其中的数据进行存储,同时在存储资源节点动态部署的过程中结合价值工程,弥补了如何从深度多维角度具体分析信息管理大区数据存储方案。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现,该部分是对权利要求技术方案进行展开说明的解释说明实施例。
实施例1
本发明实施例提供的电网多样性数据分级存储均衡与交易安全方法包括:对获取的电力业务管理信息大区数据中的多个指标进行量化,得到不同数据价值;
将得到的所述数据价值利用基尼系数衡量数据存储均衡率指标,利用获得的数据存储均衡率指标选择出存储方式,利用所述存储方式将电力业务管理信息大区数据存储到异地存储设备中。
具体地,如图1所示,本发明实施例提供的电网多样性数据分级存储均衡与交易安全方法针对拥有大量智能设备的电力业务管理信息大区,具有数据种类繁多和数据量大的特点进行以下步骤:
S101,首先基于模糊综合评价算法中数据访问次数、数据量大小、数据完整率以及数据时效性四个指标对电力业务管理信息大区的数据进行量化,得到海量数据的不同评语数值,即数据价值;
S102,然后基于数据价值,把数据存储到异地存储设备中;
S103,最后对于不同存储方式,基于存储价值均衡率指标综合选择出最优的存储方式,可以提高电网管理信息大区的资源利用率,提升服务器性能与服务质量,增强存储的可靠性和系统的健壮性。
作为优选实施步骤,在分级存储时,综合分析数据存储均衡率和数据存储价格成本,提出了数据存储价值均衡率指标。
作为优选实施步骤,在不同的存储方式中,基于二分图的方法(如图3),将所需存储数据和数据存储中心抽象为需方节点和数据中心,利用基尼系数构建数据存储均衡率指标;在此基础上,结合价格因素的影响,从存储数据的建设成本和维护成本两方面计算得出数据存储的总成本;最后基于价值工程理念融合数据存储均衡性和价格,提出了数据存储价值均衡率指标,通过指标计算选择出最优存储方案,有效的提升了电网管理信息大区业务数据存储的效率,并节省了数据存储成本。
如图3所示,将所需存储数据和数据存储中心抽象为需方节点和数据中心,需要请求存储空间的需方节点(Demanding Nodes,DNs)有m个,用集合表示为M={m
1,m
2,...,m
m}。有n个数据中心(Data Center,DCs)提供存储服务,用集合表示为N={n
1,n
2,…,n
n}。对于任意一个需方节点m
l而言,仅能将该数据存储到固定的一个存储节点n
k上。在某一段时间间隔内
表示第i个用户需要的存储空间大小,
表示第i个存储节点总存储空间的大小,
表示第i个存储节点已经使用的存储空间大小,
表示第i个存储节点可用的存储空间大小。
之后计算第i个存储节点的利用率
其中边上的权重
表示第i个需方节点将数据存储到第j个节点后增加的节点利用率。之后即可以得到数据中心节点使用率
累加后即得到使用率累计百分比,得到存储均衡率的大小。
实施例2
在实施例1提供的电网多样性数据分级存储均衡与交易安全方法基础上,如图2所示,本专利可分为存储设备选择与存储方案选择两个部分。
(1)存储设备选择部分
首先根据实际用户产生的各项业务需求查询各类电力业务数据。当电力业务数据涉及加密信息时,直接将该类数据存储到FC-SAN设备中。如果是非加密数据信息,则在系统中构建一个评价保密等级的评价体系Si,之后对于业务数据进行标准化处理得到标准化后的数据。之后采用熵权法计算第Xi项数据的权重。为了进行基于模糊逻辑的隶属度评估,构建模糊关系矩阵R。之后,根据熵权法计算出的数据项对应的权重以及基于模糊关系矩阵计算得到的隶属度,结合价值体系标准得到数据项对应的隶属度数值。根据该数值确定存放在本地磁盘阵列或NAS或DAS中。
(2)存储方案的选择部分
存储方案分为均衡存储空间和均衡存储价格两个部分。
均衡存储空间:当数据根据本专利设计的算法存入到多个数据中心后通过计算节点利用率以及节点的使用率,进而得到数据中心节点的使用率累计百分比。根据该数据得到存储系统的数据存储均衡率BSI
均衡存储成本:首先获得各个数据中心的建设成本Ecj,计算当数据存储到数据中心时单位数据的维护成本因子aij、单位数据的维护成本cx、单位数据的存储成本修正因子Ehij、单位数据的存储成本cij,之后得到总体存储后的归一化成本。
如图2所示,当获得两种存储方案最终衡量指标后根据本专利提出的基于存储价值均衡率指标公式选择最佳存储方案。
本发明该实施例提供一种电网多样性数据分级存储均衡与交易安全方法,具体包括以下步骤:
S1.针对信息管理大区的安全三区管理区和安全四区信息区,构建基于价值体系的分级流程;
S2.基于价值存储均衡的数据存储算法选择最优数据存储方法,包括存储均衡评估和存储价格评估两个部分;
优选地,步骤S1中,基于价值体系的分级流程如下:
S1.1针对电网中每一个服务器节点分为DAS,NAS,FC-SAN;
S1.2对获取数据和评价体系进行标准化;
S1.3熵权法计算各数据的权重;
S1.4根据权重进行模糊综合评价;
S1.5根据综合评价和评价体系得出评语进行分级存储。
优选地,步骤S2中,使用基尼系数来衡量整体存储系统的数据存储均衡率BS。
现有技术中在实际场景中会给存储数据量过大的节点造成较为严重的存储负担,同时在存储过程中,传统的存储算法仅仅分析了剩余存储空间大小单一因素,并没有分析到存储数据所带来的存储节点的维护成本的增长,以及由于过高的数据存储量造成存储节点过高的运行压力与搜索压力,导致最终的系统存储性能过差。
针对上述技术缺陷本发明将价值工程概念引入,结合存储均衡率和价格计算出各存储方案的性价比,选择出最优的方案,性价比越高,数据存储越均衡,总价格越低。本发明实施例提供的方法可以使得各个数据中心的数据存储更均衡,解决了数据中心存储不均导致宕机的情况;同时,数据存储的价格更低,为需方节点节省了成本。
实施例3
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S1.1中磁盘阵列四个存储设备,对每一个获取的数据块,判断其是否为加密数据,若是加密数据则直接存储到FC-SAN中(基于其最高等级的可靠性和安全性),否则将执行基于价值评价体系的评估分级进行存储。
实施例4
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S1.2中,标准化大数据的各个价值的计算公式如下:
其中,Xij'为标准化大数据第j项指标,Xij为标准化大数据第j项数据的第 i个测试值,maxx.j为标准化大数据第j项数据的最大数据峰值;minx.j为标准化大数据第j项数据的最小数据谷值。
所述步骤S1.2中,构建五阶体系Si(S1<=0.2,0.2<S2<=0.4,0.4<S3<=0.6, 0.6<S4<=0.8,S5>0.8),其中综合评价小于0.2为基本不再出现,综合评价大于0.2小于0.4为不重要,大于0.4小于0.6为一般,大于0.6小于0.8为重要,大于0.8非常重要。
实施例5
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,
所述步骤S1.3中,利用熵权法计算各项数据的信息熵计算公式如下:
1)计算在第j项数据中的第i个测试值的占比pij:
其中,Pij为在第j项数据中的第i个测试值的占比,Xij'为标准化大数据第 j项指标的第i个测试值;
2)计算j项数据的信息熵Iej;
其中,Iei为第j项指标的信息熵,Pij为在第j项数据中的第i个测试值的占比;
3)计算j项数据的信息熵冗余度Irj,Iei为第j项指标的信息熵;
Irj=1-Iej (4)
其中,Irj为第j项指标的信息熵冗余度;
4)计算j项数据的权重wj,其中Irj为第j项指标的信息熵冗余度;
最后权重向量表示为W={w1,w2,w3…}。
实施例6
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S1.4中,根据权重构建模糊关系矩阵R的步骤如下:
首先构建隶属度函数:
其中μp(x)为隶属度函数,a1,a2,a3,a4对应价值体系的评价标准,即a1=0.2, a2=0.4,a3=0.6,a4=0.8,
构建模糊关系矩阵R,针对每一个价值指标求出其对应每一个情况即s1,s2, s3,s4,s5的隶属度关系为一行,共n个指标即n行如下所示:
得出模糊综合评价基于模糊关系矩阵和权重向量:
其中
为综合价值评价向量
之后对b
1,b
2...b
n进行排序找出最大的值即为综合分值S;
S=max{b1b2…bn} (9)
实施例7
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S1.5中,根据综合分值S和评价体系来划分其存储方式,针对综合分值S,将非常重要和重要划分给FC-SAN一级存储介质,存储一些内部信息和访问频率非常高的信息,将NAS设置为二级存储介质,由于其有较低的成本和不错的读取速度;将DAS设置为三级存储,用于存储低价值存储信息;本机磁盘阵列设计为四级存储,主要用于备份一些几乎不会再访问的信息;本机磁盘阵列存储于服务器本机上,DAS通过网线与服务器直接相连,NAS通过internet和光纤交换机连接到服务器主机上,FC-SAN通过光纤交换机和光纤连接到服务器主机上;在此基础上,分析每一层分级存储方式下的存储均衡和价格指标结合问题。
实施例8
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S2中,如图3本发明实施例提供的二分图原理所示,针对均衡存储问题,基于二分图的思想,提出数据存储均衡率指标,存储均衡评估是将所需存储数据和数据存储中心抽象为需方节点和数据中心,请求存储空间的需方节点(Demanding Nodes,DNs)有m个,用集合表示为 M={m1,m2,…,mm},有n个数据中心(Data Center,DCs)提供存储服务,用集合表示为N={n1,n2,…,nn},对于任意一个需方节点ml而言,仅能将该数据存储到固定的一个存储节点nk上,使用基尼系数来衡量整体存储系统的数据存储均衡率BS (BalanceStorage),当BS的数值越高说明不同存储节点的存储状态越不均衡, BS的数值越低说明不同存储节点的存储状态越均衡。
实施例9
在实施例8提供的存储均衡评估基础上,作为优选实施例,所述存储均衡评估的步骤包括:
计算第i个需方节点将数据存储到第j个节点后增加的节点利用率
其中,
表示在某一段时间隔内第i个用户需要的存储空间大小,
表示第i个存储节点总存储空间的大小;
其中,
表示数据中心节点使用率,
表示第i个需方节点将数据存储到第j个节点后增加的节点利用率
第i个存储节点的利用率表示为
表示第i个存储节点总存储空间的大小,
表示第i个存储节点已经使用的存储空间大小;
计算各数据中心节点使用率的累计百分比;
对于电网中实际应用场景,根据本次存储所涉及到的数据中心个数n将节点个数的累计百分比均分为n组,记为
数据中心节点使用率的累计百分比
为:
其中,
为数据中心节点使用率的累计百分,
表示数据中心节点使用率;
根据基尼系数的定义,BS的计算式为:
其中,以X-Y坐标系为例,S(Part1)表示曲线y=x与洛伦兹曲线所围面积, S(Part2)表示洛伦兹曲线与x轴所围面积,S(Part2)使用微积分的方法计算,将x轴等分为
份,得到多个高度都为
的小梯形,
个小梯形面积之和约等于S(Part2),计算可得公式(15):
其中,
S(Part2)为:
为了得到曲边图形的面积,采用多个梯形叠加来近似表示,采用
份梯形叠加近似获得;
将公式(16)代入公式(14)可得BS计算公式为公式(17):
实施例10
在实施例2提供的电网多样性数据分级存储均衡与交易安全方法基础上,作为优选实施例,所述步骤S2中,存储价格评估分析价格的因素,根据不同的存储分配方案,计算每种方案的总价格,归一化得到价格因子Price;
计算价格因子Price的步骤如下:
获得建设各个数据中心i的经济成本Ecj;
计算存储单位数据i的维护成本因子aij;
对于存储单位数据带来的维护成本,剩余空间占总空间的比例越大时,给数据中心节点带来的运行压力越小,搜索压力也越小,使得数据中心设备的寿命得以延长,所以,在数学公式上应该体现为经济成本Eci的一个系数aij:
其中MaxRoomj表示第j个数据中心本身的存储能力,Roomj表示第j个数据中心已经存储的量,m表示单位数据所占用空间的大小;
计算存储单位数据i的维护成本cx:
cx=aij·Eci (1)
计算存储单位数据i的存储成本修正因子Ehij,
由于存储数据的访问热度不同会对查询效率带来影响,从而增加维护成本,因此定义存储成本修正因子Ehij来评估热度对成本的影响:
Ehij=aij×min(Ecj)×Heat% (20)
Heat%表示所存储数据的访问热度;
计算存储单位数据i的修正成本cij:
cij=cx+Ehij (2)
计算前述各存储方案的总成本C:
归一化总成本C,得到Cn:
价值工程理念是一种把功能与成本、技术与经济结合起来进行技术经济评价的方法,引入价值工程,综合分析存储均衡程度和价格因素,提出数据存储价值均衡率指标V,选择性价比最高的存储方式进行存储;
计算各存储方案的数据存储价值均衡率V:
BS越小,1-BS越大,数据存储越均匀,Cn越小,价格越低,因此V最大,存储方案的性价比最高。
为评估方法的可行性,以电网1秒内随机截取的数据为例:其中包括5kb 私密安全数据,1Mb的网络监测数据和交易控制数据,以及2Mb的客户服务信息数据。网络检测数据综合分值S1,交易控制数据S2,客户服务信息S3, 其中计算得出综合分值S1>S2>S3。基于标准化综合评价值的分级数据存储可以得出私密数据和网络监测数据存储在FC-SAN中,交易控制数据存放在DAS 中,客户服务信息存放在NAS中。相较于传统的服务器存储,分级存储将数重要性进行分级,同时结合不同存储设备的特性,提高了系统存储空间的分配效率,提高系统的健壮性,同时避免了存储拥塞的情况出现。
在对每种分级进行分布式存储时,要将m1,m2,m3,…,mn个需方节点的数据分配到n1,n2,,n3,…,nn数据中心节点。要求每个数据中心只接受一个需方节点的数据,且每个需方节点的数据只可分配到一个数据中心。为验证本专利所提算法的优越性,本例以5个发送存储请求的用户节点与5个存储节点组成的分布式存储系统为例。假设5个存储节点{n1,n2,n3,n4,n5}的剩余存储空间大小顺序为s1>s2>s3>s4>s5。当其中一个用户在t时刻需要存储的数据量大小为k,依据传统的存储优化算法,会仅依据剩余存储空间大小选择数据的存储位置,即存储到n1节点中。如此循环存储的结果最终会造成剩余存储空间较大的存储节点存储负担过于严重,而剩余存储空间较小的节点有较大的剩余存储空间,导致整体存储系统的存储极度不均衡。
实施例11
在实施例1提供的电网多样性数据分级存储均衡与交易安全方法基础上,如图4所示,本发明该实施例提供一种电网多样性数据分级存储均衡与交易安全系统包括:
数据价值获取模块1,用于基于模糊综合评价算法中数据访问次数、数据量大小、数据完整率以及数据时效性四个指标对电力业务管理信息大区的数据进行量化,得到海量数据的不同评语数值,即数据价值;
数据存储模块2,用于基于数据价值,把数据存储到异地存储设备中;
最优存储方式获取模块3,用于对于不同存储方式,基于存储价值均衡率指标综合选择出最优的存储方式。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值,该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
应用实施例1
本发明上述实施例提供的电网多样性数据分级存储均衡与交易安全方法可应用于自建数据中心计算机设备或租用云服务计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储结构化数据、非结构化数据及计算机程序,所述结构化数据和非结构化数据存储至存储器时执行上述实施例提供的电网多样性数据分级存储均衡与交易安全方法。所述计算机程序被所述处理器执行时,使得所述处理器执行上述实施例提供的电网多样性数据分级存储均衡与交易安全方法。
应用实施例2
本发明上述实施例提供的电网多样性数据分级存储均衡与交易安全方法可应运行于自建数据中心可读存储介质或租用云服务计算机设备,存储有结构化数据、非结构化数据和计算机程序,所述结构化数据和非结构化数据被存储至可读存储介质时,使得所述处理器执行上述实施例提供的电网多样性数据分级存储均衡与交易安全方法。所述计算机程序被处理器执行时,使得所述处理器执行上述实施例提供的电网多样性数据分级存储均衡与交易安全方法。
应用例实施3
本发明上述实施例提供的电网多样性数据分级存储均衡与交易安全方法可应运行于信息数据处理终端,所述信息数据处理终端用于实现上述实施例提供的电网多样性数据分级存储均衡与交易安全方法,所述信息数据处理终端包括交换机、手机、电脑。
应用例实施4
本发明上述实施例提供的电网多样性数据分级存储均衡与交易安全方法的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果,和现有技术相比的确具备很大的优势,下面内容结合试验过程的数据、图表等进行描述。
为评估方法的可行性,以电网1秒内随机截取的数据为例:其中包括5kb私密安全数据,1Mb的网络监测数据和交易控制数据,以及2Mb的客户服务信息数据。网络检测数据综合分值S1,交易控制数据S2,客户服务信息S3,其中计算得出综合分值S1>S2>S3。基于标准化综合评价值的分级数据存储可以得出私密数据和网络监测数据存储在FC-SAN中,交易控制数据存放在DAS中,客户服务信息存放在NAS中。相较于传统的服务器存储,分级存储将数重要性进行分级,同时结合不同存储设备的特性,提高了系统存储空间的分配效率,提高系统的健壮性,同时避免了存储拥塞的情况出现。
在对每种分级进行分布式存储时,要将m1,m2,m3,...,mn个需方节点的数据分配到n1,n2,n3,...,nn数据中心节点。要求每个数据中心只接受一个需方节点的数据,且每个需方节点的数据只可分配到一个数据中心。为验证本专利所提算法的优越性,本例以5个发送存储请求的用户节点与5个存储节点组成的分布式存储系统为例。假设5个存储节点{n1,n2,n3,n4,n5}的剩余存储空间大小顺序为 s1>s2>s3>s4>s5。当其中一个用户在t时刻需要存储的数据量大小为k,依据传统的存储优化算法,会仅依据剩余存储空间大小选择数据的存储位置,即存储到n1节点中。如此循环存储的结果最终会造成剩余存储空间较大的存储节点存储负担过于严重,而剩余存储空间较小的节点有较大的剩余存储空间,导致整体存储系统的存储极度不均衡。
在实际场景中给存储数据量过大的节点造成较为严重的存储负担,同时在存储过程中,传统的存储算法仅仅考虑了剩余存储空间大小单一因素,并没有考虑到存储数据所带来的存储节点的维护成本的增长,以及由于过高的数据存储量造成存储节点过高的运行压力与搜索压力,导致最终的系统存储性能过差。本专利将价值工程概念引入,结合存储均衡率和价格计算出各存储方案的性价比,选择出最优的方案,性价比越高,数据存储越均衡,总价格越低。本算法可以使得各个数据中心的数据存储更均衡,解决了数据中心存储不均导致宕机的情况;同时,数据存储的价格更低,为需方节点节省了成本。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。