CN103957265A - 一种具备容n-3存储媒介失效的电力大数据云储存系统 - Google Patents
一种具备容n-3存储媒介失效的电力大数据云储存系统 Download PDFInfo
- Publication number
- CN103957265A CN103957265A CN201410190619.3A CN201410190619A CN103957265A CN 103957265 A CN103957265 A CN 103957265A CN 201410190619 A CN201410190619 A CN 201410190619A CN 103957265 A CN103957265 A CN 103957265A
- Authority
- CN
- China
- Prior art keywords
- electric power
- data block
- long data
- power long
- reed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Error Detection And Correction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供了一种具备容N-3存储媒介失效的电力大数据云储存系统，该系统包括云存储控制管理单元，云存储控制管理单元分别与依次连接的电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元相连。该系统采用Reed-Muller码编译码技术、哈希函数摘要技术，允许同时发生任意≤3个存储媒介失效，具备N-3容失效性，解决电力大数据云储存系统存储容量、容故障能力和扩展性三者均衡优化问题，保护数据安全，且保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
Description
技术领域
本发明应用于电力行业中的系统，具体涉及一种具备容N-3存储媒介失效的电力大数据云储存系统。
背景技术
随着现代社会工业化、信息化水平的不断提高，数据已经取代计算成为了信息计算的中心，云计算、大数据正在成为一种趋势和潮流。进而促使对存储技术的需求越来越高，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。
电力系统数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元失效，造成数据丢失，将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。电力系统数据储存系统中存储媒介单元的失效概率相对较高，面临N-3挑战，N-3表示存储媒介单元中允许同时发生任意≤3个存储媒介单元失效。
“失效”是可靠的反义词，产品的可靠度R(t)指时间t内还能满足规定功能产品的比率，累积失效概率F(t)为时间t内的不可靠度，即F(t)＝1-R(t)。“失效”，按后果分类包括：部分失效、完全失效、轻度失效、危险性(严重)失效、灾难性(致命)失效；按失效的时间特征分类包括：早期失效、耗损期失效、渐进(渐变)失效、间歇失效；按失效的可能原因分类包括：错误、遗漏、没有或仅部分动作、产生危险、有障碍。
云计算(Cloud Computing)是一种通过网络统一组织和灵活调用各种信息通信资源，实现大规模计算的信息处理方式。云计算利用分布式计算和虚拟资源管理等技术，通过网络将分散的信息通信资源(包括计算与存储、应用运行平台、软件等)集中起来形成共享的资源池，并以动态按需和可度量的方式向用户提供服务。其中，云储存通过网络将分散的储存资源集中起来形成共享的存储资源池，并以动态按需和可度量的方式向用户提供服务。云储存中存储媒介单元的失效概率相对较高，面临N-3挑战。同时，云储存面临信息存储的私密性和完整性的挑战。
大数据(Big Data)，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。从体量特征和技术范畴来讲，电力大数据则是大数据在电力行业的聚焦和子集。电力大数据的特征可以概括为4“V”3“E”。其中，4“V”特征分别是体量大(Volume)、类型多(Variety)、商业价值高(Value)和速度快(Velocity)，3“E”特征分别是电力特征(Electricity)、能量特征(Energy)、交互特征(Exchange)。
大数据是“未来的新石油”，大数据是待挖掘的“金矿”，大数据被誉为“第三次工业革命浪潮的华彩乐章”的根本。电力大数据将贯穿电力工业生产及管理等环节，将起到巨大的作用，是电力工业未来有效应对资源有限、环境压力等问题，实现厚积厚发、绿色可持续性发展的关键。电力大数据云储存系统面临容故障能力和扩展性的挑战。
对比目前的数据储存系统，采用镜像(Mirroring)技术仅具备容N-1存储媒介失效(存储媒介单元中允许同时发生任意≤1个存储媒介单元失效)，且可用容量仅50％；采用数据条带(Data Stripping)和数据奇偶校验(Data odd-even parity)技术仅具备容N-2存储媒介失效(存储媒介单元中允许同时发生任意≤2个存储媒介单元失效)。
发明内容
为克服上述现有技术的不足，本发明提供一种具备容N-3存储媒介失效的电力大数据云储存系统，采用Reed-Muller码编译码技术、哈希函数摘要技术，允许同时发生任意≤3个存储媒介失效(即N-3)，满足容N-3存储媒介失效的能力，解决电力大数据云储存系统存储容量、容故障能力和扩展性三者均衡优化问题，保护数据安全，且保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
实现上述目的所采用的解决方案为：
1、一种具备容N-3存储媒介失效的电力大数据云储存系统，其特征在于：所述系统包括依次连接的电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元；
云存储控制管理单元分别与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元连接。
2、如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元包括依次连接的电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
写入控制管理单元分别与所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接。
3、如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元；
读出控制管理单元分别与所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元连接。
4、如权利要求1所述的电力大数据云储存系统，其特征在于：所述云存储控制管理单元为所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元提供时钟信号；
所述云存储控制管理单元根据待存储的电力大数据块的大小确定所述a行32列的存储媒介阵列中的存储媒介单元的容量大小，所述a行32列的存储媒介阵列中的每行均对应一个Reed-Muller码的码组，a为正整数。
5、如权利要求1-3任一所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元和所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元分别运用Reed-Muller码写入和读取数据，所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述云存储控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息，所述目录信息根据所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理结果获得；
所述目录信息包括所述电力大数据块对应的a行32列的存储媒介阵列的行值a、32×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，对应的所述哈希函数摘要信息为hash(i,j)，1≤j≤32，1≤i≤a，；
所述云存储控制管理单元将32×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行32列的存储媒介阵列相应的存储位置信息(i',j')发送至所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元，1≤j'≤32，1≤i'≤a。
6、如权利要求2所述的电力大数据云储存系统，其特征在于：所述写入控制管理单元为所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，1≤j≤32，1≤i≤a，a为正整数；
所述电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成16bytes的整倍数；所述预处理方法包括：将待处理的电力大数据块除以16bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(16-c)bytes的“0”，所述c取1～15任一整数；
所述[32,16,8]Reed-Muller码编码器为将16bits的数据信息编码为32bits的Reed-Muller码的编码器；所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述串/并变换器为将1路串行信息变换为32路并行信息的变换器；
所述输入缓存器为32路并行的先进先出的缓存器；
所述生成电力大数据块子块单元根据待存储的x bytes字节的电力大数据块生成32×a个电力大数据块子块，a为正整数。
7、如权利要求1所述的电力大数据云储存系统，其特征在于：所述写入通信传输通道和所述读出通信传输通道用于32路电力大数据块子块的传输，32列a行的32×a个电力大数据块子块的32列对应32路；
所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
8、如权利要求1所述的电力大数据云储存系统，其特征在于：所述a行32列的存储媒介阵列为用于存储电力大数据块、包括a行32列的存储单元的存储媒介阵列，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
9、如权利要求1或8所述的电力大数据云储存系统，其特征在于：对应同一待存储电力大数据块，所述a行32列的存储媒介阵列中的存储媒介为相同结构的存储单元，a为正整数；
10、如权利要求3所述的电力大数据云储存系统，其特征在于：所述读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤32，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
所述汇聚电力大数据块的子块单元根据待存储的x bytes字节的电力大数据块生成32×a个电力大数据块子块，a为正整数；
所述输出缓存器为32路并行的先进先出的缓存器；
所述并/串变换器将32路并行信息变换为1路串行信息的变换器；
所述[32,16,8]Reed-Muller码译码器为将32bits的Reed-Muller码译码为16bits的数据信息的译码器；所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(16-c)bytes的0，则删除所述连续(16-c)bytes的“0”，若所述尾部无连续(16-c)bytes的“0”，则不做删除处理；所述c取1～15任一整数，对应同一所述电力大数据块，与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
11、如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接。
12、如权利要求1所述的电力大数据云储存系统，其特征在于：所述大数据储存系统具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持具备容N-3存储媒介失效的能力。
13、如权利要求1、2、3、4、5、6、9、10、11、12任一所述的电力大数据云储存系统，其特征在于：所述[32,16,8]Reed-Muller码Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8。
与现有技术相比，本发明具有以下有益效果：
1、本发明提供的电力大数据云储存系统包括：电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道、电力大数据块的[32,16,8]Reed-Muller码译码处理单元、云存储控制管理单元，将多个容量较小、相对廉价的存储媒介(例如磁盘/含硬盘、磁带或光盘)进行有机组合，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的Reed-Muller码编译码技术和哈希函数摘要技术，允许同时发生任意≤3个存储媒介失效(即N-3)，解决电力大数据储存系统存储容量、容故障能力和扩展性三者均衡优化问题，以推进电力系统的建设和发展。
2、本发明提供的电力大数据云储存系统通过电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元的完成对数据的处理，显著改进目前电力系统数据储存系统的容故障能力和扩展性，具备容N-3存储媒介失效的能力。
3、本发明提供的电力大数据云储存系统，以磁盘(含硬盘)、磁带或光盘为存储媒介单元，组成a行32列的存储媒介阵列，a为正整数，每一行的32个存储媒介单元中允许同时发生任意≤3个存储媒介单元失效(即N-3)，且a行允许同时发生≤3a个存储媒介单元失效，而不会发生数据丢失事件，且可用容量近50％，进而保证数据储存系统正常工作；针对智能电网数据储存系统，保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源。
对比目前的数据储存系统，采用镜像(Mirroring)技术仅具备容N-1存储媒介失效(存储媒介单元中允许同时发生任意≤1个存储媒介单元失效)，且可用容量仅50％；采用数据条带(Data Stripping)和数据校验(Data parity)技术仅具备容N-2存储媒介失效(存储媒介单元中允许同时发生任意≤2个存储媒介单元失效)。
4、本发明提供的电力大数据云储存系统具有广泛的适用性和很高的实用性，并能产生积极效果。
5、本发明提供的电力大数据云储存系统，能抵御电力大数据储存系统多个存储媒介单元失效故障，进而保障和提高电力系统的安全、平稳、可靠地运行。因为电力大数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元失效故障，造成数据丢失或错误，将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。
6、目前存储媒介单元的失效概率相对较高，应用本发明提供的具备容N-3存储媒介失效的电力大数据云储存系统，能抵御电力大数据储存系统多个存储媒介单元失效故障，进而降低电力系统的失效概率，提高电力系统的供电可靠性，减小用户停电时间，更好地为和谐社会服务。
7、本发明提供的电力大数据云储存系统，使可用存储容量、容故障能力和扩展性三者均衡优化，保障数据储存系统的大容量、高性能和高可靠性，具有显著的经济效益和良好的推广应用价值。
8、本发明提供的电力大数据云储存系统，存储在磁盘(含硬盘)、磁带或光盘中的智能电网数据，保障数据具有一定的私密性，需经过Reed-Muller码编译码，Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8，才能正确识读。
9、本发明提供的电力大数据云储存系统能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
10、本发明提供的电力大数据云储存系统的各单元通过通信传输系统的连接，能够部署在相同或不同的地理位置；所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
11、本发明提供的大数据储存系统，具有存储容量的可扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，仍然能够保持具备容N-3存储媒介失效的能力。
附图说明
图1为具备容N-3存储媒介失效的电力大数据云储存系统的处理流程图；
图2为a行32列的存储媒介阵列结构图；
图3为电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理流程图；
图4为电力大数据块的[32,16,8]Reed-Muller码译码处理单元的处理流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
如图1所示，图1为具备容N-3存储媒介失效的电力大数据云储存系统的处理流程图，该系统包括依次连接的电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元；电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元分别与云存储控制管理单元连接。
如图3所示，图3为电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理流程图；电力大数据块的[32,16,8]Reed-Muller码编码处理单元包括依次连接的电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元分别与所述写入控制管理单元连接
如图4所示，图4为电力大数据块的[32,16,8]Reed-Muller码译码处理单元的处理流程图；电力大数据块的[32,16,8]Reed-Muller码译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元；汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元分别与所述读出控制管理单元连接。
系统中，云存储控制管理单元为所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元提供时钟信号；云存储控制管理单元根据待存储的电力大数据块的字节x(bytes)，确定所述a行32列的存储媒介阵列整体容量的字节y(bytes)，x≤y；
云存储控制管理单元控制所述a行32列的存储媒介阵列使所述a行32列的存储媒介阵列中的存储媒介单元的容量为z(bytes)，32列a行构成32×a的a行32列的存储媒介阵列；其中，a为正整数，y＝32×a×z，32×(a-1)×z≤x≤32×a×z，1byte＝8bits；如图2所示，图2为a行32列的存储媒介阵列结构图。
不同待存储的电力大数据库的容量可相同也可不同，不同行的容量可相同也可不同。
云存储控制管理单元保证所述a行32列的存储媒介阵列中的每行32列均对应一个Reed-Muller码的码组。
系统中，电力大数据块的[32,16,8]Reed-Muller码编码处理单元和电力大数据块的[32,16,8]Reed-Muller码译码处理单元分别运用Reed-Muller码写入和读取数据，Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
云存储控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息，所述目录信息根据所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理结果获得；
目录信息包括所述电力大数据块对应的a行32列的存储媒介阵列的行值a、32×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；
其中，位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，1≤j≤32，1≤i≤a，对应的所述哈希函数摘要信息为hash(i,j)；
云存储控制管理单元将32×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行32列的存储媒介阵列相应的存储位置信息(i',j')发送至所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元，1≤j'≤32，1≤i'≤a，a为正整数。
云存储控制管理单元根据所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元的、所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果获得告警信息，hash(i,j)＝hash(i',j')表示电力大数据块子块(i,j)的数据完整。
电力大数据块的[32,16,8]Reed-Muller码编码处理单元中，写入控制管理单元为电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，其中，1≤j≤32，1≤i≤a，a为正整数。
电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成16bytes的整倍数；
预处理方法包括：将待处理的电力大数据块除以16bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(16-c)bytes的“0”，所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14或15；
[32,16,8]Reed-Muller码编码器为实现(n,k,dmin)＝[32,16,8]Reed-Muller码的编码，将16bits的数据信息编码为32bits的Reed-Muller码的编码器；
[32,16,8]Reed-Muller码编码器将16bits数据消息变换成32bits码元的码字，所述Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
串/并变换器为将1路串行信息变换为32路并行信息的变换器；
输入缓存器为32路并行的先进先出的缓存器；
生成电力大数据块子块单元为根据待存储的x(bytes)字节的电力大数据块生成32×a个电力大数据块子块，a为正整数。
写入通信传输通道和读出通信传输通道用于32路电力大数据块子块的传输，32列a行的32×a个电力大数据块子块的32列对应32路；
写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
a行32列的存储媒介阵列为用于存储电力大数据块，包括32列a行的存储单元的32×a存储媒介阵列，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；
所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
对应同一待存储电力大数据块，所述a行32列的存储媒介阵列中的存储媒介为相同结构的存储单元，a行32列的存储媒介阵列中的每个存储媒介单元的容量均为z(bytes)；
由32列a行构成32×a的a行32列的存储媒介阵列，a为正整数；
所述a行32列的存储媒介阵列整体容量的字节y＝32×a×z(bytes)，32×(a-1)×z≤x≤32×a×z，x为待存储的电力大数据块的字节大小，1byte＝8bits；
电力大数据块的[32,16,8]Reed-Muller码译码处理单元中，读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤32，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
汇聚电力大数据块的子块单元为x(bytes)字节的32×a个电力大数据块子块，a为正整数；
输出缓存器为32路并行的先进先出的缓存器；
并/串变换器将32路并行信息变换为1路串行信息的变换器；
[32,16,8]Reed-Muller码译码器为实现(n,k,dmin)＝[32,16,8]Reed-Muller码的译码，将32bits的Reed-Muller码译码为16bits的数据信息的译码器；
[32,16,8]Reed-Muller码译码器将32bits码元的码字变换成16bits数据消息，所述Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(16-c)bytes的0，则删除所述连续(16-c)bytes的“0”，若所述尾部无连续(16-c)bytes的“0”，则不做删除处理；所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14或15，对应同一所述电力大数据块，与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
将本系统运用于电力系统时，电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元可分别安装，也可任意结合安装。
大数据储存系统具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-3的容故障性。
本发明的电力大数据云储存系统，将多个容量较小、相对廉价的磁盘进行有机组合，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的Reed-Muller码编译码技术和哈希函数摘要技术，允许同时发生3个存储媒介失效，即具有N-3安全性，满足具备容N-3存储媒介失效的能力。N-3表示大数据储存系统允许同时发生任意≤3个存储媒介失效。
能解决目前存储媒介单元的失效概率相对较高、存储媒介单元失效故障会造成数据丢失、面临N-3安全性挑战、电力大数据云储存的私密性和完整性挑战等问题。能实质性地显著改进目前电力大数据云储存系统的容故障能力和扩展性，具备容N-3存储媒介失效的能力。
以下分别提供以某省电网运检系统大数据云存储系统和某电力公司业务大数据灾害备份云储存系统的实施例做详细说明。
本发明提供的系统能解决目前电力大数据云储存系统中无法抵御多个存储媒介单元失效故障问题，使可用存储容量、容故障能力和扩展性三者均衡优化，保障数据储存系统的大容量、高性能和高可靠性，减少故障的影响，降低经济损失，优化运行维护资源，提高检修效率和运行可靠性。具备容N-3存储媒介失效的同时，保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
本实施例中，系统包括：依次连接的电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元；
所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元分别与云存储控制管理单元连接。
1、云存储控制管理单元
云存储控制管理单元为所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元提供时钟信号；
云存储控制管理单元根据待存储的某个电力大数据块的字节大小x(bytes)，选定y(bytes)的所述a行32列的存储媒介阵列整体容量的字节大小，x≤y；
云存储控制管理单元控制管理所述a行32列的存储媒介阵列，保证所述a行32列的存储媒介阵列中的每存储媒介单元的容量相同均为z(bytes)，32列a行构成32×a的a行32列的存储媒介阵列，a为正整数，y＝32×a×z，32×(a-1)×z≤x≤32×a×z，1byte＝8bits；
云存储控制管理单元保证所述a行32列的存储媒介阵列中的每行32列的对应Reed-Muller码的一个码组，电力大数据块的[32,16,8]Reed-Muller码编码处理单元和电力大数据块的[32,16,8]Reed-Muller码译码处理单元使用Reed-Muller码，所述Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
云存储控制管理单元根据待存储的某个电力大数据块的信息生成相应的目录信息，该目录信息源自于所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理结果，该目录信息包括该电力大数据块对应的a行32列的存储媒介阵列的a值、32×a个电力大数据块子块每一个的位置信息和哈希函数摘要信息，位于第j列第i行的电力大数据块子块位置信息为(i,j)，1≤j≤32，1≤i≤a，相应的哈希函数摘要信息为hash(i,j)；
云存储控制管理单元将32×a个电力大数据块子块每一个的位置信息(i,j)和哈希函数摘要信息hash(i,j)，及所述a行32列的存储媒介阵列相应的存储位置信息(i',j')，1≤j'≤32，1≤i'≤a，告知所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元；
2、云存储控制管理单元
云存储控制管理单元根据该电力大数据块的读出情况生成相应的告警信息，该告警信息源自于所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。
3、电力大数据块的[32,16,8]Reed-Muller码编码处理单元
电力大数据块的[32,16,8]Reed-Muller码编码处理单元包括依次连接的电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元分别与写入控制管理单元连接；
3.1、写入控制管理单元为所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息为(i,j)，1≤j≤32，1≤i≤a，生成对应所述电力大数据块子块的哈希函数摘要信息为hash(i,j)；
3.2、电力大数据块预处理单元用于对待处理的所述电力大数据块以字节为单位进行预处理，使之变成16bytes的整倍数，所述预处理方法包括：将待处理的电力大数据块除以16bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(16-c)bytes的“0”，所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14或15；
3.3、[32,16,8]Reed-Muller码编码器完成[n,k,dmin]＝[32,16,8]Reed-Muller码的编码，为将16bits的数据信息编码为32bits的Reed-Muller码的编码器，用于将16bits数据消息变换成32bits码元的码字，所述Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
3.4、串/并变换器为将1路串行信息变换为32路并行信息的变换器；
3.5、输入缓存器为32路并行的先进先出缓存器；
3.6、生成电力大数据块子块单元为根据待存储的某个电力大数据块的字节大小x(bytes)生成字节大小相等的32×a个电力大数据块子块，a为正整数，对应32列a行的a行32列的存储媒介阵列。
4、写入通信传输通道和读出通信传输通道
写入通信传输通道和读出通信传输通道完成32路电力大数据块子块的传输，32列a行的32×a个电力大数据块子块的32列对应32路，所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道
5、a行32列的存储媒介阵列
a行32列的存储媒介阵列用于存储电力大数据块，为32列a行的存储单元组成的32×a的存储媒介阵列，a为正整数，不同大小的待存储电力大数据块对应不同的a或和不同的存储单元容量大小；
所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
对应同一待存储电力大数据块，所述a行32列的存储媒介阵列中的存储媒介为相同结构的存储单元，a行32列的存储媒介阵列中的每存储媒介单元的容量相同均为z(bytes)，a为正整数，所述a行32列的存储媒介阵列整体容量的字节大小为y(bytes)，y＝32×a×z，32×(a-1)×z≤x≤32×a×z，待存储的某个电力大数据块的字节大小为x(bytes)，1byte＝8bits；
6、电力大数据块的[32,16,8]Reed-Muller码译码处理单元
电力大数据块的[32,16,8]Reed-Muller码译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元；
所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元分别与读出控制管理单元连接。
6.1、读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息为(i',j')，1≤j'≤32，1≤i'≤a，生成对应所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
6.2、汇聚电力大数据块的子块单元为x(bytes)字节的32×a个电力大数据块子块，a为正整数；
6.3、输出缓存器为32路并行的先进先出缓存器；
6.4、并/串变换器将32路并行信息变换为1路串行信息；
6.5、[32,16,8]Reed-Muller码译码器为完成[n,k,dmin]＝[32,16,8]Reed-Muller码的译码，将32bits的Reed-Muller码译码为16bits的数据信息的译码器，用于将32bits码元的码字变换成16bits数据消息，所述Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8；
6.6、电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理，所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(16-c)bytes的0，则删除所述连续(16-c)bytes的“0”，若所述尾部无连续(16-c)bytes的“0”，则不做删除处理，所述c取1、2、3、4、5、6、7、8、9、10、11、12、13、14或15，对应同一所述电力大数据块，与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元中的电力大数据块预处理单元中对应的c取值相同；
大数据储存系统具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-3的容故障性。
一、以某省电网运检系统大数据云存储系统为例
省级电网的运行和检修是保证电网安全生产的关键，需要利用大数据云存储系统来存储各类与省级电网运行和检修相关的数据。
例如，某省电网运检系统中的变电站视频监控系统涉及所辖变电站视频监控，由子站、总站两大系统构成，系统通过后台控制、前端信号采集处理、信号汇总、传输等四项程序操作，对变电站的电力设备、运行值班、检修维护等情况进行远程实时监控，并通过SDH系统网络将各变电站现场情况远传到项目监管部门，可实时了解现场，做到零距离掌控。该系统同时具备防火、防盗报警功能，报警时可联动摄像机进行图像抓拍、录像、联动手机短信发送报警信息，及时通知相关管理人员。该系统还支持门禁管理系统，确保人员出入有记录，通过监控中心远程实现对变电站进行开关门，远程查看门禁信息日志，为处置各类突发事件时提供了实时、直观的现场及相关图像服务，在发生事故时可以第一时间对现场设备进行概况巡视，填补操作队伍到达现场时间长的空缺。特别是在一些恶劣天气发生时，监控班可以迅速的查看现场设备覆冰和积雪情况，及时发现缺陷。提升了管理效率和水平。
本实施例中，将该省电网32个下属单位的多个300GB磁盘进行有机组合，组成1个云存储池，即32个地点、每个地点10块300GB磁盘。
相当于以300GB磁盘为存储媒介单元而组成10行32列的存储媒介阵列，容量为32*10*300GB＝96TB，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的Reed-Muller码编译码技术和哈希函数摘要技术，每一行的32个存储媒介单元中允许同时发生任意≤3个存储媒介单元失效(即N-3)，且a＝10行允许同时发生≤3a＝30个存储媒介单元(即每行≤3块、10行≤30块，极端情况：300GB磁盘30块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统正常工作。针对电力系统数据储存系统，其创造性体现在以下方面：保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源，实现省级电网运检系统大数据的云存储功能。
本发明提供的电力大数据云储存系统，具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展。实际需要存储容量扩展64TB时，在本实施例的基础上，以1TB磁盘为存储媒介单元，32个地点、每个地点2块1TB磁盘，组成2行32列的存储媒介阵列(即1TB磁盘64块)，能增加存储容量64TB。而且仍然能够保持具备容N-3存储媒介失效的能力，即每一行的32个存储媒介单元中允许同时发生任意≤3个存储媒介单元失效(即N-3)，且a＝(10+2)行允许同时发生≤3a＝36个存储媒介单元(即每行≤3块，300GB磁盘10行≤30块，1TB磁盘2行≤6块；极端情况：300GB磁盘30块、1TB磁盘6块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统的正常工作。
本实施例中提供的电力大数据云储存系统，存储在云端a行32列的存储媒介阵列的电力大数据，保障数据具有一定的私密性，需经过Reed-Muller码编译码，Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8，才能正确识读。
本实施例中，电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接，部署在同一地理位置。
本实施例中提供的电力大数据云储存系统，存储在云端a行32列的存储媒介阵列的电力大数据，能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
二、以某电力公司业务大数据灾害备份云储存系统为例
电力公司业务数据包括为电力生产数据和企业管理数据，电力公司业务数据灾害备份存贮系统，地位非常重要。
本实施例的系统中，电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
大数据储存系统具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-3的容故障性。
本实施例中将该电力公司27个下属单位的多个640GB磁盘进行有机组合，组成1个云存储池，即27个地点、每个地点32块640GB磁盘。
相当于以640GB磁盘为存储媒介单元而组成32列27行的a行32列的存储媒介阵列，容量为32*27*640GB＝552.96TB，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的Reed-Muller码编译码技术和哈希函数摘要技术，每一行的32个存储媒介单元中允许同时发生任意≤3个存储媒介单元失效(即N-3)，且a＝27行允许同时发生≤3a＝81个存储媒介单元(即每行≤3块、27行≤81块，极端情况：640GB磁盘81块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统正常工作。针对电力系统数据储存系统，其创造性体现在以下方面，保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源，实现该电力公司业务大数据灾害备份的云储存功能。
本实施例中提供的电力大数据云储存系统，存储在云端a行32列的存储媒介阵列的电力大数据，保障数据具有一定的私密性，需经过Reed-Muller码编译码，Reed-Muller码的码长n＝32bits、信息位k＝16bits、最小汉明距离dmin＝8，才能正确识读。
本实施例中，电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接，部署在不同的地理位置，电力大数据块的[32,16,8]Reed-Muller码编码处理单元和a行32列的存储媒介阵列部署于同一处，电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元部署于同一处。
本实施例中提供的电力大数据云储存系统，存储在云端a行32列的存储媒介阵列的电力大数据，能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。
Claims (13)
1.一种具备容N-3存储媒介失效的电力大数据云储存系统，其特征在于：所述系统包括依次连接的电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元；
云存储控制管理单元分别与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元连接。
2.如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元包括依次连接的电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
写入控制管理单元分别与所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接。
3.如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元；
读出控制管理单元分别与所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元连接。
4.如权利要求1所述的电力大数据云储存系统，其特征在于：所述云存储控制管理单元为所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、写入通信传输通道、a行32列的存储媒介阵列、读出通信传输通道和电力大数据块的[32,16,8]Reed-Muller码译码处理单元提供时钟信号；
所述云存储控制管理单元根据待存储的电力大数据块的大小确定所述a行32列的存储媒介阵列中的存储媒介单元的容量大小，所述a行32列的存储媒介阵列中的每行均对应一个Reed-Muller码的码组，a为正整数。
5.如权利要求1-3任一所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元和所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元分别运用Reed-Muller码写入和读取数据，所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述云存储控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息，所述目录信息根据所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元的处理结果获得；
所述目录信息包括所述电力大数据块对应的a行32列的存储媒介阵列的行值a、32×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，对应的所述哈希函数摘要信息为hash(i,j)，1≤j≤32，1≤i≤a，；
所述云存储控制管理单元将32×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行32列的存储媒介阵列相应的存储位置信息(i',j')发送至所述电力大数据块的[32,16,8]Reed-Muller码译码处理单元，1≤j'≤32，1≤i'≤a。
6.如权利要求2所述的电力大数据云储存系统，其特征在于：所述写入控制管理单元为所述电力大数据块预处理单元、[32,16,8]Reed-Muller码编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，1≤j≤32，1≤i≤a，a为正整数；
所述电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成16bytes的整倍数；所述预处理方法包括：将待处理的电力大数据块除以16bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(16-c)bytes的“0”，所述c取1～15任一整数；
所述[32,16,8]Reed-Muller码编码器为将16bits的数据信息编码为32bits的Reed-Muller码的编码器；所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述串/并变换器为将1路串行信息变换为32路并行信息的变换器；
所述输入缓存器为32路并行的先进先出的缓存器；
所述生成电力大数据块子块单元根据待存储的x bytes字节的电力大数据块生成32×a个电力大数据块子块，a为正整数。
7.如权利要求1所述的电力大数据云储存系统，其特征在于：所述写入通信传输通道和所述读出通信传输通道用于32路电力大数据块子块的传输，32列a行的32×a个电力大数据块子块的32列对应32路；
所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
8.如权利要求1所述的电力大数据云储存系统，其特征在于：所述a行32列的存储媒介阵列为用于存储电力大数据块、包括a行32列的存储单元的存储媒介阵列，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
9.如权利要求1或8所述的电力大数据云储存系统，其特征在于：对应同一待存储电力大数据块，所述a行32列的存储媒介阵列中的存储媒介为相同结构的存储单元，a为正整数。
10.如权利要求3所述的电力大数据云储存系统，其特征在于：所述读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[32,16,8]Reed-Muller码译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤32，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
所述汇聚电力大数据块的子块单元根据待存储的x bytes字节的电力大数据块生成32×a个电力大数据块子块，a为正整数；
所述输出缓存器为32路并行的先进先出的缓存器；
所述并/串变换器将32路并行信息变换为1路串行信息的变换器；
所述[32,16,8]Reed-Muller码译码器为将32bits的Reed-Muller码译码为16bits的数据信息的译码器；所述Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8；
所述电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(16-c)bytes的0，则删除所述连续(16-c)bytes的“0”，若所述尾部无连续(16-c)bytes的“0”，则不做删除处理；所述c取1～15任一整数，对应同一所述电力大数据块，与所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
11.如权利要求1所述的电力大数据云储存系统，其特征在于：所述电力大数据块的[32,16,8]Reed-Muller码编码处理单元、a行32列的存储媒介阵列、电力大数据块的[32,16,8]Reed-Muller码译码处理单元和云存储控制管理单元通过通信传输系统连接。
12.如权利要求1所述的电力大数据云储存系统，其特征在于：所述大数据储存系统具有存储容量的扩展性，a行32列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持具备容N-3存储媒介失效的能力。
13.如权利要求1、2、3、4、5、6、9、10、11、12任一所述的电力大数据云储存系统，其特征在于：所述[32,16,8]Reed-Muller码Reed-Muller码的码长n为32bits、信息位k为16bits、最小汉明距离dmin为8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410190619.3A CN103957265B (zh) | 2014-05-07 | 2014-05-07 | 一种具备容n‑3存储媒介失效的电力大数据云储存系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410190619.3A CN103957265B (zh) | 2014-05-07 | 2014-05-07 | 一种具备容n‑3存储媒介失效的电力大数据云储存系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103957265A true CN103957265A (zh) | 2014-07-30 |
| CN103957265B CN103957265B (zh) | 2017-12-01 |
Family
ID=51334488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410190619.3A Expired - Fee Related CN103957265B (zh) | 2014-05-07 | 2014-05-07 | 一种具备容n‑3存储媒介失效的电力大数据云储存系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103957265B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107528719A (zh) * | 2017-03-08 | 2017-12-29 | 深圳市泽云科技有限公司 | 一种提升云存储系统高可用性的实现方法 |
| CN107609194A (zh) * | 2017-10-17 | 2018-01-19 | 吉林省电力科学研究院有限公司 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616319A (zh) * | 2009-07-24 | 2009-12-30 | 成都市华为赛门铁克科技有限公司 | 数据处理方法及服务设备 |
| CN101650639A (zh) * | 2009-09-11 | 2010-02-17 | 成都市华为赛门铁克科技有限公司 | 一种存储装置及计算机系统 |
| US8127212B2 (en) * | 2007-09-26 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | System and method for determining the fault-tolerance of an erasure code |
-
2014
- 2014-05-07 CN CN201410190619.3A patent/CN103957265B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8127212B2 (en) * | 2007-09-26 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | System and method for determining the fault-tolerance of an erasure code |
| CN101616319A (zh) * | 2009-07-24 | 2009-12-30 | 成都市华为赛门铁克科技有限公司 | 数据处理方法及服务设备 |
| CN101650639A (zh) * | 2009-09-11 | 2010-02-17 | 成都市华为赛门铁克科技有限公司 | 一种存储装置及计算机系统 |
Non-Patent Citations (2)
| Title |
|---|
| PHILIPPE GABORIT,ET AL.: "《Decoding Binary R(2,5) by Hand and by Machine》", 《INFORMATION THEORY, 2001. PROCEEDINGS. 2001 IEEE INTERNATIONAL SYMPOSIUM ON》 * |
| 汪志刚: "《大容量数据采集存储系统的研究与实现》", 《中国优秀硕士论文全文数据库》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107528719A (zh) * | 2017-03-08 | 2017-12-29 | 深圳市泽云科技有限公司 | 一种提升云存储系统高可用性的实现方法 |
| CN107609194A (zh) * | 2017-10-17 | 2018-01-19 | 吉林省电力科学研究院有限公司 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
| CN107609194B (zh) * | 2017-10-17 | 2020-08-07 | 吉林省电力科学研究院有限公司 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103957265B (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103957264A (zh) | 具备容n-5存储媒介失效的电力大数据分布式储存系统 | |
| Wang et al. | Rebuilding for array codes in distributed storage systems | |
| CN102306114B (zh) | 基于云存储的数据定时备份和恢复方法 | |
| CN106708653B (zh) | 一种基于纠删码与多副本的混合税务大数据安全保护方法 | |
| CN105956128B (zh) | 一种基于简单再生码的自适应编码存储容错方法 | |
| CN103023968B (zh) | 一种网络分布式文件存储与读取方法 | |
| CN102723775A (zh) | 一种智能变电站二次系统可靠性评估方法 | |
| CN102778874A (zh) | 梯级水电站群联合优化调控系统 | |
| CN111444262A (zh) | 一种基于区块链的电力数据的共享系统 | |
| CN103810247A (zh) | 基于分桶算法的灾备数据比对方法 | |
| CN102750195A (zh) | 一种集群文件系统数据容错的方法 | |
| CN107340971A (zh) | 一种数据存储与恢复架构与方法 | |
| CN103957265A (zh) | 一种具备容n-3存储媒介失效的电力大数据云储存系统 | |
| CN108228382A (zh) | 一种针对evenodd码单盘故障的数据恢复方法 | |
| CN113659570B (zh) | 一种面向弹性提升的配电网电力-通信故障协同修复方法 | |
| CN116244481A (zh) | 一种应用于电力系统的智慧应急预案推送方法 | |
| CN103955415B (zh) | 一种具备n-3容故障性的智能电网大数据储存系统 | |
| Pâris et al. | Three-dimensional redundancy codes for archival storage | |
| CN100588235C (zh) | 视频信息存储装置及方法 | |
| CN206149401U (zh) | 一种基于大数据架构的人脸识别监控系统 | |
| CN111475569B (zh) | 一种基于区块链的配电网自动化开关定值管理方法 | |
| CN107977285A (zh) | 一种纠删码存储机制的数据修改方法、装置及介质 | |
| CN111444991A (zh) | 一种基于实物id的电力设备管理系统及方法 | |
| CN105574065A (zh) | 一种对实时数据漏点率统计的方法 | |
| CN205117406U (zh) | 一种现场总线矿山测控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171201 Termination date: 20180507 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |