CN103957264B - 具备容n‑5存储媒介失效的电力大数据分布式储存系统 - Google Patents
具备容n‑5存储媒介失效的电力大数据分布式储存系统 Download PDFInfo
- Publication number
- CN103957264B CN103957264B CN201410190541.5A CN201410190541A CN103957264B CN 103957264 B CN103957264 B CN 103957264B CN 201410190541 A CN201410190541 A CN 201410190541A CN 103957264 B CN103957264 B CN 103957264B
- Authority
- CN
- China
- Prior art keywords
- electric power
- data block
- long data
- power long
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003860 storage Methods 0.000 title claims abstract description 235
- 238000012545 processing Methods 0.000 claims abstract description 88
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000012805 post-processing Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 20
- 238000010276 construction Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 4
- 230000005611 electricity Effects 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005242 forging Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- BYACHAOCSIPLCM-UHFFFAOYSA-N 2-[2-[bis(2-hydroxyethyl)amino]ethyl-(2-hydroxyethyl)amino]ethanol Chemical group OCCN(CCO)CCN(CCO)CCO BYACHAOCSIPLCM-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000036301 sexual development Effects 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供了一种具备容N‑5存储媒介失效的电力大数据分布式储存系统，该系统包括分布式储存控制管理单元，分布式储存控制管理单元分别与依次连接的[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元相连。该系统采用[48,24,12]扩展平方剩余码编译码技术、哈希函数摘要技术，允许同时发生任意≤5个存储媒介失效，具备N‑5容失效性，解决电力大数据云储存系统存储容量、容故障能力和扩展性三者均衡优化问题，保护数据安全，且保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
Description
技术领域
本发明应用于电力行业中的系统，具体涉及具备容N-5存储媒介失效的电力大数据分布式储存系统。
背景技术
随着现代社会工业化、信息化水平的不断提高，数据已经取代计算成为了信息计算的中心，云计算、大数据正在成为一种趋势和潮流。进而促使对存储技术的需求越来越高，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。
电力系统数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元失效，造成数据丢失，将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。电力系统数据储存系统中存储媒介单元的失效概率相对较高，面临N-5挑战，N-5表示存储媒介单元中允许同时发生任意≤5个存储媒介单元失效。
“失效”是可靠的反义词，产品的可靠度R(t)指时间t内还能满足规定功能产品的比率，累积失效概率F(t)为时间t内的不可靠度，即F(t)＝1-R(t)。“失效”，按后果分类包括：部分失效、完全失效、轻度失效、危险性(严重)失效、灾难性(致命)失效；按失效的时间特征分类包括：早期失效、耗损期失效、渐进(渐变)失效、间歇失效；按失效的可能原因分类包括：错误、遗漏、没有或仅部分动作、产生危险、有障碍。
云计算(Cloud Computing)是一种通过网络统一组织和灵活调用各种信息通信资源，实现大规模计算的信息处理方式。云计算利用分布式计算和虚拟资源管理等技术，通过网络将分散的信息通信资源(包括计算与存储、应用运行平台、软件等)集中起来形成共享的资源池，并以动态按需和可度量的方式向用户提供服务。其中，云储存通过网络将分散的储存资源集中起来形成共享的存储资源池，并以动态按需和可度量的方式向用户提供服务。云储存中存储媒介单元的失效概率相对较高，面临N-5挑战。同时，云储存面临信息存储的私密性和完整性的挑战。
大数据(Big Data)，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。从体量特征和技术范畴来讲，电力大数据则是大数据在电力行业的聚焦和子集。电力大数据的特征可以概括为4“V”3“E”。其中，4“V”特征分别是体量大(Volume)、类型多(Variety)、商业价值高(Value)和速度快(Velocity)，3“E”特征分别是电力特征(Electricity)、能量特征(Energy)、交互特征(Exchange)。
大数据是“未来的新石油”，大数据是待挖掘的“金矿”，大数据被誉为“第三次工业革命浪潮的华彩乐章”的根本。电力大数据将贯穿电力工业生产及管理等环节，将起到巨大的作用，是电力工业未来有效应对资源有限、环境压力等问题，实现厚积厚发、绿色可持续性发展的关键。电力大数据云储存系统面临容故障能力和扩展性的挑战。
对比目前的数据储存系统，采用镜像(Mirroring)技术仅具备容N-1存储媒介失效(存储媒介单元中允许同时发生任意≤1个存储媒介单元失效)，且可用容量仅50％；采用数据条带(Data Stripping)和数据奇偶校验(Data odd-even parity)技术仅具备容N-2存储媒介失效(存储媒介单元中允许同时发生任意≤2个存储媒介单元失效)。
发明内容
为克服上述现有技术的不足，本发明提供具备容N-5存储媒介失效的电力大数据分布式储存系统，采用[48,24,12]扩展平方剩余码编译码技术、哈希函数摘要技术，允许同时发生任意≤5个存储媒介失效(即N-5)，满足容N-5存储媒介失效的能力，解决电力大数据云储存系统存储容量、容故障能力和扩展性三者均衡优化问题，保护数据安全，且保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
实现上述目的所采用的解决方案为：
一种具备容N-5存储媒介失效的电力大数据分布式储存系统，其改进之处在于：所述系统包括依次连接的[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元；
分布式储存控制管理单元分别与所述编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和译码处理单元连接，a为正整数。
进一步的，所述[48,24,12]扩展平方剩余码的编码处理单元包括依次连接的电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
写入控制管理单元分别与所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接。
进一步的，所述[48,24,12]扩展平方剩余码的译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元；
读出控制管理单元分别与所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元连接。
进一步的，所述分布式储存控制管理单元为所述[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元提供时钟信号；
所述分布式储存控制管理单元根据待存储的电力大数据块的大小确定所述a行48列的存储媒介阵列中的存储媒介单元的容量大小，所述a行48列的存储媒介阵列中的每行均对应一个[48,24,12]扩展平方剩余码的码组，a为正整数。
进一步的，所述[48,24,12]扩展平方剩余码的编码处理单元和所述[48,24,12]扩展平方剩余码的译码处理单元根据[48,24,12]扩展平方剩余码写入和读取数据；
所述分布式储存控制管理单元为根据所述[48,24,12]扩展平方剩余码的编码处理单元的处理结果获得待存储的电力大数据块的目录信息的单元；
所述目录信息包括所述电力大数据块对应的a行48列的存储媒介阵列的行值、48×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，对应的所述哈希函数摘要信息为hash(i,j)，1≤j≤48，1≤i≤a，；
所述分布式储存控制管理单元将48×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行48列的存储媒介阵列相应的存储位置信息(i',j')发送至所述[48,24,12]扩展平方剩余码的译码处理单元，1≤j'≤48，1≤i'≤a。
进一步的，所述写入控制管理单元为所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，1≤j≤48，1≤i≤a，a为正整数；
所述电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成24bytes的整倍数；所述预处理方法包括：将待处理的电力大数据块除以24bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(24-c)bytes的“0”，所述c取1～23任一整数；
所述[48,24,12]扩展平方剩余码的编码器为将24bits的数据信息编码为48bits的[48,24,12]扩展平方剩余码的编码器；
所述串/并变换器为将1路串行信息变换为48路并行信息的变换器；
所述输入缓存器为48路并行的先进先出的缓存器；
所述生成电力大数据块子块单元根据待存储的x bytes字节的电力大数据块生成48×a个电力大数据块子块，a为正整数。
进一步的，所述写入通信传输通道和所述读出通信传输通道用于48路电力大数据块子块的传输，48列a行的48×a个电力大数据块子块的48列对应48路；
所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
进一步的，所述a行48列的存储媒介阵列为用于存储电力大数据块、包括a行48列的存储单元的存储媒介阵列，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
进一步的，对应同一待存储电力大数据块，所述a行48列的存储媒介阵列中的存储媒介为相同结构的存储单元，a为正整数；
进一步的，所述读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤48，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
所述汇聚电力大数据块的子块单元根据待存储的x bytes字节的电力大数据块生成48×a个电力大数据块子块，a为正整数；
所述输出缓存器为48路并行的先进先出的缓存器；
所述并/串变换器将48路并行信息变换为1路串行信息的变换器；
所述[48,24,12]扩展平方剩余码的译码器为将48bits的[48,24,12]扩展平方剩余码的译码为24bits的数据信息的译码器；
所述电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(24-c)bytes的0，则删除所述连续(24-c)bytes的“0”，若所述尾部无连续(24-c)bytes的“0”，则不做删除处理；所述c取1～23任一整数，对应同一所述电力大数据块，与所述[48,24,12]扩展平方剩余码的编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
进一步的，所述[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接。
进一步的，所述大数据储存系统具有存储容量的扩展性，将48列a行的存储媒介阵列结构整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持具备容N-5存储媒介失效的能力。
进一步的，所述[48,24,12]扩展平方剩余码的码长n为48bits、信息位k为24bits、最小汉明距离dmin为12。
与现有技术相比，本发明具有以下有益效果：
1、本发明提供的电力大数据云储存系统包括：[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道、[48,24,12]扩展平方剩余码的译码处理单元、分布式储存控制管理单元，将多个容量较小、相对廉价的存储媒介(例如磁盘/含硬盘、磁带或光盘)进行有机组合，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的[48,24,12]扩展平方剩余码编译码技术和哈希函数摘要技术，允许同时发生任意≤5个存储媒介失效(即N-5)，解决电力大数据储存系统存储容量、容故障能力和扩展性三者均衡优化问题，以推进电力系统的建设和发展。
2、本发明提供的电力大数据云储存系统通过[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元的完成对数据的处理，显著改进目前电力系统数据储存系统的容故障能力和扩展性，具备容N-5存储媒介失效的能力。
3、对比目前的数据储存系统，采用镜像(Mirroring)技术仅具备容N-1存储媒介失效(存储媒介单元中允许同时发生任意≤1个存储媒介单元失效)，且可用容量仅50％；采用数据条带(Data Stripping)和数据校验(Data parity)技术仅具备容N-2存储媒介失效(存储媒介单元中允许同时发生任意≤2个存储媒介单元失效)。
本发明提供的电力大数据云储存系统，以磁盘(含硬盘)、磁带或光盘为存储媒介单元，组成48列a行的a行48列的存储媒介阵列，a为正整数，每一行的48个存储媒介单元中允许同时发生任意≤5个存储媒介单元失效(即N-5)，且a行允许同时发生≤5a个存储媒介单元失效，而不会发生数据丢失事件，且可用容量近50％，进而保证数据储存系统正常工作；针对智能电网数据储存系统，保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源。
4、本发明提供的电力大数据云储存系统具有广泛的适用性和很高的实用性，并能产生积极效果。
5、本发明提供的电力大数据云储存系统，能抵御电力大数据储存系统多个存储媒介单元失效故障，进而保障和提高电力系统的安全、平稳、可靠地运行。因为电力大数据储存系统相当于电力系统的神经中枢大脑。其存储媒介单元失效故障，造成数据丢失或错误，将直接影响发电、输电、变电、配电、用电、调度系统的安全、平稳、可靠地运行。
6、目前存储媒介单元的失效概率相对较高，应用本发明提供的具备容N-5存储媒介失效的电力大数据云储存系统，能抵御电力大数据储存系统多个存储媒介单元失效故障，进而降低电力系统的失效概率，提高电力系统的供电可靠性，减小用户停电时间，更好地为和谐社会服务。
7、本发明提供的电力大数据云储存系统，使可用存储容量、容故障能力和扩展性三者均衡优化，保障数据储存系统的大容量、高性能和高可靠性，具有显著的经济效益和良好的推广应用价值。
8、本发明提供的电力大数据云储存系统，存储在磁盘(含硬盘)、磁带或光盘中的智能电网数据，保障数据具有一定的私密性，需经过[48,24,12]扩展平方剩余码编译码，扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12，才能正确识读。
9、本发明提供的电力大数据云储存系统能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
10、本发明提供的电力大数据云储存系统的各单元通过通信传输系统的连接，能够部署在相同或不同的地理位置；所述[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
11、本发明提供的大数据储存系统，具有存储容量的可扩展性，48列a行(a为正整数)的a行48列的存储媒介阵列结构能整行扩展，仍然能够保持具备容N-5存储媒介失效的能力。
附图说明
图1为具备容N-5存储媒介失效的电力大数据云储存系统的处理流程图；
图2为a行48列的存储媒介阵列结构图；
图3为[48,24,12]扩展平方剩余码的编码处理单元的处理流程图；
图4为[48,24,12]扩展平方剩余码的译码处理单元的处理流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
如图1所示，图1为具备容N-5存储媒介失效的电力大数据云储存系统的处理流程图，该系统包括依次连接的[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元；[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元分别与分布式储存控制管理单元连接。
如图3所示，图3为[48,24,12]扩展平方剩余码的编码处理单元的处理流程图；[48,24,12]扩展平方剩余码的编码处理单元包括依次连接的电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元分别与所述写入控制管理单元连接
如图4所示，图4为[48,24,12]扩展平方剩余码的译码处理单元的处理流程图；[48,24,12]扩展平方剩余码的译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元；汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元分别与所述读出控制管理单元连接。
系统中，分布式储存控制管理单元为所述[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元提供时钟信号；分布式储存控制管理单元根据待存储的电力大数据块的字节x(bytes)，确定所述a行48列的存储媒介阵列整体容量的字节y(bytes)，x≤y；
分布式储存控制管理单元控制所述a行48列的存储媒介阵列使所述a行48列的存储媒介阵列中的存储媒介单元的容量为z(bytes)，48列a行构成48×a的a行48列的存储媒介阵列；其中，a为正整数，y＝48×a×z，48×(a-1)×z≤x≤48×a×z，1byte＝8bits；如图2所示，图2为48列a行的a行48列的存储媒介阵列结构图。
不同待存储的电力大数据库的容量可相同也可不同，不同行的容量可相同也可不同。
分布式储存控制管理单元保证所述a行48列的存储媒介阵列中的每行48列均对应一个[48,24,12]扩展平方剩余码的码组。
系统中，[48,24,12]扩展平方剩余码的编码处理单元和[48,24,12]扩展平方剩余码的译码处理单元分别运用[48,24,12]扩展平方剩余码写入和读取数据。
本实施例中，[48,24,12]扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12。
扩展平方剩余码(Extended Quadratic Residue Codes)，或称扩展化的平方剩余码、扩展QR码等。
分布式储存控制管理单元根据待存储的电力大数据块的信息生成相应的目录信息，所述目录信息根据所述[48,24,12]扩展平方剩余码的编码处理单元的处理结果获得；
目录信息包括所述电力大数据块对应的a行48列的存储媒介阵列的行值a、48×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；
其中，位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，1≤j≤48，1≤i≤a，对应的所述哈希函数摘要信息为hash(i,j)；
分布式储存控制管理单元将48×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行48列的存储媒介阵列相应的存储位置信息(i',j')发送至所述[48,24,12]扩展平方剩余码的译码处理单元，1≤j'≤48，1≤i'≤a，a为正整数。
分布式储存控制管理单元根据所述[48,24,12]扩展平方剩余码的译码处理单元的、所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果获得告警信息，hash(i,j)＝hash(i',j')表示电力大数据块子块(i,j)的数据完整。
[48,24,12]扩展平方剩余码的编码处理单元中，写入控制管理单元为电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，其中，1≤j≤48，1≤i≤a，a为正整数。
电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成24bytes的整倍数；
预处理方法包括：将待处理的电力大数据块除以24bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(24-c)bytes的“0”，所述c取1～23；
[48,24,12]扩展平方剩余码的编码器为实现(n,k,dmin)＝[48,24,8]的扩展平方剩余码的编码，将24bits的数据信息编码为48bits的[48,24,12]扩展平方剩余码的编码器；
[48,24,12]扩展平方剩余码的编码器将24bits数据消息变换成48bits码元的码字，所述[48,24,12]扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12；
串/并变换器为将1路串行信息变换为48路并行信息的变换器；
输入缓存器为48路并行的先进先出的缓存器；
生成电力大数据块子块单元为根据待存储的x(bytes)字节的电力大数据块生成48×a个电力大数据块子块，a为正整数。
写入通信传输通道和读出通信传输通道用于48路电力大数据块子块的传输，48列a行的48×a个电力大数据块子块的48列对应48路；
写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
a行48列的存储媒介阵列为用于存储电力大数据块，包括48列a行的存储单元的48×a的存储媒介阵列，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；
所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
对应同一待存储电力大数据块，所述a行48列的存储媒介阵列中的存储媒介为相同结构的存储单元，a行48列的存储媒介阵列中的每个存储媒介单元的容量均为z(bytes)；
由48列a行构成48×a的a行48列的存储媒介阵列，a为正整数；
所述a行48列的存储媒介阵列整体容量的字节y＝48×a×z(bytes)，48×(a-1)×z≤x≤48×a×z，x为待存储的电力大数据块的字节大小，1byte＝8bits；
[48,24,12]扩展平方剩余码的译码处理单元中，读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤48，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
汇聚电力大数据块的子块单元为x(bytes)字节的48×a个电力大数据块子块，a为正整数；
输出缓存器为48路并行的先进先出的缓存器；
并/串变换器将48路并行信息变换为1路串行信息的变换器；
[48,24,12]扩展平方剩余码的译码器为实现(n,k,dmin)＝[48,24,12]的扩展平方剩余码的译码，将48bits的扩展平方剩余码的译码为24bits的数据信息的译码器；
[48,24,12]扩展平方剩余码的译码器将48bits码元的码字变换成24bits数据消息，所述[48,24,12]扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12；
电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(24-c)bytes的0，则删除所述连续(24-c)bytes的“0”，若所述尾部无连续(24-c)bytes的“0”，则不做删除处理；所述c取1～23，对应同一所述电力大数据块，与所述[48,24,12]扩展平方剩余码的编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
将本系统运用于电力系统时，[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元可分别安装，也可任意结合安装。
大数据储存系统具有存储容量的扩展性，a行48列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-5的容故障性。
本发明的电力大数据云储存系统，将多个容量较小、相对廉价的磁盘进行有机组合，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的[48,24,12]扩展平方剩余码编译码技术和哈希函数摘要技术，允许同时发生5个存储媒介失效，即具有N-5安全性，满足具备容N-5存储媒介失效的能力。N-5表示大数据储存系统允许同时发生任意≤5个存储媒介失效。
能解决目前存储媒介单元的失效概率相对较高、存储媒介单元失效故障会造成数据丢失、面临N-5安全性挑战、电力大数据云储存的私密性和完整性挑战等问题。能实质性地显著改进目前电力大数据云储存系统的容故障能力和扩展性，具备容N-5存储媒介失效的能力。
以下分别提供以某电力公司数据中心分布式储存系统和某电力公司大数据灾害备份分布式储存系统的实施例做详细说明。
本发明提供的系统能解决目前电力大数据分布式云储存系统中无法抵御多个存储媒介单元失效故障问题，使可用存储容量、容故障能力和扩展性三者均衡优化，保障数据储存系统的大容量、高性能和高可靠性，减少故障的影响，降低经济损失，优化运行维护资源，提高检修效率和运行可靠性。具备容N-5存储媒介失效的同时，保障数据具有一定的私密性和完整性，以推进电力大数据云储存系统的建设和发展。
本实施例中，系统包括：依次连接的[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元；
所述[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元分别与分布式储存控制管理单元连接。
1、分布式储存控制管理单元
分布式储存控制管理单元为所述[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元提供时钟信号；
分布式储存控制管理单元根据待存储的某个电力大数据块的字节大小x(bytes)，选定y(bytes)的所述a行48列的存储媒介阵列整体容量的字节大小，x≤y；
分布式储存控制管理单元控制管理所述a行48列的存储媒介阵列，保证所述a行48列的存储媒介阵列中的每存储媒介单元的容量相同均为z(bytes)，48列a行构成48×a的a行48列的存储媒介阵列，a为正整数，y＝48×a×z，48×(a-1)×z≤x≤48×a×z，1byte＝8bits；
分布式储存控制管理单元保证所述a行48列的存储媒介阵列中的每行48列的对应扩展平方剩余码的一个码组，[48,24,12]扩展平方剩余码的编码处理单元和[48,24,12]扩展平方剩余码的译码处理单元使用扩展平方剩余码，所述[48,24,12]扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12；
分布式储存控制管理单元根据待存储的某个电力大数据块的信息生成相应的目录信息，该目录信息源自于所述[48,24,12]扩展平方剩余码的编码处理单元的处理结果，该目录信息包括该电力大数据块对应的a行48列的存储媒介阵列的a值、48×a个电力大数据块子块每一个的位置信息和哈希函数摘要信息，位于第j列第i行的电力大数据块子块位置信息为(i,j)，1≤j≤48，1≤i≤a，相应的哈希函数摘要信息为hash(i,j)；
分布式储存控制管理单元将48×a个电力大数据块子块每一个的位置信息(i,j)和哈希函数摘要信息hash(i,j)，及所述a行48列的存储媒介阵列相应的存储位置信息(i',j')，1≤j'≤48，1≤i'≤a，告知所述[48,24,12]扩展平方剩余码的译码处理单元；
2、分布式储存控制管理单元
分布式储存控制管理单元根据该电力大数据块的读出情况生成相应的告警信息，该告警信息源自于所述[48,24,12]扩展平方剩余码的译码处理单元，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。
3、[48,24,12]扩展平方剩余码的编码处理单元
[48,24,12]扩展平方剩余码的编码处理单元包括依次连接的电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元分别与写入控制管理单元连接；
3.1、写入控制管理单元为所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息为(i,j)，1≤j≤48，1≤i≤a，生成对应所述电力大数据块子块的哈希函数摘要信息为hash(i,j)；
3.2、电力大数据块预处理单元用于对待处理的所述电力大数据块以字节为单位进行预处理，使之变成24bytes的整倍数，所述预处理方法包括：将待处理的电力大数据块除以24bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(24-c)bytes的“0”，所述c取1～23；
3.3、[48,24,12]扩展平方剩余码的编码器完成[n,k,dmin]＝[48,24,8]的扩展平方剩余码的编码，为将24bits的数据信息编码为48bits的扩展平方剩余码的编码器，用于将24bits数据消息变换成48bits码元的码字，所述扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12；
3.4、串/并变换器为将1路串行信息变换为48路并行信息的变换器；
3.5、输入缓存器为48路并行的先进先出缓存器；
3.6、生成电力大数据块子块单元为根据待存储的某个电力大数据块的字节大小x(bytes)生成字节大小相等的48×a个电力大数据块子块，a为正整数，对应a行48列的存储媒介阵列。
4、写入通信传输通道和读出通信传输通道
写入通信传输通道和读出通信传输通道完成48路电力大数据块子块的传输，48列a行的48×a个电力大数据块子块的48列对应48路，所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道
5、a行48列的存储媒介阵列
a行48列的存储媒介阵列用于存储电力大数据块，为48列a行的存储单元组成的48×a的存储媒介阵列，a为正整数，不同大小的待存储电力大数据块对应不同的a或和不同的存储单元容量大小；
所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
对应同一待存储电力大数据块，所述a行48列的存储媒介阵列中的存储媒介为相同结构的存储单元，a行48列的存储媒介阵列中的每存储媒介单元的容量相同均为z(bytes)，a为正整数，所述a行48列的存储媒介阵列整体容量的字节大小为y(bytes)，y＝48×a×z，48×(a-1)×z≤x≤48×a×z，待存储的某个电力大数据块的字节大小为x(bytes)，1byte＝8bits；
6、[48,24,12]扩展平方剩余码的译码处理单元
[48,24,12]扩展平方剩余码的译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元；
所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元分别与读出控制管理单元连接。
6.1、读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息为(i',j')，1≤j'≤48，1≤i'≤a，生成对应所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
6.2、汇聚电力大数据块的子块单元为x(bytes)字节的48×a个电力大数据块子块，a为正整数；
6.3、输出缓存器为48路并行的先进先出缓存器；
6.4、并/串变换器将48路并行信息变换为1路串行信息；
6.5、[48,24,12]扩展平方剩余码的译码器为完成[n,k,dmin]＝[48,24,12]的扩展平方剩余码的译码，将48bits的扩展平方剩余码的译码为24bits的数据信息的译码器，用于将48bits码元的码字变换成24bits数据消息，所述扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12；
6.6、电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理，所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(24-c)bytes的0，则删除所述连续(24-c)bytes的“0”，若所述尾部无连续(24-c)bytes的“0”，则不做删除处理，所述c取1～23，对应同一所述电力大数据块，与所述[48,24,12]扩展平方剩余码的编码处理单元中的电力大数据块预处理单元中对应的c取值相同；
大数据储存系统具有存储容量的扩展性，a行48列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-5的容故障性。
一、以某电力公司数据中心分布式储存系统为例
电力公司的电网的运行和检修是保证电网安全生产的关键，需要利用大数据分布式存储系统来存储各类与电网运行和检修相关的数据。
例如，某电力公司电网运检系统中的变电站视频监控系统涉及所辖变电站视频监控，由子站、总站两大系统构成，系统通过后台控制、前端信号采集处理、信号汇总、传输等四项程序操作，对变电站的电力设备、运行值班、检修维护等情况进行远程实时监控，并通过SDH系统网络将各变电站现场情况远传到项目监管部门，可实时了解现场，做到零距离掌控。该系统同时具备防火、防盗报警功能，报警时可联动摄像机进行图像抓拍、录像、联动手机短信发送报警信息，及时通知相关管理人员。该系统还支持门禁管理系统，确保人员出入有记录，通过监控中心远程实现对变电站进行开关门，远程查看门禁信息日志，为处置各类突发事件时提供了实时、直观的现场及相关图像服务，在发生事故时可以第一时间对现场设备进行概况巡视，填补操作队伍到达现场时间长的空缺。特别是在一些恶劣天气发生时，监控班可以迅速的查看现场设备覆冰和积雪情况，及时发现缺陷。提升了管理效率和水平。
本实施例中，将该电力公司电网48个下属单位的多个1TB磁盘进行有机组合，组成1个云存储池，即48个地点、每个地点10块1TB磁盘。
相当于以1TB磁盘为存储媒介单元而组成10行48列的存储媒介阵列，容量为48*10*1TB＝480TB，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的[48,24,12]扩展平方剩余码编译码技术和哈希函数摘要技术，每一行的48个存储媒介单元中允许同时发生任意≤5个存储媒介单元失效(即N-5)，且a＝10行允许同时发生≤5a＝50个存储媒介单元(即每行≤5块、10行≤50块，极端情况：1TB磁盘50块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统正常工作。针对电力系统数据储存系统，其创造性体现在以下方面：保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源，实现省级电网运检系统大数据的云存储功能。
本发明提供的电力大数据云储存系统，具有存储容量的扩展性，a行48列的存储媒介阵列结构能整行扩展。实际需要存储容量扩展288TB时，在本实施例的基础上，以3TB磁盘为存储媒介单元，48个地点、每个地点2块3TB磁盘，组成2行48列的存储媒介阵列(即3TB磁盘96块)，能增加存储容量288TB。而且仍然能够保持具备容N-5存储媒介失效的能力，即每一行的48个存储媒介单元中允许同时发生任意≤5个存储媒介单元失效(即N-5)，且a＝(10+2)行允许同时发生≤5a＝60个存储媒介单元(即每行≤5块，1TB磁盘10行≤50块，3TB磁盘2行≤10块；极端情况：1TB磁盘50块、3TB磁盘10块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统的正常工作。
本实施例中提供的电力大数据云储存系统，存储在云端a行48列的存储媒介阵列的电力大数据，保障数据具有一定的私密性，需经过[48,24,12]扩展平方剩余码编译码，扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12，才能正确识读。
本实施例中，[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接，部署在同一地理位置。
本实施例中提供的电力大数据云储存系统，存储在云端a行48列的存储媒介阵列的电力大数据，能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
二、以某电力公司大数据灾害备份分布式储存系统为例
电力公司数据包括为电力生产数据和企业管理数据，电力公司业务数据灾害备份存贮系统，地位非常重要。
本实施例的系统中，[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接，部署在同一或不同的地理位置。
大数据储存系统具有存储容量的扩展性，a行48列的存储媒介阵列结构能整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持N-5的容故障性。
本实施例中将该电力公司3个大数据灾害备份中心的多个4TB磁盘进行有机组合，组成1个分布式云存储池，即3个地点、每个地点48块4TB磁盘。
相当于以4TB磁盘为存储媒介单元而组成3行48列的存储媒介阵列，容量为48*3*4TB＝576TB，从而以较低的成本获得与昂贵大容量存储媒介相当的容量、性能和可靠性，并使用的[48,24,12]扩展平方剩余码编译码技术和哈希函数摘要技术，每一行的48个存储媒介单元中允许同时发生任意≤5个存储媒介单元失效(即N-5)，且a＝3行允许同时发生≤5a＝15个存储媒介单元(即每行≤5块、3行≤15块，极端情况：4TB磁盘15块)失效，而不会发生数据丢失事件，且总可用容量近50％，进而保证数据储存系统正常工作。针对电力系统数据储存系统，其创造性体现在以下方面，保持和恢复设备的运行力度，减少事故发生，降低经济损失，优化运行维护资源，实现该电力公司业务大数据灾害备份的云储存功能。
本实施例中提供的电力大数据分布式云储存系统，存储在云端a行48列的存储媒介阵列的电力大数据，保障数据具有一定的私密性，需经过[48,24,12]扩展平方剩余码编译码，扩展平方剩余码的码长n＝48bits、信息位k＝24bits、最小汉明距离dmin＝12，才能正确识读。
本实施例中，[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接，部署在不同的地理位置，[48,24,12]扩展平方剩余码的编码处理单元和a行48列的存储媒介阵列部署于同一处，[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元部署于同一处。
本实施例中提供的电力大数据分布式云储存系统，存储在云端a行48列的存储媒介阵列的电力大数据，能够保障数据的完整性，所述读出控制管理单元报告电力大数据块子块(i',j')的差错和纠错情况、哈希函数摘要信息hash(i,j)与hash(i',j')比对结果，hash(i,j)＝hash(i',j')则表示能够保证电力大数据块子块(i,j)的数据完整性。否则，电力大数据块子块(i',j')有被篡改或伪造的可能。
最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。
Claims (12)
1.一种具备容N-5存储媒介失效的电力大数据分布式储存系统，其特征在于：所述系统包括依次连接的[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元；
分布式储存控制管理单元分别与所述编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和译码处理单元连接，a为正整数；
所述[48,24,12]扩展平方剩余码的编码处理单元和所述[48,24,12]扩展平方剩余码的译码处理单元根据扩展平方剩余码写入和读取数据；
所述分布式储存控制管理单元为根据所述[48,24,12]扩展平方剩余码的编码处理单元的处理结果获得待存储的电力大数据块的目录信息的单元；
所述目录信息包括所述电力大数据块对应的a行48列的存储媒介阵列的行值、48×a个电力大数据块子块的位置信息及其对应的哈希函数摘要信息；位于第j列第i行的电力大数据块子块的所述位置信息为(i,j)，对应的所述哈希函数摘要信息为hash(i,j)，1≤j≤48，1≤i≤a；
所述分布式储存控制管理单元将48×a个电力大数据块子块的所述位置信息(i,j)、所述哈希函数摘要信息hash(i,j)和所述a行48列的存储媒介阵列相应的存储位置信息(i',j')发送至所述[48,24,12]扩展平方剩余码的译码处理单元，1≤j'≤48，1≤i'≤a。
2.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述[48,24,12]扩展平方剩余码的编码处理单元包括依次连接的电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元；
写入控制管理单元分别与所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块单元连接。
3.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述[48,24,12]扩展平方剩余码的译码处理单元包括依次连接的汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元；
读出控制管理单元分别与所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元连接。
4.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述分布式储存控制管理单元为所述[48,24,12]扩展平方剩余码的编码处理单元、写入通信传输通道、a行48列的存储媒介阵列、读出通信传输通道和[48,24,12]扩展平方剩余码的译码处理单元提供时钟信号；
所述分布式储存控制管理单元根据待存储的电力大数据块的大小确定所述a行48列的存储媒介阵列中的存储媒介单元的容量大小，所述a行48列的存储媒介阵列中的每行均对应一个扩展平方剩余码的码组，a为正整数。
5.如权利要求2所述的电力大数据分布式储存系统，其特征在于：所述写入控制管理单元为所述电力大数据块预处理单元、[48,24,12]扩展平方剩余码的编码器、串/并变换器、输入缓存器和生成电力大数据块子块提供时钟信号，生成第j列第i行的电力大数据块子块位置信息(i,j)及所述电力大数据块子块的哈希函数摘要信息hash(i,j)，1≤j≤48，1≤i≤a，a为正整数；
所述电力大数据块预处理单元用于对待处理的所述电力大数据块进行预处理，使之变成24bytes的整倍数；所述预处理方法包括：将待处理的电力大数据块除以24bytes，获得余数为c，若c＝0，则所述电力大数据块尾部不添加“0”，若c≠0，则待存储的所述电力大数据块在尾部添加(24-c)bytes的“0”，所述c取1～23任一整数；
所述[48,24,12]扩展平方剩余码的编码器为将24bits的数据信息编码为48bits的扩展平方剩余码的编码器；
所述串/并变换器为将1路串行信息变换为48路并行信息的变换器；
所述输入缓存器为48路并行的先进先出的缓存器；
所述生成电力大数据块子块单元根据待存储的x bytes字节的电力大数据块生成48×a个电力大数据块子块，a为正整数。
6.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述写入通信传输通道和所述读出通信传输通道用于48路电力大数据块子块的传输，48列a行的48×a个电力大数据块子块的48列对应48路；
所述写入通信传输通道和所述读出通信传输通道为电缆、光纤或无线通信传输通道。
7.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述a行48列的存储媒介阵列用于存储电力大数据块，a为正整数；
待存储电力大数据块大小不同，对应的行值a和存储单元容量不同；所述存储单元包括相同或不同大小的磁盘、硬盘、磁带和/或光盘。
8.如权利要求1或7所述的电力大数据分布式储存系统，其特征在于：对应同一待存储电力大数据块，所述a行48列的存储媒介阵列中的存储媒介为相同结构的存储单元，a为正整数。
9.如权利要求3所述的电力大数据分布式储存系统，其特征在于：所述读出控制管理单元为所述汇聚电力大数据块的子块单元、输出缓存器、并/串变换器、[48,24,12]扩展平方剩余码的译码器和电力大数据块后处理单元提供时钟信号，生成第j'列第i'行的电力大数据块子块位置信息(i',j')，1≤j'≤48，1≤i'≤a，对应的所述电力大数据块子块的哈希函数摘要信息为hash(i',j')；
所述汇聚电力大数据块的子块单元根据待存储的x bytes字节的电力大数据块生成48×a个电力大数据块子块，a为正整数；
所述输出缓存器为48路并行的先进先出的缓存器；
所述并/串变换器将48路并行信息变换为1路串行信息的变换器；
所述[48,24,12]扩展平方剩余码的译码器为将48bits的扩展平方剩余码的译码为24bits的数据信息的译码器；
所述电力大数据块后处理单元用于对待读出的所述电力大数据块以字节为单位进行后处理；
所述后处理方法包括：检测所述电力大数据块的尾部，以字节为单位，若其尾部有连续(24-c)bytes的0，则删除所述连续(24-c)bytes的“0”，若所述尾部无连续(24-c)bytes的“0”，则不做删除处理；所述c取1～23任一整数，对应同一所述电力大数据块，与所述[48,24,12]扩展平方剩余码的编码处理单元中的电力大数据块预处理单元中对应的c取值相同。
10.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述[48,24,12]扩展平方剩余码的编码处理单元、a行48列的存储媒介阵列、[48,24,12]扩展平方剩余码的译码处理单元和分布式储存控制管理单元通过通信传输系统连接。
11.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述大数据储存系统具有存储容量的扩展性，将a行48列的存储媒介阵列结构整行扩展，a为正整数，每行存储媒介单元的容量相同，仍然能够保持具备容N-5存储媒介失效的能力。
12.如权利要求1所述的电力大数据分布式储存系统，其特征在于：所述扩展平方剩余码的码长n为48bits、信息位k为24bits、最小汉明距离dmin为12。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410190541.5A CN103957264B (zh) | 2014-05-07 | 2014-05-07 | 具备容n‑5存储媒介失效的电力大数据分布式储存系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410190541.5A CN103957264B (zh) | 2014-05-07 | 2014-05-07 | 具备容n‑5存储媒介失效的电力大数据分布式储存系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103957264A CN103957264A (zh) | 2014-07-30 |
| CN103957264B true CN103957264B (zh) | 2017-07-14 |
Family
ID=51334487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410190541.5A Expired - Fee Related CN103957264B (zh) | 2014-05-07 | 2014-05-07 | 具备容n‑5存储媒介失效的电力大数据分布式储存系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103957264B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318486A (zh) * | 2014-10-08 | 2015-01-28 | 华北电力大学（保定） | 一种基于云计算的电力调度数据容灾方法 |
| CN106201360A (zh) * | 2016-07-21 | 2016-12-07 | 成都育芽科技有限公司 | 一种具备容n‑5存储媒介失效的电力大数据分布式储存系统 |
| CN106201361B (zh) * | 2016-07-21 | 2019-02-12 | 南京华魄信息科技有限公司 | 一种具备应对n-5存储媒介失效的电力大数据存储方法 |
| CN109787717B (zh) * | 2018-12-25 | 2021-05-18 | 杭州电子科技大学 | 一种基于fpga的qr31码译码方法 |
| CN112270640A (zh) * | 2020-11-10 | 2021-01-26 | 上海对外经贸大学 | 一种感知结构的处理模型系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101650639A (zh) * | 2009-09-11 | 2010-02-17 | 成都市华为赛门铁克科技有限公司 | 一种存储装置及计算机系统 |
| US8127212B2 (en) * | 2007-09-26 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | System and method for determining the fault-tolerance of an erasure code |
-
2014
- 2014-05-07 CN CN201410190541.5A patent/CN103957264B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8127212B2 (en) * | 2007-09-26 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | System and method for determining the fault-tolerance of an erasure code |
| CN101650639A (zh) * | 2009-09-11 | 2010-02-17 | 成都市华为赛门铁克科技有限公司 | 一种存储装置及计算机系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《大容量数据采集存储系统的研究与实现》;汪志刚;《中国优秀硕士论文全文数据库》;20110515(第5期);第83页到第90页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103957264A (zh) | 2014-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103957264B (zh) | 具备容n‑5存储媒介失效的电力大数据分布式储存系统 | |
| CN102306114B (zh) | 基于云存储的数据定时备份和恢复方法 | |
| CN102012792B (zh) | 一种快速重构的raid-6编码及重构方法 | |
| CN111444262A (zh) | 一种基于区块链的电力数据的共享系统 | |
| Xin et al. | Research on cloud computing data security model based on multi-dimension | |
| CN106776129A (zh) | 一种基于最小存储再生码的多节点数据文件的修复方法 | |
| CN106776112A (zh) | 一种基于Pyramid码的局部性修复编码方法 | |
| CN103810247A (zh) | 基于分桶算法的灾备数据比对方法 | |
| CN102238003A (zh) | 一种根密钥的产生方法 | |
| CN108376468A (zh) | 质空关联量子遥控通讯技术 | |
| CN103957265B (zh) | 一种具备容n‑3存储媒介失效的电力大数据云储存系统 | |
| CN110377562B (zh) | 基于Hadoop开源平台的大数据安全存储方法 | |
| CN106651071A (zh) | 一种用于电力突发事件的应急处理方法 | |
| CN103955415B (zh) | 一种具备n-3容故障性的智能电网大数据储存系统 | |
| Pâris et al. | Three-dimensional redundancy codes for archival storage | |
| CN107977285A (zh) | 一种纠删码存储机制的数据修改方法、装置及介质 | |
| CN111475569B (zh) | 一种基于区块链的配电网自动化开关定值管理方法 | |
| CN104881253A (zh) | 一种纠错参数无限制的阵列纠删码方法 | |
| CN101031053A (zh) | 视频信息存储装置及方法 | |
| CN112242878B (zh) | 一种纠删码数据分割安全保密方法及装置 | |
| CN106776114A (zh) | 一种具有云服务器备份的磁盘阵列备份管理系统 | |
| CN108984127A (zh) | 一种具备n-6存储媒介完存性的电力大数据储存系统 | |
| CN115694871A (zh) | 一种配电网状态数据的安全传输方法 | |
| CN108958662A (zh) | 一种具备n-7存储媒介完存性的电力大数据储存系统 | |
| CN107682075A (zh) | 一种基于链路故障的同步数字体系sdh业务风险分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170714 Termination date: 20180507 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |