CN205304877U - 基于喷泉码的智能电能表误差大数据安全存储装置 - Google Patents
基于喷泉码的智能电能表误差大数据安全存储装置 Download PDFInfo
- Publication number
- CN205304877U CN205304877U CN201620031000.2U CN201620031000U CN205304877U CN 205304877 U CN205304877 U CN 205304877U CN 201620031000 U CN201620031000 U CN 201620031000U CN 205304877 U CN205304877 U CN 205304877U
- Authority
- CN
- China
- Prior art keywords
- big data
- data
- electric energy
- intelligent electric
- energy meter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 abstract description 9
- 238000013500 data storage Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 4
- 102000006479 Heterogeneous-Nuclear Ribonucleoproteins Human genes 0.000 description 2
- 108010019372 Heterogeneous-Nuclear Ribonucleoproteins Proteins 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Landscapes
- Storage Device Security (AREA)
Abstract
一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储，本实用新型的技术效果：提升了存储效率；提升了存储空间利用率；解决了传统由于DataNode失效而导致的存储数据丢失问题；确保了用户数据的私密性保护。
Description
技术领域
本实用新型专利涉及电能计量及营销大数据的存储技术领域，具体是一种基于喷泉码的智能电能表误差大数据安全存储装置。
背景技术
近年来，随着智能电能表大规模安装应用，电力用户侧数据呈指数级增长，海量数据的存储变得越来越重要。传统意义的基于Oracle等大型关系数据库的电力数据存储系统，具有分析速度慢、可伸缩性与可靠性差等缺点，难以适应智能电网时代电力大数据对数据存储与分析的需求，已成为智能电网建设的瓶颈所在。
HDFS(HadoopDistributedFileSystem)是云计算Hadoop框架平台数据存储管理的基础，是基于流数据模式访问和处理超大文件等的需求而开发的，并可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了可靠的存储，为超大数据集(LargeDataSet)的应用处理带来了很多便利。
Hadoop平台中电力数据的存储和数据收集方式直接影响着电力数据的可用性。数据持久性通常是衡量感知数据在网络中可用性的主要指标。传统HDFS系统中提高数据持久性的基本思想是部署一定数量的冗余节点，设法把感知数据以一定的方式拷贝“备份”存储在其它节点上，使得任意节点发生故障时，其数据皆有机会在其它节点数据中继续存活。但这样的方案通常具有较低的数据恢复性，且复杂度高，此外，HDFS的典型配置是每个文件块需要存3份拷贝，空间利用率仅为33％；另一方面，将海量电力数据交由第三方的资源平台提供的云服务器来管理，用户最终失去了对数据的控制权，电力数据信息的安全和用户隐私保障依赖于云服务商。虽然云服务商能提供更高可靠性的数据备份和数据恢复能力，但不能排除云服务商们出于自身利益考虑和外界因素的干扰，出现泄漏、隐藏、丢失用户存放在云端的数据或者被恶意篡改等情况。为提升存储空间的利用率，保障数据拥有者的利益以及数据用户查询数据的真实性和完整性，需要一个高效的电力大数据安全存储系统。
实用新型内容
本实用新型的目的是提供一种基于喷泉码的智能电能表误差大数据安全存储装置，去除了冗余信息，提升了存储效率。
本实用新型的技术方案：一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；
所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；
所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；
所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。
HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。
所述HDFS客户端还包括喷泉码应用服务器。
所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
本实用新型的技术效果：通过对智能电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率；通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率；利用喷泉码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失问题；并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到DataNode所存储的编码包信息时，仍不能解码得到智能电表误差数据，确保了用户数据的私密性保护。
附图说明
图1为本实用新型存储装置结构示意图。
图中：1—智能电能表自助误差校准装置，2—HDFS客户端，3—Hadoop大数据存储平台，4—HDFS服务器，5—喷泉码应用服务器。
具体实施方式
下面结合附图对本实用新型进一步说明：
如图1所示，一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置1、HDFS客户端2、Hadoop大数据存储平台3；
所述智能电能表自助误差校准装置1，用于采集被测智能电能表数据；
所述HDFS客户端2用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；
所述Hadoop大数据存储平台3用于对智能电能表误差大数据进行分布式存储。
HDFS服务器4连接所述HDFS客户端2用以控制管理HDFS客户端2。
所述HDFS客户端2还包括喷泉码应用服务器5。
所述Hadoop大数据存储平台3设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
所述的HDFS客户端，在存储智能电能表数据时，具体用于对采集的智能电能表数据进行稀疏表示、等分分组预处理，并利用LT码编码技术对预处理后的智能电能表数据编码；在读取智能电能表数据时，具体利用改进的高斯消元法对Hadoop大数据存储平台发送过来的数据译码、并对译码后的数据进行重构，整合处理，以得到原智能电能表数据。
所述的Hadoop大数据存储平台采用HDFS对编码包数据进行分布式存储与读取管理。HDFS具有处理超大文件、流式的访问数据；运用与廉价的商业集群。
本实用新型的基于喷泉码的智能电能表误差大数据安全存储装置，通过对智能电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率；通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率；利用喷泉码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失问题；并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到DataNode所存储的编码包信息时，仍不能解码得到智能电表误差数据，确保了用户数据的私密性保护。
Claims (4)
1.一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；
所述智能电能表自助误差校准装置用于采集被测智能电能表数据；
所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；
所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。
2.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。
3.根据权利要求1或2所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述HDFS客户端还包括喷泉码应用服务器。
4.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201620031000.2U CN205304877U (zh) | 2016-01-13 | 2016-01-13 | 基于喷泉码的智能电能表误差大数据安全存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201620031000.2U CN205304877U (zh) | 2016-01-13 | 2016-01-13 | 基于喷泉码的智能电能表误差大数据安全存储装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN205304877U true CN205304877U (zh) | 2016-06-08 |
Family
ID=56475661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201620031000.2U Active CN205304877U (zh) | 2016-01-13 | 2016-01-13 | 基于喷泉码的智能电能表误差大数据安全存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN205304877U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105516355A (zh) * | 2016-01-13 | 2016-04-20 | 国家电网公司 | 基于喷泉码的智能电能表误差大数据安全存储装置及方法 |
| CN106443557A (zh) * | 2016-09-05 | 2017-02-22 | 中国电力科学研究院 | 一种基于大数据的计量设备误差分析方法 |
-
2016
- 2016-01-13 CN CN201620031000.2U patent/CN205304877U/zh active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105516355A (zh) * | 2016-01-13 | 2016-04-20 | 国家电网公司 | 基于喷泉码的智能电能表误差大数据安全存储装置及方法 |
| CN105516355B (zh) * | 2016-01-13 | 2018-07-17 | 国家电网公司 | 基于喷泉码的智能电能表误差大数据安全存储装置及方法 |
| CN106443557A (zh) * | 2016-09-05 | 2017-02-22 | 中国电力科学研究院 | 一种基于大数据的计量设备误差分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102624871B (zh) | 一种基于分布式企业服务总线实现的远程文件同步方法 | |
| CN106326331A (zh) | 一种基于云计算的智能用电数据服务系统 | |
| CN104036025A (zh) | 一种基于分布式的海量日志采集系统 | |
| CN103268336A (zh) | 一种快数据和大数据结合的数据处理方法及其系统 | |
| CN104426713A (zh) | 网络站点访问效果数据的监测方法和装置 | |
| CN104408100B (zh) | 结构化网站日志的压缩方法 | |
| CN205304877U (zh) | 基于喷泉码的智能电能表误差大数据安全存储装置 | |
| CN102571499A (zh) | 一种云端数据库服务器集群的监控方法 | |
| CN108268569A (zh) | 基于大数据技术的水资源监测数据采集与分析系统及方法 | |
| CN115550392A (zh) | 智慧园区数字孪生平台系统 | |
| CN102023978B (zh) | 一种海量数据处理方法及系统 | |
| CN107818106B (zh) | 一种大数据离线计算数据质量校验方法和装置 | |
| CN105516355A (zh) | 基于喷泉码的智能电能表误差大数据安全存储装置及方法 | |
| CN104301435A (zh) | 分布式集群传感器的数据集群编组方法和系统 | |
| CN113721856A (zh) | 一种数字化社区管理数据存储系统 | |
| CN105930380A (zh) | 一种基于hadoop的图表监控方法和装置 | |
| CN104484389B (zh) | 一种互联网用户最大似然地理位置发现方法及发现系统 | |
| CN103618671B (zh) | 大规模数据采集业务多组分发系统及其分发方法 | |
| CN103595792A (zh) | 一种环境污染趋势监控系统 | |
| CN206149401U (zh) | 一种基于大数据架构的人脸识别监控系统 | |
| CN117370314A (zh) | 一种分布式数据库系统协同优化、数据处理系统及方法 | |
| CN116680315A (zh) | 数据离线处理方法、装置、电子设备及存储介质 | |
| CN110851758A (zh) | 一种网页访客数量统计方法及装置 | |
| CN102750371A (zh) | 面向电力系统的并行实时数据库系统及其数据管理方法 | |
| CN202364244U (zh) | 分布式日志分析系统处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |