CN105357311A - 一种云计算技术的二次设备大数据存储与处理方法 - Google Patents
一种云计算技术的二次设备大数据存储与处理方法 Download PDFInfo
- Publication number
- CN105357311A CN105357311A CN201510819546.4A CN201510819546A CN105357311A CN 105357311 A CN105357311 A CN 105357311A CN 201510819546 A CN201510819546 A CN 201510819546A CN 105357311 A CN105357311 A CN 105357311A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- key
- list
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000013500 data storage Methods 0.000 title abstract description 3
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims description 32
- 238000013461 design Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract 2
- 238000009412 basement excavation Methods 0.000 abstract 1
- 230000007547 defect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的目的在于提供本发明公开了一种采用云计算技术，对电力系统保护装置、故障滤波器、安全自动装置、综自系统、操作电源系统等二次设备所产生的海量过程监测数据，进行集中存储、统一管理和并行计算的海量历史数据的存储处理方法。利用云计算技术，对过程检测数据、设备缺陷数据、设备状态日志、巡检数据等数据，形成统一的存储规范，并采用分布式计算框架实现对大规模数据下的条件查询和并行处理。本发明实现了面向全库的、长周期的、结构化二次设备历史数据的存储，满足电力系统在存储容量、数据写入速度、查询效率以及系统扩展性方面的要求，为二次设备的海量历史数据分析和挖掘提供有力支撑。
Description
技术领域
本发明涉及属于计算机技术与电力专业交叉的研究领域，具体是提出了针对电力系统的一种面向二次设备历史监测大数据的存储与处理方法。
背景技术
随着微机和通信技术的发展，传统的计量仪表设备已逐步淡出电力系统，而目前大部分的电力企业对二次设备的管理仍采用专业分工的体制，如保护装置、故障滤波器、安全自动装置由保护班进行管理，综自系统则由远动班管理，操作电源系统则由直流班进行管理。对设备数据、信息管理不能实现共享，这就使得运维人员只对自己的专业方面比较熟悉，而对其他密切相关的二次设备却知之甚少，这就使得当进行一些协同性较强的工作，需要几个专业部门共同参与分析时，数据的获取与访问非常的困难。而且由于二次设备、技术的发展，众多的二次专业联系非常密切，一些环节甚至融为一体，仍然按照专业划分，将无法保障二次系统运行的安全性，在现有的管理层次上，进行专业整合、逐步整合成一个二次专业将是未来电力企业对二次设备信息管理的趋势。
由于二次设备的种类繁多，所涉及的数据格式多，对二次设备的存储和处理所面临的问题总结起来有几个方面：
1)随着软件系统设备接入测点不断增多，测点的测量频率和密度不断提高，产生的数据规模会快速增长。采用传统的关系型数据库，其扩展方式存在结构单一，在线扩展性差的问题。
2)传统的关系型数据库，一般通过提升单点硬件扩大数据库的容量，比如挂接硬盘，增大内存等手段扩充存储容量。对于距离当前时间较长的数据往往采用备份为文件的方式，离线分散存放，对历史数据的可用性有较大影响。
3)大规模数据下查询效率问题。在实验中发现关系型数据库在大规模数据的查询中，性能会随着数据规模的增大而恶化。万级测点在一天的运行中会产生数千万左右条记录，如果将数月数年的数据记录全部数据库中，执行条件查询，查询耗时达到几十分钟甚至数小时，这种查询性能在特别在即席查询相关的高级应用场景下是难以接受的。
目前国内并未有针对电力系统，涵盖各专业二次设备的信息存储与处理系统，迫切需要为二次设备的海量历史监测数据建立一套可扩展、大容量、高性能的综合信息存储与处理平台。
发明内容
本发明提供一种云计算技术的二次设备大数据存储与处理方法，本方法可以进行大容量的历史监测数据，并可以实现动态扩展和全数据集的分析访问。
本发明的目的通过如下技术方案实现：
一种云计算技术的二次设备大数据存储与处理方法，主要包含了两个部分：构建二次设备历史监测数据的存储模式、基于并行处理框架的关联查询；
(1)二次设备历史数据的存储模式设计
采用非关系型数据库(HBase)存储监测数据，其本质存储的是键值对，即为<行键，值>的形式；其中，行键的组成部分包括高序时间戳，监测项UID，标签名和标签值列表；
所述高序时间戳意义为时间戳中，向下取整5分钟数的倍数；所述监测项UID为通过监测指标的统一注册模块，为各个监测生成固定长度的标识数字；所述标签名和标签值位于最后的位置，描述的是监测项所属设备对象的信息；
所述监测数据还包括低序时间戳、监测数据类型和监测值。
所述低序时间戳和监测数据类型，在列限定符中使用12位的低序时间戳信息和4位的数据类型，共两个字节来描述。在值单元格中按照监测数据的实际类型来存储数据内容。
(2)基于并行处理的二次设备历史监测数据关联查询，即对二次设备历史监测数据库中存在的两个表：左表T1和右表T2，进行关联查询，目标是将两表中索引字段值相同的记录关联起来形成一条记录，而且两个表中存在着相同的索引字段作为关联键，具体关联查询包括两个过程：映射(Map)和约简(Reduce)：
(a)映射过程
在映射阶段，每个映射任务随机读取关联左表和右表中一条记录，此条记录对于映射函数来说是输入的键值对，输入的形式为<k1,v1>，其中，k1为行键的部分，v1为值的部分；对输入的键值对进行遍历，将所述输入的键值对与设定的关联查询的字段进行比较，判断所述输入的键值对是否为关联查询字段集合的子集。
所述判断所述输入的键值对是否为关联查询字段集合的子集的处理过程中，将关联键映射为映射阶段输出键值对的行键即k2，将关联查询其他字段构成值字典，并加上标识该记录的来源字段，从而形成一个复合对象，填充到输出键值对中值的部分，即v2部分，所述v2的内容可以为来自T1的复合对象(T1_ComObject)，也可以为来自T2的复合对象(T2_ComObject)。所述来源字段表明该记录来自于左表或是右表。
(b)约简过程
将映射任务的输出键值对按照行键进行排序，并将具有相同行键的键值对进行合并，形成列表：<k2,list(v2)>。这里的list(v2)包含的是映射过程中的从左表和右表中抽取出来的复合对象列表。行键相同的键值对列表<k2,list(v2)>传输给不同的约简任务；约简任务中，将输入键值对列表<k2,list(v2)>进行解析，所述解析过程如下：根据来源字段进行值字典的分组，将属于连接查询左表和右表的值字典分别存入不同的列表，进而对两个列表进行嵌套遍历操作，即对v2的内容来自左表T1和右表T2的组合对象进行解析与联合计算，生成关联查询新值v3；约简的输出为非关系型数据库中的新表，便于上层进行对结果的应用。
本发明对比现有技术，有如下优点：
本发明的二次设备监测历史数据的存储与处理方法，将在线监测数据按预设的数据存储结构将所述入库，数据存储结构的行键包括高序时间戳，监测项UID，标签名和标签值列表，列限定符包括低序时间戳和类型掩码，值单元格存放对应监测项的值。将数据查询请求根据行键的匹配获得查询结果，特别是在进行关联查询时，设计基于并行处理框架的算法，以支持大数据量下的管理查询同一个处理框架。该方法克服了传统技术中采用关系型数据库在可扩展性、统一管理性方面的不足。该方法具备可扩展性，数据规模理论上无限制，可以存储电网运行产生的长周期二次设备监测数据，其数据访问处理的速度快，并且便于数据批处理和数据挖掘。
附图说明
图1是本发明的行键设计结构示意图；
图2是本发明的值部分的设计结构示意图；
图3是本发明的关联查询的并行处理过程流程图；
图4是本发明的映射过程设计示意图；
图5是本发明的约简过程设计示意图；
图6是本发明一个具体实施例的合并单元装置监测数据的存储结构示意图。
具体实施方式
本发明提供一种云计算技术的二次设备大数据存储与处理方法，主要包含了两个部分：构建二次设备历史监测数据的存储模式、基于并行处理框架的关联查询；
(1)二次设备历史数据的存储模式设计
电力系统所存储处理二次设备的数据对象为长周期、大容量的历史时间序列数据。时间序列数据主要包括各大变电站中利用SCADA综合自动化系统处理得到的数据信息，与系统中各种二次设备的运行状态信息。这部分需实时存入历史数据平台中，并以长周期形式占据较大的比例。
采用非关系型数据库(HBase)存储监测数据，其本质存储的是键值对，即为<行键，值的形式>。其中的行键是一种从行的方向有效筛选数据集提高命中准确率和查询效率的元素，对海量历史监测数据的存储，需要基于非结构数据预期的访问模式来设计其存储范式。具有时间序列特征的监测数据需支持按照日期范围和标签进行过滤的查询。通过行键的设计来实现查询一般目标。行键的组成部分包括高序时间戳，监测项UID，标签名和标签值列表，其如图1所示。
所述监测项UID为通过监测指标的统一注册模块，为各个监测生成固定长度的标识数字。在二次设备的查询场合经常需要将某个时间断面的所有装置取出，并做实时的状态评估和关联分析，因非关系型数据库是按行键字母序来存储行，这样当取某一段时间的所有测点监测数据时，只需要取出相邻的若干行即可，基于这种考虑，设计中将时间戳设计在前面。所述高序时间戳意义为时间戳中，向下取整5分钟数的倍数。这样的设计使得查询阶段只要取出一行记录，即可取出某个测点的一个时间切片厚度为五分钟的所有监测数据。所述标签名和标签值位于最后的位置，描述的是监测项所属设备对象的信息。若干标签名加标签值的设计，使得监测项所关联的信息可以扩展，而且信息是可自描述的。
所述监测数据还包括低序时间戳、监测数据类型和监测值。
监测数据中剩余的其他部分为低序时间戳、监测数据类型和监测值，这部分信息存储于在列限定符及值单元格中。对于低序时间戳和数据类型，在列限定符中使用12位的低序时间戳信息和4位的数据类型，共两个字节来描述，如图2所示。在值单元格中按照监测数据的实际类型来存储数据内容。
(2)基于并行处理的二次设备历史监测数据关联查询
在电力二次设备的历史数据的处理中，关联查询是一种较为常见的查询。比如查询所有设备关联的所有指标，在某段时间的异常变化情况。非关系型数据库在单表的处理上，由于其键值采用哈希散列算法及列簇数据集中存储技术，可高效的在行、列方向进行扩展，从而可以存储海量、长周期数据。在对单表的查询中，通过应用端通过设定行键的查询过滤条件，可以快速的命中查询目标，并返回查询结果。而涉及到多表的连接查询，对于非关系型数据库来说，并不擅长。本发明的方法提供一种基于并行处理框架(MapReduce)的连接查询方法来应对这一常见需求。并行处理框架考虑底层非关系型数据库的数据存储特点，将数据挖掘算法的作业以任务的方式分发到数据区域中，使得其中的算法可以和数据层紧密结合起来。并行处理框架基于接口开发的用户自定义挖掘算法，能自动在机群上并行执行，实现“挖掘分析在数据库内进行”，即分析尽可能靠近数据。其中映射(Map)过程与约简(Reduce)过程是并行处理的核心部分。
连接查询的目标是将不同的大数据集，基于一个共同属性的相同值，即关联键(JointKey)，将数据记录联合起来返回。假设二次设备历史监测数据库中存在两个表：左表T1，右表T2，而且两个表中存在着相同的索引字段(关联键)，关联查询的目标是将两表中索引字段值相同的记录关联起来形成一条记录，算法如图3所示。
对于并行处理框架(MapReduce)来说，包括两个重要的过程：映射(Map)和约简(Reduce)。结合二次设备数据的特点设计映射和约简过程具体如下：
(a)映射过程
如图4所示，在映射阶段，每个映射任务随机读取关联左表和右表中一部分记录，此条记录对于映射函数来说是输入的键值对，输入的形式为<k1,v1>，这里的k1为上文存储设计行键的部分，v1为值的部分。将键值进行遍历，将所述键值与设定的关联查询的字段进行比较，判断所述键值是否为关联查询字段集合的子集。处理中，关联键映射为映射阶段输出键值对的键即k2，将关联查询其他字段构成值字典，并加上标识该记录的来源字段(来自于左表还是右表)，从而形成一个复合对象，填充到输出键值对中的值部分，即v2部分，其内容可以为来自T1的复合对象(T1_ComObject)，也可以为来自T2的复合对象(T2_ComObject)。
(b)约简过程
映射阶段之后是排序、合并等过程，在这个过程中将映射任务的输出键值按照键值进行排序，并将具有相同行键的键值对进行合并，形成列表：<k2,list(v2)>。这里的list(v2)包含的是映射过程中的从左表和右表中抽取出来的复合对象列表。键值相同的键值对列表<k2,list(v2)>传输给不同的约简任务，如图5所示。
约简任务中，将输入键值对列表<k2,list(v2)>进行解析。由于具有相同键的记录将会汇聚一起传递给约简任务，这时首先需要根据来源字段进行值字典的分组，将属于连接查询左表和右表的值字典分别存入不同的列表。进而对两个列表进行嵌套遍历操作，即对v2的内容来自左表T1和右表T2的组合对象进行解析与联合计算，生成关联查询新值v3。约简的输出可以为非关系型数据库中的新表，便于上层进行对结果的应用。
下面以某个二次设备的监测数据的存储和关联查询为例，说明在如何用云计算技术来实现数据的存储和处理过程。
假设某个装置类型为二次设备中合并单元装置，装置ID为16843013监测指标CPU利用率0.27，时间为2010-08-2214:18:29，对应的时间戳为：1282457908.951，小数点前部分为UNIX时间戳，小数点后部分为精确到毫秒的部分。
1)存储模式设计
行键的设计。行键中包含高序时间戳、监控指标、装置类型及值、装置ID及值六个字段。原始时间戳分割为两部分，第一部分为高序时间戳，其值5分钟的整数倍，即向下取整(1282457908.951/(5*60))＝4274859；另一部分为低序时间戳，即余下的毫秒数208951。高序时间戳为第一部分的值。监控指标的CPU利用率UID为监控指标注册模块统一分配的ID。装置类型、合并单元。
而列中，限定符由低序时间戳和数据类型组成。低序时间戳为原始时间错分解的第二部分的值208951。数据类型为4字节浮点类型数据，编码为3。值单元格中存储的是4字节的float数0.27的十六进制数值0x0x3E8A3D71，如图6所示。
在图6中，监控指标CPU利用率前面的UID对应监控项；
装置类型对应标签名1；
合并单元UID对应标签值1；
装置ID对应标签名2；
0x1010105对应标签值2；
2)基于并行处理的二次设备历史监测数据关联查询
比如对历史数据中一个处理需求为：关联查询二次设备类型为合并单元装置，在一段时间内指标CPU超过某个定值的列表，其结果应包含如下表1所示：
| 设备名 | 越界时间点 | 超出的百分比数 |
表1
此查询设计两个表。下表2为关联查询中的左表，是台帐表，表字段如下：
| 设备ID | 设备名 | CPU上界定值 |
表2
下表3为关联查询中的右表，是监测数据历史表，表字段如下
| 高序时间戳 | 监测项UID | 设备类别 | 类别值 | 设备ID | ID值 | 低序时间戳 | 值类型 |
表3
关联查询的目标是将两表通过字段“设备ID”关联起来，得到一段时间内指标CPU超过某个定值的装置列表。实现并行处理模块中的对应的映射(MAP)和规约(REDUCE)函数实现关联查询如下：
a)映射函数的实现
对左表的映射函数实现如下：
得到连接的左表，即设备信息表的信息，包括行id，设备id，设备名称，将dev_id作为key，组合对象{dev_name,cpu_upper_bound}，作为value进行输出。
对右表映射函数的实现如下：
Map_His
Getdev_id,valuewhereTime(upper_time,lower_time)betweentstartandtendanddevtype＝0x01；
type＝“dev_hisdata”；
com_object＝{t_real,value,type}；
Output(dev_id,com_object)；
End
对于连接的右表，即设备历史数据表，首先进行过滤，由查询条件中起止时间：tstart和tend过滤得到满足条件的记录，具体是由时间重构函数输入upper_time和lower_time，得到实际时间t_real，然后将满足t_real在时间范围内、设备类型devtype为保护设备(0x01)的记录过滤出来。将设备id(dev_id)作为key。type标识为”dev_hisdata”，并将组合对象{t_real，value，type}作为value进行输出。
b)约简函数的实现
约简函数如下所示：
在约简函数中，首先构造空越界时间点集beyondPoints及CPU利用率定值cpu_upper_bound，然后循环读取devid归集的值对象列表com_object_list，获得类型为”dev_info”值对象，得到CPU利用率定值及装置名称。进而构造另一个循环，将符合条件的记录筛出压入beyondPoints中。最后输出键值对{dev_id,beyondPoints}。最终得到关联查询结果。这里为了方面说明，映射过程中只有简单的计算，在实际的数据分析、挖掘算法中，为了达到挖掘潜在的信息，上层应用面向具体需求的复杂分析逻辑和算法，按照并行处理的接口，实现映射和规约程序体。
本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。
Claims (9)
1.一种云计算技术的二次设备大数据存储与处理方法，其特征在于包含了两个部分：构建二次设备历史监测数据的存储模式、基于并行处理框架的关联查询；
(1)二次设备历史数据的存储模式设计
采用非关系型数据库(HBase)存储监测数据，其本质存储的是键值对，即为<行键，值>的形式；其中，行键的组成部分包括高序时间戳，监测项UID，标签名和标签值列表；
(2)基于并行处理的二次设备历史监测数据关联查询，即对二次设备历史监测数据库中存在的两个表：左表T1和右表T2，进行关联查询，目标是将两表中索引字段值相同的记录关联起来形成一条记录，而且两个表中存在着相同的索引字段作为关联键，具体关联查询包括两个过程：映射过程和约简过程：
(a)映射过程
在映射阶段，每个映射任务随机读取关联左表和右表中一条记录，此条记录对于映射函数来说是输入的键值对，输入的形式为<k1,v1>，其中，k1为行键的部分，v1为值的部分；对输入的键值对进行遍历，将所述输入的键值对与设定的关联查询的字段进行比较，判断所述输入的键值对是否为关联查询字段集合的子集；
(b)约简过程
将映射任务的输出键值对按照行键进行排序，并将具有相同行键的键值对进行合并，形成列表：<k2,list(v2)>，其中list(v2)包含的是映射过程中的从左表和右表中抽取出来的复合对象列表；行键相同的键值对列表<k2,list(v2)>传输给不同的约简任务；约简任务中，将输入键值对列表<k2,list(v2)>进行解析。
2.根据权利要求1所述的方法，其特征在于：所述高序时间戳意义为时间戳中，向下取整5分钟数的倍数。
3.根据权利要求1所述的方法，其特征在于：所述监测项UID为通过监测指标的统一注册模块，为各个监测生成固定长度的标识数字。
4.根据权利要求1所述的方法，其特征在于：所述标签名和标签值位于最后的位置，描述的是监测项所属设备对象的信息。
5.根据权利要求1所述的方法，其特征在于：所述监测数据还包括低序时间戳、监测数据类型和监测值。
6.根据权利要求1所述的方法，其特征在于：所述低序时间戳和监测数据类型，在列限定符中使用12位的低序时间戳信息和4位的数据类型，共两个字节来描述，在值单元格中按照监测数据的实际类型来存储数据内容。
7.根据权利要求1所述的方法，其特征在于：所述判断所述输入的键值对是否为关联查询字段集合的子集的处理过程中，将关联键映射为映射阶段输出键值对的行键即k2，将关联查询其他字段构成值字典，并加上标识该记录的来源字段，从而形成一个复合对象，填充到输出键值对中值的部分，即v2部分，所述v2的内容为来自T1的复合对象，或者为来自T2的复合对象。
8.根据权利要求1所述的方法，其特征在于：所述来源字段表明该记录来自于左表或是右表。
9.根据权利要求1所述的方法，其特征在于：所述解析过程如下：根据来源字段进行值字典的分组，将属于连接查询左表和右表的值字典分别存入不同的列表，进而对两个列表进行嵌套遍历操作，即对v2的内容来自左表T1和右表T2的组合对象进行解析与联合计算，生成关联查询新值v3；约简的输出为非关系型数据库中的新表，便于上层进行对结果的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510819546.4A CN105357311B (zh) | 2015-11-23 | 2015-11-23 | 一种云计算技术的二次设备大数据存储与处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510819546.4A CN105357311B (zh) | 2015-11-23 | 2015-11-23 | 一种云计算技术的二次设备大数据存储与处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105357311A true CN105357311A (zh) | 2016-02-24 |
| CN105357311B CN105357311B (zh) | 2018-11-27 |
Family
ID=55333170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510819546.4A Expired - Fee Related CN105357311B (zh) | 2015-11-23 | 2015-11-23 | 一种云计算技术的二次设备大数据存储与处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105357311B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503276A (zh) * | 2017-01-06 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种用于实时监控系统的时间序列数据库的方法与装置 |
| CN107688581A (zh) * | 2016-08-04 | 2018-02-13 | 北京京东尚科信息技术有限公司 | 数据模型的处理方法及装置 |
| WO2018040488A1 (zh) * | 2016-08-31 | 2018-03-08 | 华为技术有限公司 | 一种处理连接查询的方法及装置 |
| CN108133043A (zh) * | 2018-01-12 | 2018-06-08 | 福建星瑞格软件有限公司 | 一种基于大数据的服务器运行日志结构化存储方法 |
| CN108319725A (zh) * | 2018-02-28 | 2018-07-24 | 武汉珞珈弘禹工程技术有限公司 | 一种水文监测数据存储的方法及系统 |
| CN108876197A (zh) * | 2018-07-19 | 2018-11-23 | 杨启蓓 | 一种电力设备集群及群组分析系统及方法 |
| CN108932313A (zh) * | 2018-06-20 | 2018-12-04 | 斑马网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN109684517A (zh) * | 2018-12-13 | 2019-04-26 | 广东电网有限责任公司 | 一种历史数据存储方法、读写方法、存储装置和设备 |
| CN109697570A (zh) * | 2018-12-27 | 2019-04-30 | 北京科东电力控制系统有限责任公司 | 变电站二次设备状态评估方法、系统及设备 |
| CN109783508A (zh) * | 2018-12-29 | 2019-05-21 | 亚信科技（南京）有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
| CN110555070A (zh) * | 2018-06-01 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN110888879A (zh) * | 2019-11-18 | 2020-03-17 | 昆明上品数据科技有限责任公司 | 一个基于数据的智能精准管理系统 |
| CN111159482A (zh) * | 2019-12-19 | 2020-05-15 | 贝壳技术有限公司 | 数据校验方法及系统 |
| CN112330483A (zh) * | 2020-10-26 | 2021-02-05 | 南京南瑞继保工程技术有限公司 | 一种基于MapReduce框架的电网多时段未来方式断面生成方法 |
| CN112463837A (zh) * | 2020-12-17 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种关系型数据库数据存储查询方法 |
| CN116932655A (zh) * | 2023-09-18 | 2023-10-24 | 成都市杉岩科技有限公司 | 一种分布式键值数据库操作方法及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729453A (zh) * | 2014-01-02 | 2014-04-16 | 浪潮电子信息产业股份有限公司 | 一种HBase表联合查询优化的方法 |
| CN104573124B (zh) * | 2015-02-09 | 2018-04-10 | 山东大学 | 一种基于并行化关联规则算法的教育云应用统计方法 |
-
2015
- 2015-11-23 CN CN201510819546.4A patent/CN105357311B/zh not_active Expired - Fee Related
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688581A (zh) * | 2016-08-04 | 2018-02-13 | 北京京东尚科信息技术有限公司 | 数据模型的处理方法及装置 |
| WO2018040488A1 (zh) * | 2016-08-31 | 2018-03-08 | 华为技术有限公司 | 一种处理连接查询的方法及装置 |
| US11030196B2 (en) | 2016-08-31 | 2021-06-08 | Huawei Technologies Co., Ltd. | Method and apparatus for processing join query |
| CN106503276A (zh) * | 2017-01-06 | 2017-03-15 | 山东浪潮云服务信息科技有限公司 | 一种用于实时监控系统的时间序列数据库的方法与装置 |
| CN108133043A (zh) * | 2018-01-12 | 2018-06-08 | 福建星瑞格软件有限公司 | 一种基于大数据的服务器运行日志结构化存储方法 |
| CN108319725A (zh) * | 2018-02-28 | 2018-07-24 | 武汉珞珈弘禹工程技术有限公司 | 一种水文监测数据存储的方法及系统 |
| CN110555070A (zh) * | 2018-06-01 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN110555070B (zh) * | 2018-06-01 | 2021-10-22 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN108932313A (zh) * | 2018-06-20 | 2018-12-04 | 斑马网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN108932313B (zh) * | 2018-06-20 | 2021-06-04 | 斑马网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN108876197B (zh) * | 2018-07-19 | 2021-10-15 | 杨启蓓 | 一种电力设备集群及群组分析系统 |
| CN108876197A (zh) * | 2018-07-19 | 2018-11-23 | 杨启蓓 | 一种电力设备集群及群组分析系统及方法 |
| CN109684517A (zh) * | 2018-12-13 | 2019-04-26 | 广东电网有限责任公司 | 一种历史数据存储方法、读写方法、存储装置和设备 |
| CN109684517B (zh) * | 2018-12-13 | 2022-01-25 | 广东电网有限责任公司 | 一种历史数据存储方法、读写方法、存储装置和设备 |
| CN109697570A (zh) * | 2018-12-27 | 2019-04-30 | 北京科东电力控制系统有限责任公司 | 变电站二次设备状态评估方法、系统及设备 |
| CN109783508B (zh) * | 2018-12-29 | 2021-04-09 | 亚信科技（南京）有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
| CN109783508A (zh) * | 2018-12-29 | 2019-05-21 | 亚信科技（南京）有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
| CN110888879A (zh) * | 2019-11-18 | 2020-03-17 | 昆明上品数据科技有限责任公司 | 一个基于数据的智能精准管理系统 |
| CN111159482A (zh) * | 2019-12-19 | 2020-05-15 | 贝壳技术有限公司 | 数据校验方法及系统 |
| CN112330483A (zh) * | 2020-10-26 | 2021-02-05 | 南京南瑞继保工程技术有限公司 | 一种基于MapReduce框架的电网多时段未来方式断面生成方法 |
| CN112330483B (zh) * | 2020-10-26 | 2022-08-26 | 南京南瑞继保工程技术有限公司 | 一种基于MapReduce框架的电网多时段未来方式断面生成方法 |
| CN112463837A (zh) * | 2020-12-17 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种关系型数据库数据存储查询方法 |
| CN112463837B (zh) * | 2020-12-17 | 2022-08-16 | 四川长虹电器股份有限公司 | 一种关系型数据库数据存储查询方法 |
| CN116932655A (zh) * | 2023-09-18 | 2023-10-24 | 成都市杉岩科技有限公司 | 一种分布式键值数据库操作方法及计算机可读存储介质 |
| CN116932655B (zh) * | 2023-09-18 | 2023-11-24 | 成都市杉岩科技有限公司 | 一种分布式键值数据库操作方法及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105357311B (zh) | 2018-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105357311A (zh) | 一种云计算技术的二次设备大数据存储与处理方法 | |
| Munshi et al. | Data lake lambda architecture for smart grids big data analytics | |
| CN106504116B (zh) | 基于电网运行与暂态稳定裕度指标关联的稳定评估方法 | |
| Xiao et al. | SMK-means: an improved mini batch k-means algorithm based on mapreduce with big data | |
| CN107341205A (zh) | 一种基于大数据平台的智能配用电系统 | |
| CN106503276A (zh) | 一种用于实时监控系统的时间序列数据库的方法与装置 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
| Chen et al. | An intelligent approval system for city construction based on cloud computing and big data | |
| CN105825332A (zh) | 基于云计算的电能计量监测平台及其方法 | |
| Wang et al. | Block storage optimization and parallel data processing and analysis of product big data based on the hadoop platform | |
| Yisong et al. | Study on the relationship between transmission line failure rate and lightning information based on Neo4j | |
| Li | Construction of an interactive sharing platform for competitive intelligence data of marine resources under the background of intelligence construction | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| Lenard et al. | An Approach for Efficient Processing of Machine Operational Data | |
| CN112434010A (zh) | 一种用电信息采集系统主站数据库的交互方法 | |
| Ma et al. | Bank big data architecture based on massive parallel processing database | |
| Wang et al. | Structure and query optimization of relay protection data model based on shortest path algorithm | |
| Sun et al. | Mechanism design for unified management of power grid planning data | |
| CN116910126B (zh) | 一种海量日清电量数据便捷存储分类查询系统及方法 | |
| Pan et al. | Massive power grid operational status data analysis system for 3D visualization | |
| Wang et al. | Application of Power System Intelligent Control in Data Analysis of Power Grid Dispatching Control System | |
| Wang | Design and implementation strategy of data migration system based on Hadoop platform | |
| Pandey et al. | Smart meter analysis using big data techniques | |
| Liu et al. | Study of data integration architecture for widearea distributed power quality of power grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181127 Termination date: 20191123 |