CN112632127A - 设备运行实时数据采集及时序的数据处理方法 - Google Patents

设备运行实时数据采集及时序的数据处理方法 Download PDF

Info

Publication number
CN112632127A
CN112632127A CN202011593172.6A CN202011593172A CN112632127A CN 112632127 A CN112632127 A CN 112632127A CN 202011593172 A CN202011593172 A CN 202011593172A CN 112632127 A CN112632127 A CN 112632127A
Authority
CN
China
Prior art keywords
data
time
time sequence
real
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011593172.6A
Other languages
English (en)
Other versions
CN112632127B (zh
Inventor
熊玉
屈展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guohua Satellite Data Technology Co ltd
Original Assignee
Guohua Satellite Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guohua Satellite Data Technology Co ltd filed Critical Guohua Satellite Data Technology Co ltd
Priority to CN202011593172.6A priority Critical patent/CN112632127B/zh
Publication of CN112632127A publication Critical patent/CN112632127A/zh
Application granted granted Critical
Publication of CN112632127B publication Critical patent/CN112632127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种设备运行实时数据采集及时序的数据处理方法，该方法为：能源站端将设备抽象为对象模型，通过模型概念将设备运行的指标数据做为设备基本属性进行全站唯一编号，根据不同的工业协议实时采集设备的时序数据并携带时标组成数据对象进行内存保存，确定所述时序数据为突变数据后，将带有时标的时序数据发送至数据中心，所述数据中心对该带有时标的时序数据进行处理。本发明能够提高大数据读写性能和提高磁盘存储使用率，为企业降低运营成本。

Description

设备运行实时数据采集及时序的数据处理方法
技术领域
本发明属于工业互联网技术领域，具体涉及一种设备运行实时数据采集及时序的数据处理方法。
背景技术
伴随着工业互联网的普遍应用，开启了万物互联的数字化新时代，企业在生产运营过程中，为了实现实时监测设备运行状态、对异常运行设备及时告警、利用历史设备运行数据完善现有服务的目的，需要对设备运行数据进行实时采集并进行分析处理，这对数据的实时性、真实性和完整性有更高的要求。
目前针对大量时序数据的处理大都采用微软、阿里等商业架构平台或者开源技术平台，商业架构平台对于一般企业收费太高，所以利用开源技术构建大数据处理平台是一个最优的选择。
在现有开源技术环境下，通常选择非关系型数据库存储时序数据，但是在传统的算法处理中，对设备运行数据进行周期采样的方式已不能满足大数据的完整性要求，毫秒级的变化数据存储随着数据量TB级的增加，数据磁盘读写性能又出现不同程度的读写等性能问题，并且磁盘存储消耗巨大，那么在使用开源技术框架下解决大数据读写性能和提高磁盘存储使用率就能为企业降低运营成本。
发明内容
有鉴于此，本发明的主要目的在于提供一种设备运行实时数据采集及时序的数据处理方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法，该方法为：能源站端将设备抽象为对象模型，通过模型概念将设备运行的指标数据做为设备基本属性进行全站唯一编号，根据不同的工业协议实时采集设备的时序数据并携带时标组成数据对象进行内存保存，确定所述时序数据为突变数据后，将带有时标的时序数据发送至数据中心，所述数据中心对该带有时标的时序数据进行处理。
上述方案中，所述确定所述时序数据为突变数据，具体为：能源站端同时启动数据上送转发服务线程实时根据数据精度对比时序数据是否发生变化，如果发生变化则生成突变数据，如果没有发生变化则直接进行下一个时序数据判断。
上述方案中，所述将带有时标的时序数据发送至数据中心，具体为：将带有时标的时序数据排队至待上送队列等待上送即可，当无网络情况下将准备上送的时序数据进行本地缓存，网络恢复后进行断点续传；所述能源站端还根据定时周期将全站数据全部上送到数据中心。
上述方案中，所述数据中心接收各能源站端上送的所有数据，能源站端和数据中心之间通过报文流进行交互，具体为：数据流首先通过nginx代理将数据请求分发负载到各接收数据服务应用，每个应用服务依据Netty框架搭建数据接收端，当有上送的数据时自动触发数据处理机制，处理时将报文流按照指定格式进行解析，解析过程中得到电站编号、测点编号、时间戳、值4个核心数据，再根据提前初始化的配置数据进行上下限、数据类型、倍率、偏移的初级数据过滤和计算，将最终得到的数据生成JSON格式时序数据串，保存至redis内存数据库保留最新的实时数据。
上述方案中，所述数据中心将接收的时序数据缓存到kafka消息系统中，根据时序数据中的电站编号对24取整获取需要存储的指定分区，将该时序数据存储到该分区中，等待数据存储引擎读取数据进行处理并存储。
上述方案中，所述数据中心根据24个分区确定每个消费者负载8个分区数据定时周期性从kafka消息流中获取缓存数据，根据电站特性将存储格式设计为“站点+年”进行分库，“天”分表，“数据编号”分文档进行归档；所述时序数据根据时间戳的天数偏移存储至文档数组中，将缓存数据批量读取并根据存储设计将具有相同站点信息的数据进行计算、合并和集中处理。
上述方案中，所述数据中心对缓存数据存储的过程为：获取一组缓存数据，根据缓存数据中的电站编号查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的电站存储对象，“键”为电站编号，“值”为集合对象；再根据时间戳查看是否有日期缓存对象，有则获取使用，没有则创建“键-值”对格式的日期存储对象，“键”为时间戳的日期值，“值”为集合对象，将日期存储对象插入到电站存储对象中；然后根据测点查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的测点存储对象，“键”为测点编号，“值”为集合对象，将测点存储对象插入到日期存储对象中；最后将时间戳计算为日期偏移量，按照非关系数据库要求创建文档对象进行存储，将文档对象插入到测点存储对象中。
与现有技术相比，本发明能够提高大数据读写性能和提高磁盘存储使用率，为企业降低运营成本。
附图说明
图1为本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法的流程图；
图2为本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法中的网络框架示意图；
图3为本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法中的数据处理流程示意图；
图4为本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法中的数据存储流程示意图；
图5为一个月数据存储压缩率对比图；
图6为全年数据存储压缩率对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种设备运行实时数据采集及时序的数据处理方法，如图1所示，该方法通过以下步骤实现：
步骤1：能源站端将设备抽象为对象模型，通过模型概念将设备运行的指标数据做为设备基本属性进行全站唯一编号；
步骤2：根据不同的工业协议实时采集设备的时序数据并携带时标组成数据对象进行内存保存，确定所述时序数据为突变数据后，将带有时标的时序数据发送至数据中心；
具体地，能源站端同时启动数据上送转发服务线程实时根据数据精度对比时序数据是否发生变化，如果发生变化则生成突变数据，如果没有发生变化则直接进行下一个时序数据判断。
将带有时标的时序数据排队至待上送队列等待上送即可，当无网络情况下将准备上送的时序数据进行本地缓存，网络恢复后进行断点续传；所述能源站端还根据定时周期将全站数据全部上送到数据中心。
能源站端通过互联网或者专用vpn将带有时标的时序数据发送至数据中心，网络结构如图2所示。
步骤3：所述数据中心对该带有时标的时序数据进行处理。
具体地，所述数据中心提前根据能源站端配置和数据测点配置初始化接收引擎、处理引擎和存储引擎三大核心引擎服务应用，引擎服务之间多线程并发执行各自核心事务，工作流程如图3所示，对于数据中心各引擎应用按照分布式方式部署，灵活扩展，提高各应用使用性能。
所述接收引擎用于接收各能源站端上送的所有数据，能源站端和数据中心之间通过报文流进行交互，具体为：数据流首先通过nginx代理将数据请求分发负载到各接收数据服务应用，每个应用服务依据Netty框架搭建数据接收端，当有上送的数据时自动触发数据处理机制，处理时将报文流按照指定格式进行解析，解析过程中得到电站编号、测点编号、时间戳、值4个核心数据，再根据提前初始化的配置数据进行上下限、数据类型、倍率、偏移的初级数据过滤和计算，将最终得到的数据生成JSON格式时序数据串，保存至redis内存数据库保留最新的实时数据。
所述处理引擎将接收的时序数据缓存到kafka消息系统中，根据时序数据中的电站编号对24取整获取需要存储的指定分区，将该时序数据存储到该分区中，等待数据存储引擎读取数据进行处理并存储。
搭建kafka集群过程中需要按照3个备份和24个分区进行系统初始化，3个备份是为了负载均衡，24个分区为了均衡处理负载，一般建议至少3个线程并发处理，保证数据入库效率，当然也可以根据实际情况选择多个线程并发进行时序数据的处理。
所述存储引擎启动三个线程三个消费者同时消费消息系统中的缓存数据，根据24个分区确定每个消费者负载8个分区数据定时周期性从kafka消息流中获取缓存数据，根据电站特性将存储格式设计为“站点+年”进行分库，“天”分表，“数据编号”分文档进行归档；所述时序数据根据时间戳的天数偏移存储至文档数组中，将缓存数据批量读取并根据存储设计将具有相同站点信息的数据进行计算、合并和集中处理，这样，可提高mongodb一次性读写数据性能。
如图4所示，所述数据中心对缓存数据存储的过程为：
获取一组缓存数据；
数据格式例如[{厂站编号:1,测点编号:1001,时间戳:1600220352406,值:107.22},{厂站编号:1,测点编号:1002,时间戳:1600220336108,值:3.2},{厂站编号:2,测点编号:1001,时间戳:1600220483354,值:50.85}{厂站编号:2,测点编号:1002,时间戳:1600220516579,值:1.8}]。
根据缓存数据中的电站编号查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的电站存储对象，“键”为电站编号，“值”为集合对象；
再根据时间戳查看是否有日期缓存对象，有则获取使用，没有则创建“键-值”对格式的日期存储对象，“键”为时间戳的日期值，“值”为集合对象，将日期存储对象插入到电站存储对象中；
然后根据测点查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的测点存储对象，“键”为测点编号，“值”为集合对象，将测点存储对象插入到日期存储对象中；
最后将时间戳计算为日期偏移量，按照非关系数据库要求创建文档对象进行存储，将文档对象插入到测点存储对象中。
如1600220352406的日期时间戳为1600185600000，那么偏移量为34752406。
这样循环执行指定周期后将电站缓存对象整体存储到非关系数据库中并清除缓存，然后执行下一个周期处理。
如图5、6所示，传统存储模式和发明算法存储模式进行实际示例对比，在同等数据量并且不影响读写效率的的情况下，本发明算法模式下的存储占用比例比传统存储节约大约89％左右，大大提升了存储的使用率。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种设备运行实时数据采集及时序的数据处理方法，其特征在于，该方法为：能源站端将设备抽象为对象模型，通过模型概念将设备运行的指标数据做为设备基本属性进行全站唯一编号，根据不同的工业协议实时采集设备的时序数据并携带时标组成数据对象进行内存保存，确定所述时序数据为突变数据后，将带有时标的时序数据发送至数据中心，所述数据中心对该带有时标的时序数据进行处理。
2.根据权利要求1所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述确定所述时序数据为突变数据，具体为：能源站端同时启动数据上送转发服务线程实时根据数据精度对比时序数据是否发生变化，如果发生变化则生成突变数据，如果没有发生变化则直接进行下一个时序数据判断。
3.根据权利要求1或2所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述将带有时标的时序数据发送至数据中心，具体为：将带有时标的时序数据排队至待上送队列等待上送即可，当无网络情况下将准备上送的时序数据进行本地缓存，网络恢复后进行断点续传；所述能源站端还根据定时周期将全站数据全部上送到数据中心。
4.根据权利要求3所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述数据中心接收各能源站端上送的所有数据，能源站端和数据中心之间通过报文流进行交互，具体为：数据流首先通过nginx代理将数据请求分发负载到各接收数据服务应用，每个应用服务依据Netty框架搭建数据接收端，当有上送的数据时自动触发数据处理机制，处理时将报文流按照指定格式进行解析，解析过程中得到电站编号、测点编号、时间戳、值4个核心数据，再根据提前初始化的配置数据进行上下限、数据类型、倍率、偏移的初级数据过滤和计算，将最终得到的数据生成JSON格式时序数据串，保存至redis内存数据库保留最新的实时数据。
5.根据权利要求4所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述数据中心将接收的时序数据缓存到kafka消息系统中，根据时序数据中的电站编号对24取整获取需要存储的指定分区，将该时序数据存储到该分区中，等待数据存储引擎读取数据进行处理并存储。
6.根据权利要求5所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述数据中心根据24个分区确定每个消费者负载8个分区数据定时周期性从kafka消息流中获取缓存数据，根据电站特性将存储格式设计为“站点+年”进行分库，“天”分表，“数据编号”分文档进行归档；所述时序数据根据时间戳的天数偏移存储至文档数组中，将缓存数据批量读取并根据存储设计将具有相同站点信息的数据进行计算、合并和集中处理。
7.根据权利要求6所述的设备运行实时数据采集及时序的数据处理方法，其特征在于，所述数据中心对缓存数据存储的过程为：获取一组缓存数据，根据缓存数据中的电站编号查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的电站存储对象，“键”为电站编号，“值”为集合对象；再根据时间戳查看是否有日期缓存对象，有则获取使用，没有则创建“键-值”对格式的日期存储对象，“键”为时间戳的日期值，“值”为集合对象，将日期存储对象插入到电站存储对象中；然后根据测点查看缓存中是否有已创建对象，有则获取使用，没有则创建“键-值”对格式的测点存储对象，“键”为测点编号，“值”为集合对象，将测点存储对象插入到日期存储对象中；最后将时间戳计算为日期偏移量，按照非关系数据库要求创建文档对象进行存储，将文档对象插入到测点存储对象中。
CN202011593172.6A 2020-12-29 2020-12-29 设备运行实时数据采集及时序的数据处理方法 Active CN112632127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593172.6A CN112632127B (zh) 2020-12-29 2020-12-29 设备运行实时数据采集及时序的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593172.6A CN112632127B (zh) 2020-12-29 2020-12-29 设备运行实时数据采集及时序的数据处理方法

Publications (2)

Publication Number Publication Date
CN112632127A true CN112632127A (zh) 2021-04-09
CN112632127B CN112632127B (zh) 2022-07-15

Family

ID=75286246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593172.6A Active CN112632127B (zh) 2020-12-29 2020-12-29 设备运行实时数据采集及时序的数据处理方法

Country Status (1)

Country Link
CN (1) CN112632127B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568936A (zh) * 2021-07-30 2021-10-29 多点生活(成都)科技有限公司 实时流数据存储方法、装置、终端设备
CN115081679A (zh) * 2022-05-19 2022-09-20 中核武汉核电运行技术股份有限公司 基于cdc的工业数据动态变化自动感知处理系统
CN115391429A (zh) * 2022-09-14 2022-11-25 武汉奋进智能机器有限公司 基于大数据云计算的时序数据处理方法及装置

Citations (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215253A (zh) * 2011-05-18 2011-10-12 中国电力科学研究院 一种电力调度实时监控系统数据的分层交换与控制方法
EP2596455A1 (en) * 2010-07-20 2013-05-29 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same
CN104835311A (zh) * 2015-04-30 2015-08-12 中国电力科学研究院 一种用电信息采集设备数据传输性能分析系统
CN105373893A (zh) * 2015-11-23 2016-03-02 江苏省电力公司南通供电公司 调度自动化系统模型定义辅助决策与风险评估方法
CN105527882A (zh) * 2014-10-21 2016-04-27 青岛鑫益发工贸有限公司 一种电子设备数据监测采集系统
CN105894606A (zh) * 2014-10-30 2016-08-24 无锡孚嘉航海科技有限公司 一种船载航行数据存储介质的抗振方法与装置
CN106205156A (zh) * 2016-08-12 2016-12-07 南京航空航天大学 一种针对部分车道车流突变的交叉口自愈合控制方法
CN106371939A (zh) * 2016-09-12 2017-02-01 山东大学 一种时序数据异常检测方法及其系统
CN106446555A (zh) * 2016-09-29 2017-02-22 福州大学 基于时序相似性的植被变化发生时间检测方法
CN106556754A (zh) * 2016-10-12 2017-04-05 国网上海市电力公司 一种配电线路故障波形的在线采集方法
CN106850558A (zh) * 2016-12-24 2017-06-13 国网江苏省电力公司信息通信分公司 基于季节模型时间序列的智能电表状态异常检测方法
CN107026461A (zh) * 2017-05-11 2017-08-08 南京南瑞继保电气有限公司 一种新能源站参与一次调频的快速功率协调控制方法
WO2017137751A1 (en) * 2016-02-11 2017-08-17 Queen Mary University Of London Method and apparatus for generation of audio signals
CN107123047A (zh) * 2017-04-14 2017-09-01 北京金融资产交易所有限公司 基于债券交易的数据采集系统及其数据采集方法
CN107834523A (zh) * 2017-10-30 2018-03-23 国网浙江省电力有限公司 基于模型和规则库的特高压直流故障诊断系统及工作方法
CN107966942A (zh) * 2017-06-18 2018-04-27 广东金宝力化工科技装备股份有限公司 一种基于知识库的设备故障预测系统
CN108011924A (zh) * 2017-10-30 2018-05-08 新奥泛能网络科技股份有限公司 能源站数据信息采集系统
CN108021650A (zh) * 2017-11-30 2018-05-11 冶金自动化研究设计院 一种时序数据的高效存储和读取系统
CN108052637A (zh) * 2017-12-20 2018-05-18 江苏瑞中数据股份有限公司 电网时标量测数据接入全生命周期实时图文监控方法
CN108227561A (zh) * 2017-12-08 2018-06-29 中国航空工业集团公司成都飞机设计研究所 一种多余度系统数据采集的时标对齐方法
US20180268050A1 (en) * 2017-03-18 2018-09-20 Trendalyze Inc. Method and system for time series visual analysis and pattern search
CN108960498A (zh) * 2018-06-27 2018-12-07 沈阳理工大学 一种基于时序关联规则的交通拥堵预测方法
CN109033125A (zh) * 2018-05-31 2018-12-18 黑龙江大学 时序数据支配集信息提取方法
CN109100579A (zh) * 2018-11-07 2018-12-28 国网河南省电力公司郑州供电公司 一种三相不平衡监测装置的高速数据采集系统及方法
CN109144016A (zh) * 2018-10-11 2019-01-04 常州信息职业技术学院 一种数据压缩下工业混杂传感网的感控系统与方法
CN109189589A (zh) * 2018-08-14 2019-01-11 北京博睿宏远数据科技股份有限公司 一种分布式大数据计算引擎及架构方法
CN109254221A (zh) * 2018-11-26 2019-01-22 南方电网科学研究院有限责任公司 一种智能变电站的数据处理方法
CN109298670A (zh) * 2018-11-13 2019-02-01 北京四方继保自动化股份有限公司 多源数据融合采集装置及系统
CN109361576A (zh) * 2018-12-21 2019-02-19 郑州云海信息技术有限公司 一种pim监控数据处理方法及系统
CN109391629A (zh) * 2018-11-23 2019-02-26 上海电科智能系统股份有限公司 轨道交通综合监控系统数据处理方法
CN109582708A (zh) * 2018-11-19 2019-04-05 冶金自动化研究设计院 一种时序数据库系统
CN110032557A (zh) * 2019-04-12 2019-07-19 国网安徽省电力有限公司阜阳供电公司 一种基于大数据的电网设备状态异常监测方法及系统
CN110222091A (zh) * 2019-06-10 2019-09-10 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN110287228A (zh) * 2019-05-20 2019-09-27 广西电网有限责任公司 基于电网调度域设备监测实时数据采集的实现方法
CN110413599A (zh) * 2019-06-18 2019-11-05 上海展湾信息科技有限公司 数据实时处理与存储系统及方法
CN110515810A (zh) * 2019-09-03 2019-11-29 浪潮软件集团有限公司 一种基于时序数据库的数据监控日志收集及追溯方法
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110750429A (zh) * 2019-09-06 2020-02-04 平安科技（深圳）有限公司 运维管理系统的异常检测方法、装置、设备及存储介质
CN110795428A (zh) * 2019-10-10 2020-02-14 中盈优创资讯科技有限公司 应用于工业物联网的时序数据存储方法和时序数据库
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法
CN111241074A (zh) * 2019-12-27 2020-06-05 冶金自动化研究设计院 基于时序数据和关系数据的钢铁企业数据中心应用系统
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关
CN111427964A (zh) * 2020-04-15 2020-07-17 南京核新数码科技有限公司 一种面向运行时间戳的工业云数据存储模型
CN111539539A (zh) * 2020-04-03 2020-08-14 国家计算机网络与信息安全管理中心 数据中心动力环境设备运行模式突变检测方法及装置
CN111680786A (zh) * 2020-06-10 2020-09-18 中国地质大学（武汉） 一种基于改进权重门控单元的时序预测方法
CN111708682A (zh) * 2020-06-17 2020-09-25 腾讯科技（深圳）有限公司 数据预测方法、装置、设备及存储介质
CN111736545A (zh) * 2020-05-20 2020-10-02 国网河北省电力有限公司电力科学研究院 电源机组数据融合、纠错和分析的系统及方法
CN111930602A (zh) * 2020-08-13 2020-11-13 中国工商银行股份有限公司 性能指标预测方法及装置
CN112035415A (zh) * 2020-08-28 2020-12-04 北京金山云网络技术有限公司 针对用户访问数据的处理系统、方法、设备及存储介质

Patent Citations (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2596455A1 (en) * 2010-07-20 2013-05-29 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same
CN102215253A (zh) * 2011-05-18 2011-10-12 中国电力科学研究院 一种电力调度实时监控系统数据的分层交换与控制方法
CN105527882A (zh) * 2014-10-21 2016-04-27 青岛鑫益发工贸有限公司 一种电子设备数据监测采集系统
CN105894606A (zh) * 2014-10-30 2016-08-24 无锡孚嘉航海科技有限公司 一种船载航行数据存储介质的抗振方法与装置
CN104835311A (zh) * 2015-04-30 2015-08-12 中国电力科学研究院 一种用电信息采集设备数据传输性能分析系统
CN105373893A (zh) * 2015-11-23 2016-03-02 江苏省电力公司南通供电公司 调度自动化系统模型定义辅助决策与风险评估方法
WO2017137751A1 (en) * 2016-02-11 2017-08-17 Queen Mary University Of London Method and apparatus for generation of audio signals
CN106205156A (zh) * 2016-08-12 2016-12-07 南京航空航天大学 一种针对部分车道车流突变的交叉口自愈合控制方法
CN106371939A (zh) * 2016-09-12 2017-02-01 山东大学 一种时序数据异常检测方法及其系统
CN106446555A (zh) * 2016-09-29 2017-02-22 福州大学 基于时序相似性的植被变化发生时间检测方法
CN106556754A (zh) * 2016-10-12 2017-04-05 国网上海市电力公司 一种配电线路故障波形的在线采集方法
CN106850558A (zh) * 2016-12-24 2017-06-13 国网江苏省电力公司信息通信分公司 基于季节模型时间序列的智能电表状态异常检测方法
US20180268050A1 (en) * 2017-03-18 2018-09-20 Trendalyze Inc. Method and system for time series visual analysis and pattern search
CN107123047A (zh) * 2017-04-14 2017-09-01 北京金融资产交易所有限公司 基于债券交易的数据采集系统及其数据采集方法
CN107026461A (zh) * 2017-05-11 2017-08-08 南京南瑞继保电气有限公司 一种新能源站参与一次调频的快速功率协调控制方法
CN107966942A (zh) * 2017-06-18 2018-04-27 广东金宝力化工科技装备股份有限公司 一种基于知识库的设备故障预测系统
CN107834523A (zh) * 2017-10-30 2018-03-23 国网浙江省电力有限公司 基于模型和规则库的特高压直流故障诊断系统及工作方法
CN108011924A (zh) * 2017-10-30 2018-05-08 新奥泛能网络科技股份有限公司 能源站数据信息采集系统
CN108021650A (zh) * 2017-11-30 2018-05-11 冶金自动化研究设计院 一种时序数据的高效存储和读取系统
CN108227561A (zh) * 2017-12-08 2018-06-29 中国航空工业集团公司成都飞机设计研究所 一种多余度系统数据采集的时标对齐方法
CN108052637A (zh) * 2017-12-20 2018-05-18 江苏瑞中数据股份有限公司 电网时标量测数据接入全生命周期实时图文监控方法
CN109033125A (zh) * 2018-05-31 2018-12-18 黑龙江大学 时序数据支配集信息提取方法
CN108960498A (zh) * 2018-06-27 2018-12-07 沈阳理工大学 一种基于时序关联规则的交通拥堵预测方法
CN109189589A (zh) * 2018-08-14 2019-01-11 北京博睿宏远数据科技股份有限公司 一种分布式大数据计算引擎及架构方法
CN109144016A (zh) * 2018-10-11 2019-01-04 常州信息职业技术学院 一种数据压缩下工业混杂传感网的感控系统与方法
CN109100579A (zh) * 2018-11-07 2018-12-28 国网河南省电力公司郑州供电公司 一种三相不平衡监测装置的高速数据采集系统及方法
CN109298670A (zh) * 2018-11-13 2019-02-01 北京四方继保自动化股份有限公司 多源数据融合采集装置及系统
CN109582708A (zh) * 2018-11-19 2019-04-05 冶金自动化研究设计院 一种时序数据库系统
CN109391629A (zh) * 2018-11-23 2019-02-26 上海电科智能系统股份有限公司 轨道交通综合监控系统数据处理方法
CN109254221A (zh) * 2018-11-26 2019-01-22 南方电网科学研究院有限责任公司 一种智能变电站的数据处理方法
CN109361576A (zh) * 2018-12-21 2019-02-19 郑州云海信息技术有限公司 一种pim监控数据处理方法及系统
CN110032557A (zh) * 2019-04-12 2019-07-19 国网安徽省电力有限公司阜阳供电公司 一种基于大数据的电网设备状态异常监测方法及系统
CN110287228A (zh) * 2019-05-20 2019-09-27 广西电网有限责任公司 基于电网调度域设备监测实时数据采集的实现方法
CN110222091A (zh) * 2019-06-10 2019-09-10 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN110413599A (zh) * 2019-06-18 2019-11-05 上海展湾信息科技有限公司 数据实时处理与存储系统及方法
CN110598851A (zh) * 2019-08-29 2019-12-20 北京航空航天大学合肥创新研究院 一种融合lstm和gan的时间序列数据异常检测方法
CN110515810A (zh) * 2019-09-03 2019-11-29 浪潮软件集团有限公司 一种基于时序数据库的数据监控日志收集及追溯方法
CN110750429A (zh) * 2019-09-06 2020-02-04 平安科技（深圳）有限公司 运维管理系统的异常检测方法、装置、设备及存储介质
CN110795428A (zh) * 2019-10-10 2020-02-14 中盈优创资讯科技有限公司 应用于工业物联网的时序数据存储方法和时序数据库
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法
CN111241074A (zh) * 2019-12-27 2020-06-05 冶金自动化研究设计院 基于时序数据和关系数据的钢铁企业数据中心应用系统
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关
CN111539539A (zh) * 2020-04-03 2020-08-14 国家计算机网络与信息安全管理中心 数据中心动力环境设备运行模式突变检测方法及装置
CN111427964A (zh) * 2020-04-15 2020-07-17 南京核新数码科技有限公司 一种面向运行时间戳的工业云数据存储模型
CN111736545A (zh) * 2020-05-20 2020-10-02 国网河北省电力有限公司电力科学研究院 电源机组数据融合、纠错和分析的系统及方法
CN111680786A (zh) * 2020-06-10 2020-09-18 中国地质大学（武汉） 一种基于改进权重门控单元的时序预测方法
CN111708682A (zh) * 2020-06-17 2020-09-25 腾讯科技（深圳）有限公司 数据预测方法、装置、设备及存储介质
CN111930602A (zh) * 2020-08-13 2020-11-13 中国工商银行股份有限公司 性能指标预测方法及装置
CN112035415A (zh) * 2020-08-28 2020-12-04 北京金山云网络技术有限公司 针对用户访问数据的处理系统、方法、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568936A (zh) * 2021-07-30 2021-10-29 多点生活(成都)科技有限公司 实时流数据存储方法、装置、终端设备
CN113568936B (zh) * 2021-07-30 2023-06-13 多点生活(成都)科技有限公司 实时流数据存储方法、装置、终端设备
CN115081679A (zh) * 2022-05-19 2022-09-20 中核武汉核电运行技术股份有限公司 基于cdc的工业数据动态变化自动感知处理系统
CN115391429A (zh) * 2022-09-14 2022-11-25 武汉奋进智能机器有限公司 基于大数据云计算的时序数据处理方法及装置

Also Published As

Publication number Publication date
CN112632127B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN112632127B (zh) 设备运行实时数据采集及时序的数据处理方法
CN110022226B (zh) 一种基于面向对象的数据采集系统及采集方法
CN106327055B (zh) 一种基于大数据技术的电力费控方法及系统
CN112862321B (zh) 一种基于ais大数据的海运统计系统及其统计方法
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
CN113064866B (zh) 一种电力业务数据整合系统
CN109391629B (zh) 轨道交通综合监控系统数据处理方法
CN109614412B (zh) 基于电力行业的云上数据发布服务两级共享缓存分析方法
AU2022204116A1 (en) Verification method for electrical grid measurement data
CN114676883A (zh) 基于大数据的电网运行管理方法、装置、设备及存储介质
CN111178587A (zh) 一种基于spark框架的短期电力负荷快速预测方法
CN112286962B (zh) 一种用电信息采集终端抄表成功率统计方法与系统
CN108898248B (zh) 电力负荷影响因素量化分析方法、装置、设备及介质
CN106067142B (zh) 一种电能质量数据表示方法
CN108205587A (zh) 一种日志监测方法及系统
CN113639305A (zh) 一种基于时序数据库平台的换热站负荷预测系统
CN116644136A (zh) 一种增量和全量数据的数据采集方法、装置、设备及介质
CN114676931B (zh) 一种基于数据中台技术的电量预测系统
CN111127186A (zh) 一种基于大数据技术的客户信用等级评价体系的使用方法
CN110377757A (zh) 一种实时知识图谱构建系统
CN115391429A (zh) 基于大数据云计算的时序数据处理方法及装置
CN112308731A (zh) 一种采集系统多任务并发处理的云计算方法及系统
CN114168662A (zh) 一种基于多数据源的配电网问题梳理分析方法及系统
CN113590608A (zh) 一种基于数据流处理的用户用电信息即采即校方法
CN112765553B (zh) 一种基于大数据的工程项目管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant