CN105427193A - 一种基于分布式时序数据服务的大数据分析装置及方法 - Google Patents
一种基于分布式时序数据服务的大数据分析装置及方法 Download PDFInfo
- Publication number
- CN105427193A CN105427193A CN201510962481.9A CN201510962481A CN105427193A CN 105427193 A CN105427193 A CN 105427193A CN 201510962481 A CN201510962481 A CN 201510962481A CN 105427193 A CN105427193 A CN 105427193A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- storer
- time series
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 113
- 230000008569 process Effects 0.000 claims abstract description 43
- 230000010354 integration Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 19
- 238000007418 data mining Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000004148 unit process Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 13
- 238000013500 data storage Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 description 12
- 238000005065 mining Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
一种基于分布式时序数据服务的大数据分析装置，包括监测传感器、监测数据存储器、设备数据存储器、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。
Description
技术领域
本发明涉及设备监测分析应用领域，具体涉及到一种基于分布式时序数据服务的大数据分析装置及方法。
背景技术
随着计算机技术的飞速发展，各行业的数据急速增长，数据量变的越来越大，类型也越来越多，数据结构也趋于复杂化，传统的数据库不但各设备独立放置，并且需要较大的部署空间，存在不易部署、成本较高等缺点，不能满足用户的一般要求。
时序数据是带时间标签的时间序列数据，其典型特点是产生频率快、严重依赖于采集时间、测点多信息量大。在电力行业中，为了保证设备安全、稳定、高效地运行，通常会对发电、变电等各类设备的运行状态进行实时监测，采集获得大量的时序数据可作为设备运行状态评估、设备运行故障预警、设备可靠性分析等高级应用的基础，因而，如何快速、高效、及时地处理海量实时数据，一直是电力、化工、石油、钢铁等重资产行业面临的一项重大课题。
电力行业中历史业务数据收集和分析、实时或准实时数据的即时分析是电力行业中信息化建设过程中比较重要的内容，它需要一套完整、稳定、契合实际业务场景的大数据分析装置的解决方案，对设备故障预警等实时分析类业务场景提供稳定可靠的底层数据支撑。
近年来，随着云计算、大数据、机器学习、数据挖掘等IT技术迅猛发展，分布式存储、高性能计算在理论研究和技术实践层面均获得了关键性突破，业界涌现出了一批以Hadoop为代表的大数据处理和应用解决方案。
Hadoop是一个分布式系统基础架构，包括分布式文件系统HDFS(HadoopDistributedFileSystem)、分布式存储系统HBase、并行计算编程模型MapReduce等几个核心部分，它可以极大地简化大规模数据的处理过程，但它在功能完整性、运行稳定性方面存在一定的局限性，而基于Hadoop衍生的一些商用大数据平台又跟电力业务场景的实际需求存在偏差，因而，深度分析研究电力行业的业务需求，构建一种基于分布式时序数据服务的大数据分析装置，具有深远的意义和较强的利用价值。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于分布式时序数据服务的大数据分析装置及方法，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。
本发明提供了一种基于分布式时序数据服务的大数据分析装置，包括监测传感器、监测数据存储器、设备数据存储器、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中监测数据存储器分别与监测传感器和数据整合单元，数据整合单元还分别连接设备数据存储器和时序数据存储器，数据整合单元、时序数据存储器、计算单元和数据服务终端依次连接，数据服务终端还分别与时序数据存储器、监测传感器和无线终端连接；
监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器；
监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元；
设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单元；
数据整合单元，用于以流式接入的方式接收来自监测数据存储器发送的设备监测数据和以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，其中数据整合单元还包括预处理单元，用于将接收到的设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器；
时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数据集中缓存到时序数据存储器中的内存器；
计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，还用于将经过计算单元处理后的数据回传到时序数据存储器和/或数据服务端；
数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；
无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器，调整监测传感器的数据采集频率。
进一步地，所述监测传感器为安装于监测设备上的信息采集传感器。
进一步地，所述监测传感器为监测设备安装区域的摄像头和/或温度检测器。
进一步地，还包括与数据整合单元连接的人工输入装置，用于在因安全要求实施了隔离措施或不支撑数据接入的情形下输入监测设备数据。
进一步地，配置数据为描述设备监测数据和/或常规的设备数据的业务含义数据、存储结构数据和/或处理逻辑数据。
进一步地，所述访问频度高、性能要求高的数据是指近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据。
进一步地，所述计算单元还用于调用和接收时序数据存储器中设备运行产生的新的时序数据，并对新的时序数据重复执行训练过程，对数据挖掘模型进行更新。
进一步地，数据服务端处理后的结果为故障预警结果和/或负荷预测结果。
进一步地，所述无线终端为笔记本电脑、平板电脑和/或手机。
本发明还提供一种基于分布式时序数据服务的大数据分析装置的大数据分析方法，依次包括如下步骤：
(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；
(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、C、D；
(3)将平均值A、B、C、D求和后再求平均值P：
A.如果则监测传感器性能稳定，进入步骤(4)；
B.如果则监测传感器性能不稳定，则进入步骤(1)；
(4)实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器后存储，以流式输出的方式，将设备监测数据输出至数据整合单元；
(5)以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，将设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器进行存储；
(6)将近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据集中缓存到时序数据存储器中的内存器；
(7)通过计算单元驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，将经过计算单元处理后的数据回传到时序数据存储器和/或数据服务端；
(8)从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；
(9)通过无线终端接收来自数据服务端发送的处理后的结果，根据处理后的结果决定是否发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器，调整监测传感器的数据采集频率，其中处理后的结果为故障预警结果和/或负荷预测结果，根据处理后的结果决定是否发送控制命令至数据服务端满足：
A.当故障预警结果和/或负荷预测结果为正常时，降低监测传感器的数据采集频率；
B.当故障预警结果和/或负荷预测结果为不正常时，提高监测传感器的数据采集频率，并且重复步骤(1)-(9)，同时在数据服务端发出警报，在数据服务端的显示装置上实时显示故障预警结果和/或负荷预测结果，并且通知维修人员。
本发明的大数据分析装置和方法，可以实现：
1)以稳定、可靠、高效的开源分布式存储系统和并行计算服务为核心，针对重资产行业时间序列数据存储和访问需求定向封装，为设备故障预警等实时分析类业务场景提供了稳定可靠的底层数据支撑；
2)实时和准时的采集数据，时效性高，并且优化设计了数据采集频率，采集效率高，能效低但是效能高，并且装置功能强大，可以使得监测和维修人员在远程控制和监控设备状态，即时处理，处理时效性更高，并且因为缩短了处理时间使得减少了设备损耗，节约了成本；
3)针对系统数据的可靠性，设计了平均值数据确认方案，使得监测数据更加稳定可靠，并且通过根据设备的实时状态调整监测频率，减轻了装置的工作负荷，使用寿命更长，性能更加稳定。
附图说明
图1大数据分析装置结构示意图
具体实施方式
下面详细说明本发明的具体实施，有必要在此指出的是，以下实施只是用于本发明的进一步说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整，仍然属于本发明的保护范围。
本发明提供了一种基于分布式时序数据服务的大数据分析装置，如附图1所示，包括监测传感器1、监测数据存储器2、设备数据存储器3、数据整合单元4、时序数据存储器5、计算单元6、无线终端8和数据服务终端7，其中监测数据存储器2分别与监测传感器1和数据整合单元4，数据整合单元4还分别连接设备数据存储器3和时序数据存储器5，数据整合单元4、时序数据存储器5、计算单元6和数据服务终端7依次连接，数据服务终端7还分别与时序数据存储器5、监测传感器1和无线终端8连接；
监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器，监测传感器为安装于监测设备上的信息采集传感器，还可以为监测设备安装区域的摄像头、温度检测器等传感器，监测数据存储器可以实时的将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元。
设备数据存储器用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单，其中常规的设备数据来自于系统配置管理，主要用于描述业务数据的业务含义、存储结构和处理逻辑，一般在系统配置阶段产生。
数据整合单元，用于以流式接入的方式接收来自监测数据存储器发送的设备监测数据和以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，数据整合单元将采集到的数据通过批量接入、流式接入、人工导入等多种形式获取，也可以直接连接采集点获取监测数据。接入的数据在存储之前，可以进行必要的预处理，利用预先配置好的预处理规则进行清洗、过滤、转换等操作，数据经过数据整合或者直接存储到时序数据存储器中，对于一些规则等一些访问频率高的数据，一般存储在缓存数据中，对于一些历史业务数据，访问频率不大的数据，经过数据整合后，一般存储在业务数据中；对于系统定义的一些数据预处理规则，计算规则，模型数据等数据，一般存储在配置数据中；数据访问服务通过数据访问接口直接读取数据。无论是业务数据还是配置数据，其访问频度、性能需求在具体业务场景中存在较大的差异，对于访问频度高、性能要求高的数据，系统将其集中缓存到了系统内存中，这些被缓存的业务数据和配置数据统称为缓存数据。一般而言，近期的业务数据、关注率较高的历史指标、模型元数据、数据预处理规则等数据访问频度较高，可视作缓存数据。数据存储能够为数据查询服务提供基础保障，能够为在线计算服务和离线分析服务提供输入，同时也支持相应计算结果的回写。时序数据存储器5中涉及的数据库主要有分布式文件系统HDFS(HadoopDistributedFileSystem)，列式数据库HBase(HadoopDatabase)、内存数据库Redis、关系数据库Oracle等。Oracle数据库主要用于存储配置数据以及部分业务数据，HDFS作为大数据平台底层的分布式文件系统单元，为上层的HBASE提供支撑，也可以直接存储业务数据中的非时序部分，HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，主要用于存储业务数据中的时序部分，Redis是一个基于内存的key-value存储系统，在这里主要用于存放缓存数据。
计算单元可以利用行业专家的管理经验结合统计学原理研究分析挖掘算法，以电力设备运行相关的历史数据为输入，训练形成数据挖掘模型，不同的样本数据可形成不同的数据挖掘模型(例：按季节区分)，针对设备运行产生的新的时序数据可以重复执行训练过程，进行数据挖掘模型的持续改进；创建完成的数据挖掘模型可参与在线计算，采用实时或准实时的方式分析电力设备的各项评价指标。挖掘模型的训练过程涉及到了批量计算，通过批量计算作业实现；挖掘模型的应用过程涉及到了流式计算，通过流式计算作业实现；此外，两种计算模式还可以用于实现设备评价指标、语音语义识别、文本语义分析等等与挖掘模型无关的计算任务。
批量计算作业通过调度引擎驱动，从数据存储区域读入业务历史数据，依据预先编排好的处理逻辑进行计算，计算结果可以回写到数据存储区，也可以通过离线分析服务直接对外提供；流式计算作业也是通过调度引擎驱动，数据从数据存储中以流的方式接入进来，依据预先编排好的处理逻辑进行计算，计算结果可以回写到数据存储区，也可以通过在线计算服务直接对外提供。
计算作业用于定义计算任务的(也称作业节点)拓扑结构和执行逻辑，类似于工作流(Workflow)，其定义过程可在系统提供的作业设计器中完成，从计算引擎的视角看，每个作业节点对应于一个计算单元(ComputeUnit)，计算单元对应的程序逻辑称之为算子(Transformation)。系统提供可视化建模工具、预置丰富的数据处理和数据展示算子，同时开放算子开发规范，支持实际业务场景的二次开发。
数据服务端可以实现对基于分布式时序数据服务的大数据分析装置各类功能的封装，可以实现数据访问服务、在线计算服务和离线分析服务。数据访问服务直接从数据存储区读取数据，它的交互过程不涉及数据计算，可以进一步细分为配置信息访问服务、交互式查询服务，典型应用场景主要是综合查询、可视化展示等。在线计算服务通常的时间跨度在数百毫秒到数秒之间，高并发并且需要快速响应分析结果，典型应用场景包括故障预警、负荷预测等。离线分析服务的时间跨度在数十分钟到数小时之间，主要用于多维统计预测、准实时分析以及聚类、分类等数据挖掘应用，典型应用场景包括故障模式识别、稳定工况分析等。数据服务的交互模式包括同步、异步两种，在线计算服务通常采用同步模式，离线分析服务通常采用异步模式，异步模式会引入消息服务中间件接管计算状态和计算结果信息的传递。
无线终端可以为笔记本电脑、平板电脑和/或手机，监测人员或者维修工作人员可以通过无线终端远程的和数据服务端实现交互，可以主动的实时查询或者被动接收数据服务端推送的监测结果，并且也可以通过无线终端远程的操控数据服务端及装置的其他的部分，实现远程实时的操控、监测，此外对于出现异常的情况，也可以及时的处理。
本发明还提供一种基于分布式时序数据服务的大数据分析装置的大数据分析方法，依次包括如下步骤：
(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；
(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、C、D；
(3)将平均值A、B、C、D求和后再求平均值P：
A.如果则监测传感器性能稳定，进入步骤(4)；
B.如果则监测传感器性能不稳定，则进入步骤(1)；
(4)实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器后存储，以流式输出的方式，将设备监测数据输出至数据整合单元；
(5)以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，将设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器进行存储；
(6)将近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据集中缓存到时序数据存储器中的内存器；
(7)通过计算单元驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，将经过计算单元处理后的数据回传到时序数据存储器和/或数据服务端；
(8)从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；
(9)通过无线终端接收来自数据服务端发送的处理后的结果，根据处理后的结果决定是否发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器，调整监测传感器的数据采集频率，其中处理后的结果为故障预警结果和/或负荷预测结果，根据处理后的结果决定是否发送控制命令至数据服务端满足：
A.当故障预警结果和/或负荷预测结果为正常时，降低监测传感器的数据采集频率；
B.当故障预警结果和/或负荷预测结果为不正常时，提高监测传感器的数据采集频率，并且重复步骤(1)-(9)，同时在数据服务端发出警报，在数据服务端的显示装置上实时显示故障预警结果和/或负荷预测结果，并且通知维修人员。
本发明的基于分布式时序数据服务的大数据分析装置及方法是通过软件和硬件装置的配合完成，但是并不局限于此，在一定条件下，也可以完全通过硬件的方式实现。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。
Claims (10)
1.一种基于分布式时序数据服务的大数据分析装置，包括监测传感器、监测数据存储器、设备数据存储器、数据整合单元、时序数据存储器、计算单元、无线终端和数据服务终端，其中监测数据存储器分别与监测传感器和数据整合单元，数据整合单元还分别连接设备数据存储器和时序数据存储器，数据整合单元、时序数据存储器、计算单元和数据服务终端依次连接，数据服务终端还分别与时序数据存储器、监测传感器和无线终端连接，其特征在于：
监测传感器，用于实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器；
监测数据存储器，用于将设备监测数据存储，并且以流式输出的方式，将设备监测数据输出至数据整合单元；
设备数据存储器，用于存储常规的设备数据，并且以批量输出的方式，将常规的设备数据输出至数据整合单元；
数据整合单元，用于以流式接入的方式接收来自监测数据存储器发送的设备监测数据和以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，其中数据整合单元还包括预处理单元，用于将接收到的设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器；
时序数据存储器，用于存储预处理后的数据和配置数据，并且将访问频度高、性能要求高的数据集中缓存到时序数据存储器中的内存器；
计算单元，用于驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，还用于将经过计算单元处理后的数据回传到时序数据存储器和/或数据服务端；
数据服务端，包括数据服务端处理器、接口单元和显示装置，其中数据服务端处理器用于从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；
无线终端，用于接收来自数据服务端发送的处理后的结果，并且能够无线发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器，调整监测传感器的数据采集频率。
2.如权利要求1所述的装置，其特征在于：所述监测传感器为安装于监测设备上的信息采集传感器。
3.如权利要求1所述的装置，其特征在于：所述监测传感器为监测设备安装区域的摄像头和/或温度检测器。
4.如权利要求2或3任一项所述的装置，其特征在于：还包括与数据整合单元连接的人工输入装置，用于在因安全要求实施了隔离措施或不支撑数据接入的情形下输入监测设备数据。
5.如权利要求4所述的装置，其特征在于：配置数据为描述设备监测数据和/或常规的设备数据的业务含义数据、存储结构数据和/或处理逻辑数据。
6.如权利要求5所述的装置，其特征在于：所述访问频度高、性能要求高的数据是指近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据。
7.如权利要求6所述的装置，其特征在于：所述计算单元还用于调用和接收时序数据存储器中设备运行产生的新的时序数据，并对新的时序数据重复执行训练过程，对数据挖掘模型进行更新。
8.如权利要求7所述的装置，其特征在于：数据服务端处理后的结果为故障预警结果和/或负荷预测结果。
9.如权利要求1或8任一项所述的装置，其特征在于：所述无线终端为笔记本电脑、平板电脑和/或手机。
10.一种利用如上述权利要求1-9任一项所述的装置的大数据分析方法，其特征在于，依次包括如下步骤：
(1)初始化，设置数据服务端的初始参数，根据设置好的初始参数控制监测传感器的采样周期为每秒6次，采样时间为1分钟，将1分钟内采样的数据求平均值A；
(2)在同样的初始参数条件下，重复步骤(1)3次，分别求得3次的平均值B、C、D；
(3)将平均值A、B、C、D求和后再求平均值P：
A.如果则监测传感器性能稳定，进入步骤(4)；
B.如果则监测传感器性能不稳定，则进入步骤(1)；
(4)实时或准实时获取设备监测数据，并将采集到的设备监测数据传输给监测数据存储器后存储，以流式输出的方式，将设备监测数据输出至数据整合单元；
(5)以批量接入的方式，通过预定义的调度计划自动获取设备数据存储器中的常规的设备数据，将设备监测数据和常规的设备数据以预处理规则进行数据的清洗、过滤、转换的预处理,并将预处理后的数据输出至时序数据存储器进行存储；
(6)将近期的监测数据、常规的设备数据，以及关注率较高的历史指标数据、模型元数据和预处理规则数据集中缓存到时序数据存储器中的内存器；
(7)通过计算单元驱动调度引擎来调用和接收时序数据存储器存储的数据，并且依据预先编排好的处理逻辑对调用和接收的数据进行处理，训练形成数据挖掘模型，将经过计算单元处理后的数据回传到时序数据存储器和/或数据服务端；
(8)从时序数据存储器直接读取数据和/或接收来自计算单元处理后的数据，并且进行分析处理，将处理后的结果通过显示装置进行显示，同时通过接口单元将处理后的结果发送给无线终端；
(9)通过无线终端接收来自数据服务端发送的处理后的结果，根据处理后的结果决定是否发送控制命令至数据服务端，数据服务端接收到控制命令后控制监测传感器，调整监测传感器的数据采集频率，其中处理后的结果为故障预警结果和/或负荷预测结果，根据处理后的结果决定是否发送控制命令至数据服务端满足：
A.当故障预警结果和/或负荷预测结果为正常时，降低监测传感器的数据采集频率；
B.当故障预警结果和/或负荷预测结果为不正常时，提高监测传感器的数据采集频率，并且重复步骤(1)-(9)，同时在数据服务端发出警报，在数据服务端的显示装置上实时显示故障预警结果和/或负荷预测结果，并且通知维修人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510962481.9A CN105427193B (zh) | 2015-12-17 | 2015-12-17 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510962481.9A CN105427193B (zh) | 2015-12-17 | 2015-12-17 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105427193A true CN105427193A (zh) | 2016-03-23 |
| CN105427193B CN105427193B (zh) | 2019-11-12 |
Family
ID=55505375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510962481.9A Active CN105427193B (zh) | 2015-12-17 | 2015-12-17 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105427193B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202566A (zh) * | 2016-08-02 | 2016-12-07 | 山东鲁能软件技术有限公司 | 一种基于大数据的海量用电数据混合存储系统及方法 |
| CN106294829A (zh) * | 2016-08-17 | 2017-01-04 | 东莞前沿技术研究院 | 一种物联网数据库构建方法及装置 |
| CN106446091A (zh) * | 2016-09-13 | 2017-02-22 | 北京协力筑成金融信息服务股份有限公司 | 一种多源时序数据的预处理方法和装置 |
| CN106776907A (zh) * | 2016-11-30 | 2017-05-31 | 江苏省邮电规划设计院有限责任公司 | 一种智慧城市海量数据采集优化方法 |
| CN106874482A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据预处理的装置及方法 |
| CN106874483A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据质量评测的装置及方法 |
| CN107276912A (zh) * | 2016-04-07 | 2017-10-20 | 华为技术有限公司 | 存储器、报文处理方法及分布式存储系统 |
| CN108681556A (zh) * | 2018-04-08 | 2018-10-19 | 华中科技大学 | 分布式指令域数据的访问方法及其系统 |
| CN108803538A (zh) * | 2018-07-31 | 2018-11-13 | 山东超越数控电子股份有限公司 | 一种基于时序数据库的工厂监测系统与方法 |
| CN109219118A (zh) * | 2018-11-27 | 2019-01-15 | 上海交通大学 | 一种基于序列唤醒机制的分布式一致状态估计方法 |
| CN109274093A (zh) * | 2018-10-19 | 2019-01-25 | 北京中电普华信息技术有限公司 | 一种电力资源调度系统 |
| CN109521372A (zh) * | 2018-10-24 | 2019-03-26 | 安徽立卓智能电网科技有限公司 | 一种分布式新能源并网数据分析诊断系统 |
| CN109740941A (zh) * | 2019-01-04 | 2019-05-10 | 北京环境特性研究所 | 军品数据处理系统 |
| CN110837516A (zh) * | 2019-11-07 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据割接方法、装置、计算机设备和可读存储介质 |
| CN111581049A (zh) * | 2020-04-08 | 2020-08-25 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
| CN111966695A (zh) * | 2020-10-23 | 2020-11-20 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
| CN113590724A (zh) * | 2021-08-03 | 2021-11-02 | 厦门至恒融兴信息技术股份有限公司 | 数据指标综合管理与可视化评价方法与系统 |
| CN113627681A (zh) * | 2021-08-25 | 2021-11-09 | 平安国际智慧城市科技股份有限公司 | 基于预测模型的数据预测方法、装置、计算机设备及介质 |
| CN118550920A (zh) * | 2024-07-24 | 2024-08-27 | 浙江浙能数字科技有限公司 | 一种基于时序数据计算点的计算方法与装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103199628A (zh) * | 2013-04-28 | 2013-07-10 | 国家电网公司 | 一种基于osga网格技术的电力设备实时监测系统 |
-
2015
- 2015-12-17 CN CN201510962481.9A patent/CN105427193B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103199628A (zh) * | 2013-04-28 | 2013-07-10 | 国家电网公司 | 一种基于osga网格技术的电力设备实时监测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王德文等: "电力用户侧大数据分析与并行负荷预测", 《中国电机工程学报》 * |
| 王继业等: "智能配用电大数据需求分析与应用研究", 《中国电机工程学报》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107276912B (zh) * | 2016-04-07 | 2021-08-27 | 华为技术有限公司 | 存储器、报文处理方法及分布式存储系统 |
| CN107276912A (zh) * | 2016-04-07 | 2017-10-20 | 华为技术有限公司 | 存储器、报文处理方法及分布式存储系统 |
| CN106202566A (zh) * | 2016-08-02 | 2016-12-07 | 山东鲁能软件技术有限公司 | 一种基于大数据的海量用电数据混合存储系统及方法 |
| CN106294829A (zh) * | 2016-08-17 | 2017-01-04 | 东莞前沿技术研究院 | 一种物联网数据库构建方法及装置 |
| CN106446091A (zh) * | 2016-09-13 | 2017-02-22 | 北京协力筑成金融信息服务股份有限公司 | 一种多源时序数据的预处理方法和装置 |
| CN106776907A (zh) * | 2016-11-30 | 2017-05-31 | 江苏省邮电规划设计院有限责任公司 | 一种智慧城市海量数据采集优化方法 |
| CN106776907B (zh) * | 2016-11-30 | 2019-08-02 | 中通服咨询设计研究院有限公司 | 一种智慧城市海量数据采集优化方法 |
| CN106874482A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据预处理的装置及方法 |
| CN106874483A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据质量评测的装置及方法 |
| CN108681556A (zh) * | 2018-04-08 | 2018-10-19 | 华中科技大学 | 分布式指令域数据的访问方法及其系统 |
| CN108681556B (zh) * | 2018-04-08 | 2021-01-29 | 华中科技大学 | 分布式指令域数据的访问方法及其系统 |
| CN108803538A (zh) * | 2018-07-31 | 2018-11-13 | 山东超越数控电子股份有限公司 | 一种基于时序数据库的工厂监测系统与方法 |
| CN109274093A (zh) * | 2018-10-19 | 2019-01-25 | 北京中电普华信息技术有限公司 | 一种电力资源调度系统 |
| CN109521372A (zh) * | 2018-10-24 | 2019-03-26 | 安徽立卓智能电网科技有限公司 | 一种分布式新能源并网数据分析诊断系统 |
| CN109521372B (zh) * | 2018-10-24 | 2020-11-27 | 安徽立卓智能电网科技有限公司 | 一种分布式新能源并网数据分析诊断系统 |
| CN109219118A (zh) * | 2018-11-27 | 2019-01-15 | 上海交通大学 | 一种基于序列唤醒机制的分布式一致状态估计方法 |
| CN109219118B (zh) * | 2018-11-27 | 2021-08-24 | 上海交通大学 | 一种基于序列唤醒机制的分布式一致状态估计方法 |
| CN109740941A (zh) * | 2019-01-04 | 2019-05-10 | 北京环境特性研究所 | 军品数据处理系统 |
| CN110837516A (zh) * | 2019-11-07 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据割接方法、装置、计算机设备和可读存储介质 |
| CN111581049A (zh) * | 2020-04-08 | 2020-08-25 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
| WO2021203635A1 (zh) * | 2020-04-08 | 2021-10-14 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
| CN111581049B (zh) * | 2020-04-08 | 2023-10-10 | 北京百度网讯科技有限公司 | 分布式系统运行状态监测方法、装置、设备及存储介质 |
| CN111966695B (zh) * | 2020-10-23 | 2021-01-08 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
| CN111966695A (zh) * | 2020-10-23 | 2020-11-20 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
| CN113590724A (zh) * | 2021-08-03 | 2021-11-02 | 厦门至恒融兴信息技术股份有限公司 | 数据指标综合管理与可视化评价方法与系统 |
| CN113627681A (zh) * | 2021-08-25 | 2021-11-09 | 平安国际智慧城市科技股份有限公司 | 基于预测模型的数据预测方法、装置、计算机设备及介质 |
| CN118550920A (zh) * | 2024-07-24 | 2024-08-27 | 浙江浙能数字科技有限公司 | 一种基于时序数据计算点的计算方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105427193B (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105427193A (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN105608758B (zh) | 一种基于算法组态和分布式流计算的大数据分析平台装置及方法 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| Cordeiro et al. | Theoretical proposal of steps for the implementation of the Industry 4.0 concept | |
| CN106202566A (zh) | 一种基于大数据的海量用电数据混合存储系统及方法 | |
| CN112462696A (zh) | 一种智能制造车间数字孪生模型构建方法与系统 | |
| CN106874483A (zh) | 一种基于大数据技术的图形化的数据质量评测的装置及方法 | |
| CN106874482A (zh) | 一种基于大数据技术的图形化的数据预处理的装置及方法 | |
| CN105184886A (zh) | 一种云数据中心智能巡检系统及方法 | |
| CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
| US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
| CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
| CN111383130A (zh) | 一种全生命周期管控平台、移动运维客户端及终端 | |
| KR20190106369A (ko) | 공장 자동화 설비의 수명과 생산성 향상을 위한 ｐｌｃ 패턴 분석 시스템 및 패턴 분석 방법 | |
| WO2024066683A1 (zh) | 工业互联网操作系统和产品的处理方法 | |
| CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| Kun et al. | Application of big data technology in scientific research data management of military enterprises | |
| CN112732802A (zh) | 一种基于大数据的企业数据挖掘系统及方法 | |
| Di Stefano et al. | Prometheus and aiops for the orchestration of cloud-native applications in ananke | |
| CN104573074A (zh) | 基于医院数据的高速计算分析方法 | |
| CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
| CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN104021079B (zh) | 主机系统数据的实时监控与分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250101 5th floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province Patentee after: Shandong luruan Digital Technology Co.,Ltd. Address before: 250101 5th floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province Patentee before: SHANDONG LUNENG SOFTWARE TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |