CN108596496A - 一种用于发电设备数据分析的模块化混合云服务系统 - Google Patents
一种用于发电设备数据分析的模块化混合云服务系统 Download PDFInfo
- Publication number
- CN108596496A CN108596496A CN201810383464.3A CN201810383464A CN108596496A CN 108596496 A CN108596496 A CN 108596496A CN 201810383464 A CN201810383464 A CN 201810383464A CN 108596496 A CN108596496 A CN 108596496A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- analysis
- submodule
- generating equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 29
- 238000002156 mixing Methods 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 61
- 238000007726 management method Methods 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000013523 data management Methods 0.000 claims description 12
- 238000007792 addition Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000010248 power generation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 241001269238 Data Species 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明给出一种用于发电设备数据分析的模块化混合云服务系统，包括:公有云模块和本地私有云模块，所述公有云模块包括数据接收模块、分布式消息队列集群模块及数据消费服务平台模块。所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对该数据信息进行解密后，将其用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理等功能。
Description
技术领域
本发明涉及发电设备数据分析领域，具体地说，是一种用于发电设备数据分析的模块化混合云服务系统。
背景技术
1.在大型发电设备监控及数据分析领域，目前有两种系统，本地监控调节系统及远程监控诊断系统。本地系统的作用在于通过实时监控及控制来保证设备的安全运行，但是由于缺乏足够的专家知识，往往难以实现对故障的精确诊断或者更进一步地故障预警，而远程监控系统虽然在一定程度上实现了远程监控及部分基于规则的故障诊断功能，但是在大数据的深度挖掘、设备趋势预测报警及专家人工诊断服务等方面仍然有很大的提升空间。
2.工业大数据有别于互联网大数据，具有低质量、碎片化及高度关联性等特征，尤其是发电设备的数据分析需要采用具有一定逻辑的流水线式数据流分析手段，融合包括数学、物理、控制、机器学习、人工智能等多学科技术，同时还需要大量的计算、分析、存储资源。由于工业数据分析及远程诊断需要具有快速响应的能力，所以采用云服务系统作为其支撑。各用户的发电设备使用规模大小不同、地域不同，云服务系统可实现弹性的扩展应用部署操作，同时可以减少花费在技术维护和更新的IT成本，将更多精力投入业务发展，云服务系统中多副本容错、虚拟化等技术也可来保证数据服务的可靠性。
3.现有远程监控系统对于用户权限管理还不够完善，电厂用户可以通过终端直接访问发电设备的实时运行数据，由于其中的部分运行数据属于电厂的宝贵资料，会实时反映出电厂的经济运行状况，所以需要设计一套数据分权管理机制来实现不同等级用户的数据隔离，从而解决由于用户操作不当引起的发电设备运行数据的不安全问题。
发明内容
针对上述现有技术的不足，本发明提出了一种用于发电设备数据分析的模块化混合云服务系统，该系统采用模块化编程思想，基于公有云和私有云的混合服务架构，公有云建立在现有稳定成熟的云计算平台之上，可利用公有云的大数据分析能力实现业务需求的快速响应，降低因海量数据存储需求而产生的设备采购及系统运维等成本。从安全角度考虑，采用混合云服务架构，将海量数据存储、高性能计算和缓存节点应用在公有云中，在私有云中保存核心机密数据，从而将用户机密信息和重要商业信息等安全风险较高的内容与公有云隔离开，通过独立的管控方式，增强重要信息的安全性。然后在公有云中对电厂传来的数据进行多权限、多级别管理，根据电厂多用户的等级权限不同，只开放针对其个人有权限访问的数据供其读取，从而解决了电厂的发电运行数据由于用户操作不当引起的不安全问题，而且维护了电厂运行情况的保密性。通过结合应用计算程序、大数据分析处理、机器学习、远程深入分析等技术手段，实现发电设备数据的综合分析利用，打造发电设备大数据应用的生态圈，为用户提供数据分析、故障诊断、寿命预测、故障早期预警等个性化服务。
本发明可以采用如下系统来实现：一种用于发电设备数据分析的模块化混合云服务系统，包括:公有云模块和本地私有云模块，所述公有云模块包括数据接收模块、分布式消息队列集群模块及数据消费服务平台模块；
所述数据接收模块用于接收来自发电设备数据采集装置的各种类型数据，并提供数据的接入验证功能，按照数据类别及消费敏感等级将来自发电设备数据采集装置的各种类型数据的分类推送至分布式消息队列中，以实现容灾分配；
所述分布式消息队列集群模块用于利用多台消息队列服务器实现数据备份及安全性管理；
所述数据消费服务平台模块包括数据存储子模块、数据管理子模块、机器学习子模块、分析计算子模块、深度分析子模块以及可视化子模块；所述数据存储子模块用于建立数据库，存储来自数据接收模块接收的数据；所述数据管理子模块用于实现数据的分权限管理机制，且响应分析计算子模块和机器学习子模块的数据请求，并对数据库进行增删改查操作；所述机器学习子模块用于利用数据存储子模块中存储的数据进行分析与数据挖掘；所述分析计算子模块通过部署APP应用程序，对新增数据根据规则库进行解析、处理及计算分析；所述深度分析子模块用于对机器学习子模块和分析计算子模块的结果进行深入解读；所述可视化子模块用于提供良好的人机交互环境，能够将数据消费服务平台的监测及分析结果以视觉形式呈现出来。
所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对专家规则库和用户商业信息进行解密后，将解密后的专家规则库和用户商业信息用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理功能。
进一步地，所述分布式消息队列集群模块采用基于kafka的分布式、发布和订阅的消息队列系统，可以根据数据类别分配消息队列，为数据类别和消息队列建立映射，同时根据数据消费等级设计强备份、弱备份的容灾方法。
进一步地，所述本地私有云模块包括本地数据库模块及管理接口模块；通过管理接口模块对本地数据库进行增删改查操作且本地私有云模块只通过局域网进行访问操作，且对每个用户从登入到登出整个过程中的操作进行监控和记录，并针对可疑操作随时向系统管理员报警，从而全方位保障数据信息的安全。
进一步地，所述数据接收模块采用多台WebServer服务器并行处理，并发响应至少100个现地端，数据传输延时不超过1秒，对单一现场数据接收速度不小于5M/秒。
综上，本发明给出包括:公有云模块和本地私有云模块，所述公有云模块包括数据接收模块、分布式消息队列集群模块及数据消费服务平台模块；
所述数据接收模块用于接收来自发电设备数据采集装置的各种类型数据，并提供数据的接入验证功能，按照数据类别及消费敏感等级将来自发电设备数据采集装置的各种类型数据的分类推送至分布式消息队列中，以实现容灾分配；
所述分布式消息队列集群模块用于利用多台消息队列服务器实现数据备份及安全性管理；
所述数据消费服务平台模块包括数据管理子模块、数据库子模块、机器学习子模块、数据计算子模块、深度分析子模块以及可视化子模块；所述数据管理子模块用于实现数据的分权限管理机制，且响应机器学习子模块和数据计算子模块的数据请求，并对数据库进行增删改查操作；所述机器学习子模块用于利用数据库子模块中数据进行分析与数据挖掘；所示数据计算子模块通过部署APP应用程序，对新增数据进行解析、处理及计算分析；所述深度分析子模块用于将系统自动分析后的结果进行深入解读；
所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对专家规则库和用户商业信息进行解密后，将解密后的专家规则库和用户商业信息用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理功能。有益效果为：
第一、所述本地私有云模块需要根据公有云的计算需求，将相关数据信息经过加密后主动推送至公有云数据消费服务平台中，在关键数据信息发送到公有云之前，系统采用了RSA非对称算法进行加密，从而防止其他人员读取掌握相关的核心知识，保障了核心商业数据的安全性；
第二、本发明云服务系统承载着巨大的数据量处理，所以采用分布式消息队列集群来保证数据缓存的高效性和稳定性；
第三、为了保证数据信息的安全性，本地私有云只能通过局域网进行访问操作，通过一整套复杂网络安全机制的设计，以及监控记录系统的设计，可以对每个用户从登入到登出整个过程中的操作进行监控和记录，并针对可疑操作随时向系统管理员报警，从而全方位保障数据信息的安全；
第四、基于公有云和私有云的混合服务架构，公有云建立在现有稳定成熟的云计算平台之上，可利用公有云的大数据分析能力实现业务需求的快速响应，降低因海量数据存储需求而产生的设备采购及系统运维等成本；
第五、通过结合应用计算程序、大数据分析处理、机器学习、深入分析等技术手段，实现发电设备数据的综合分析利用，打造发电设备大数据应用的生态圈，为用户提供数据分析、故障诊断、寿命预测、故障早期预警等个性化服务。
附图说明
图1为本发明提供的一种用于发电设备数据分析的模块化混合云服务系统实施例结构图；
图2为本发明提供的分布式消息队列集群模块的结构示意图。
具体实施方式
本发明给出了一种用于发电设备数据分析的模块化混合云服务系统实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：
本发明首先提供了一种用于发电设备数据分析的模块化混合云服务系统，如图1所示，包括：
一种用于发电设备数据分析的模块化混合云服务系统，包括:公有云模块101和本地私有云模块102，所述公有云模块101包括数据接收模块1011、分布式消息队列集群模块1012及数据消费服务平台模块1013；
所述数据接收模块1011用于接收来自发电设备数据采集装置的各种类型数据，并提供数据的接入验证功能，按照数据类别及消费敏感等级将来自发电设备数据采集装置的各种类型数据的分类推送至分布式消息队列中，以实现容灾分配；
所述分布式消息队列集群模块1012用于利用多台消息队列服务器实现数据备份及安全性管理；
所述数据消费服务平台模块1013包括数据存储子模块10131、数据管理子模块10132、机器学习子模块10133、分析计算子模块10134、深度分析子模块10135以及可视化子模块10136；所述数据存储子模块10131用于建立数据库，存储来自数据接收模块接收的数据；所述数据管理子模块10132用于实现数据的分权限管理机制，且响应分析计算子模块和机器学习子模块的数据请求，并对数据库进行增删改查操作；所述机器学习子模块10133用于利用数据存储子模块中存储的数据进行分析与数据挖掘；所述分析计算子模块10134通过部署APP应用程序，对新增数据根据规则库进行解析、处理及计算分析；所述深度分析子模块10135用于对机器学习子模块和分析计算子模块的结果进行深入解读；所述可视化子模块10136用于提供良好的人机交互环境，能够将数据消费服务平台的监测及分析结果以视觉形式呈现出来。其中，数据管理子模块实现了数据的分权限管理机制，能够高速响应机器学习子模块和高性能计算子模块的数据请求，并能对数据库进行增删改查等操作；机器学习子模块利用数据存储子模块中积累的海量数据进行分析与数据挖掘，提供科学的故障预警等服务，分析计算子模块利用公有云可扩展的计算能力，通过部署APP应用程序，可以对不断增加的数据进行高效解析、处理及计算分析；深度分析子模块可以在用户需要对系统自动分析的结果进一步解读时，包括但不限于向系统中已经注册的专家发送请求，专家经过判断后形成专业分析报告，从而将机器学习子模块、分析计算子模块以及深度分析子模块三个模块进行有机的整合，每个数据消费子模块都为用户提供了不同的数据分析手段，同时还能利用机器学习和人工专家诊断结果形成新的诊断规则，并经由专业人员验证后存储至私有云专家规则库中，不断丰富私有云专家规则库，最终形成发电设备大数据应用的生态圈；可视化子模块提供交互式可视化环境，可以将数据消费服务平台的监测及分析结果以视觉形式呈现出来。
所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对专家规则库和用户商业信息进行解密后，将解密后的专家规则库和用户商业信息用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理功能。
优选地，所述分布式消息队列集群模块采用基于kafka的分布式、发布和订阅的消息队列系统，可以根据数据类别分配消息队列，为数据类别和消息队列建立映射，同时根据数据消费等级设计强备份、弱备份的容灾方法。分布式消息队列集群由Zookeeper调度中心和多个kafka服务器构成，可以根据业务数据总容量来合理分配服务器数量，图示中的数量仅为示例。通常每个kafka服务器由多个Topic构成，由多个Topic作为存储单元，每个Topic根据时间序列分为多个Partition分区，注册在Zookeeper中，对Partition进行冗余存储来实现容灾策略，Zookeeper调度中心主要负责各kafka服务器的负载均衡和Partition的注册信息。分布式消息队列集群模块可根据接收自WebServer的不同数据消费等级和数据类别表将推送来的数据安排在Partition上的不同分区位置。
优选地，所述本地私有云模块包括本地数据库模块及管理接口模块；通过管理接口模块对本地数据库进行增删改查操作且本地私有云模块只通过局域网进行访问操作，且对每个用户从登入到登出整个过程中的操作进行监控和记录，并针对可疑操作随时向系统管理员报警，从而全方位保障数据信息的安全。
优选地，所述数据接收模块采用多台WebServer服务器并行处理，并发响应至少100个现地端，数据传输延时不超过1秒，对单一现场数据接收速度不小于5M/秒。并且支持MQTT、SOCKET、WEB SOCKET等常用数据传输方法。提供数据完整性和正确性的验证功能，如果获得数据包中的数据点个数与发送端吻合，数据包头尾均正确则表示完整，数据包内采集异常位表示无，数据按照规定的格式存在，并按此规则进行校验，若校验成功且时间在误差范围内，则判定为正确数据。
综上，本发明给出包括:公有云模块和本地私有云模块，所述公有云模块包括数据接收模块、分布式消息队列集群模块及数据消费服务平台模块；
所述数据接收模块用于接收来自发电设备数据采集装置的各种类型数据，并提供数据的接入验证功能，按照数据类别及消费敏感等级将来自发电设备数据采集装置的各种类型数据的分类推送至分布式消息队列中，以实现容灾分配；
其中，数据接收模块采用多台WebServer服务器并行处理，可以高效支持多电厂的数据传输请求，并发响应至少100个现地端，数据传输延时不超过1秒，对单一现场数据接收速度不小于5M/秒，并且支持MQTT、SOCKET、WEB SOCKET等常用数据传输方法。提供数据完整性和正确性的验证功能，如果获得数据包中的数据点个数与发送端吻合，数据包头尾均正确则表示完整，数据包内采集异常位表示无，数据按照规定的格式存在，并按此规则进行校验，若校验成功且时间在误差范围内，则判定为正确数据。所述分布式消息队列集群模块用于利用多台消息队列服务器实现数据备份及安全性管理；
其中，分布式消息队列集群模块采用了基于kafka的分布式、发布和订阅的消息队列系统，可以根据数据类别分配消息队列，为数据类别和消息队列建立映射，同时根据数据消费等级设计强备份、弱备份的容灾策略。如图2所示，分布式消息队列集群由Zookeeper调度中心和多个kafka服务器构成，可以根据业务数据总容量来合理分配服务器数量，图示中的数量仅为示例。通常每个Kafka服务器由多个Topic构成，由多个Topic作为存储单元。每个Topic根据时间序列分为多个Partition分区，注册在Zookeeper中，对Partition进行冗余存储来实现容灾策略，Zookeeper调度中心主要负责各Kafka服务器的负载均衡和Partition的注册信息。分布式消息队列集群模块可根据接收自WebServer的不同数据消费等级和数据类别表将推送来的数据安排在Partition上的不同分区位置。所述数据消费服务平台模块包括数据存储子模块、数据管理子模块、机器学习子模块、分析计算子模块、深度分析子模块以及可视化子模块；所述数据存储子模块用于建立数据库，存储来自数据接收模块接收的数据；所述数据管理子模块用于实现数据的分权限管理机制，且响应分析计算子模块和机器学习子模块的数据请求，并对数据库进行增删改查操作；所述机器学习子模块用于利用数据存储子模块中存储的数据进行分析与数据挖掘；所示计算分析子模块通过部署APP应用程序，对新增数据根据规则库进行解析、处理及计算分析；所述深度分析子模块用于将系统自动分析后的结果进行深入解读；所述可视化子模块用于提供良好的人机交互环境，能够将数据消费服务平台的监测及分析结果以视觉形式呈现出来。
其中，数据管理子模块实现了数据的分权限管理，具体地，对于发电设备产生的数据，按照不同的规则进行分类管理，(1)按电厂、机组、设备(例如电机、汽轮机、锅炉等)、数据具体来源(例如DCS系统、DEH系统等)分类，(2)按照数据用途(例如轴系振动数据、系统安全数据等)分类，(3)按照数据是否经过处理及边缘计算(例如原始数据、特征数据、结果曲线等)分类。通过将不同分类维度下的数据管理方法与用户权限进行配套设计，可以实现多租户及分级权限管理，然后根据用户需求，拉取数据存储子模块中相应用户权限的数据进行分析计算、机器学习、数据特征提取及深度分析，最终实现各访问用户在数据、服务及资源等层面的隔离。
在数据分析利用阶段，首先在分析计算子模块中部署用户服务的APP应用程序，不同的APP应用程序拥有不同的数据分析计算方法，APP应用程序的核心分析计算方法由本地私有云模块经过RSA非对称加密后推送至公有云模块得到，从而实现发电设备的状态监控及故障诊断等功能；与此同时，机器学习子模块针对用户的功能需求，利用大量相关数据(包括大量历史数据以及来自不同电厂的相同类型发电设备的数据)进行数据挖掘和分析，提取数据特征，建立数据模型，并且能够对其他子模块进行完善与优化升级；在分析结果展示给用户后，用户如果对结果有疑问或者需要更加精准的设备状态分析，可以通过深度分析子模块向系统中已经注册的专家发送请求，当专家接受分析请求，并且用户支付相应的服务费后，专家对发电设备的特征数据或APP程序的计算结果进一步分析，该过程可以综合考虑多位专家的意见，从而形成专业的分析报告。系统中注册的专家都经过严格的专业性考察与筛选，所以能够确保为用户提供点对点的专业增值服务。
可视化子模块的功能是将数据消费服务平台的监测及分析结果以视觉形式呈现给用户，拥有良好的人机交互功能，考虑到用户需要随时随地了解设备的运行状态，所以增加了对于移动设备的支持，同时为微信、短信、手机客户端、邮件提供数据接口，从而更好实现了跨平台、跨终端的可视化展示功能。
所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对该数据信息进行解密后，将其用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理等功能，能够保障核心商业数据的安全性；利用公有云的大数据分析能力实现业务需求的快速响应，降低因海量数据存储需求而产生的设备采购及系统运维等成本；还能够为用户提供数据分析、故障诊断、寿命预测、故障早期预警等个性化服务。
本地私有云模块部署在本地数据中心内，整合利用数据中心多台服务器资源，采用分布式架构，其组成结构主要包括本地数据库及管理接口模块，目的是将用户机密信息和重要商业信息等安全风险较高的内容与公有云隔离开，防止机密信息的泄露。
开发人员及系统管理员首先通过局域网连接到本地云模块中的管理接口模块，然后才能对本地数据库进行增删改查操作，从而完成专家知识库与用户机密资料的查询、录入与更新工作，在操作过程中，利用监控记录系统，可以监测和锁定不法分子进入网络的活动，并对每个合法用户从登入到登出整个过程中的所有操作进行监控和记录，对于可疑操作进行控制并随时向系统管理员报警，从而保障数据信息的安全。然后根据公有云的计算需求，将相关数据信息经过RSA非对称加密算法进行加密处理，在加密之后还需要进行打包处理，公有云的计算程序调用相应的文件包，并且通过独有的密钥进行配对解密后才能使用计算，通过以上一系列综合技术，能够有效防止核心知识被其他人员读取或截获。
以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种用于发电设备数据分析的模块化混合云服务系统，其特征在于，包括:公有云模块和本地私有云模块，所述公有云模块包括数据接收模块、分布式消息队列集群模块及数据消费服务平台模块；
所述数据接收模块用于接收来自发电设备数据采集装置的各种类型数据，并提供数据的接入验证功能，按照数据类别及消费敏感等级将来自发电设备数据采集装置的各种类型数据的分类推送至分布式消息队列中，以实现容灾分配；
所述分布式消息队列集群模块用于利用多台消息队列服务器实现数据备份及安全性管理；所述数据消费服务平台模块包括数据存储子模块、数据管理子模块、机器学习子模块、分析计算子模块、深度分析子模块以及可视化子模块；所述数据存储子模块用于建立数据库，存储来自数据接收模块接收的数据；所述数据管理子模块用于实现数据的分权限管理机制，且响应分析计算子模块和机器学习子模块的数据请求，并对数据库进行增删改查操作；所述机器学习子模块用于利用数据存储子模块中存储的数据进行分析与数据挖掘；所述分析计算子模块通过部署APP应用程序，对新增数据根据规则库进行解析、处理及计算分析；所述深度分析子模块用于对机器学习子模块和分析计算子模块的结果进行深入解读；所述可视化子模块用于提供人机交互环境，将数据消费服务平台的监测及分析结果以视觉形式呈现。
所述本地私有云模块用于存储专家规则库和用户商业信息；所述本地私有云模块中的专家规则库里的数据信息通过RSA非对称加密算法进行加密，并主动推送至公有云模块，公有云模块利用对应的解密方式对专家规则库和用户商业信息进行解密后，将解密后的专家规则库和用户商业信息用于发电设备运行状态的分析诊断，并利用其中的用户商业信息来实现登录和分权管理功能。
2.如权利要求1所述的一种用于发电设备数据分析的模块化混合云服务系统，其特征在于，所述分布式消息队列集群模块采用基于kafka的分布式、发布和订阅的消息队列系统，可以根据数据类别分配消息队列，为数据类别和消息队列建立映射，同时根据数据消费等级设计强备份、弱备份的容灾方法。
3.如权利要求1所述的一种用于发电设备数据分析的模块化混合云服务系统，其特征在于，所述本地私有云模块包括本地数据库模块及管理接口模块；通过管理接口模块对本地数据库进行增删改查操作且本地私有云模块只通过局域网进行访问操作，且对每个用户从登入到登出整个过程中的操作进行监控和记录，并针对可疑操作随时向系统管理员报警，从而全方位保障数据信息的安全。
4.如权利要求1所述的一种用于发电设备数据分析的模块化混合云服务系统，其特征在于，所述数据接收模块采用多台WebServer服务器并行处理，并发响应至少100个现地端，数据传输延时不超过1秒，对单一现场数据接收速度不小于5M/秒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810383464.3A CN108596496A (zh) | 2018-04-25 | 2018-04-25 | 一种用于发电设备数据分析的模块化混合云服务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810383464.3A CN108596496A (zh) | 2018-04-25 | 2018-04-25 | 一种用于发电设备数据分析的模块化混合云服务系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108596496A true CN108596496A (zh) | 2018-09-28 |
Family
ID=63609490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810383464.3A Pending CN108596496A (zh) | 2018-04-25 | 2018-04-25 | 一种用于发电设备数据分析的模块化混合云服务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596496A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558451A (zh) * | 2018-11-14 | 2019-04-02 | 咪咕文化科技有限公司 | 一种数据管理方法及系统、存储介质 |
| CN109948909A (zh) * | 2019-02-26 | 2019-06-28 | 国网山东省电力公司莒县供电公司 | 一种电网数据采集分析方法及系统 |
| CN111105092A (zh) * | 2019-12-20 | 2020-05-05 | 山大地纬软件股份有限公司 | 面向医院医保限额分配的数据交互系统及方法 |
| CN112003905A (zh) * | 2020-07-31 | 2020-11-27 | 智慧航海（青岛）科技有限公司 | 船岸多终端数据共享方法和系统、智能船舶应用管理系统 |
| WO2022077935A1 (zh) * | 2020-10-16 | 2022-04-21 | 青岛海尔工业智能研究院有限公司 | 工业互联网平台的数据存储方法及装置、工业互联网平台的数据调用方法及装置 |
| CN114579175A (zh) * | 2022-03-02 | 2022-06-03 | 北京百度网讯科技有限公司 | 一种公有云算子转私有化的方法、装置、电子设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102263825A (zh) * | 2011-08-08 | 2011-11-30 | 浪潮电子信息产业股份有限公司 | 一种基于云位置的混合云存储系统数据传输方法 |
| CN103237046A (zh) * | 2013-02-25 | 2013-08-07 | 中国科学院深圳先进技术研究院 | 支持混合云存储应用的分布式文件系统及实现方法 |
| CN104113595A (zh) * | 2014-07-09 | 2014-10-22 | 武汉邮电科学研究院 | 一种基于安全等级划分的混合云存储系统及方法 |
| CN106022977A (zh) * | 2016-08-09 | 2016-10-12 | 国网山西省电力公司电力科学研究院 | 一种变电站工作现场安全分析方法 |
| CN106713487A (zh) * | 2017-01-16 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 数据的同步方法和装置 |
| US9792633B2 (en) * | 2004-06-29 | 2017-10-17 | Blake Bookstaff | Method and system for intelligent processing of electronic information with cloud computing |
-
2018
- 2018-04-25 CN CN201810383464.3A patent/CN108596496A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9792633B2 (en) * | 2004-06-29 | 2017-10-17 | Blake Bookstaff | Method and system for intelligent processing of electronic information with cloud computing |
| CN102263825A (zh) * | 2011-08-08 | 2011-11-30 | 浪潮电子信息产业股份有限公司 | 一种基于云位置的混合云存储系统数据传输方法 |
| CN103237046A (zh) * | 2013-02-25 | 2013-08-07 | 中国科学院深圳先进技术研究院 | 支持混合云存储应用的分布式文件系统及实现方法 |
| CN104113595A (zh) * | 2014-07-09 | 2014-10-22 | 武汉邮电科学研究院 | 一种基于安全等级划分的混合云存储系统及方法 |
| CN106022977A (zh) * | 2016-08-09 | 2016-10-12 | 国网山西省电力公司电力科学研究院 | 一种变电站工作现场安全分析方法 |
| CN106713487A (zh) * | 2017-01-16 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 数据的同步方法和装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558451A (zh) * | 2018-11-14 | 2019-04-02 | 咪咕文化科技有限公司 | 一种数据管理方法及系统、存储介质 |
| CN109558451B (zh) * | 2018-11-14 | 2022-06-10 | 咪咕文化科技有限公司 | 一种数据管理方法及系统、存储介质 |
| CN109948909A (zh) * | 2019-02-26 | 2019-06-28 | 国网山东省电力公司莒县供电公司 | 一种电网数据采集分析方法及系统 |
| CN111105092A (zh) * | 2019-12-20 | 2020-05-05 | 山大地纬软件股份有限公司 | 面向医院医保限额分配的数据交互系统及方法 |
| CN111105092B (zh) * | 2019-12-20 | 2023-07-18 | 山大地纬软件股份有限公司 | 面向医院医保限额分配的数据交互系统及方法 |
| CN112003905A (zh) * | 2020-07-31 | 2020-11-27 | 智慧航海（青岛）科技有限公司 | 船岸多终端数据共享方法和系统、智能船舶应用管理系统 |
| WO2022077935A1 (zh) * | 2020-10-16 | 2022-04-21 | 青岛海尔工业智能研究院有限公司 | 工业互联网平台的数据存储方法及装置、工业互联网平台的数据调用方法及装置 |
| CN114430417A (zh) * | 2020-10-16 | 2022-05-03 | 青岛海尔工业智能研究院有限公司 | 工业互联网平台的数据存储、调用方法和装置 |
| CN114430417B (zh) * | 2020-10-16 | 2024-03-08 | 卡奥斯工业智能研究院(青岛)有限公司 | 工业互联网平台的数据存储、调用方法和装置 |
| CN114579175A (zh) * | 2022-03-02 | 2022-06-03 | 北京百度网讯科技有限公司 | 一种公有云算子转私有化的方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596496A (zh) | 一种用于发电设备数据分析的模块化混合云服务系统 | |
| TWI694350B (zh) | 基於區塊鏈的資訊監管方法及裝置 | |
| US10673635B2 (en) | Data management systems and methods | |
| CN110990871B (zh) | 基于人工智能的机器学习模型训练方法、预测方法及装置 | |
| CN106874461B (zh) | 一种工作流引擎支持多数据源配置安全访问系统及方法 | |
| CN108763957A (zh) | 一种数据库的安全审计系统、方法及服务器 | |
| CN101610190A (zh) | 数据网络和系统 | |
| CN113094385B (zh) | 一种基于软件定义开放工具集的数据共享融合平台及方法 | |
| CN105303455A (zh) | 电力企业用户数据存储和分析系统 | |
| CN112787890B (zh) | 区块链监测系统 | |
| CN105516117A (zh) | 一种基于云计算的电力数据安全存储方法 | |
| Kotenko et al. | Creating new-generation cybersecurity monitoring and management systems | |
| CN114817739B (zh) | 一种基于人工智能算法的工业大数据处理系统 | |
| CN111680900A (zh) | 一种工单发布方法、装置、电子设备及存储介质 | |
| CN110532312A (zh) | 一种基于大数据的工业互联云平台系统 | |
| CN109709839A (zh) | 一种生物质电厂多级实时监控方法 | |
| CN110209903A (zh) | 一种基于大数据的工业互联云平台系统 | |
| CN116432193A (zh) | 一种金融数据库数据保护改造方法及其金融数据保护系统 | |
| Hauck et al. | Challenges and opportunities of cloud computing | |
| CN117633881B (zh) | 一种电力数据优化处理方法 | |
| CN117879787B (zh) | 基于区块链实现矿山数据的安全传输方法及系统 | |
| ur Rehman et al. | Big data analysis and implementation in different areas using IoT | |
| Shi et al. | AUDITEM: toward an automated and efficient data integrity verification model using blockchain | |
| Zhou et al. | Design of intelligent power material storage information management system based on blockchain technology | |
| CN116192400B (zh) | 一种支持hccm服务的移动中台系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |
|
| RJ01 | Rejection of invention patent application after publication |