CN109614412B - 基于电力行业的云上数据发布服务两级共享缓存分析方法 - Google Patents
基于电力行业的云上数据发布服务两级共享缓存分析方法 Download PDFInfo
- Publication number
- CN109614412B CN109614412B CN201811511520.3A CN201811511520A CN109614412B CN 109614412 B CN109614412 B CN 109614412B CN 201811511520 A CN201811511520 A CN 201811511520A CN 109614412 B CN109614412 B CN 109614412B
- Authority
- CN
- China
- Prior art keywords
- data
- relational database
- mysql
- steps
- analyzing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于电力行业云上数据发布服务两级共享缓存分析方法，具体包括：步骤一：原始数据接入，通过业务系统及相关采集端进行数据采集进行分析处理并推送至服务器；步骤二：采用Socket长连接的通信方式将数据以报文格式推送至数据共享端；步骤三：对数据进行分析处理并写入Redis库中；步骤四：根据业务逻辑不同在Redis中设置不同分析策略并写入至MySQL中。步骤五：在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端；步骤六：各模块装载、系统初始化。
Description
技术领域
本发明涉及业务信息采集分析监控系统，具体涉及一种基于电力行业的云上数据发布服务两级共享缓存分析策略。
背景技术
随着商业智能(Business Intelligence)技术的迅速发展，对数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份等技术也有了更高的要求。同时对海量高并发数据计算服务的实时性准确性也有了更高需求。
发明内容
针对上述问题，本发明提出了一种基于电力行业的云上数据发布服务两级共享缓存分析策略，基于流处理平台Kafka及Socket长连接推送数据，使用非关系型数据库Redis作为一级缓存，通过Java对数据进行分析处理，使用MySQL作为二级缓存计算并推送最终数据。
本发明所采用的技术方案为：一种基于电力行业的云上数据发布服务两级共享缓存分析策略，包括以下步骤：
S1：原始数据接入，通过业务系统及相关采集端进行数据采集，利用流处理平台Kafka推送至中心服务器对数据格式进行分析处理；
S2：采用Socket连接的通信方式将数据以JSON报文格式推送至数据共享端，数据共享端得到数据后解析入非关系型数据库Redis，通过对JSON报文格式的数据块解析组合得到键值对并写入至非关系型数据库Redis；
S3：将非关系型数据库Redis作为一级缓存，从非关系型数据库Redis中抽取数据，采用异步处理即时删除和设置键值对生命周期的方式，对数据进行分析处理并写入MySQL库中，该设置生命周期的方式为根据数据块中的指标编码设置键值对的生命周期；
S4：根据业务逻辑不同，在MySQL库中分为两种分析策略：第一种为：在分析非关系型数据库Redis数据时同时抽取MySQL库中数据进行组合运算，并写入至MySQL库中；第二种为：非关系型数据库Redis中数据即时处理并全量更新至MySQL库中，若计算线程超时，则根据超时机制以及非关系型数据库Redis中设置的生命周期，自动清除过期数据，释放线程进行新一轮运算；
S5：在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端。
进一步的，所述S1中，将业务系统及相关采集端采集到的数据根据相关属性进行格式化处理后由流处理平台Kafka推送至中心服务器。该相关属性包括地市、类型、频度值、统计方式等。
进一步的，所述S2具体为：根据心跳机制，通过Socket长连接将已格式化的数据采用JSON报文格式以数据流的方式发送，同时通过报文的校验码及回参保证数据的完整性，在接收报文数据之后进行解析入非关系型数据库Redis。
进一步的，在所述S4中，从MySQL库中预设的关系映射表中查询指标编码的计算类型，若计算类型为1，则根据JSON串中的发送时间值作为时间戳抽取MySQL中时段数据，与非关系型数据库Redis的数据组合计算后更新MySQL库中的关系映射表数据；若计算类型为2，则根据JSON串中的发送时间值抽取非关系型数据库Redis中时段数据进行分析计算，若计算超时则释放线程，若键值对生命周期结束进行空运算并释放线程。
有益效果：本发明与现有技术相比，具有以下优点：
1、采用异步处理即时删除及设置生命周期的方式，对数据进行分析处理并写入MySQL库中，能避免数据量较大内存溢出及数据阻塞等情况；
2、采用内存数据库Redis作为一级缓存，可解决指标类目较多以及并发量较大、报文过长的情况，同时为减轻服务器压力，采用即用即删及生命周期方式保证计算服务的稳定性和实时性；
3、由于业务需求需要采取不同数据源的混合计算，为保证数据的实时性及运算性能的稳定性引入线程池及信号量机制，避免服务死锁及产生错误数据等情况，同时超时机制及键值对的生命周期设置也保证计算效率和实时性；
4、以本发明提出两级共享缓存分析策略为基础，结合自身的业务需求，客户可以有针对性的定制自己的数据共享及分析平台，从而便捷、准确、高效的进行相关业务查询，两级共享缓存分析策略在业务信息采集分析监控系统中有着广阔的应用前景。
具体实施方式
下面结合实施例进一步阐述本发明。
本发明采取的技术方案为：基于电力行业的云上数据发布服务两级共享缓存分析策略，具体包括如下步骤：
S1：接入原始数据，通过Java过滤至本地文件，在分析整合后将数据推送至流处理平台Kafka的主题topic，由服务器订阅并获取推送内容；
S2：通过心跳机制保持Socket长连接，同时对从流处理平台Kafka得到的数据以JSON报文格式以数据流的方式推送至数据共享端，数据共享端得到数据后通过报文的校验码及回参保证数据的完整性，在回参的同时解析入非关系型数据库Redis，通过对JSON报文格式的数据块解析组合得到键值对并写入至非关系型数据库Redis，再根据数据块中的指标编码code设置键值对的生命周期。
报文格式描述如下：
通过message_code对报文进行校检和对服务器的回参保证数据的完整性和准确性。
目前报文数据量最高可达1000条每秒，为了避免等待计算的数据占存过高，使用非关系型数据库Redis作为一级换内存，首先保证数据的完整性，同时根据报文中的指标编码code设置键值对的生命周期保证不会产生冗余或异常数据，一条报文可拆分为一个或多个键值对，然后进行二次计算写入MySQL库中。
以下为键值对结构：
S3：采用线程池的方式从非关系型数据库Redis中抽取数据即时删除并调用计算服务，计算服务获取批量抽取的数据，对键值对进行解析，获取指标信息后根据业务逻辑完成计算。
S4：由于业务逻辑不同，数据的分析策略也有所不同，第一种：需要数据持久化，所以在分析非关系型数据库Redis数据时同时抽取MySQL库中数据组合运算，然后再更新至MySQL库中。第二种：批量抽取非关系型数据库Redis数据并分析计算，若计算线程超时则清除脏数据释放线程同时进行新一轮计算，保证数据实时性。
具体为：从MySQL库中的关系映射表中查询指标编码code的计算类型，若为1，则根据JSON串中的time值作为时间戳抽取MySQL中时段数据，组合计算后更新MySQL中的关系映射表数据；若计算类型为2，则根据JSON串中的time值抽取非关系型数据库Redis中时段数据进行分析计算，若计算超时则释放线程，若键值对生命周期结束进行空运算并释放线程。
S5：不同网省地市对数据的格式及接受方式也不同，所以在此需要分类处理进行二次计算并推送，可通过webservice、MQ、kafka等方式推送数据；
S6：由于服务较多，不同的计算分析服务及数据装载及抽取模块需要统一配置部署，顺序启动各个服务模块，系统初始化；具体为：配置流处理平台kafka相关参数，配置Socket心跳周期等参数，配置非关系型数据库Redis监听、计算服务线程池大小、超时策略等，按顺序启动服务并测试，初始化系统。
Claims (4)
1.基于电力行业的云上数据发布服务两级共享缓存分析方法，其特征在于：包括以下步骤：
S1：原始数据接入，通过业务系统及相关采集端进行数据采集，利用流处理平台Kafka推送至中心服务器对数据格式进行分析处理；
S2：采用Socket连接的通信方式将数据以JSON报文格式推送至数据共享端，数据共享端得到数据后解析入非关系型数据库Redis，通过对JSON报文格式的数据块解析组合得到键值对并写入至非关系型数据库Redis；
S3：将非关系型数据库Redis作为一级缓存，采用线程池的方式从非关系型数据库Redis中抽取数据，采用异步处理即时删除和设置键值对生命周期的方式，对数据进行分析处理并写入MySQL库中，设置生命周期的方式为根据数据块中的指标编码设置键值对的生命周期；
S4：根据业务逻辑不同，在MySQL库中分为两种分析策略：第一种为：在分析非关系型数据库Redis数据时同时抽取MySQL库中数据进行组合运算，并写入至MySQL库中；第二种为：非关系型数据库Redis中数据即时处理并全量更新至MySQL库中，若计算线程超时，则根据超时机制以及非关系型数据库Redis中设置的生命周期，自动清除过期数据，释放线程进行新一轮运算；
S5：在MySQL中根据接收端需求不同对数据进行二次分析处理并推送至各个客户端。
2.根据权利要求1所述的基于电力行业的云上数据发布服务两级共享缓存分析方法，其特征在于：所述S1中，将业务系统及相关采集端采集到的数据根据相关属性进行格式化处理后由流处理平台Kafka推送至中心服务器。
3.根据权利要求2所述的基于电力行业的云上数据发布服务两级共享缓存分析方法，其特征在于：所述S2具体为：根据心跳机制，通过Socket长连接将已格式化的数据采用JSON报文格式以数据流的方式发送，同时通过报文的校验码及回参保证数据的完整性，在接收报文数据之后进行解析入非关系型数据库Redis。
4.根据权利要求1所述的基于电力行业的云上数据发布服务两级共享缓存分析方法，其特征在于：在所述S4中，从MySQL库中预设的关系映射表中查询指标编码的计算类型，若计算类型为1，则根据JSON串中的发送时间值作为时间戳抽取MySQL中时段数据，与非关系型数据库Redis的数据组合计算后更新MySQL库中预设的关系映射表数据；若计算类型为2，则根据JSON串中的发送时间值抽取非关系型数据库Redis中时段数据进行分析计算，若计算超时则释放线程，若键值对生命周期结束进行空运算并释放线程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811511520.3A CN109614412B (zh) | 2018-12-11 | 2018-12-11 | 基于电力行业的云上数据发布服务两级共享缓存分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811511520.3A CN109614412B (zh) | 2018-12-11 | 2018-12-11 | 基于电力行业的云上数据发布服务两级共享缓存分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109614412A CN109614412A (zh) | 2019-04-12 |
| CN109614412B true CN109614412B (zh) | 2023-06-02 |
Family
ID=66008913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811511520.3A Active CN109614412B (zh) | 2018-12-11 | 2018-12-11 | 基于电力行业的云上数据发布服务两级共享缓存分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614412B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311142B (zh) * | 2019-12-31 | 2022-09-16 | 江苏苏宁物流有限公司 | 一种定制化实时数据高效推送方法及系统 |
| CN111782596B (zh) * | 2020-06-09 | 2023-10-10 | 北京有生志广科技有限公司 | 一种基于高性能混合计算的无线电监测数据处理方法 |
| CN111865947B (zh) * | 2020-07-08 | 2021-07-20 | 浙江大学 | 一种基于迁移学习的电力终端异常数据生成方法 |
| CN112492024B (zh) * | 2020-11-26 | 2022-04-29 | 国网湖南省电力有限公司 | 面向用户用电信息采集系统的实时数据共享系统 |
| CN112765410A (zh) * | 2020-12-31 | 2021-05-07 | 山西省交通科技研发有限公司 | 一种采用端云架构的分层设计平台架构 |
| CN113873033B (zh) * | 2021-09-27 | 2022-12-13 | 江苏方天电力技术有限公司 | 一种具有容错功能的智能边缘计算网关平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635298A (zh) * | 2016-01-12 | 2016-06-01 | 安徽科力信息产业有限责任公司 | 一种基于业务隔离原理的数据采集设备统一接入系统 |
| CN106649602A (zh) * | 2016-11-25 | 2017-05-10 | 掌阅科技股份有限公司 | 业务对象数据处理方法、装置和服务器 |
| US20170286011A1 (en) * | 2016-04-05 | 2017-10-05 | International Business Machines Corporation | Monitoring storage systems |
| CN107832136A (zh) * | 2017-11-28 | 2018-03-23 | 广州启生信息技术有限公司 | 一种网络爬虫程序的管理方法及装置 |
| CN108509566A (zh) * | 2018-03-26 | 2018-09-07 | 国家电网公司客户服务中心 | 一种基于云上95598数据发布服务业务系统网络拓扑可视化方法 |
-
2018
- 2018-12-11 CN CN201811511520.3A patent/CN109614412B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635298A (zh) * | 2016-01-12 | 2016-06-01 | 安徽科力信息产业有限责任公司 | 一种基于业务隔离原理的数据采集设备统一接入系统 |
| US20170286011A1 (en) * | 2016-04-05 | 2017-10-05 | International Business Machines Corporation | Monitoring storage systems |
| CN106649602A (zh) * | 2016-11-25 | 2017-05-10 | 掌阅科技股份有限公司 | 业务对象数据处理方法、装置和服务器 |
| CN107832136A (zh) * | 2017-11-28 | 2018-03-23 | 广州启生信息技术有限公司 | 一种网络爬虫程序的管理方法及装置 |
| CN108509566A (zh) * | 2018-03-26 | 2018-09-07 | 国家电网公司客户服务中心 | 一种基于云上95598数据发布服务业务系统网络拓扑可视化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 【Redis源码分析】Redis命令处理生命;李乐;《https://segmentfault.com/a/1190000017104165》;20181122;第1-34页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109614412A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614412B (zh) | 基于电力行业的云上数据发布服务两级共享缓存分析方法 | |
| CN109684352B (zh) | 数据分析系统、方法、存储介质及电子设备 | |
| CN113010506B (zh) | 一种多源异构水环境大数据管理系统 | |
| WO2017008657A1 (zh) | 一种数据快照获取的方法及系统 | |
| CN109391629B (zh) | 轨道交通综合监控系统数据处理方法 | |
| CN112148807A (zh) | 一种电磁环境领域数据仓库构建方法 | |
| CN104361031B (zh) | 一种政务大数据预处理系统及处理方法 | |
| CN106777027B (zh) | 大规模并行处理行列混合数据存储装置及存储、查询方法 | |
| CN111768850A (zh) | 医院数据分析方法、医院数据分析平台、设备和介质 | |
| CN112948492A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
| CN112182077A (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
| CN111581056B (zh) | 基于人工智能的软件工程数据库维护与预警系统 | |
| CN112632127A (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN113204464B (zh) | 基于业务场景的实时业务监控方法、系统、终端及介质 | |
| CN114328981A (zh) | 基于模式映射的知识图谱建立和数据获取方法、装置 | |
| CN110825744B (zh) | 一种基于集群环境的空气质量监测大数据分区存储方法 | |
| CN105573984A (zh) | 社会经济指标的识别方法及装置 | |
| CN114925042A (zh) | 一种基于图形数据库的元数据关系的构建方法 | |
| CN115345163A (zh) | 一种基于故障数据的外场质量分析方法及系统 | |
| CN111104441A (zh) | 一种数据采集方法及系统 | |
| CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
| CN110555067A (zh) | 装配质量数据的采集、处理和集成管理方法 | |
| CN112817938A (zh) | 一种基于数据产品化的通用数据服务构建方法及系统 | |
| CN110738586A (zh) | 一种基于cimiss和综合库数据的气象综合业务系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 19 Chengxin Avenue, Moling Street, Jiangning District, Nanjing City, Jiangsu Province, 211106 Patentee after: Nanjing Nanrui Ruizhong Data Co.,Ltd. Country or region after: China Patentee after: NARI Group Corp. Address before: No.180 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province, 210012 Patentee before: CHINA REALTIME DATABASE Co.,Ltd. Country or region before: China Patentee before: NARI Group Corp. |
|
| CP03 | Change of name, title or address |