CN115147008A - 基于数据湖技术电厂机组存储资源实时评估方法及系统 - Google Patents
基于数据湖技术电厂机组存储资源实时评估方法及系统 Download PDFInfo
- Publication number
- CN115147008A CN115147008A CN202210920866.9A CN202210920866A CN115147008A CN 115147008 A CN115147008 A CN 115147008A CN 202210920866 A CN202210920866 A CN 202210920866A CN 115147008 A CN115147008 A CN 115147008A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- unit
- measuring point
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 238000013499 data model Methods 0.000 claims abstract description 22
- 230000001419 dependent effect Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000010219 correlation analysis Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据湖技术电厂机组存储资源实时评估方法及系统，包括依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。本发明根据数据湖数据模型得出设备测点的偏差系数并能实时计算出日机组测点预测负荷，能够自动实时评估存储资源情况、剩余耗用时长与按照计划时间评估出合理、准确的采购计划清单，也可分析与预测资源消耗态势及趋势。
Description
技术领域
本发明涉及能源数据资源领域，尤其涉及一种基于数据湖技术电厂机组存储资源实时评估方法及系统。
背景技术
能源企业的电厂机组需要进行大数据实时采集，比如火电厂的机组需要实时进行大数据采集，相比传统的数据采集而言，测点类型繁杂，数据量大，产生速度快，采集消耗的存储资源大的惊人，往往短时间内就能达到PB级以上的规模。对于能源企业的存储资源的占用情况及评估大多采用专家法来评估的，靠专业技术人员的经验预估一定的资源量，用来指导软硬件资源的采购。但专家法严重依赖专家个人能力和经验，在实际采购工作中，容易出现任务上线运行半年，消耗的存储资源超过预算采购存储资源量的60％，乃至80％以上。能源企业电厂机组实时大数据采集存储资源存在评估不精确的技术困境，如何事前准确、合理的评估存储资源是能源企业制定采购计划及评估剩余耗用时间亟待解决的技术难题。
发明内容
为了解决背景技术存在的技术问题，本发明的目的在于提供一种基于数据湖技术电厂机组存储资源实时评估方法及系统，能够通过电厂机组实时数据采集工作占用数据湖资源与数据现用资源量情况，动态分析并反馈数据湖资源的使用情况，能够快速自动实时评估数据采集占用数据湖存储资源情况，得出资源剩余耗用时长，并能按照计划时间得出存储资源采购计划。
本发明的目的通过下述技术方案实现：
一种基于数据湖技术电厂机组存储资源实时评估方法，包括资源数据湖存储系统，其方法如下：
S1、构建数据湖数据模型，数据湖数据模型中存储有关系型数据库，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率；设备测点对应安装于设备上，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；以设备测点按照采集频率满负荷采集设备运行数据的数据容量作为容量数据理论负荷；
S2、数据湖数据模型按照关系型数据库实时统计资源数据湖存储系统中设备测点所对应的测点容量，数据湖数据模型根据设备测点的历史测点容量数据构建设备测点历史相关性模型，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；
S3、按照如下公式计算出设备测点的偏差系数：
偏差系数＝单位时间测点平均容量/单位时间平均理论负荷；
按照如下公式计算日机组测点预测负荷：
S4、计算所有机组在计划时间的数据资源量，根据数据资源量制定资源数据湖存储系统的采购计划；汇总计算所有机组的日机组测点预测负荷，采集资源数据湖存储系统剩余容量信息并计算出剩余使用时间。
为了更好地实现本发明，本发明还包括如下方法：
S5、根据设备测点历史相关性模型按照电厂、机组、设备层级计算设备测点的测点容量、单位时间测点平均容量、单位时间平均理论负荷的变动趋势，并统计出设备测点的耗用序列。
作为本发明的优选技术方案，本发明在步骤S3中，构建回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
作为本发明的优选技术方案，本发明步骤S3替换采用如下方法：构建回归训练模型，回归训练模型按照机组构建自变量与因变量基本模型并回归统计计算机组偏差系数，自变量包括机组、机组下测点容量、机组下容量数据理论负荷，因变量为机组的偏差系数；按照如下公式计算日机组测点预测负荷：
作为本发明的优选技术方案，本发明根据日机组测点预测负荷分别得到包括周、月、年在内时间级别所对应的机组测点预测负荷。
作为本发明的优选技术方案，本发明在计算偏差系数时，对于设备测点不在设备测点历史相关性模型中采用相关性分析找出最相关的设备测点数据并以最相关的设备测点数据作为设备测点的预测偏差系数，相关性分析所采用的相关属性包括机组、机组权重、设备、设备权重。
一种基于数据湖技术电厂机组存储资源实时评估系统，包括若干个电厂、依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，每个电厂包括若干个机组，每个机组包括若干个设备，设备上对应安装有设备测点，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；所述数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；所述数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。
作为优选，所述数据资源量计算系统内部包括回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明能够通过电厂机组实时数据采集工作占用数据湖资源与数据现用资源量情况，动态分析并反馈数据湖资源的使用情况，能够快速自动实时评估数据采集占用数据湖存储资源情况，得出资源剩余耗用时长，并能按照计划时间得出存储资源采购计划。
(2)本发明通过历史数据同步汇总，基于线性回归算法对已完成的火电厂机组实时数据采集态势及趋势进行分析及预测，计算出待采集的火电厂机组实时测点的测点实际负载率，形成实时测点采集负载率的数据库，也便于实现未建测点的相关性分析。
(3)本发明基于资源评估模型函数计算当前待采集的火电厂机组采集数据理论满载负荷的数据容量，将待采集的实时测点特征与火电机组测点采集负荷率的数据库的进行匹配，并获取匹配后的测点实际负载率后，根据测点的理论负荷数据容量和匹配后的测点负载率计算得到待采集的火电机组测点的实际数据容量；
(4)本发明通过汇总当前数据湖的存储资源、待采集的火电厂机组实时数据工作占用的实际数据容量，可以分析和预测数据湖现有存储资源在时间序列上资源消耗态势及趋势。
附图说明
图1为本发明基于数据湖技术电厂机组存储资源实时评估系统的原理框图；
图2为实施例中基于数据湖技术电厂机组存储资源实时评估方法的流程示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1、图2所示，一种基于数据湖技术电厂机组存储资源实时评估方法，包括资源数据湖存储系统，其方法如下：
S1、构建数据湖数据模型，数据湖数据模型中存储有关系型数据库，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率；关系型数据库的层级关系可基于web技术填报，收集并最终生成以下格式的火电厂信息数据，存储在关系型数据库中：【电厂，机组，设备，设备测点】(比如【廊坊电厂，机组#1,高中压合缸,lf#1#100#10020000】)；基于web技术填报，收集并最终生成以下格式的测点信息数据，存储在关系型数据库中：【设备测点，采集频率(s)，测点容量(KB/PCS)】(比如【lf#1#100#10020000，1,0.19】)。设备测点对应安装于设备上，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统。本实施例资源数据湖存储系统的存储资源包括计算组件(包含主机数量、单机CPU核数，单机内存，单机磁盘容量等)、存储组件(包含主机数量、单机CPU核数，单机内存，单机磁盘容量等)，涉及主要评估参数如下：资源利用率，进制转换率，副本数量；以上关键组件的参数及评估系统为基础，计算每个组件的有效资源量。其中，计算组件：总有效内存＝主机数量*单机内存*资源利用率*进制转换率/副本数量，副本数量为数据存储空间的冗余量。存储组件：总有效存储＝主机数量*单机磁盘容量*资源利用率*进制转换率/副本数量。本发明可以构建数据湖资源耗用参数值，包括：测点上传负荷率：单位时间内传输的效率，数据计算链路数，数据计算链路占用cpu核数，数据计算占用内存量。
以设备测点按照采集频率满负荷采集设备运行数据的数据容量作为容量数据理论负荷，容量数据理论负荷除以单位时间即可得到单位时间平均理论负荷，本发明的单位时间采用秒。理论上，每个单位时间内，实时数据采集均应该有采集数据并上传到资源数据湖存储系统，本发明为了让资源数据湖存储系统更优化空间存储，从经济实用角度，在相邻单位时间如果数据未发生变化，则不上传数据，只有变化了，才会上传数据至资源数据湖存储系统，故单位时间内机组实时数据实际负荷和理论值有一定偏差(通过偏差系数能够实现数据间的转换)。
S2、数据湖数据模型按照关系型数据库实时统计资源数据湖存储系统中设备测点所对应的测点容量，数据湖数据模型根据设备测点的历史测点容量数据构建设备测点历史相关性模型，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量(测点容量除以单位时间得到)、采集频率、容量数据理论负荷、单位时间平均理论负荷(容量数据理论负荷除以单位时间得到)关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新。
S3、按照如下公式计算出设备测点的偏差系数：
偏差系数＝单位时间测点平均容量/单位时间平均理论负荷。
在一些实施例中，本发明在计算偏差系数时，可以采取如下技术方案：对于设备测点不在设备测点历史相关性模型中采用相关性分析找出最相关的设备测点数据并以最相关的设备测点数据作为设备测点的预测偏差系数，相关性分析所采用的相关属性包括机组、机组权重、设备、设备权重。本发明在相关性分析可以采用皮尔逊公式与已建测点(已在设备测点历史相关性模型的设备测点)的相关性系数r进行计算，构建已建测点的变量集合(包括自变量和因变量)与未建测点(未在设备测点历史相关性模型的设备测点，比如新技术下的设备测点)的变量集合，让未建测点的变量集合与已建测点的变量集合进行相关属性系数全部遍历关联计算，利用已建测点的变量集合得出未建测点的变量集合，设定相关性系数r∈{1，0.5}&r∈{-0.5，-1}为有效范围，不在上述范围内，则输出报警提示。
按照如下公式计算日机组测点预测负荷：
在一些实施例中，在步骤S3中，构建回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
在一些实施例中，步骤S3替换采用如下方法：构建回归训练模型，回归训练模型按照机组构建自变量与因变量基本模型并回归统计计算机组偏差系数，自变量包括机组、机组下测点容量、机组下容量数据理论负荷，因变量为机组的偏差系数；按照如下公式计算日机组测点预测负荷：
S4、计算所有机组在计划时间(一般电厂的计划时间为3年，本实施例以3年为例)的数据资源量，根据数据资源量制定资源数据湖存储系统的采购计划；汇总计算所有机组的日机组测点预测负荷，采集资源数据湖存储系统剩余容量信息并计算出剩余使用时间。计划工作近3年占用数据资源量如下：
近3年占用数据资源量＝年机组实时测点实际负荷*3。
数据湖现有资源可供该项目使用时间如下：
数据湖现有资源可供该项目使用时间＝数据湖现有资源量/年机组实时测点实际负荷。
本发明能够结合数据湖现有计算和存储组件资源情况，构建近3年机组实时测点实际负荷耗用序列，则实时数据采集项目的资源耗用量及趋势则可以动态计算出来，本发明基于数据的电厂机组实时数据采集项目的资源评估预测的方法和信息系统，以实现对电厂机组实时大数据占用数据湖资源的的计算与预警，能够有效、准确的实时数据项目在一定时期内数据存储和计算的资源用量，进而提前适度的采购相对应的软硬件资源，以达到“适度超前”和“合理规划”技术目的。
在一些实施例中，本发明还包括如下方法：
S5、根据设备测点历史相关性模型按照电厂、机组、设备层级计算设备测点的测点容量、单位时间测点平均容量、单位时间平均理论负荷的变动趋势，并统计出设备测点的耗用序列。
本发明还能对数据湖现有资源量、测点上传负荷率、数据计算链路数，数据计算占用的cpu核数、数据计算内存量等计算资源量情况进行数据实时评估，也能对计算资源量的影响权重参数进行数据模型构建与演算，数据模型可采用基于线性回归、权重赋值等方法进行各个因素的权重数据进行量化，便于知晓机组、设备关联的测量容量在资源量上影响权重，同时也能得到各个设备测点所占用资源的数据分布情况，对于在新增加机组或设备的情况下，能够对采购计划给出数据化参考。
如图1所示，一种基于数据湖技术电厂机组存储资源实时评估系统，包括若干个电厂、依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，每个电厂包括若干个机组，每个机组包括若干个设备，设备上对应安装有设备测点，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；所述数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；所述数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。所述数据资源量计算系统内部包括回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于数据湖技术电厂机组存储资源实时评估方法，包括资源数据湖存储系统，其特征在于：其方法如下：
S1、构建数据湖数据模型，数据湖数据模型中存储有关系型数据库，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率；设备测点对应安装于设备上，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；以设备测点按照采集频率满负荷采集设备运行数据的数据容量作为容量数据理论负荷；
S2、数据湖数据模型按照关系型数据库实时统计资源数据湖存储系统中设备测点所对应的测点容量，数据湖数据模型根据设备测点的历史测点容量数据构建设备测点历史相关性模型，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；
S3、按照如下公式计算出设备测点的偏差系数：
偏差系数＝单位时间测点平均容量/单位时间平均理论负荷；
按照如下公式计算日机组测点预测负荷：
S4、计算所有机组在计划时间的数据资源量，根据数据资源量制定资源数据湖存储系统的采购计划；汇总计算所有机组的日机组测点预测负荷，采集资源数据湖存储系统剩余容量信息并计算出剩余使用时间。
2.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：还包括如下方法：
S5、根据设备测点历史相关性模型按照电厂、机组、设备层级计算设备测点的测点容量、单位时间测点平均容量、单位时间平均理论负荷的变动趋势，并统计出设备测点的耗用序列。
3.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：在步骤S3中，构建回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
4.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：步骤S3替换采用如下方法：构建回归训练模型，回归训练模型按照机组构建自变量与因变量基本模型并回归统计计算机组偏差系数，自变量包括机组、机组下测点容量、机组下容量数据理论负荷，因变量为机组的偏差系数；按照如下公式计算日机组测点预测负荷：
5.按照权利要求1～4任一项所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：根据日机组测点预测负荷分别得到包括周、月、年在内时间级别所对应的机组测点预测负荷。
6.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：在计算偏差系数时，对于设备测点不在设备测点历史相关性模型中采用相关性分析找出最相关的设备测点数据并以最相关的设备测点数据作为设备测点的预测偏差系数，相关性分析所采用的相关属性包括机组、机组权重、设备、设备权重。
7.一种基于数据湖技术电厂机组存储资源实时评估系统，包括若干个电厂，每个电厂包括若干个机组，每个机组包括若干个设备，其特征在于：还包括依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，设备上对应安装有设备测点，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；所述数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；所述数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。
8.按照权利要求7所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：所述数据资源量计算系统内部包括回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210920866.9A CN115147008B (zh) | 2022-08-02 | 2022-08-02 | 基于数据湖技术电厂机组存储资源实时评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210920866.9A CN115147008B (zh) | 2022-08-02 | 2022-08-02 | 基于数据湖技术电厂机组存储资源实时评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115147008A true CN115147008A (zh) | 2022-10-04 |
| CN115147008B CN115147008B (zh) | 2023-04-28 |
Family
ID=83414339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210920866.9A Active CN115147008B (zh) | 2022-08-02 | 2022-08-02 | 基于数据湖技术电厂机组存储资源实时评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147008B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784440A (zh) * | 2017-10-23 | 2018-03-09 | 国网辽宁省电力有限公司 | 一种电力信息系统资源调配系统及方法 |
| CN108074022A (zh) * | 2016-11-10 | 2018-05-25 | 中国电力科学研究院 | 一种基于集中运维的硬件资源分析与评估方法 |
| CN111598388A (zh) * | 2020-04-09 | 2020-08-28 | 国家电网有限公司 | 一种电网实时市场调频资源需求在线评估方法 |
-
2022
- 2022-08-02 CN CN202210920866.9A patent/CN115147008B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108074022A (zh) * | 2016-11-10 | 2018-05-25 | 中国电力科学研究院 | 一种基于集中运维的硬件资源分析与评估方法 |
| CN107784440A (zh) * | 2017-10-23 | 2018-03-09 | 国网辽宁省电力有限公司 | 一种电力信息系统资源调配系统及方法 |
| CN111598388A (zh) * | 2020-04-09 | 2020-08-28 | 国家电网有限公司 | 一种电网实时市场调频资源需求在线评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115147008B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909983B (zh) | 一种主动配电网电能质量多维评估方法 | |
| CN107146018A (zh) | 基于电网状态监测系统的数据处理分析方法和系统 | |
| CN104794206A (zh) | 一种变电站数据质量评价系统及方法 | |
| CN111062620B (zh) | 基于混合计费数据的电力计费公平性智能分析系统及方法 | |
| JP7451854B2 (ja) | 産業環境におけるエネルギー消費量を診断する方法、システム、及びコンピュータプログラム製品 | |
| CN114154716B (zh) | 一种基于图神经网络的企业能耗预测方法及装置 | |
| JP7161591B2 (ja) | 特徴量選別方法及び健康状態評価方法 | |
| CN107437135A (zh) | 一种新型储能选型方法 | |
| CN116345700A (zh) | 一种用于储能电站的能耗监测方法及监测系统 | |
| CN114565328B (zh) | 一种agc调频性能的考核方法及装置 | |
| CN103487644A (zh) | 电能分项能耗计量方法和装置 | |
| CN112417627A (zh) | 一种基于四维指标体系配电网运行可靠性分析方法 | |
| CN118195153A (zh) | 一种基于大数据的园区电碳排放预测方法 | |
| CN118095704A (zh) | 基于大数据的乡村典型能源供需平衡方法及系统 | |
| CN115147008A (zh) | 基于数据湖技术电厂机组存储资源实时评估方法及系统 | |
| CN108665376B (zh) | 一种空间负荷预测中确定元胞负荷最大值的核密度估计方法 | |
| CN112926801B (zh) | 一种基于分位数回归的负荷曲线组合预测方法及装置 | |
| CN115033468A (zh) | 基于非线性影响权重量化模型实现复杂it系统状态观测的方法、装置、处理器及存储介质 | |
| CN118306230B (zh) | 一种高效节能智能锂电机车动力控制方法及系统 | |
| CN115292150B (zh) | 一种基于ai算法监控iptv epg业务健康状态的方法 | |
| CN118071168B (zh) | 一种综合能源管理系统 | |
| CN117557300B (zh) | 基于主要设备的能耗数据推演商业活跃度的方法及系统 | |
| CN118297356B (zh) | 电网营销侧系统平台的高效数据处理与分析方法 | |
| CN115358495B (zh) | 一种风电功率预测综合偏差率的计算方法 | |
| CN113744082B (zh) | 一种综合刻画源荷两侧不确定性的二维分箱方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |