CN111553576A - 适应电力现货市场的数据校验方法、装置及系统 - Google Patents
适应电力现货市场的数据校验方法、装置及系统 Download PDFInfo
- Publication number
- CN111553576A CN111553576A CN202010309725.4A CN202010309725A CN111553576A CN 111553576 A CN111553576 A CN 111553576A CN 202010309725 A CN202010309725 A CN 202010309725A CN 111553576 A CN111553576 A CN 111553576A
- Authority
- CN
- China
- Prior art keywords
- data
- verification
- market
- checking
- data verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013524 data verification Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012795 verification Methods 0.000 claims abstract description 92
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 19
- 238000012423 maintenance Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 238000010248 power generation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004886 process control Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000009194 climbing Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 abstract description 4
- 238000010168 coupling process Methods 0.000 abstract description 4
- 238000005859 coupling reaction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种适应电力现货市场的数据校验方法、装置及系统，所述方法包括获取适应电力现货市场的校验规则库；基于所述校验规则库，形成数据校验任务列表；基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。本发明能够适应电力现货市场业务数据高耦合度、高准确性、高可扩展性、高时效性的校验需求，全面而有效的披露电力现货市场数据质量问题，提高市场出清计算收敛性和结果合理性。
Description
技术领域
本发明属于电力现货市场数据分析技术领域，具体涉及一种适应电力现货市场的数据校验方法、装置及系统。
背景技术
随着电力市场化改革进程的逐步深入，各地电力现货市场技术支持系统试点建设进入攻坚阶段，并已逐步进入模拟运行和试结算运行期。电力现货市场基于市场模型、市场报价、市场边界等数据组织市场及出清计算，其数据质量直接影响了电力现货市场出清计算收敛性和结果合理性，而出清结果不仅代表着市场环境下电力商品属性与物理属性相结合的供需情况，更关系着市场改革的成效和市场参与主体各方的利益。因此在市场出清前对这些数据进行校验就显得尤为重要和迫切。
现有常规调度计划编制系统对业务数据的校验规则主要应用于常规基础模型和边界数据，数据种类相对固定，数据准确性要求一般，业务时效性要求不高，校验逻辑相对简单，对于新增的业务数据校验往往需要开发定制化的校验规则，可扩展能力有限。
电力现货市场涉及的基础数据包括市场模型、市场报价、市场边界等，这些数据通常来自于现有调度控制系统、交易系统、调度计划系统、设备检修系统、市场申报系统以及其他相关同级或上下级业务系统。较常规调度计划系统，电力现货市场出清计算在业务数据来源、主体模型参数、电力电价数据形式与种类、多周期多场景业务数据耦合度等方面有了巨大变化，现有逻辑分散、低扩展性的数据校验方法已经无法适应电力现货市场业务数据高耦合度、高准确性、高可扩展性、高时效性的校验需求。
发明内容
针对上述问题，本发明提出一种适应电力现货市场的数据校验方法、装置及系统，能够适应电力现货市场业务数据高耦合度、高准确性、高可扩展性、高时效性的校验需求，全面而有效的披露电力现货市场数据质量问题，提高市场出清计算收敛性和结果合理性。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
第一方面，本发明提供了一种适应电力现货市场的数据校验方法，包括：
获取适应电力现货市场的校验规则库；
基于所述校验规则库，形成数据校验任务列表；
基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
可选地，所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
可选地，当数据校验任务线程的目标为系统负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对系统负荷预测数据完整性检查、预测值是否在设定的上下限范围内、负荷相邻点变化幅值是否超过设置阈值、系统负荷预测扣除受电计划后是否大于母线负荷总加、系统负荷与母线负荷总加的偏差百分比是否在设定的范围内进行校验；
当数据校验任务线程的目标为母线负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对母线负荷预测数据完整性校验、母线负荷相邻点变化幅值是否超过设定阈值、预测值是否在设定的上下限范围内进行校验；
当数据校验任务线程的目标为经济机组模型参数校验，则所述执行原始电力数据的校验包括以下步骤：
对市场机组台数完整性检查、最大技术出力、最小技术出力、额定装机容量、厂用电率、爬坡速率、滑坡速率、最小持续开停机时间进行非空非负检查、经济机组与物理发电机关联性进行校验；
当数据校验任务线程的目标为机组报价数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组报价范围是否在机组最大最小技术出力范围内、机组能量分段报价是否递增、机组分段报价是否在设定的上下限范围内、机组报价分段数是否在设定的最大报价段数以内、机组启停费用是否完整、启停费用是否在设定的上下限范围内、是否存在检修机组报价情况进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组可调上下限是否完整、机组可调上限是否超过机组最大技术出力、机组可调下限是否低于最小技术出力、机组可调范围是否同时满足调度限高和电厂限高进行校验；
当数据校验任务线程的目标为受电计划数据校验，则所述执行原始电力数据的校验包括以下步骤：
受电计划总口子是否完整、受电计划是否完整、受电计划是否在设定的范围内、受电总口子计划与详细受电计划是否匹配、联络线模型定义是否完整进行校验；
当数据校验任务线程的目标为稳定断面限额数据校验，则所述执行原始电力数据的校验包括以下步骤：
对断面正向限额非负检查、断面反向限额非正检查、断面正反向限额绝对值是否在设定的阈值范围内进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对必开机组是否存在检修计划、必停机组是否存在非零的发电计划、必停机组是否存在非零的机组可调范围进行校验。
可选地，所述校验规则库中包括数据类型，所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储。
可选地，所述校验规则库中包括通用校验规则，所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验；
合理性校验规则，用于对数据的有效性和可用性进行校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验；
单调性校验规则，用于对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验。
可选地，所述方法中，在处理各数据校验任务的过程中，还包括对异常数据进行校正。
第二方面，本发明提供了一种适应电力现货市场的数据校验装置，包括：
获取单元，用于获取适应电力现货市场的校验规则库；
数据校验任务列表形成单元，用于基于所述校验规则库，形成数据校验任务列表；
校验单元，用于基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
可选地，所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
可选地，所述校验规则库中包括数据类型和通用校验规则；
所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储；
所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验，包括对某类数据表级、纪录级、域级数据的完整校验；
合理性校验规则，用于对数据的有效性和可用性进行校验，包括对某类数据越上限、越下限等数值合理性校验，是对数据的有效性和可用性校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验，包括对某类数据相邻点突变、零值突变、跨零点突变等数据变化幅度校验；
单调性校验规则，用于对数据的趋势性校验，包括对某曲线类数据单调增、单调减等数据单调性校验，是对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验，包括多类相关业务数据的平衡性、冲突性校验，该类规则是对强关联业务数据的交叉校验。
第三方面，本发明提供了一种适应电力现货市场的数据校验系统，包括：存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。
与现有技术相比，本发明的有益效果：
本发明中校验规则库是针对电力现货市场出清计算相关模型和数据的业务特点和存储方式，通过合理的数据分类和配套通用校验规则，构建获得的，可随市场规则变化对具体校验规则进行灵活调整和扩展，并据此设计典型数据校验流程与校验引擎，能够全面而有效的披露电力现货市场数据质量问题，有利于规范化市场业务数据准入条件，提高市场出清计算收敛性和结果合理性。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明适应电力现货市场的数据校验的原理图；
图2为本发明方法的典型数据校验流程图；
图3为本发明方法的数据校验引擎流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
实施例1
本发明实施例中提供了一种适应电力现货市场的数据校验方法，如图1所示，包括：
获取适应电力现货市场的校验规则库；
基于所述校验规则库，形成数据校验任务列表；
基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
在本发明实施例的一种具体实施方式中，所述校验规则库中包括数据类型和通用校验规则，所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储。
所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验；
合理性校验规则，用于对数据的有效性和可用性进行校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验；
单调性校验规则，用于对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验。
在本发明实施例的一种具体实施方式中，所述方法中，在处理各数据校验任务的过程中，还包括对异常数据进行校正。
在本发明实施例的一种具体实施方式中，所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
在本发明实施例的一种具体实施方式中，当数据校验任务线程的目标为系统负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对系统负荷预测数据完整性检查、预测值是否在设定的上下限范围内、负荷相邻点变化幅值是否超过设置阈值、系统负荷预测扣除受电计划后是否大于母线负荷总加、系统负荷与母线负荷总加的偏差百分比是否在设定的范围内进行校验；
当数据校验任务线程的目标为母线负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对母线负荷预测数据完整性校验、母线负荷相邻点变化幅值是否超过设定阈值、预测值是否在设定的上下限范围内进行校验；
当数据校验任务线程的目标为经济机组模型参数校验，则所述执行原始电力数据的校验包括以下步骤：
对市场机组台数完整性检查、最大技术出力、最小技术出力、额定装机容量、厂用电率、爬坡速率、滑坡速率、最小持续开停机时间进行非空非负检查、经济机组与物理发电机关联性进行校验；
当数据校验任务线程的目标为机组报价数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组报价范围是否在机组最大最小技术出力范围内、机组能量分段报价是否递增、机组分段报价是否在设定的上下限范围内、机组报价分段数是否在设定的最大报价段数以内、机组启停费用是否完整、启停费用是否在设定的上下限范围内、是否存在检修机组报价情况进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组可调上下限是否完整、机组可调上限是否超过机组最大技术出力、机组可调下限是否低于最小技术出力、机组可调范围是否同时满足调度限高和电厂限高进行校验；
当数据校验任务线程的目标为受电计划数据校验，则所述执行原始电力数据的校验包括以下步骤：
受电计划总口子是否完整、受电计划是否完整、受电计划是否在设定的范围内、受电总口子计划与详细受电计划是否匹配、联络线模型定义是否完整进行校验；
当数据校验任务线程的目标为稳定断面限额数据校验，则所述执行原始电力数据的校验包括以下步骤：
对断面正向限额非负检查、断面反向限额非正检查、断面正反向限额绝对值是否在设定的阈值范围内进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对必开机组是否存在检修计划、必停机组是否存在非零的发电计划、必停机组是否存在非零的机组可调范围进行校验。
下面结合具体的实施方式对本发明实施例中的方法进行详细说明。
电力现货日前市场根据系统负荷预测、母线负荷预测、联络线计划、设备停复役计划、机组启停和能量报价、市场模型、网络拓扑等信息，综合考虑市场规则和电网物理约束，出清次日15分钟间隔的机组发电计划和电价。通过抽取各类市场相关业务数据，构建出清计算案例场景，在出清计算前，进行基于本发明实施例中提出的方法进行数据校验。
为实现本发明实施例中方法的数据校验流程，设计若干张数据校验存储表，在校验流程执行前，配置各类数据校验定义表和规则表，校验流程结束后，将各类数据校验结果写入数据校验状态表和日志表，主要包括：
待校验数据项定义，至少包含如下属性：数据项编号、数据项名称、数据项描述、数据类型、是否生效、应用类型，其中数据类型包含本发明实施例中方法提出的市场数据分类，所述数据类型包括：市场模型类、市场参数类、市场边界类、市场报价类。
校验规则库方案定义，至少包含如下属性：方案编号、方案名称、方案描述、是否生效、应用类型、方案创建时间。每套校验规则库方案包含若干详细校验规则，可根据市场规则变化，定义多套校验规则库方案并适时启用，同一时刻仅由一套方案生效。
详细校验规则定义，存储某套校验规则库方案所属详细校验规则，至少包含如下属性：方案编号、规则编号、规则名称、规则描述、规则类型、数据项编号、是否生效、规则参数、是否校正、告警级别、规则优先级。每条详细校验规则隶属于指定的方案。其中，规则类型即为本发明提出的通用校验规则，包括完整性校验、合理性校验、突变性校验、单调性校验及关联性校验等通用校验规则类型；告警级别包括告警和严重，告警表示该项数据非关键数据，即使校验不通过也不影响后续计算，严重表示该项数据为关键数据，如果校验不通过将影响后续计算。
数据校验状态表，存储各类规则校验状态信息，至少包含如下属性：方案编号、规则编号、校验状态、告警状态、状态描述。其中，校验状态包括正常、通过、不通过、已校正；告警状态包括正常、告警、严重。在校验状态不通过时，如果详细校验规则定义中告警级别定义为告警，则告警状态为告警；如果告警级别定义为严重，则告警状态为严重。数据校验状态表中如果存在告警状态为严重的记录，则判断此次校验存在严重质量问题，不能执行后续出清计算。
数据校验日志表，存储各类规则校验过程详细日志信息，至少包含如下属性：方案编号、规则编号、日志编号、日志内容、更新时间。数据校验状态存储的是每条规则校验结果状态信息，而数据校验日志表记录校验过程的详细日志，可针对异常状态进行详细的过程分析和原因定位。
基于上述规则定义和状态表，实现本发明提出的数据校验流程和校验引擎设计，包括如下步骤：
1)根据市场规则配置市场出清计算待校验数据项定义、校验规则库方案定义和详细校验规则定义；
2)获取生效的校验规则库方案及其所含详细校验规则定义，形成数据校验任务列表；
3)基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理校验任务；所述数据校验引擎计算包括以下步骤：
根据待校验数据项定义获取原始数据，根据详细校验规则定义匹配校验规则类型；
执行数据校验，根据详细校验规则定义判断在校验异常时是否执行数据校正，将校验结果写入数据校验状态表，将校验过程信息写入数据校验日志表；
4)遍历整个数据校验任务列表，直到所有数据项校验完毕，释放线程计算与引擎资源；
5)对数据校验任务列表中各数据项校验结果进行汇总分析，判断此次校验是否存在严重质量问题。
实施例2
本发明实施例中提供了一种适应电力现货市场的数据校验装置，包括：
获取单元，用于获取适应电力现货市场的校验规则库；
数据校验任务列表形成单元，用于基于所述校验规则库，形成数据校验任务列表；
校验单元，用于基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
在本发明实施例的一种具体实施方式中，所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
在本发明实施例的一种具体实施方式中，所述校验规则库中包括数据类型和通用校验规则；
所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储；
所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验；
合理性校验规则，用于对数据的有效性和可用性进行校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验；
单调性校验规则，用于对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验。
其余部分均与实施例1相同。
实施例3
本发明实施例中提供了一种适应电力现货市场的数据校验系统，包括：存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。
其余部分均与实施例1相同。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种适应电力现货市场的数据校验方法，其特征在于，包括：
获取适应电力现货市场的校验规则库；
基于所述校验规则库，形成数据校验任务列表；
基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
2.根据权利要求1所述的一种适应电力现货市场的数据校验方法，其特征在于：所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
3.根据权利要求2所述的一种适应电力现货市场的数据校验方法，其特征在于：当数据校验任务线程的目标为系统负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对系统负荷预测数据完整性检查、预测值是否在设定的上下限范围内、负荷相邻点变化幅值是否超过设置阈值、系统负荷预测扣除受电计划后是否大于母线负荷总加、系统负荷与母线负荷总加的偏差百分比是否在设定的范围内进行校验；
当数据校验任务线程的目标为母线负荷预测数据校验，则所述执行原始电力数据的校验包括以下步骤：
对母线负荷预测数据完整性校验、母线负荷相邻点变化幅值是否超过设定阈值、预测值是否在设定的上下限范围内进行校验；
当数据校验任务线程的目标为经济机组模型参数校验，则所述执行原始电力数据的校验包括以下步骤：
对市场机组台数完整性检查、最大技术出力、最小技术出力、额定装机容量、厂用电率、爬坡速率、滑坡速率、最小持续开停机时间进行非空非负检查、经济机组与物理发电机关联性进行校验；
当数据校验任务线程的目标为机组报价数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组报价范围是否在机组最大最小技术出力范围内、机组能量分段报价是否递增、机组分段报价是否在设定的上下限范围内、机组报价分段数是否在设定的最大报价段数以内、机组启停费用是否完整、启停费用是否在设定的上下限范围内、是否存在检修机组报价情况进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对机组可调上下限是否完整、机组可调上限是否超过机组最大技术出力、机组可调下限是否低于最小技术出力、机组可调范围是否同时满足调度限高和电厂限高进行校验；
当数据校验任务线程的目标为受电计划数据校验，则所述执行原始电力数据的校验包括以下步骤：
受电计划总口子是否完整、受电计划是否完整、受电计划是否在设定的范围内、受电总口子计划与详细受电计划是否匹配、联络线模型定义是否完整进行校验；
当数据校验任务线程的目标为稳定断面限额数据校验，则所述执行原始电力数据的校验包括以下步骤：
对断面正向限额非负检查、断面反向限额非正检查、断面正反向限额绝对值是否在设定的阈值范围内进行校验；
当数据校验任务线程的目标为机组可调范围数据校验，则所述执行原始电力数据的校验包括以下步骤：
对必开机组是否存在检修计划、必停机组是否存在非零的发电计划、必停机组是否存在非零的机组可调范围进行校验。
4.根据权利要求1所述的一种适应电力现货市场的数据校验方法，其特征在于，所述校验规则库中包括数据类型，所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储。
5.根据权利要求4所述的一种适应电力现货市场的数据校验方法，其特征在于，所述校验规则库中包括通用校验规则，所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验；
合理性校验规则，用于对数据的有效性和可用性进行校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验；
单调性校验规则，用于对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验。
6.根据权利要求1所述的一种适应电力现货市场的数据校验方法，其特征在于：所述方法中，在处理各数据校验任务的过程中，还包括对异常数据进行校正。
7.一种适应电力现货市场的数据校验装置，其特征在于，包括：
获取单元，用于获取适应电力现货市场的校验规则库；
数据校验任务列表形成单元，用于基于所述校验规则库，形成数据校验任务列表；
校验单元，用于基于所述数据校验任务列表构建数据校验任务线程池，各数据校验任务线程分别调用数据校验引擎计算，并行地处理各数据校验任务，完成电力现货市场的数据校验。
8.根据权利要求7所述的一种适应电力现货市场的数据校验装置，其特征在于，所述数据校验引擎计算包括以下步骤：
获取与各数据校验任务线程相关的原始电力数据；
将获取到的原始电力数据匹配所述校验规则库，执行原始电力数据的校验，记录数据校验结果。
9.根据权利要求7所述的一种适应电力现货市场的数据校验装置，其特征在于，所述校验规则库中包括数据类型和通用校验规则；
所述数据类型包括：
市场模型类，包括市场成员以及后续潜在市场参与者的模型数据，该类数据以静态模型关系表的方式进行存储；
市场参数类，包括市场申报参数、市场流程控制参数、出清计算参数、安全校核参数、市场发布参数，该类数据以独立的静态参数方式进行存储；
市场边界类，包括系统负荷预测、母线负荷预测、机组出力调整范围、受电计划、输变电设备检修计划、固定机组发电计划、机组调试计划、机组必开必停计划、稳定断面限额、系统备用需求，该类数据以曲线横表或纵表方式进行存储；
市场报价类，包括机组启停费用报价、机组能量报价、负荷电量报价，该类数据以曲线横表或纵表、动态参数关系表方式进行存储；
所述通用校验规则可适配同类业务和存储方式的数据，包括：
完整性校验规则，用于对数据的存在性和结构性进行校验；
合理性校验规则，用于对数据的有效性和可用性进行校验；
突变性校验规则，用于对数据的连续性和平滑性进行校验；
单调性校验规则，用于对数据的趋势性校验；
关联性校验规则，用于对关联性超过设定阈值的业务数据进行交叉校验。
10.一种适应电力现货市场的数据校验系统，其特征在于，包括：存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010309725.4A CN111553576B (zh) | 2020-04-20 | 2020-04-20 | 适应电力现货市场的数据校验方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010309725.4A CN111553576B (zh) | 2020-04-20 | 2020-04-20 | 适应电力现货市场的数据校验方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553576A true CN111553576A (zh) | 2020-08-18 |
| CN111553576B CN111553576B (zh) | 2022-06-07 |
Family
ID=72007516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010309725.4A Active CN111553576B (zh) | 2020-04-20 | 2020-04-20 | 适应电力现货市场的数据校验方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553576B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132702A (zh) * | 2020-08-19 | 2020-12-25 | 国电南瑞科技股份有限公司 | 一种可扩展的电力现货市场数据校验方法和装置 |
| CN112330268A (zh) * | 2020-10-21 | 2021-02-05 | 中国南方电网有限责任公司 | 一种区域电力现货市场数据交互校验方法及系统 |
| CN112714155A (zh) * | 2020-12-14 | 2021-04-27 | 国电南瑞科技股份有限公司 | 基于端云协同服务的电力运行数据一致性校验方法及装置 |
| CN113157686A (zh) * | 2021-05-19 | 2021-07-23 | 云南电网有限责任公司 | 电力现货市场输入数据的数据校验方法 |
| CN113282484A (zh) * | 2021-04-16 | 2021-08-20 | 国电南瑞科技股份有限公司 | 基于自动和手动两种模式下的模型方式匹配校验方法及装置 |
| CN113569410A (zh) * | 2021-07-29 | 2021-10-29 | 南方电网数字电网研究院有限公司 | 出清结果计算方法、装置、设备及存储介质 |
| CN115543634A (zh) * | 2022-11-21 | 2022-12-30 | 中国电力科学研究院有限公司 | 基于并行计算的省间电力现货交易出清方法、系统及介质 |
| CN117591530A (zh) * | 2024-01-17 | 2024-02-23 | 杭银消费金融股份有限公司 | 一种数据截面处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101035673B1 (ko) * | 2010-10-15 | 2011-05-19 | 한국전력공사 | 변전소별 발전단가 산정 장치 및 방법 |
| CN104766151A (zh) * | 2014-12-29 | 2015-07-08 | 国家电网公司 | 一种用于电力交易数据仓库的质量管控方法及其管控系统 |
| CN108599274A (zh) * | 2018-05-15 | 2018-09-28 | 国家电网有限公司 | 特高压直流受端电网旋转备用容量计算及数据交互方法 |
| CN109710669A (zh) * | 2018-12-05 | 2019-05-03 | 国网山东省电力公司青岛供电公司 | 基于校验规则库的提高全电网模型数据准确性的方法 |
| CN110866646A (zh) * | 2019-11-18 | 2020-03-06 | 国家电网公司西北分部 | 一种电力系统安全校核方法及安全校核装置 |
| CN110930034A (zh) * | 2019-11-22 | 2020-03-27 | 广东电力交易中心有限责任公司 | 一种电力现货市场结算计量数据校验方法、装置及介质 |
-
2020
- 2020-04-20 CN CN202010309725.4A patent/CN111553576B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101035673B1 (ko) * | 2010-10-15 | 2011-05-19 | 한국전력공사 | 변전소별 발전단가 산정 장치 및 방법 |
| CN104766151A (zh) * | 2014-12-29 | 2015-07-08 | 国家电网公司 | 一种用于电力交易数据仓库的质量管控方法及其管控系统 |
| CN108599274A (zh) * | 2018-05-15 | 2018-09-28 | 国家电网有限公司 | 特高压直流受端电网旋转备用容量计算及数据交互方法 |
| CN109710669A (zh) * | 2018-12-05 | 2019-05-03 | 国网山东省电力公司青岛供电公司 | 基于校验规则库的提高全电网模型数据准确性的方法 |
| CN110866646A (zh) * | 2019-11-18 | 2020-03-06 | 国家电网公司西北分部 | 一种电力系统安全校核方法及安全校核装置 |
| CN110930034A (zh) * | 2019-11-22 | 2020-03-27 | 广东电力交易中心有限责任公司 | 一种电力现货市场结算计量数据校验方法、装置及介质 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132702B (zh) * | 2020-08-19 | 2022-11-29 | 国电南瑞科技股份有限公司 | 一种可扩展的电力现货市场数据校验方法和装置 |
| CN112132702A (zh) * | 2020-08-19 | 2020-12-25 | 国电南瑞科技股份有限公司 | 一种可扩展的电力现货市场数据校验方法和装置 |
| CN112330268B (zh) * | 2020-10-21 | 2023-08-22 | 中国南方电网有限责任公司 | 一种区域电力现货市场数据交互校验方法及系统 |
| CN112330268A (zh) * | 2020-10-21 | 2021-02-05 | 中国南方电网有限责任公司 | 一种区域电力现货市场数据交互校验方法及系统 |
| CN112714155A (zh) * | 2020-12-14 | 2021-04-27 | 国电南瑞科技股份有限公司 | 基于端云协同服务的电力运行数据一致性校验方法及装置 |
| CN113282484A (zh) * | 2021-04-16 | 2021-08-20 | 国电南瑞科技股份有限公司 | 基于自动和手动两种模式下的模型方式匹配校验方法及装置 |
| CN113157686A (zh) * | 2021-05-19 | 2021-07-23 | 云南电网有限责任公司 | 电力现货市场输入数据的数据校验方法 |
| CN113569410A (zh) * | 2021-07-29 | 2021-10-29 | 南方电网数字电网研究院有限公司 | 出清结果计算方法、装置、设备及存储介质 |
| CN113569410B (zh) * | 2021-07-29 | 2024-08-02 | 南方电网数字电网科技(广东)有限公司 | 出清结果计算方法、装置、设备及存储介质 |
| CN115543634A (zh) * | 2022-11-21 | 2022-12-30 | 中国电力科学研究院有限公司 | 基于并行计算的省间电力现货交易出清方法、系统及介质 |
| CN115543634B (zh) * | 2022-11-21 | 2023-03-10 | 中国电力科学研究院有限公司 | 基于并行计算的省间电力现货交易出清方法、系统及介质 |
| CN117591530A (zh) * | 2024-01-17 | 2024-02-23 | 杭银消费金融股份有限公司 | 一种数据截面处理方法及系统 |
| CN117591530B (zh) * | 2024-01-17 | 2024-04-19 | 杭银消费金融股份有限公司 | 一种数据截面处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553576B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553576B (zh) | 适应电力现货市场的数据校验方法、装置及系统 | |
| McCalley et al. | Probabilistic security assessment for power system operations | |
| Bagheri et al. | Data-driven stochastic transmission expansion planning | |
| Wang et al. | Dynamic reserve zones for day-ahead unit commitment with renewable resources | |
| CN101179195B (zh) | 配电网规划方案辅助决策系统 | |
| Yang et al. | A fast calculation method for long-term security-constrained unit commitment of large-scale power systems with renewable energy | |
| Xue et al. | Adaptive ultra-short-term wind power prediction based on risk assessment | |
| Qiu et al. | Power system restoration with renewable participation | |
| Shahzad | Probabilistic security assessment in power transmission systems: a review | |
| Dialynas et al. | Modelling and evaluation of microgrids reliability and operational performance and its impact on service quality | |
| Ambrosius et al. | The role of expectations for market design–on structural regulatory uncertainty in electricity markets | |
| Li et al. | A Monte Carlo tree search-based method for online decision making of generator startup sequence considering hot start | |
| Li et al. | Probabilistic planning of transmission systems: Why, how and an actual example | |
| Li et al. | A new method of enhancing reliability for transmission expansion planning | |
| CN116562665A (zh) | 用于确定物联网设备离线原因的方法、装置及处理器 | |
| Zhou et al. | Security-constrained Transmission Expansion Planning with Nk Security Criterion and Transient Stability | |
| Pourbeik et al. | Review of the current status of tools and techniques for risk-based and probabilistic planning in power systems | |
| Bapin et al. | Estimation of operating reserve capacity in interconnected systems with variable renewable energy using probabilistic approach | |
| Birchfield | Graph decomposition for constructing blackstart restoration strategies in benchmark cases | |
| Dalabeeh et al. | Economical and reliable expansion alternative of composite power system under restructuring | |
| CN112467806B (zh) | 一种基于dmn电网调控规则确定电网运行状态的方法及系统 | |
| Zhang et al. | A simulation‐based differential evolution algorithm for stochastic parallel machine scheduling with operational considerations | |
| Pan et al. | Transmission maintenance scheduling strategy considering potential fault risk balance | |
| Liu et al. | A novel acceleration strategy for nl contingency screening in distribution system | |
| Li et al. | Online Decision‐Making of Parallel Restoration Strategy for Power Systems Based on Susceptible‐Infected‐Recovered Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |