CN111275582B - 一种自动化处理数据的方法及装置 - Google Patents

一种自动化处理数据的方法及装置 Download PDF

Info

Publication number
CN111275582B
CN111275582B CN202010260360.0A CN202010260360A CN111275582B CN 111275582 B CN111275582 B CN 111275582B CN 202010260360 A CN202010260360 A CN 202010260360A CN 111275582 B CN111275582 B CN 111275582B
Authority
CN
China
Prior art keywords
original data
data
characteristic curve
power grid
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010260360.0A
Other languages
English (en)
Other versions
CN111275582A (zh
Inventor
李海峰
田寿涛
赵志强
辛超山
梁钢
于志勇
孙立成
宋新甫
张增强
付林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Xinjiang Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Xinjiang Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Xinjiang Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Xinjiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Xinjiang Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Xinjiang Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010260360.0A priority Critical patent/CN111275582B/zh
Publication of CN111275582A publication Critical patent/CN111275582A/zh
Application granted granted Critical
Publication of CN111275582B publication Critical patent/CN111275582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种自动化处理数据的方法及装置,涉及数据处理技术领域,解决了现有技术中无法自动化处理数据以生成准确特性曲线的问题。本发明的主要技术方案为:根据电网生产模拟计算数据需求获取原始数据,电网生产模拟计算数据需求中具有多个分区的分组信息,根据分组信息校核并修正原始数据的完备性,防止由于数据缺失而导致生成的特性曲线数据不完整,基于修正后的原始数据校核并修改原始数据的内容问题,防止自动化处理数据的过程中,由于数据取值的格式问题而无法继续处理数据,利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。本发明主要应用于生成准确特性曲线。

Description

一种自动化处理数据的方法及装置
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种自动化处理数据的方法及装置。
背景技术
目前已有的生产模拟软件计算新能源消纳能力的研究较多针对发电计划安排顺序优化、模型求解方法以及关键参数灵敏性分析等,其中,特性曲线的计算主要针对于区域新能源出力和负荷特性曲线的拟合,应用这些方法首先要确保原始数据的准确性。
然而,电网的采集系统在实际运行中会存在坏数据问题,即从调度系统中获得的原始数据存在数据丢失或者数据不正常的问题,这会导致生成的特性曲线误差较大,或者无法生成特性曲线。由于这些问题的存在,在自动化处理数据的过程中往往无法获取到准确的特性曲线。
发明内容
有鉴于此,本发明提供了一种自动化处理数据的方法及装置,可以解决现有技术中无法自动化处理数据以生成准确特性曲线的问题。
为达到上述目的,一方面,本发明实施例提供了一种自动化处理数据的方法,包括:
根据电网生产模拟计算数据请求获取原始数据,所述电网生产模拟计算数据请求中具有多个分区的分组信息;
根据所述分组信息校核并修正所述原始数据的完备性问题,所述完备性问题是指原始数据的分组数量与所述分组信息的数量不同;
基于修正后的原始数据校核并修改所述原始数据的内容问题,所述内容问题是指所述原始数据的取值无法用于数据处理;
利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。
另一方面,本发明实施例提供了一种自动化处理数据的装置,所述装置包括:
获取模块,用于根据电网生产模拟计算数据请求获取原始数据,所述电网生产模拟计算数据请求中具有多个分区的分组信息;
第一校核模块,用于根据所述分组信息校核并修正所述原始数据的完备性问题,所述完备性问题是指原始数据的分组数量与所述分组信息的数量不同;
第二校核模块,用于对基于修正后的原始数据校核并修改所述原始数据的内容问题,所述内容问题是指所述原始数据的取值无法用于数据处理;
生成模块,用于利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。
另一方面,本发明实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述一个或多个技术方案中的方法。
另一方面,本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述一个或多个技术方案中的方法。
本发明实施例提供一种自动化处理数据的方法,首先,根据电网数据请求获取原始数据,电网数据请求中具有多个分区的分组信息;然后根据分组信息校核并修正原始数据的完备性问题,完备性问题是指原始数据的分组数量与所述分组信息的数量不同;防止由于数据缺失而导致生成的特性曲线数据不完整,基于修正后的原始数据校核并修改原始数据的内容问题,内容问题是指原始数据的取值无法用于数据处理;防止自动化处理数据的过程中,由于数据取值的格式问题而无法继续处理数据,最后,利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。由此可见,本申请中记载的方案可以自动化的校核并修正原始数据中的完备性问题和内容问题,根据分区对应的分组生成准确的特性曲线。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1示出了本发明实施例提供的一种自动化处理数据的方法流程图;
图2示出了本发明实施例提供的另一种自动化处理数据的方法流程图;
图3示出了本发明实施例提供的一种自动化处理数据的装置示意图;
图4示出了本发明实施例提供的另一种自动化处理数据的装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明实施例的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
图1为本发明实施例中提供的一种自动化处理数据的方法流程图,参见图1所述,该方法可以包括:
S101、根据电网数据请求获取原始数据。
电网数据请求中具有多个分区的分组信息。
具体的,根据电网数据请求可以从电网数据库中获取原始数据。以新疆省的电网数据库为例,该电网数据库中存在三个分区,其中,第一个分区包含阿勒泰和塔城地区的电网数据,第二个分区包含阿克苏、和田、克州和喀什地区的电网数据,第三个分区包含全疆其他所有地区的电网数据。电网数据库中的电网数据主要为各分区的光伏发电量、风电发电量、水利发电量以及线路功率量等。
其中,分区的分组信息可以包括:分组名称、分组行列数、分组的列属性。
示例性的,分组名称可以为光伏发电组、风电发电组、水利发电组和线路功率组、负荷组;以第一分区的分组信息为例,该分区中某一个分组的分组信息可以为,分组名称:光伏发电组;分组行列数:8760行2列;分组的列属性:第一列为时间序列,以一小时为时间间隔,第二列为对应时间点的光伏发电量。
S102、根据分组信息校核并修正原始数据的完备性问题。
完备性问题是指原始数据的分组数量与分组信息的数量不同。
其中,完备性问题是由于获取原始数据的过程中缺失某一组数据而造成的。一般在从电网数据库中调度原始数据时,由于某些故障产生,会导致部分数据调度不成功,因此,需要根据电网数据请求中的分组信息校核原始数据是否出现缺失。
具体的,可以根据电网数据请求中的分组信息的数量校核所述原始数据是否缺失某一组数据,然后可以根据所述分组信息中的分组名称查询所述原始数据具体缺失哪一组数据,以便装置重新获取该分组的原始数据,来对之前获取的原始数据进行修正。
示例性的,电网数据请求中有第一分区的3个分组信息,而获取的原始数据中第一分区的分组数量为1个,可以确定原始数据中缺少2个第一分区的分组。3个分组信息中的分组名称可以为光伏发电组、风电发电组、水利发电组,而原始数据中只有光伏发电组,由此,可以确定缺失的分组为风电发电组和水利发电组。这样,装置可以根据缺失的这两个分组的名称重新获取这两个分组的原始数据,来对之前获取的原始数据进行修正。
具体的,根据分组信息中的分组行列数校核所述原始数据分组内是否缺失某一行或某一列数据。可以根据所述分组信息中的分组名称查询所述原始数据的哪一组数据中存在行列数缺失,以便装置重新获取该分组的原始数据,来对之前获取的原始数据进行修正。
示例性的,电网数据请求中第一分区所有分组的行列数为8760行2列,而原始数据中第一分区中某个分组的行列数为8760行1列,可以确定原始数据的分组内少了一列数,通过分组信息中的分组名称查询原始数据中光伏发电组中的行列数为8760行1列,由此,可以确定分组中列数缺失的分组为光伏发电组,这样,装置可以根据该分组的名称重新获取该分组的原始数据,来对之前获取的原始数据进行修正。
具体的,对之前获取的原始数据进行修正可以为,在查询到具体缺失的是哪一组数据时,提示该数据缺失,以便运维人员根据提示重新发出携带有该分组信息的电网数据请求。
示例性的,当查询到具体缺失的是A组数据时,提示A组数据缺失,运维人员根据该提示,重新发出携带有A组信息的电网数据请求,以获取A组的原始数据。
进一步的,对之前获取的原始数据进行修正可以为,在查询到具体缺失的是哪一组数据时,从数据库中查询历史获取的原始数据信息,若查询到,则获取该组的原始数据;若查询到历史获取的原始数据中没有该组数据时,提示该数据缺失,以便运维人员根据提示重新发出携带有该分组信息的电网数据请求。这样,当历史获取的信息中有该原始数据的信息时,可以自动处理,在获取不到原始数据时,再提醒人工进行处理,在保证获取到原始数据的前提下,可以减少运维人员的操作,使得数据处理的过程更加智能化。
示例性的,当查询到缺失的是B组数据时,查询历史获取的原始数据中是否有其他时间段获取的B组原始数据信息,若有,则从历史数据库中获取该B组的原始数据,若没有,再提示B组数据丢失,以便运维人员根据该提示,重新发出携带有B组信息的电网数据请求来获取B组的原始数据。
S103、基于修正后的原始数据校核并修改原始数据的内容问题。
内容问题是指所述原始数据的取值无法用于数据处理。需要在校核修正完原始数据的完备性问题后,再对原始数据的内容问题进行校核修改。由于原始数据的完备性问题是由于数据缺失所造成的,因此,没有完备性问题的原始数据才是完整的原始数据,若是先校核修改原始数据的内容问题,再校核修正原始数据的完备性问题,则会导致修正后的原始数据中可能还存在内容问题,因此,需要先解决原始数据的完备性问题,再解决原始数据的内容问题,从而保证原始数据中的不再存在内容问题。
在数据处理中某些格式的限定下,原始数据的取值虽然是实际值,但是无法用于数据处理,因此,需要对该数据的取值进行修改。
其中,所述内容问题可以为数值问题。
具体的,根据分组信息中的数值要求校核原始数据是否存在数值问题,若原始数据中存在数值问题,可以根据数值要求确定待替换的数值,并对原始数据中存在数值问题的数值进行替换。
示例性的,当新能源机组出力较小且接近0时,调度系统数据中存在绝对值很小的负值出力数据。但生产模拟软件中不允许机组出力值为负,因此,需要修正机组出力的负值。由此,新能源机组出力分组的分组信息中数值要求为,第二列数的数值不能小于0,若该列数中有小于0的数值,则将小于0的数值替换为0,根据分组信息中的数值要求校核原始数据的中的第二列数是否小于0,若第二列数中有数值小于0,则根据数值要求确定待替换的数值为0,然后将第二列数中小于0的数值替换为0。
S104、利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。
分区对应的分组可以为,光伏发电组、风电发电组、水利发电组和线路功率组等。
具体的,利用修正后的原始数据,通过生产模拟软件按照分区对应的分组生成电网运行特性曲线。其中,生产模拟软件可以为HUST_Pro与NEOS软件。
示例性的,可以按照分区对应的光伏发电组生成光伏出力特性曲线,按照分区对应的风电发电组生成风电出力特性曲线,按照分区对应的水利发电组生成水利出力特性曲线,按照分区对应的线路功率组生成输电线路特性曲线,按照分区对应的负荷组生成负荷特性曲线。
本发明实施例提供一种自动化处理数据的方法,首先,根据电网数据请求获取原始数据,电网数据请求中具有多个分区的分组信息;然后根据分组信息校核并修正原始数据的完备性问题,完备性问题是指原始数据的分组数量与所述分组信息的数量不同;防止由于数据缺失而导致生成的特性曲线数据不完整,基于修正后的原始数据校核并修改原始数据的内容问题,内容问题是指原始数据的取值无法用于数据处理;防止自动化处理数据的过程中,由于数据取值的格式问题而无法继续处理数据,最后,利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。由此可见,本发明中记载的方案可以自动化的校核并修正原始数据中的完备性问题和内容问题,根据分区对应的分组生成准确的特性曲线。
进一步地,作为图1所示方法的细化和扩展,本发明实施例还提供了另一种自动化处理数据的方法。图2为本发明实施例提供的另一种自动化处理数据的方法流程图,参见图2所示,该方法可以包括:
S201、根据电网数据请求获取原始数据。
电网数据请求中具有多个分区的分组信息。
在步骤S101中已对该步骤进行了详细的论述,此处不再赘述。
S202、根据分组信息校核并修正原始数据的完备性问题。
完备性问题指原始数据的分组数量和电网数据请求中的多个分区分组信息的数量不同。
具体的,判断原始数据的分组数量与分区中的分组信息数量是否不同;若不同,则说明该原始数据具有完备性问题,将各个分组信息中的组标识与原始数据中各个分组的组标识进行对比,校核出原始数据中缺失的分组对应的组标识,根据缺失分组的组标识对应的分组信息生成电网数据补充请求;根据电网数据补充请求获取待补充的原始数据;基于待补充的原始数据对原始数据进行补充生成修正后的原始数据。其中,组标识为可用于对分组信息进行分类识别的标识。
进一步的,判断各个分区原始数据的分组数量与对应分区分组信息的数量是否不相同,若不相同,则发出获取该分区待替换原始数据的请求,以获取到该分区待替换的原始数据,然后对该分区的原始数据进行替换。在校核数据完备性问题时,可以分分区对原始数据进行校核,这样,可以重新获取该分区的原始数据,快速的解决原始数据的完备性问题。
示例性的,一共有A、B、C、D四个分区,分别判断这四个分区的原始数据的分组数量与对应分区的分组信息的数量是否不相同,判断出A分区的原始数据存在原始数据的分组数量与A分区的分组信息的数量不相同的情况,则发出获取A分区待替换原始数据的请求,重新获取到A分区的待替换原始数据,将重新获取的A分区的原始数据与之前的A分区的原始数据进行替换,可以快速的解决A分区原始数据的完备性问题。通过分分区对原始数据进行校核,并重新获取具有完备性问题的分区中的原始数据,可以快速的解决原始数据的完备性问题。
进一步的,还可以在判断出各个分区原始数据的分组数量与对应分区分组信息的数量不相同时,根据该分区的分组信息中的组标识校核原始数据中缺失的分组,以生成电网数据补充请求。通过分分区对原始数据进行校核,可以在分区有完备性问题时,来具体校核并修正该分区中缺失的原始数据,在分区没有完备性问题的时候,不再进一步的校核修正,避免对没有完备性问题的分区中的原始数据进行进一步的校核,减少了校核的工作量,提高了对原始数据进行校核的效率。
S203、基于修正后的原始数据校核并修改原始数据的内容问题。
内容问题可以为原始数据中各个分组对应的数据取值不符合对应分组的格式要求。
内容问题在本实施例中可具体体现为以下三种情况:
第一种情况为,基于修正后的原始数据校核该原始数据是否出现数值为空的情况;若出现数值为空的情况利用插值法对修正后的原始数据进行修改,其中,该插值法包括取原始数据中前后两个时间点数据的代数平均值。
一般数值为空是由于在某一时刻调度系统采集的数据为空,这样程序在读取该列数据时会漏行或错行,会导致数据矩阵的尾数错误,导致生产模拟软件在该时刻后的全部时刻计算结果不正确,因此,需要将该时刻的数据值进行补充,而本申请中,通过取该时刻前后两个时间点的数据代数平均值,可以将该时刻的数据值进行补充,一般相邻时刻的数据变化不是很大,因此,通过插值法不仅补充该时刻的数据值,也提高了该时刻数据值的准确率。
第二种情况为,基于修正后的原始数据校核原始数据中的机组出力值是否出现负值的情况;若出现机组出力值为负值的情况,将为负值的机组出力值自动赋值为0。
机组出力值为负值的情况较为常见,广泛存在于风电、光伏场站的实际出力数据中。由于风电、光伏场电的机组出力值波动性较大。在部分时间机组出力很小或为0,例如夜间光伏场没有出力,当新能源机组出力较小且接近0时,调度系统数据中存在绝对值很小的负值出力数据。但生产模拟软件中不允许机组出力值为负,因此,需要修正机组出力的负值。本申请中,可以对机组出力值进行循环判断,当出现机组出力值为负值的情况时,可以将该时刻的机组出力值自动赋值为0,可以在满足生产模拟软件的前提下,尽可能的减少机组出力值的误差。
第三种情况为,基于修正后的原始数据校核原始数据的线路功率值是否大于预设线路功率限值;若线路功率值大于预设线路功率限值,将大于线路功率限值的线路功率值自动赋值为线路功率限值。
线路功率越限的问题一般发生在大故障后的恢复期,主要为暂态下的输电线路功率上,尤其是在交直流混联系统中。稳态时换流站附近的省间交流联络线往往在较低功率点上运行,以防直流系统发生故障时承担大量功率转移任务,因此,当暂态故障发生时,交流线路功率跃升并接近或达到功率限值。考虑到测量及传输误差因素,调度系统采集到的线路功率值可能小幅度的超过功率限值。但在生产模拟软件中,线路输电功率以其功率限值标准化,因此,不允许线路功率大于功率限值。本申请中,可以对线路功率值进行循环判断,当线路某时刻功率值大于功率限值时,将该时刻的线路功率值赋值为功率限值,可以在满足生产模拟软件的前提下,尽可能的减少线路功率值的误差。
S204、对修正后的原始数据进行格式转化。
其中,格式转化具体可以包括:步长转化、行列转化。
步长转化主要是将各个分组原始数据的时间步长转化成特性曲线所需的时间步长,时间步长可以为小时级或者15分钟级。一般情况下,统一数据时间步长是将小步长的数据转向大步长的数据。将大步长的数据转向小步长的数据会造成数据失真。
进一步地,可以从原始数据的时间序列中提取预设日期内的时间点数量,以判断原始数据的时间步长,根据步长转化需求,基于步长转化公式对该原始数据进行步长转化。其中,基于目标特性曲线的时间步长确定步长转化需求。
示例性的,在原始数据的时间序列中提取2019年3月2日内的时间点数量为96,该时间点数量表示一天内每15分钟采集一次原始数据,即,时间步长为15分钟。目标特性曲线一天内的时间点数量为24,该时间点数量表示一天内每1小时记录一次原始数据,即时间步长为24,使用步长转化公式将15分钟一个数据点的原始数据转化为每小时一个数据点的数据。
其中,步长转化公式为:
式(1)中的Xi表示输入的小步长数据,其中i=1、2…,n1表示1小时内X数据个数,Yj表示输出的大步长数据,其中j=1、2…,n2表示1小时内Y数据的个数。
行列转化,调度系统给出的数据一般为两列,第一列为时间序列。第二列为对应时间点的特性数据,但是,生产模拟软件需要的数据行列数可能与调度系统给出的数据行列数不同,因此,需要对原始数据的行列进行转化。
进一步的,将原始数据的行列数以及目标特性曲线所需的行列数代入到行列转化公式中,完成对原始数据的行列转化。
示例性的,原始数据的行列数为8760行2列,该行列数表示一年中每小时采集的原始数据,目标特性曲线所需的行列数为365行24列,行代表365天,列代表24小时,使用行列转化公式将8760行2列转化为365行24列。
其中,行列转化公式可以为B=reshape(A,m,n) (2)
式(2)中A的表示原始数据,B表示目标特性曲线所需的数据,m、n表示目标特性曲线所需数据的行列数。
S205、基于转化后的原始数据,按照分区对应的分组生成电网运行特性曲线。
具体的,将转化后的原始数据输入到生产模拟软件中,按照分区对应的分组生成电网运行特性曲线。
示例性的,分区对应的分组包括:光伏发电分组、风电发电分组以及水利发电分组,将转化后的光伏出力原始数据输入到生产模拟软件中,按照分区对应的光伏发电分组得到光伏发电特性曲线。
进一步的,基于转化后的原始数据,在按照分区对应的分组生成电网运行特性曲线之后,还可以根据特性曲线优化请求来提取预设分组对应生成的电网运行特性曲线,其中,特性曲线优化请求包括特性曲线优化策略;根据优化策略优化电网运行特性曲线,生成优化后的电网运行特性曲线。
一般根据原始数据得出的特性曲线并未进行任何处理,仅是将原始数据进行转化得到对应分组的特性曲线,研究人员在使用特性曲线进行研究时,首先要手动从电网特性曲线数据库中查询需要进行整合优化的多个特性曲线,然后调取多个特性曲线并将多个特性曲线进行整合,最后再优化整合后的特性曲线。手动优化该特性曲线的过程繁杂,降低了研究人员在研究过程中得到研究结果的效率。本申请中,研究人员通过制定特性曲线优化策略,可以减少优化特性曲线中需要手动操作的步骤,由此,减少了人工操作,提高了优化特性曲线的效率。
进一步的,所述优化策略可以为将预设时间段的两个电网运行特性曲线合成为一个特性曲线。
示例性的,新能源发电有光伏发电和风电发电,若需要得到一个新能源发电特性曲线,则需要将光伏发电的特性曲线与风电发电的特性曲线进行合并,合并得到的特性曲线就是新能源发电特性曲线。
进一步的,所述优化策略还可为将预设时间段内的多个电网运行特性曲线合并在一个图中以得到多个特性曲线的对比图像。
示例性的,根据特性曲线优化请求提取光伏发电出力的电网运行特性曲线和风电发电出力的电网运行特性曲线;将两者的电网运行特性曲线合并在一个图中以得到光伏发电出力与风电发电出力的特性曲线对比图像,以便研究人员根据该对比图像进行研究。
进一步地,记录原始数据完备性问题和内容问题处理情况,生成问题报告,供用户进行调阅,以实现自动化处理数据的过程管理。
在处理原始数据的完备性问题和内容问题时,记录问题属性,该问题属性可以为问题发生位置、问题发生时间、修正前的数据以及修正后的数据。
具体为,记录原始数据完备性问题发生的位置为A分组的1行2列、问题发生的时间为2019年1月2号,修正前的数据为-1,修正后的数据为0。
本发明提供的另一种自动化处理数据的方法,可以在根据电网数据请求获取原始数据后,分分区来判断原始数据的分组数量与对应分区分组信息的数量是否不相同,若是,则发出获取该分区待替换原始数据的请求,以获取到该分区待替换的原始数据,然后对该分区的原始数据进行替换。在校核数据完备性问题时,可以分分区对原始数据进行校核,这样,可以重新获取该分区的原始数据,快速的解决原始数据的完备性问题。然后,基于修正后的原始数据校核并修改原始数据的内容问题,对修正后的原始数据进行格式转化,通过格式转化满足生成目标特性曲线的格式要求,并基于转化后的原始数据,按照分区对应的分组生成电网运行特性曲线,最后,记录自动化处理数据过程中的问题处理情况,以便生成问题报告供用户调阅,实现自动化处理数据的过程管理。由此可见,本发明中记载的方案可以自动化的校核并修正原始数据中的完备性问题和内容问题,根据分区对应的分组生成准确的特性曲线。
基于同一发明构思,作为对上述方法的实现,本发明实施例还提供一种自动化处理数据的装置示意图,图3为本发明实施例中的装置的结构示意图,参见图3所示,该装置可以包括:
获取模块301,用于根据电网数据请求获取原始数据,所述电网数据请求中具有多个分区的分组信息。
第一校核模块302,用于在所述获取模块301获取到原始数据后,根据所述分组信息校核并修正所述原始数据的完备性问题,所述完备性问题是指原始数据的分组数量与所述分组信息的数量不同。
第二校核模块303,用于在所述第一校核模块302校核并修正完所述原始数据的完备性问题后,基于修正后的原始数据校核并修改所述原始数据的内容问题,所述内容问题是指所述原始数据的取值无法用于数据处理。
生成模块304,用于在所述第二校核模块303校核修改完所述原始数据的内容问题后,利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。
进一步的,如图4所示,所述第一校核模块302包括:
判断子模块3021,用于判断所述原始数据的分组数量与所述分组信息的数量是否不同。
校核子模块3022,用于在所述判断子模块3021判断出所述原始数据的分组数量与所述分组信息的数量不同时,根据所述分组信息中的组标识校核所述原始数据中缺失的分组,以生成电网数据补充请求。
获取子模块3023,用于根据所述校核子模块3022生成的电网数据补充请求获取待补充原始数据。
补充子模块3024,用于基于所述获取子模块3023获取的待补充原始数据来对所述原始数据进行补充,生成修正后的原始数据。
进一步的,如图4所示,第二校核模块303包括:
第一校核子模块3031,用于基于修正后的原始数据校核所述原始数据是否出现数值为空的情况。
第一修改子模块3032,用于在所述第一校核子模块3031校核所述原始数据出现数值为空的情况时,利用插值法对所述修正后的原始数据进行修改,其中,所述插值法包括取原始数据中前后两个时间点数据的代数据平均值。
第二校核子模块3033,用于基于修正后的原始数据校核所述原始数据中的机组出力值是否出现负值的情况。
第二修改子模块3034,用于在所述第二校核子模块3033校核所述原始数据中的机组出力值出现负值的情况时,将为负值的机组出力值自动赋值为0。
第三校核子模块3035,用于基于修正后的原始数据校核所述原始数据中的线路功率值是否大于预设线路功率限值。
第三修改子模块3036,用于在所述第三校核子模块3035校核所述原始数据中的线路功率值大于预设线路功率限值时,将大于线路功率限值的线路功率值自动赋值为线路功率限值。
进一步的,如图4所示,生成模块304包括:
转化子模块3041,用于对所述修正后的原始数据进行格式转化,所述格式转化包括:步长转化、行列转化;
生成子模块3042,用于在所述转化子模块3041对所述修正后的原始数据进行格式转化后,基于转化后的原始数据,按照分区对应的分组生成电网运行特性曲线。
进一步的,如图4所述,所述装置还包括:
记录模块305,用于记录所述原始数据的完备性问题和内容问题处理情况,生成问题报告。
进一步的,如图4所述,所述装置还包括:
提取模块306,用于在所述生成模块304生成电网运行特性曲线后,根据特性曲线优化请求提取预设分组对应生成的电网运行特性曲线,所述特性曲线优化请求包括特性曲线优化策略、待提取的电网运行特性曲线的分组信息。
优化模块307,用于在所述提取模块306提取出预设分组对应生成的电网运行特性曲线后,根据所述特性曲线优化策略优化所述电网运行特性曲线,生成优化后的电网运行特性曲线。所述优化策略包括:将预设时间段的多个电网运行特性曲线进行互补。
这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
基于同一发明构思,本发明实施例还提供了一种存储介质,上述存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。
这里需要指出的是:以上处理器实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明处理器的实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
基于同一发明构思,本发明实施例还提供了一种处理器,上述处理器用于运行程序,其中,在程序运行时控制处理器所在设备执行上述一个或多个实施例中的方法。
这里需要指出的是:以上处理器实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本发明处理器的实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本发明的描述中,需要理解的是,术语“内”、“外”、“上”、“底”、“前”、“后”等指示的方位或者位置关系(若有的话)为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或者暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种数据访问方法、设备及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者设备程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干设备的单元权利要求中,这些设备中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (9)

1.一种自动化处理数据的方法,其特征在于,包括:
根据电网生产模拟计算数据请求获取原始数据,所述电网生产模拟计算数据请求中具有多个分区的分组信息;
根据所述分组信息校核并修正所述原始数据的完备性问题,所述完备性问题是指原始数据的分组数量与所述分组信息的数量不同;
基于修正后的原始数据校核并修改所述原始数据的内容问题,所述内容问题是指所述原始数据的取值无法用于数据处理;
利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线;
其中,所述基于修正后的原始数据校核并修改所述原始数据的内容问题,包括:
基于修正后的原始数据校核所述原始数据是否出现数值为空的情况;
若是,利用插值法对所述修正后的原始数据进行修改,其中,所述插值法包括取原始数据中前后两个时间点数据的代数据平均值;
基于修正后的原始数据校核所述原始数据中的机组出力值是否出现负值的情况;
若是,将为负值的机组出力值自动赋值为0;
基于修正后的原始数据校核所述原始数据中的线路功率值是否大于预设线路功率限值;
若是,将大于线路功率限值的线路功率值自动赋值为线路功率限值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述分组信息校核并修正所述原始数据的完备性问题,包括:
判断所述原始数据的分组数量与所述分组信息的数量是否不同;
若是,根据所述分组信息中的组标识校核所述原始数据中缺失的分组,以生成电网数据补充请求;
根据所述电网数据补充请求获取待补充原始数据;
基于所述待补充原始数据对所述原始数据进行补充,生成修正后的原始数据。
3.根据权利要求1所述的方法,其特征在于,所述利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线,包括:
对所述修正后的原始数据进行格式转化,所述格式转化包括:步长转化、行列转化;
基于转化后的原始数据,按照分区对应的分组生成电网运行特性曲线。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
记录所述原始数据的完备性问题和内容问题处理情况,生成问题报告。
5.根据权利要求3所述的方法,其特征在于,基于转化后的原始数据,在按照分区对应的分组生成电网运行特性曲线之后,所述方法还包括:
根据特性曲线优化请求提取预设分组对应生成的电网运行特性曲线,所述特性曲线优化请求包括特性曲线优化策略、待提取的电网运行特性曲线的分组信息;
根据所述特性曲线优化策略优化所述电网运行特性曲线,生成优化后的电网运行特性曲线。
6.根据权利要求5所述的方法,其特征在于,所述优化策略包括:
将预设时间段的多个电网运行特性曲线进行互补。
7.一种自动化处理数据的装置,其特征在于,所述装置采用权利要求1至权利要求6中任意一项所述的自动化处理数据的方法,包括:
获取模块,用于根据电网生产模拟计算数据请求获取原始数据,所述电网生产模拟计算数据请求中具有多个分区的分组信息;
第一校核模块,用于根据所述分组信息校核并修正所述原始数据的完备性问题,所述完备性问题是指原始数据的分组数量与所述分组信息的数量不同;
第二校核模块,用于对基于修正后的原始数据校核并修改所述原始数据的内容问题,所述内容问题是指所述原始数据的取值无法用于数据处理;
生成模块,用于利用修正后的原始数据,按照分区对应的分组生成电网运行特性曲线。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求6中任意一项所述的自动化处理数据的方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至权利要求6中任意一项所述的自动化处理数据的方法。
CN202010260360.0A 2020-04-03 2020-04-03 一种自动化处理数据的方法及装置 Active CN111275582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010260360.0A CN111275582B (zh) 2020-04-03 2020-04-03 一种自动化处理数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010260360.0A CN111275582B (zh) 2020-04-03 2020-04-03 一种自动化处理数据的方法及装置

Publications (2)

Publication Number Publication Date
CN111275582A CN111275582A (zh) 2020-06-12
CN111275582B true CN111275582B (zh) 2023-07-28

Family

ID=71002703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010260360.0A Active CN111275582B (zh) 2020-04-03 2020-04-03 一种自动化处理数据的方法及装置

Country Status (1)

Country Link
CN (1) CN111275582B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084577B (zh) * 2020-08-24 2023-11-17 智慧航海(青岛)科技有限公司 一种基于仿真试验数据的数据处理方法
CN113656388A (zh) * 2021-08-12 2021-11-16 全球能源互联网研究院有限公司 一种多源数据处理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009154484A2 (en) * 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for data visualization and related applications
EP3276770A1 (en) * 2016-07-26 2018-01-31 ABB S.p.A. A method for controlling an electric power distribution grid
CN110635519A (zh) * 2018-06-22 2019-12-31 国网江苏省电力有限公司扬州供电分公司 一种主动配电网分布式新能源日前有功调度计划生成方法
CN115392575A (zh) * 2022-08-26 2022-11-25 广东电网有限责任公司 负荷数据的生成方法、装置、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475138B2 (en) * 2015-09-23 2019-11-12 Causam Energy, Inc. Systems and methods for advanced energy network
CN102867032B (zh) * 2012-08-28 2017-02-22 中国电力科学研究院 基于历史数据统计的新能源发电风险离散化分析方法
CN104134999B (zh) * 2014-08-06 2016-06-08 国家电网公司 基于多数据源的配电网量测有效性分析实用化计算方法
CN104700158B (zh) * 2015-02-12 2017-03-01 国家电网公司 一种配电园区的能源管理方法与系统
CN109471961B (zh) * 2017-11-15 2021-01-19 许继电气股份有限公司 一种智能变电站二次系统的回路展示方法与装置
CN109523091A (zh) * 2018-12-04 2019-03-26 国电南瑞科技股份有限公司 一种计及现货交易的电网未来运行方式静态安全校核方法
CN109948909A (zh) * 2019-02-26 2019-06-28 国网山东省电力公司莒县供电公司 一种电网数据采集分析方法及系统
CN110082319B (zh) * 2019-04-22 2022-03-11 深圳市锦瑞生物科技股份有限公司 定标数据修正方法及其电子设备
CN110222897A (zh) * 2019-06-11 2019-09-10 国网上海市电力公司 一种配电网可靠性分析方法
CN110707692A (zh) * 2019-10-16 2020-01-17 济南荣耀合创电力科技有限公司 一种电力系统在线负荷分析与建模系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009154484A2 (en) * 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for data visualization and related applications
EP3276770A1 (en) * 2016-07-26 2018-01-31 ABB S.p.A. A method for controlling an electric power distribution grid
CN110635519A (zh) * 2018-06-22 2019-12-31 国网江苏省电力有限公司扬州供电分公司 一种主动配电网分布式新能源日前有功调度计划生成方法
CN115392575A (zh) * 2022-08-26 2022-11-25 广东电网有限责任公司 负荷数据的生成方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
能量管理系统的可视化研究和应用;朱海兵;颜自坚;任远;;江苏电机工程(第06期);全文 *

Also Published As

Publication number Publication date
CN111275582A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN103955777B (zh) 光伏发电接入配电网方案设计与分析评估辅助系统
CN111275582B (zh) 一种自动化处理数据的方法及装置
Kaushik et al. Comprehensive overview of power system flexibility during the scenario of high penetration of renewable energy in utility grid
CN102567859A (zh) 智能化供电系统数据综合管理系统
CN103077212A (zh) 变电站配置文件管控方法和系统
CN112821865B (zh) 一种光伏电站低效设备快速定位方法
CN102800030B (zh) 地区电网继电保护设备综合可靠性互动迭代评估方法
CN110909958A (zh) 一种计及光伏并网功率的短期负荷预测方法
CN202600765U (zh) 智能化供电系统数据综合管理系统
CN115730749B (zh) 基于融合电力数据的电力调度风险预警方法及装置
CN112348345A (zh) 智能自动派单方法及系统
CN116111597A (zh) 一种中长期调度计划的潮流断面场景集构建方法、系统、存储器及设备
CN114336615A (zh) 一种基于输电环境大数据分析的电力资源调度智能管理系统
CN117595261A (zh) 光储微电网能量管理策略优化方法、装置及电子设备
CN111130100B (zh) 考虑新能源不确定性的日内计划安全稳定校核方法及系统
CN108599233B (zh) 一种含分布式电源的配电网接纳容量确定方法和装置
CN109327027B (zh) 基于psd-bpa的交叉跨越线路故障校核方法
CN112989279A (zh) 含风电的电热联合系统的调度方法及装置
CN115166621A (zh) 一种用于三相电能表的计量误差自动检定系统与方法
CN114519494A (zh) 一种用于配网不停电作业的智能调控系统及方法
CN112261509A (zh) 一种用电信息采集终端的抄表调度方法
CN114070198B (zh) 分布式光伏发电系统的故障诊断方法、装置和电子设备
CN117040007A (zh) 一种分布式电源并网连接方法
CN117332236B (zh) 一种虚拟电厂的数据跟踪检测方法、装置及存储介质
CN117220419B (zh) 一种电力调度方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant