CN117453690A - 电网数据仓库的数据处理方法、装置和计算机介质 - Google Patents

电网数据仓库的数据处理方法、装置和计算机介质 Download PDF

Info

Publication number
CN117453690A
CN117453690A CN202311418351.XA CN202311418351A CN117453690A CN 117453690 A CN117453690 A CN 117453690A CN 202311418351 A CN202311418351 A CN 202311418351A CN 117453690 A CN117453690 A CN 117453690A
Authority
CN
China
Prior art keywords
data
service
dimension
power grid
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311418351.XA
Other languages
English (en)
Inventor
张择坤
吴崇阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Great Wall Development Technology Co ltd
Original Assignee
Chengdu Great Wall Development Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Great Wall Development Technology Co ltd filed Critical Chengdu Great Wall Development Technology Co ltd
Priority to CN202311418351.XA priority Critical patent/CN117453690A/zh
Publication of CN117453690A publication Critical patent/CN117453690A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了电网数据仓库的数据处理方法、装置和计算机介质，其中方法包括：从各电网系统中采集获取电网业务数据；根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储；根据所属业务主题的预设分析维度划分所述规范业务数据，获得规范业务数据中按照预设分析维度描述所述业务主题的维度数据；通过对维度数据中的字段进行编号和属性标记生成维度表；根据维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。本申请解决了传统电网数据仓库无法对电网业务数据进行深度处理的问题。

Description

电网数据仓库的数据处理方法、装置和计算机介质
技术领域
本申请涉及数据处理领域，具体涉及一种电网数据仓库的数据处理方法、装置和计算机介质。
背景技术
随着智能电网的发展，分析处理电网业务数据以提取其中主要信息，对电网业务的开展具有重要的作用。电力领域中，往往会制作通用数据处理标准，并根据通用数据处理标准建立电网数据仓库，以对电网业务数据进行简单的规范处理，方便查阅调用。
但是随着电网业务数据量呈现爆炸式增长，电网业务数据愈发的繁多庞杂，电力领域需要对电网业务数据作深度处理，以一种更加直观、简洁的方式表示电网业务数据所包含的信息。
因此如何利用电网数据仓库对电网业务数据作深度处理，是当前所亟待需要解决的困境。
发明内容
本申请的旨在解决如何利用电网数据仓库对电网业务数据作深度处理的技术问题。
根据本申请实施例的一方面，本申请提供了一种电网数据仓库的数据处理方法，所述方法包括：
从各电网系统中采集获取电网业务数据；
根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储；
根据所属业务主题的预设分析维度划分所述规范业务数据，获得所述规范业务数据中按照所述预设分析维度描述所述业务主题的维度数据；
通过对所述维度数据中的字段进行编号和属性标记生成维度表；
根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
根据本申请实施例的一方面，所述方法还包括：
对生成的所述维度表和/或事实表中的各字段和/或字段对应的编号，根据各字段的属性和/或字段编号所对应字段的属性进行分区存储。
根据本申请实施例的一方面，所述根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储，包括：
按照所述电网业务数据所属的业务主题，对所述电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址，所述指定地址是指各业务主题对应的数据存储地址。
根据本申请实施例的一方面，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
感知到所述各业务主题对应的数据处理标准发生变更时，删除业务数据表，所述业务数据表包括所述维度表和事实表；
根据变更后的数据处理标准重建所述业务数据表。
根据本申请实施例的一方面，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
感知到所述各业务主题对应的数据处理标准发生变更时，根据变更后的数据处理标准重建业务数据表得到中间业务数据表，所述业务数据表包括所述维度表和事实表；
当所述电网数据仓库无数据分析任务时删除原业务数据表，将所述中间业务数据表更新为业务数据表。
根据本申请实施例的一方面，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
根据变更后的数据处理标准对所述维度表和所述事实表中的字段进行字段变更，所述字段变更包括字段添加、字段删除、字段编辑。
根据本申请实施例的一方面，所述根据所述维度表中各字段的编号，生成在所有分析维度下描述业务主题的事实表之后，所述方法还包括：
根据指定的检索字段对所述维度表和事实表进行字段检索和汇总得到目标数据表。
根据本申请实施例的一方面，本申请提供了一种电网数据仓库的数据处理装置，包括：
采集模块，用于从各电网系统中采集获取电网业务数据；
规范模块，用于根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储；
分析模块，用于根据所属业务主题的预设分析维度划分所述规范业务数据，获得所述规范业务数据中按照所述预设分析维度描述所述业务主题的维度数据；
第一建表模块，用于通过对所述维度数据中的字段进行编号和属性标记生成维度表；
第二建表模块，用于根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
根据本申请实施例的一方面，所述规范模块包括：
划分模块，用于按照所述电网业务数据所属的业务主题，对所述电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
转换模块，用于根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址，所述指定地址是指各业务主题对应的数据存储地址。
根据本申请实施例的一方面，本申请提供了一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述任意数据处理方法。
在本申请实施例中，首先对源于电网系统中电网业务数据，落地到电网数据仓库，然后根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储，根据所属业务主题的预设分析维度划分所述规范业务数据，获得规范业务数据中按照预设分析维度描述业务主题的维度数据，通过对维度数据中的字段进行编号和属性标记生成维度表；根据维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
本申请通过电网数据仓库对规范业务数据创建维度表和事实表来实现对电网业务数据的细化处理，一方面方便用户基于维度表和事实表对电网业务数据进行更深层次的数据处理。另一方面，以一种更加直观、简洁的方式表示电网业务数据所包含的信息。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请一个实施例的一种电网数据仓库的数据处理方法的流程图。
图2示出了根据本申请一个实施例的根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储的流程图。
图3示出了根据本申请一个实施例在获取事实表之后，一种电网数据仓库的数据处理方法的流程图。
图4示出了根据本申请另一个实施例在获取事实表之后，一种电网数据仓库的数据处理方法的流程图。
图5示出了根据本申请一个实施例的一种电网数据仓库的数据处理装置的示意图。
图6示出了根据本申请一个实施例的规范模块的示意图。
图7示出了根据本申请一个实施例的实施电网数据仓库的数据处理方法的硬件结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
请参阅图1，图1示出了根据本申请一个实施例的一种电网数据仓库的数据处理方法的流程图。本申请实施例提供了一种电网数据仓库的数据处理方法，包括：
步骤S210，从各电网系统中采集获取电网业务数据；
步骤S220，根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储；
步骤S230，根据所属业务主题的预设分析维度划分规范业务数据，获得规范业务数据中按照预设分析维度描述业务主题的维度数据；
步骤S240，通过对维度数据中的字段进行编号和属性标记生成维度表；
步骤S250，根据维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
下面对上述五个步骤进行详细描述。
在步骤S210中，电网数据仓库对电网系统在运行过程中产生各种电网业务数据进行抽取并存储。电网业务数据是指在电网运行中产生的各种运行痕迹和电网系统的终端所采集的信息，如，客户信息、用电情况、电力调度信息。
在步骤S220中，需要明确的是，因为电网业务数据是电网业务系统在执行不同电网业务时所产生的业务数据，而各电网业务都有与之对应的业务主题，所以电网系统执行电网业务时产生的电网业务数据，归属于电网业务所对应的业务主题。如电网系统在执行电网中客户业务过程中所产生的电网业务数据，归属客户主题。
基于业务主题的不同，电网数据仓库对不同业务主题下的电网业务数据有不同的数据处理标准。数据处理标准规定了各业务主题下业务数据的数据格式、存储方式、调用方式。
需要明确的是，在对电网业务数据进行的格式转换，包括对电网业务数据进行清洗和规范化。对电网业务数据的清洗是指将数据中重复的数据、信息不完整的数据删除；对数据的规范化是指将所有数据转化为相同的数据格式。
示例性的，数据中的各类日期数据分别表现为“2015、01、01”、“2015/01/01”、“2015年1月1日”，对日期数据进行规范化，使它们都表示为“2015/01/01”这种格式，便于后期对数据进行处理。
其次、便是通过数据处理标准对规范业务数据进行分类存储。在本申请一实施例中，根据规范业务数据的数据属性或者数据内容进行分类，如根据规范业务数据上被标记的标签对规范业务数据进行分类，又或者是根据规范业务数据的生成时间对规范业务数据进行分类，还可以通过筛选关键词对规范业务数据进行分类。
如在本申请一实施例中，对电网安全主题下的规范业务数据根据数据内容进行分类，分为记录安全事故发生情况数据的“事故信息”；记录安全检查、维修数据的“安全记录”；记录损失数据的“事故损失”三个部分，并分别存储至不同文件中。
进一步需要明确的是，对于各业务主题的规范业务数据，各业务主题的数据处理标准分别规定了调用端口，在需调用该业务主题下的规范业务数据时，从该业务主题所对应的数据调用端口调用规范业务数据。
在本申请一实施例中，数据处理标准为IEC(国际电工委员会，InternationalElectrotechnical Commission)61970/61968标准，电网数据仓库根据国际标准IEC61970/61968对各电网系统建立CIM(公用信息模型，Common Information Model)模型，获取电网系统运行所产生的电网业务数据，以对获取的电网业务数据进行处理得到规范业务数据，并分类存储。IEC 61970/61968标准是国际电工委员会制定的电网系统的通用数据处理标准，该标准不仅定义对电网业务数据的格式要求，规范业务数据的调用端口。还定义了电网系统中各硬件设备的编号、硬件之间的通信端口，以便于电网系统中各个硬件设备之间的数据流通。电网数据仓库根据国际标准IEC 61970/61968建立CIM模型，对获取的电网业务数据进行数据处理，得到规范业务数据。
请参阅图2，图2示出了根据本申请一个实施例的根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储的流程图。本申请实施例提供了根据业务主题，对电网业务数据进行格式转换得到规范业务数据，并分类存储的步骤S220，包括：
步骤S221，按照电网业务数据所属的业务主题，对电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
步骤S222，根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址。
下面对上述两个步骤进行详细描述。
在步骤S221中，通过明确电网业务数据是在执行何种电网业务时所产生的，将电网业务数据划分至电网业务所对应的业务主题，即可得到业务主题下属的电网业务数据。
在步骤S222中，根据业务主题所对应的数据处理标准对其所属的电网业务数据进行数据格式转换，得到规范业务数据。将各业务主题所对应的规范业务数据存储至数据处理标准的指定地址，指定地址是指各业务主题对应的数据存储地址。需要明确的是，各个业务主题下的规范业务数据均对应设置有对应的调用端口，以便于对规范业务数据的查询调用。
在步骤中S230中，电网数据仓库对每个业务主题所对应的规范业务数据都预设有分析维度，根据预设的分析维度对规范业务数据进行数据划分提取得到对应业务主题的维度数据。分析维度是指分析数据的角度，如时间、地域、用户等。
具体的，对规范业务数据进行数据划分提取采用下述方式进行，根据分析维度，对规范业务数据进行筛选得到与分析维度相关的数据，再根据分析维度对相关数据进行分类，以明确每一条规范业务数据所对应的分析维度，最后在分类后的规范业务数据中整合对应同一分析维度的规范业务数据，得到各分析维度所对应的维度数据。
在步骤S240中，以分析维度为主键，以分析维度所对应的维度数据为内容，生成维度表。对维度表中的各字段进行编号，需要明确的是对维度表中各字段进行编号时，可以根据预先设定的编号规则，如根据字段产生的时间进行编号，也可以响应用户指令对维度表中各字段进行编号。
在本申请一实施例中，维度表中记录了其中各字段名称所对应的标号，以及各字段的属性信息，属性信息包括了该字段被标签标记的情况、字段创建时间等。
在步骤S250中，以维度表主键为外键生成事实表，事实表的外键与维度表主键相同，将各维度表中的数据进行汇总，得到事实表。需要明确的是，在对维度表中的各字段汇总至事实表时，使用各字段所对应的编号来代表各维度表中的各字段。
在本申请一实施例中，于事实表的外键与维度表的主键之间建立映射关系，使得维度表与事实表之间的相互关联。通过事实表外键所关联的维度表，可以明确各编号所对应的具体字段。
事实表中包括外键，所有外键组成事实表主键，每个外键都是主键的一部分，每个外键下的字段都具有对应的编号，并在外键所对应的维度表中记录。
在本申请一实施例中，事实表可以根据任意数量的维度表进行建立。且维度表与事实表的数量可以根据数据处理需要做任意数量的增加与删减。
当电网数据仓库以不同分析维度作为事实表主键生成多个事实表时，此时存在多个事实表具有相同的外键，那么多个事实表可以同时与同一维度表具有关联关系。
需要明确的是，事实表中还设有度量字段，如用电量、销售额。事实表通过度量字段结合源于维度表的字段编号，实现在不同维度对事实表中的度量字段进行描述。如事实表中显示的字段包括“用户、地区、时间、用电量”这四个字段，其中“用户”、“地区”、“时间”字段来自维度表，“用电量”是事实表欲要描述的度量字段。度量字段来源于第二业务数据所对应的业务主题，是体现业务主题对应的电网业务运行情况的数值。如产品业务主题下的事实表，其度量字段为“产品价格”和\或“产品销量”。
在本申请一实施例中，在获取维度表时，根据维度表中的字段，如字段的创建时间、字段所被标记的标签，进行分类并分别存储至不同的文件夹，以便于电网数据仓库在进行数据分析时调用不同属性的字段。
同样的，在获取事实表时，根据事实表中字段的属性，和/或字段编号所对应字段的属性，对事实表中的数据内容进行分类，并分别存储至不同的文件夹。
在本申请一实施例中，为避免事实表其中有过多外键，进而过多的外键关联太多维度表造成事实表冗余，因此将维度表分为一级维度表和二级维度表，一级维度表直接与事实表相互关联，二级维度表与一级维度表相互关联。这种关联关系称之为雪花模式。
在事实表的外键与一级维度表主键之间建立映射关系，以使得事实表与一级维度表相互关联，其中，建立映射关系的事实表外键与一级维度表主键为同一分析维度。在一级维度表中可以显示其主键所对应分析维度的各字段内容。此外一级维度表中还含有其他分析维度形成的外键。
一级维度表中每一外键所对应的维度数据分别形成二级维度表，二级维度表的主键就是一级维度表的外键，在一级维度表的外键与二级维度表主键之间建立映射关系，使得一级维度表与二级维度表之间的相互关联。
在本申请另一实施例中，为增加对事实表的分析维度，响应用户指令新建维度表，并在事实表中增加第一业务数据标主键为其外键。示例性的
为适应数据分析的需要，各业务主题下的数据处理标准随着数据分析需求的变化，也会随之产生改变。当电网数据仓库中业务主题下的数据处理标准发生变化时，则需要对维度表和事实表进行重新构建。
具体的，请参阅图3，图3示出了根据本申请一个实施例在获取事实表之后，一种电网数据仓库的数据处理方法的流程图。本申请实施例提供了在获取事实表之后，一种电网数据仓库的数据处理方法的步骤，包括：
步骤S301，感知到各业务主题对应的数据处理标准发生变更时，删除业务数据表；
步骤S302，根据变更后的数据处理标准重建所述业务数据表。
下面对上述两个步骤进行详细描述。
在步骤S301中，当电网数据仓库感知到电网各业务主题的数据处理标准发生变化，如对电网业务数据处理时的数据格式发生变化，或者对电网业务数据处理时新增保留字段，或新增删除字段，抑或是对于电网业务数据的存储地址，调用端口发生变化时，则将现有的维度表和事实表删除。
在本申请一实施例中，电网数据仓库可以通过间隔设定时间获取各业务主题的数据处理标准，与已经记录的各业务主题的数据处理标准进行对比，以判断各业务主题的数据处理标准是否发生变化。还可以通过监听电网数据仓库中是否有数据处理标注插入，来确定各业务主题的数据处理标准发生是否发生变化。
在步骤S302中，根据最新的各业务主题下的数据处理标准，对电网业务数据进行重新处理，依次构建维度表和事实表。
请参阅图4，图4示出了根据本申请另一个实施例在获取事实表之后，一种电网数据仓库的数据处理方法的流程图。本申请实施例提供了在获取事实表之后，一种电网数据仓库的数据处理方法的步骤，包括：
步骤S401，感知到各业务主题对应的数据处理标准发生变更时，根据变更后的数据处理标准重建业务数据表得到中间业务数据表；
步骤S402，当电网数据仓库无数据分析任务时删除原业务数据表，将中间业务数据表更新为业务数据表。
下面对上述两个步骤进行详细描述。
在步骤S401中，当电网数据仓库感知到各业务主题的数据标准发生变更时，先根据变更后的各业务主题的数据处理标准对电网业务数据进行处理，依次构建新的维度表和事实表，作为中间表进行存储。
在步骤S402中，当电网数据仓库无分析任务时，将原维度表和事实表进行删除，将中间表更新为维度表和事实表，使得电网数据仓库在后续进行数据分析时得以使用。
在本申请另一实施例中，当电网数据仓库感知到各业务主题的数据标准发生变更时，如对电网业务数据处理时的数据格式发生变化，或者对电网业务数据处理时新增保留字段，或新增删除字段，亦或是对规范业务数据的调用端口发生调整。则根据更新后的数据处理标准适应性的对维度表和事实表进行对应的字段进行增删，变更维度表和事实表中各字段或编号所对应字段的地址属性和调用端口，以完成对维度表和事实表的更新。
在本申请另一实施例中，电网数据仓库在获取事实表之后，还可以利用维度表和事实表进行数据分析，也即获取目标数据表。根据数据需求对维度表和/或事实表进行字段检索，获取对检索字段汇总形成的目标数据表。
具体的，在本申请一实施例中，利用维度表和事实表进行数据分析时，其实质上是获取度量值满足设定条件的字段并进行汇总。度量值是指字段编号所对应度量字段的具体数值，如某一用户的用电量，“用电量”为度量字段，该用户所对应用电量的具体数值即为度量值。
首先根据事实表中各字段编号所对应的度量值，确认并筛选出满足设定条件的字段编号，该字段编号即为检索字段所对应的编号。
其次根据维度表与事实表之间的关联关系，获取检索字段编号所在的维度表，在维度表中获取检索字段编号所对应的检索字段，将检索字段与其对应的度量值汇总到一张数据表中，就得到了目标数据表。
需要明确的是，当需要检索字段具有多种度量值时，且这些度量值所属度量字段分别源于不同的事实表时，如用电费用、用电量、用电时长。则需要对多个事实表分别获取检索字段编号所对应的度量值，然后再根据事实表中的字段编号，获取检索字段。最后将检索字段与其所对应的度量值进行汇总，得到目标数据表。
请参阅图5，图5示出了根据本申请一个实施例的一种电网数据仓库的数据处理装置的示意图。本申请实施例提供了一种电网数据仓库的数据处理装置，包括：
采集模块610，用于从各电网系统中采集获取电网业务数据；
规范模块620，用于根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储；
分析模块630，用于根据所属业务主题的预设分析维度划分所述规范业务数据，获得所述规范业务数据中按照所述预设分析维度描述所述业务主题的维度数据；
第一建表模块640，用于通过对所述维度数据中的字段进行编号和属性标记生成维度表；
第二建表模块650，用于根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
请参阅图6，图6示出了根据本申请一个实施例的规范模块的示意图。本申请实施例提供了规范模块，包括：
划分模块621，用于按照所述电网业务数据所属的业务主题，对所述电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
转换模块622，用于根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址，所述指定地址是指各业务主题对应的数据存储地址。
在本申请一实施例中，本申请所提供的电网数据仓库的数据处理方法，可以进行以下应用，根据IEC-61968/61970标准中对用电计量相关领域的电网业务主题、以及通信端口的相关定义，构建CIM模型以对电网业务数据进行处理，具体的，CIM模型根据IEC-61968/61970标准，对在电网系统中产生的电网业务数据进行分类和存储，指定各业务主题之间的通信端口以及数据交换格式，以便于获取不同业务主题下的电网业务数据。根据电网的组成部分以及电网所执行的业务，指定电网业务数据的业务主题，以及各组成部分之间的数据通信端口。并对电网业务数据中的各组件，如变压器、发电厂等等进行统一的命名，并定义这些组件的属性。
通过CIM模型获取电网运行所产生的电网业务数据，并对电网业务数据进行处理划分，使得电网业务数据满足IEC-61968/61970标准中对电网业务数据格式的要求，以及对电网业务数据的主题划分，得到处理后的规范业务数据。
根据规范业务数据所属的业务主题，生成对应的事实表和维度表，示例性的，创建一个名为“MeterReadingFact(仪表读数事实)”的事实表来存储用电计量数据，其中仪表读数就是事实表的度量，也可以称之为事实。然后创建维度表“ServiceDeliveryPointDim(交付点维度)”和“TimeDim(时间维度)”分别存储与服务交付点和时间相关的描述性信息。也既通过事实表与维度表，描述了在何时、何交付点的仪表读数。在事实表“MeterReadingFact”中设置外键，分别指向维度表“ServiceDeliveryPointDim”和“TimeDim”，表示事实表与维度表之间的关联。
同时，在需要对上述方法进行优化时，应用维度建模思想，对数据仓库中对数据处理的方式进行优化，也既对数据处理过程进行优化。例如，为提高查询性能，可以将部分维度表进行雪花模式展开，或者使用聚集表来加速统计类查询。同时，为提高扩展性，可以采用分区表、索引视图等技术，以便于用户在使用电网数据仓库时可以便捷应用。
同时还可以如步骤S301、S302、S401、S402的方式，建立中间数据表、或重建数据表，或对数据表中的字段直接进行修改后的标准进行编辑修改，使得维度表和事实表可以满足最新的数据要求。
在本申请另一实施例中，根据IEC-61970标准所定义的业务主题以及数据处理标准，如TopologicalNode(拓扑节点)、Terminal(终端设备)、ConnectivityNode(连接节点)等，构建CIM模型以对电网业务数据进行处理。
根据选定的业务主题构建事实表与维度表，如创建一个名为“TopologyFact(拓扑事实)”的事实表来存储电网拓扑关系数据，创建维度表“TopologicalNodeDim(拓扑节点维度)”和“TerminalDim(时间维度)”分别存储与拓扑节点和终端相关的描述性信息。在事实表“TopologyFact”中设置外键，分别指向维度表“TopologicalNodeDim”和“TerminalDim”，表示事实表与维度表之间的关联。也既通过上述事实表和维度表，描述在何节点、何时的电网拓扑情况。
应用维度建模思想，对数据仓库中数据抽取程以及数据处理过程进行优化。例如，为提高查询性能，可以将部分维度表进行雪花模式展开，或者使用聚集表来加速统计类查询。同时，为提高扩展性，可以采用分区表、索引视图等技术。
需要明确的是，本申请还可以需要时，引入额外的维度表以增强对业务主题的分析功能。例如，可以创建一个名为“SubstationDim(基站维度)”的维度表来存储变电站的相关信息，以便对电网拓扑关系进行更丰富的分析。也就是说，加入这个维度之后事实表与维度表描述的就是描述在何节点、何时、以及何基站的电网拓扑情况。
设计ETL(Extract(抽取),Transform(转换),Load(载入))过程，从电网系统中提取电网业务数据，经过清洗、转换等处理后，将数据加载到CIM模型中，也既电网数据仓库中，电网数据仓库将CIM模型作电网业务数据的贴源层，也既电网业务数据仓库的存储电网业务数据的地方。在此过程中，可以利用IEC-61970标准中定义的电网系统中电网业务数据的数据交换格式和接口，实现电网业务数据的的兼容性。
根据本申请实施例的电网数据仓库的数据处理方法可以由图7的硬件设备来实现。下面参照图7来描述根据本申请实施例的电网数据仓库。图7显示的电网数据仓库仅仅是一个示例，不应对本申请实施例的功能和适用范围带来任何限制。
如图7所示，电网数据仓库可以以通用计算设备的形式表现。电网数据仓库的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的各个步骤。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电网数据仓库也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电网数据仓库交互的设备通信，和/或与使得该电网数据仓库能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电网数据仓库还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与其它的其它模块通信。应当明白，尽管图中未示出，可以结合电网数据仓库使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种电网数据仓库的数据处理方法，其特征在于，所述方法包括：
从各电网系统中采集获取电网业务数据；
根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储；
根据所属业务主题的预设分析维度划分所述规范业务数据，获得所述规范业务数据中按照所述预设分析维度描述所述业务主题的维度数据；
通过对所述维度数据中的字段进行编号和属性标记生成维度表；
根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对生成的所述维度表和/或事实表中的各字段和/或字段对应的编号，根据各字段的属性和/或字段编号所对应字段的属性进行分区存储。
3.根据权利要求1所述的方法，其特征在于，所述根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储，包括：
按照所述电网业务数据所属的业务主题，对所述电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址，所述指定地址是指各业务主题对应的数据存储地址。
4.根据权利要求3所述的方法，其特征在于，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
感知到所述各业务主题对应的数据处理标准发生变更时，删除业务数据表，所述业务数据表包括所述维度表和事实表；
根据变更后的数据处理标准重建所述业务数据表。
5.根据权利要求3所述的方法，其特征在于，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
感知到所述各业务主题对应的数据处理标准发生变更时，根据变更后的数据处理标准重建业务数据表得到中间业务数据表，所述业务数据表包括所述维度表和事实表；
当所述电网数据仓库无数据分析任务时删除原业务数据表，将所述中间业务数据表更新为业务数据表。
6.根据权利要求3所述的方法，其特征在于，所述根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表之后，所述方法还包括：
根据变更后的数据处理标准对所述维度表和所述事实表中的字段进行字段变更，所述字段变更包括字段添加、字段删除、字段编辑。
7.根据权利要求1所述的方法，其特征在于，所述根据所述维度表中各字段的编号，生成在所有分析维度下描述业务主题的事实表之后，所述方法还包括：
根据指定的检索字段对所述维度表和事实表进行字段检索和汇总得到目标数据表。
8.一种电网数据仓库的数据处理装置，其特征在于，包括：
采集模块，用于从各电网系统中采集获取电网业务数据；
规范模块，用于根据业务主题，对所述电网业务数据进行格式转换得到规范业务数据，并分类存储；
分析模块，用于根据所属业务主题的预设分析维度划分所述规范业务数据，获得所述规范业务数据中按照所述预设分析维度描述所述业务主题的维度数据；
第一建表模块，用于通过对所述维度数据中的字段进行编号和属性标记生成维度表；
第二建表模块，用于根据所述维度表记录的各字段的编号，生成通过全分析维度描述业务主题的事实表。
9.根据权利要求8所述的装置，其特征在于，所述规范模块包括：
划分模块，用于按照所述电网业务数据所属的业务主题，对所述电网业务数据进行类型划分，得到对应于业务主题的电网业务数据；
转换模块，用于根据各业务主题所对应的数据处理标准，对业务主题下属电网业务数据进行数据格式转换得到规范业务数据并存储至指定地址，所述指定地址是指各业务主题对应的数据存储地址。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-7中任一项所述的数据处理方法。
CN202311418351.XA 2023-10-30 2023-10-30 电网数据仓库的数据处理方法、装置和计算机介质 Pending CN117453690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311418351.XA CN117453690A (zh) 2023-10-30 2023-10-30 电网数据仓库的数据处理方法、装置和计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311418351.XA CN117453690A (zh) 2023-10-30 2023-10-30 电网数据仓库的数据处理方法、装置和计算机介质

Publications (1)

Publication Number Publication Date
CN117453690A true CN117453690A (zh) 2024-01-26

Family

ID=89588703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311418351.XA Pending CN117453690A (zh) 2023-10-30 2023-10-30 电网数据仓库的数据处理方法、装置和计算机介质

Country Status (1)

Country Link
CN (1) CN117453690A (zh)

Similar Documents

Publication Publication Date Title
US7111018B1 (en) System and method for integrating electrical power grid and related data from various proprietary raw data formats into a single maintainable electrically connected database
CN110490761B (zh) 一种电网配网设备台账数据模型建模方法
CN109582906B (zh) 数据可靠度的确定方法、装置、设备和存储介质
CN114443854A (zh) 多源异构数据的处理方法、装置、计算机设备及存储介质
CN116244387A (zh) 实体关系构建方法、装置、电子设备及存储介质
CN110889013B (zh) 一种基于xml的数据关联方法、装置、服务器及存储介质
CN113326261B (zh) 数据血缘关系提取方法、装置及电子设备
CN112395370B (zh) 一种数据处理方法、装置、设备和存储介质
CN111782820B (zh) 知识图谱创建方法及装置、可读存储介质及电子设备
CN111597166B (zh) 电力数据库模型构建方法、装置、计算机设备和存储介质
CN111177227B (zh) 一种电力数据自助式分析系统及决策应用类迁移方法
CN116561161A (zh) 一种基于mysql数据库行为的数据回溯方法、系统及存储介质
CN117453690A (zh) 电网数据仓库的数据处理方法、装置和计算机介质
CN115543428A (zh) 一种基于策略模板的模拟数据生成方法和装置
CN112416713A (zh) 操作审计系统及方法、计算机可读存储介质、电子设备
CN113806556A (zh) 基于电网数据的知识图谱的构建方法、装置、设备及介质
CN113792138A (zh) 报表生成方法、装置、电子设备及存储介质
CN113987785B (zh) 用于核电站dcs系统算法块完整信息的管理方法和装置
CN112486992B (zh) 一种数据存储方法及系统
CN113760891B (zh) 一种数据表的生成方法、装置、设备和存储介质
CN116501726B (zh) 基于GraphX图计算的信创云平台数据化运营系统
CN111309683B (zh) 扫描全盘数据的方法及装置
CN113779035A (zh) 一种变电站数据资产管理方法、系统及存储介质
CN106257413A (zh) 将多个信息源的信息及工具统一化的方法以及产品与装置
CN115630170A (zh) 一种文档推荐方法、系统、终端机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination