CN117807072A - 一种电网数据治理方法及系统 - Google Patents

Abstract

本发明公开了一种电网数据治理方法及系统，包括数据集成采集模块、数据分析核查模块、存储分析模块和治理信息输出模块，本发明涉及电网数据治理技术领域，解决了单一形式的存储降低了的数据整体的安全性的技术问题，本发明通过对电网数据进行分类处理，从而针对分类处理的数据进行不同的预处理操作，从而保证得到的电网数据正确性，进一步地提高数据后续的可用性，其次根据数据的容量对其进行不同方式的存储，同时根据数据自身的特性来进行存储，一方面能够实现对数据的加密，从而提高数据的安全性，另一方面拆分式的存储方式能够方便后续对数据的读取。

Description

一种电网数据治理方法及系统

技术领域

本发明涉及电网数据治理技术领域，具体为一种电网数据治理方法及系统。

背景技术

随着公司电网的快速发展，信息化支撑能力不断提升，数据管理体系机制需要完善。配网、用电等数据存在盲区，离线、在线模型参数仍存在不一致，部分专业的数据尚未纳入统一管理、缺乏顶层设计，全网协同机制和数据管理体系仍需进一步完善。

根据申请号为CN202211033125.5的专利显示，该专利包括：抽取待治理的电网数据，并定义应用和元数据；针对所述电网数据进行数据流、清洗规则、关联规则的配置；基于配置的数据流、清洗规则和关联规则进行电网数据的清洗转换，并将清洗转换后的数据导入目的库，以实现电网数据的治理。

上述专利根据实际业务需求制定业务数据清洗与关联规则，由业务需求者制定规则的表达描述方法和规范约束，配置实际可实施治理的规则，配置满足个性化需求的数据治理页面；将获取到的数据根据定义的规则对数据进行质量检查，在检查过程中可随时扩充规则库，为治理同类型业务情况奠定基础，对不满足要求的数据进行数据处理，有利于提供正确、合理的数据供使用。

但是上述专利只是针对数据进行简单的清洗处理，而针对数据后续的存储没有进行很好的处理，不同容量数据在后续存储和读取的时候会存在不同的差异，其次单一形式的存储会给数据的安全造成影响。

发明内容

针对现有技术的不足，本发明提供了一种电网数据治理方法及系统，解决了单一形式的存储降低了的数据整体的安全性的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种电网数据治理系统，包括数据集成采集模块、数据分析核查模块、治理进度输出模块、存储分析模块和治理信息输出模块。

数据集成采集模块，用于将获取到的电网数据基础信息传输到数据分析核查模块，其中电网数据基础信息包括容量值。具体地，其中数据集成采集模块还获取到对应的电网数据。

数据分析核查模块，用于对获取到的电网数据进行预处理操作得到预处理数据，同时将预处理数据传输到存储分析模块，且预处理操作只要包括对数据进行一致性核验和对电网数据中的脏数据进行处理，且脏数据类型包括命名不规范导致的错误、拼写错误、输入错误、空值等。

具体地对电网数据进行预处理的方式如下：

S1：获取到电网数据并对其进行识别，通过判断电网数据中是否存在脏数据来将其进行脏数据和正常数据的分类，并对正常数据和脏数据进行分别处理。具体的，正常数据可以理解为非脏数据。

S2：获取到脏数据，并对脏数据的类型进行识别，判断脏数据是否为空值，若为空值则直接对空值进行删除，反之则对其进行定位查找，且空值可以理解为在任意一个数据中存在空格情况的，空值即表示为存在空格，接着将脏数据与数据常用名进行匹配，同时将其所处位置进行标记，且具体的标记为不规范标记处理。本申请中对脏数据的主要分析是将其分类为“空值和不规范”，针对不规范的数据则通过常用名对其进行匹配，然后将不规范数据进行标记。

S3：获取到正常数据，并对正常数据中的重复数据进行查找，且重复数据表示为在数据集中存在类似或完全相同的记录或观测值，同时将查找的重复数据进行标号，同时对其进行删除得到预处理数据。

存储分析模块，用于获取到传输的预处理数据，其中获取到的预处理数据包括其对应的数据容量，并根据预处理数据对应的数据容量对其进行数据分割处理得到多组数据段，且具体的分割方式如下：

获取到预处理数据并对获取到其对应的容量，并将其按照容量从大到小进行标号处理记作i，且i＝1、2、…、j，同时将其容量记作Ri，接着将预处理数据i按照容量Ri均分成九份数据段，且对数据段按照顺序进行标号。

接着对得到的数据段进行完整性判断，将其分类为完整数据段和不完整数据段，且分别对二者进行分析，具体的对数据完整性判断的方式可以通过异常监测对其完整性进行判断，识别和处理数据中的异常值、异常情况或错误信息，以确保数据的准确性和一致性。

对完整数据段的分析方式如下：

获取到任一数据段并将其记作为目标数据段，同时获取到目标数据段对应的数据容量记作R，接着对数据容量数值的奇偶性进行判断，当数据容量数值为奇数时，则将目标数据段进行二进制转换得到二进制目标数据段，当数据容量值为偶数时，则将目标数据段进行多进制转换得到多进制目标数据段；具体的，多进制数据转换可以理解为将整个数据转换成包括进制数和英文字母结合的形式。

当转换得到二进制目标数据段时，对其进行存储分析的具体方式为：

A1：获取到二进制目标数据段中二进制数1和0的个数，同时将二者的个数进行比较，若二进制数1的个数大于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数1用二进制数0进行替换，得到替换目标数据段；

A2：若二进制数1的个数小于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数0用二进制数1进行替换，得到替换目标数据段。具体地，默认二进制数1的个数与0的个数不相等。

当转换得到多进制目标数据段时，对其进行存储分析的具体方式为：

获取到多进制目标数据段中的字母进制数量，并对其数值的奇偶性进行判断，当字母进制数量为奇数时，则将多进制目标数据段中位于偶数位的进制数1替换成0，并得到替换目标数据段，当字母进制数量为偶数时，则将多进制目标数据段中位于偶数位的进制数0替换成1，并得到目标数据段。具体的，此处对完整数据段进行多进制转换，转换后得到的进制数并不是完全由数字组成，其中会生成字母，且进行多进制转换利用进制转换器进行转换得到。

获取到所有的替换目标数据段，并将其进行二次均分处理，且二次均分表示为将替换目标数据段均分成两段，并将得到的完整数据组进行存储，生成对应的存储信息。

信息输出模块，用于获取到传输的存储信息，并将其进行保存，用于后面的解密处理。

本发明提供了一种电网数据治理方法及系统。与现有技术相比具备以下

有益效果：

本发明通过对电网数据进行分类处理，从而针对分类处理的数据进行不同的预处理操作，从而保证得到的电网数据正确性，进一步的提高数据后续的可用性，其次根据数据的容量对其进行不同方式的存储，同时根据数据自身的特性来进行存储，一方面能够实现对数据的加密，从而提高数据的安全性，另一方面拆分式的存储方式能够方便后续对数据的读取。

附图说明

图1为本发明系统框图；

图2为本发明方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本申请提供了一种电网数据治理系统，包括：数据集成采集模块、数据分析核查模块、治理进度输出模块、存储分析模块和治理信息输出模块，且各个单元之间为单向电性连接。

实施例一

数据集成采集模块，用于将获取到的电网数据基础信息传输到数据分析核查模块，其中电网数据基础信息包括容量值。具体地，其中数据集成采集模块还获取到对应的电网数据，且对电网数据的获取是通过集成获取的数据。

数据分析核查模块，用于对获取到的电网数据进行预处理操作得到预处理数据，同时将预处理数据传输到存储分析模块和治理进度输出模块，且预处理操作主要包括对数据进行一致性核验和对电网数据中的脏数据进行处理，且脏数据类型包括命名不规范导致的错误、拼写错误、输入错误、空值等。

具体地对电网数据进行预处理的方式如下：

S1：获取到电网数据并对其进行识别，通过判断电网数据中是否存在脏数据来将其进行脏数据和正常数据的分类，并对正常数据和脏数据进行分别处理。具体的，正常数据可以理解为非脏数据。

S2：获取到脏数据，并对脏数据的类型进行识别，判断脏数据是否为空值，若为空值则直接对空值进行删除，反之则对其进行定位查找，且空值可以理解为在任意一个数据中存在空格情况的，空值即表示为存在空格，接着将脏数据与数据常用名进行匹配，同时将其所处位置进行标记，且具体的标记为不规范标记处理。本申请中对脏数据的主要分析是将其分类为“空值和不规范”，针对不规范的数据则通过常用名对其进行匹配，然后将不规范数据进行标记。

S3：获取到正常数据，并对正常数据中的重复数据进行查找，且重复数据表示为在数据集中存在类似或完全相同的记录或观测值，同时将查找的重复数据进行标号，同时对其进行删除得到预处理数据。

结合实际分析，比如其中一组电网数据为“当前总发电量为2000KW，其中煤碳发电量为1200KW，太阳能产电量为500KW，其余发电量为300KW”，在该组电网数据中，“当前总发电量为2000KW”中存在“空值”也就是“空格”，因此将“当前总发电量为2000KW”分类为脏数据中的空值，而“太阳能产电量为500KW”中在电网数据常用名中采用“发电量”进行表示，因此“太阳能产电量为500KW”则分类为脏数据中的不规范，进一步的会对其进行标记处理。

治理进度输出模块，用于获取到传输的预处理数据，并将预处理数据的处理进度通过显示设备显示给操作人员。通过治理进度输出模块能够及时的对集成获取到的数据进行实时观察。

存储分析模块，用于获取到传输的预处理数据，其中获取到的预处理数据包括其对应的数据容量，并根据预处理数据对应的数据容量对其进行数据分割处理得到多组数据段，且具体的分割方式如下：

获取到预处理数据并对获取到其对应的容量，并将其按照容量从大到小进行标号处理记作i，且i＝1、2、…、j，同时将其容量记作Ri，接着将预处理数据i按照容量Ri均分成九份数据段，且对数据段按照顺序进行标号。

接着对得到的数据段进行完整性判断，将其分类为完整数据段和不完整数据段，且分别对二者进行分析，具体的对数据完整性判断的方式可以通过异常监测对其完整性进行判断，识别和处理数据中的异常值、异常情况或错误信息，以确保数据的准确性和一致性。

对完整数据段的分析方式如下：

获取到任一数据段并将其记作为目标数据段，同时获取到目标数据段对应的数据容量记作R，接着对数据容量数值的奇偶性进行判断，当数据容量数值为奇数时，则将目标数据段进行二进制转换得到二进制目标数据段，当数据容量值为偶数时，则将目标数据段进行多进制转换得到多进制目标数据段；具体的，多进制数据转换可以理解为将整个数据转换成包括进制数和英文字母结合的形式。

当转换得到二进制目标数据段时，对其进行存储分析的具体方式为：

A1：获取到二进制目标数据段中二进制数1和0的个数，同时将二者的个数进行比较，若二进制数1的个数大于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数1用二进制数0进行替换，得到替换目标数据段；

A2：若二进制数1的个数小于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数0用二进制数1进行替换，得到替换目标数据段。具体地，默认二进制数1的个数与0的个数不相等。

结合实际分析，例如二进制目标数据段为101001110010100，然后对其中1个0的个数进行获取分析，其中1的个数为7个，0的个数为8个，然后将位于奇数位的二进制数0替换成1，最终替换后得到的替换目标数据段位10101111010101，再另一种情况下的二进制目标数据段为001101010010100，此时0的个数为9个，1的个数为6个，然后将位于奇数位的二进制数1替换成0，则替换后的结果为001111111010101。

当转换得到多进制目标数据段时，对其进行存储分析的具体方式为：

获取到多进制目标数据段中的字母进制数量，并对其数值的奇偶性进行判断，当字母进制数量为奇数时，则将多进制目标数据段中位于偶数位的进制数1替换成0，并得到替换目标数据段，当字母进制数量为偶数时，则将多进制目标数据段中位于偶数位的进制数0替换成1，并得到目标数据段。具体的，此处对完整数据段进行多进制转换，转换后得到的进制数并不是完全由数字组成，其中会生成字母，且进行多进制转换利用进制转换器进行转换得到。

获取到所有的替换目标数据段，并将其进行二次均分处理，且二次均分表示为将替换目标数据段均分成两段，并将得到的完整数据组进行存储，生成对应的存储信息。

实施例二，作为本发明的实施例二，与实施例一的区别之处在于，存储分析模块对不完整数据段进行分析。

对不完整数据段的分析方式如下：

获取到所有的不完整数据段并对其进行标号处理记作n，且n＝1、2、…、m，同时获取到不完整数据段对应的数据容量记作Rn，接着根据数据容量Rn对不完整数据段进行分割；

当数据容量Rn为奇数时，则将不完整数据段按照数据容量均分成三份得到不完整数据组，且不完整数据组的标号与分割之前的不完整数据段标号相同，当数据容量Rn为偶数时，则将不完整数据段按照数据容量均分成两份得到不完整数据组，接着将其进行存储。生成对应的存储信息。

结合实际分析，比如一个不完整数据段，如果容量值为奇数，则对其均分成三份，然后再将这三份数据组进行存储，且均分成三份的数据组的标号与之前整段的不完整数据段标号相同，在存储的时候进行随机打乱排序存储，后续在读取的时候，将根据对应的标号进行重组。

实施例三，作为本发明的实施例三，与实施例一的区别之处在于，本实施例对二进制目标数据当二进制数1与二进制数0数量相同时进行分析，且具体的分析方式如下：

当二进制数1的个数与二进制数0的个数相同时，则将二进制目标数据段整体进行倒序处理，并得到替换目标数据段，同时将其均分成两份完整数据组，接着对其进行存储，生成存储信息。

结合实际分析，比如二进制目标数据段为1010011100101001，其中1和0的个数相同，则将整个二进制目标数据段整体进行倒序后得到1001010011100101，将此作为替换目标数据段，然后再对其进行均分处理。

实施例四，作为本发明的实施例四，重点在于将实施例一、实施例二和实施例三的实施过程结合实施。

一种电网数据治理方法，该方法具体包括以下步骤：

步骤一：对电网数据进行脏数据和正常数据分类，并对根据脏数据的类型进行删除和不规范标记处理，对正常数据中的重复数据进行删除得到预处理数据；

步骤二：对预处理数据进行九等份分割得到数据段，并对数据段的完整性进行判断得到完整数据段和不完整数据段；

步骤三：接着根据完整数据段数据容量值的奇偶性对其进行不同进制的转换，并根据转换后进制数的特征进行存储处理得到存储信息；

步骤四：根据不完整数据段数据容量值的奇偶性对其进行不同方式的分割，并对其进行存储得到存储信息。

上述公式中的部分数据均是去其纲量进行数值计算，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (9)

1.一种电网数据治理系统，其特征在于，包括：

数据分析核查模块，用于对获取到的电网数据进行识别并将其分类为脏数据和正常数据，同时根据脏数据的类型对其进行删除和不规范标记处理得到预处理数据，对正常数据中的重复数据进行删除得到预处理数据，接着将预处理数据传输到存储分析模块；

存储分析模块，用于获取到传输的预处理数据，同时根据其数据容量对预处理数据进行九等份分割得到数据段，并对数据段的完整性进行判断得到完整数据段和不完整数据段；

接着根据完整数据段数据容量值的奇偶性对其进行不同进制的转换，并根据转换后进制数的特征进行存储处理得到存储信息；

根据不完整数据段数据容量值的奇偶性对其进行不同方式的分割，并对其进行存储得到存储信息；

并将存储信息传输到信息输出模块。

2.根据权利要求1所述的一种电网数据治理系统，其特征在于，所述预处理模块对电网数据进行识别处理得到预处理数据的方式为：

S1：获取到电网数据并将其进行脏数据和正常数据的分类；

S2：获取到脏数据，判断脏数据是否为空值，若为空值则直接对空值进行删除得到预处理数据，反之则将脏数据与数据常用名进行匹配，同时将其所处位置进行标记，且具体的标记为不规范标记处理，得到预处理数据；

S3：获取到正常数据，并对正常数据中的重复数据进行查找进行删除得到预处理数据。

3.根据权利要求1所述的一种电网数据治理系统，其特征在于，所述存储分析模块对预处理数据进行分割识别的方式为：

获取到预处理数据并对获取到其对应的容量，并将其按照容量从大到小进行标号处理记作i，且i＝1、2、…、j，同时将其容量记作Ri，接着将预处理数据i按照容量Ri均分成九份数据段，接着将数据段按照数据的完整性分类为完整数据段和不完整数据段。

4.根据权利要求3所述的一种电网数据治理系统，其特征在于，所述存储分析模块对数据段完整性判断的方式为：识别和处理数据中的异常值、异常情况或错误信息，并将存在异常值对应的数据段分类为不完整数据，将不存在异常值对应的数据段分类为完整数据。

5.根据权利要求1所述的一种电网数据治理系统，其特征在于，所述存储分析模块对完整数据段的分析方式为：

获取任一数据段并将其记作为目标数据段并将其数据容量记作R，当数据容量数值R为奇数时，则将目标数据段进行二进制转换得到二进制目标数据段，当数据容量值R为偶数时，则将目标数据段进行多进制转换得到多进制目标数据段。

6.根据权利要求5所述的一种电网数据治理系统，其特征在于，所述cinch分析模块对二进制目标数据段的存储分析为：

A1：获取到二进制目标数据段中二进制数1和0的个数，若二进制数1的个数大于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数1用二进制数0进行替换，得到替换目标数据段；

A2：若二进制数1的个数小于二进制数0的个数，则将二进制目标数据段中奇数位对应的二进制数0用二进制数1进行替换，得到替换目标数据段。

7.根据权利要求1所述的一种电网数据治理系统，其特征在于，所述存储分析模块对多进制目标数据段的存储分析为：

获取到多进制目标数据段中的字母进制数量，并对其数值的奇偶性进行判断，当字母进制数量为奇数时，则将多进制目标数据段中位于偶数位的进制数1替换成0，并得到替换目标数据段，当字母进制数量为偶数时，则将多进制目标数据段中位于偶数位的进制数0替换成1，并得到目标数据段；

获取到所有的替换目标数据段，并将其均分成两段，并将得到的完整数据组进行存储，生成对应的存储信息。

8.根据权利要求1所述的一种电网数据治理系统，其特征在于，所述存储分析模块对不完整数据段的分析方式为：

获取到所有的不完整数据段并对其进行标号处理记作n，且n＝1、2、…、m，同时获取到不完整数据段对应的数据容量记作Rn，接着根据数据容量Rn对不完整数据段进行分割；

当数据容量Rn为奇数时，则将不完整数据段按照数据容量均分成三份得到不完整数据组，当数据容量Rn为偶数时，则将不完整数据段按照数据容量均分成两份得到不完整数据组，接着将其进行存储，生成对应的存储信息。

9.执行权利要求1-8任一所述的一种电网数据治理系统的治理方法，其特征在于，该方法包括以下步骤：

步骤一：对电网数据进行脏数据和正常数据分类，并对根据脏数据的类型进行删除和不规范标记处理，对正常数据中的重复数据进行删除得到预处理数据；

步骤二：对预处理数据进行九等份分割得到数据段，并对数据段的完整性进行判断得到完整数据段和不完整数据段；

步骤三：接着根据完整数据段数据容量值的奇偶性对其进行不同进制的转换，并根据转换后进制数的特征进行存储处理得到存储信息；

步骤四：根据不完整数据段数据容量值的奇偶性对其进行不同方式的分割，并对其进行存储得到存储信息。