CN114691769A - 电力监控系统的非结构化数据处理方法、装置 - Google Patents
电力监控系统的非结构化数据处理方法、装置 Download PDFInfo
- Publication number
- CN114691769A CN114691769A CN202210366085.XA CN202210366085A CN114691769A CN 114691769 A CN114691769 A CN 114691769A CN 202210366085 A CN202210366085 A CN 202210366085A CN 114691769 A CN114691769 A CN 114691769A
- Authority
- CN
- China
- Prior art keywords
- data
- unstructured
- structured
- power grid
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 43
- 238000004519 manufacturing process Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Factory Administration (AREA)
Abstract
本公开涉及一种电力监控系统的非结构化数据处理方法、装置。所述方法包括：获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据；校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理，所述非结构化电网数据是根据所述电网监控数据的类型确定的；对所述非结构化电网数据进行转化处理，得到对应的结构化数据；输出所述结构化数据和所述结构化电网数据。采用本方法能够对电力监控系统得到的非结构化数据信息处理，以便于精确的掌握电力系统的各项信息。
Description
技术领域
本公开涉及数据处理技术领域，特别是涉及一种电力监控系统的非结构化数据处理方法、装置。
背景技术
随着社会的发展，电力的使用是我们生活必不可少的，电力系统在运行过程中有着非常庞大的信息量，包括结构化数据和非结构化数据，为了更好的掌握电力系统的各项信息，需要对运行状态进行实时的监控，进而对产生的结构化数据和非结构化数据进行分析。
而目前在电力领域面对得到的非结构化数据无法分析，难以精确的掌握电力系统的各项信息。因此目前急需一种对电力监控系统得到的非结构化数据信息处理的方法，以便于精确的掌握电力系统的各项信息。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对电力监控系统得到的非结构化数据信息处理，以便于精确的掌握电力系统的各项信息的电力监控系统的非结构化数据处理方法、装置。
第一方面，本公开提供了一种电力监控系统的非结构化数据处理方法。所述方法包括：
获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据；
校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理，所述非结构化电网数据是根据所述电网监控数据的类型确定的；
对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据；
输出所述结构化数据和所述结构化电网数据。
在其中一个实施例中，所述对所述非结构化电网数据进行转化处理，得到对应的结构化数据，包括：
根据非结构化电网数据的类型、以及对应的预先设置的数据抽取规则，将所述非结构化电网数据通过预先设置的半结构化模板进行输出，得到半结构化数据，所述非结构化电网数据的类型包括下述中至少一种：文本类型、表格类型、图片类型、视频类型；所述半结构化模板包括下述中至少一种：可扩展标记语言模板、数据交换格式模板；
解析所述半结构化数据，建立解析后的所述半结构化数据和非结构化电网数据对应的数据信息之间的映射关系，得到结构化数据。
在其中一个实施例中，所述获取电网监控数据，包括：
确定目标服务器的访问路径信息；
通过所述访问路径信息获取所述目标服务器中电网监控数据，所述电网监控数据是通过电网监控系统采集得到的；
根据所述电网监控数据的类型确定结构化电网数据和非结构化电网数据。
在其中一个实施例中，所述方法还包括：在所述非结构化电网数据校验未通过的情况下，清理所述非结构化电网数据。
在其中一个实施例中，所述根据预先设置的主副标签存储所述非结构化电网数据，包括：
生成所述非结构化电网数据对应的主标签；
识别所述非结构化电网数据，确定所述非结构化电网数据对应的数据信息；
根据所述非结构化电网数据对应的数据信息生成副标签；
根据所述主标签对所述非结构化电网数据进行分块存储；
在所述分块存储的存储区根据所述副标签进行检索并生成映射关系。
在其中一个实施例中，所述压缩处理包括：比较第N时间段和第N+1时间段中所述非结构化数据的变化数据，将所述变化数据通过哈希算法映射到内存中以及将所述变化数据存储到所述内存中，其中，N为正整数。
在其中一个实施例中，所述输出所述结构化数据和所述结构化电网数据，之前，所述方法还包括：
根据生产服务器的性能指标计算生产服务器的性能权重；
根据所述性能权重分配备份任务至生产服务器，所述备份任务用于指示所述生产服务器备份所述结构化数据和所述结构化电网数据。
第二方面，本公开还提供了一种电力监控系统的非结构化数据处理装置，所述装置包括：
数据获取模块，用于获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据；
校验处理模块，用于校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理；
转化处理模块，用于对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据，所述非结构化电网数据是根据所述电网监控数据的类型确定的；
数据输出模块，用于输出所述结构化数据和所述结构化电网数据。
第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
上述各实施例中，通过对非结构化电网数据进行校验，能够确定该非结构化电网数据是否符合标准，在符合标准的情况下，后续可以对非结构化电网数据进行处理。不会对不符合标准的非结构化电网数据进行处理，保证了处理效率。并且根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理，保证了处理非结构化数据过程的稳定性。对非结构化数据进行转化处理，能够对电力监控系统得到的非结构化数据信息处理得到结构化数据，以便于精确的掌握电力系统的各项信息。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电力监控系统的非结构化数据处理方法的应用环境示意图；
图2为一个实施例中电力监控系统的非结构化数据处理方法的流程示意图；
图3为一个实施例中S206步骤的流程示意图；
图4为一个实施例中S202步骤的流程示意图；
图5为一个实施例中S204步骤的流程示意图；
图6为一个实施例中电力监控系统的非结构化数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
正如背景技术所述，现有生活中，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等，计算机信息化系统中的数据分为结构化数据和非结构化数据。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等，非结构化数据在任何地方都可以得到。在公开的实施例中的非结构化数据通常是电网监控系统中得到的。传统的对电网数据分析的方法无法同时实现对数据的分析转化与推送，难以满足目前对电网各项信息的需求。
因此，为解决上述问题，本公开实施例提供了一种电力监控系统的非结构化数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与电网监控系统中的目标服务器104进行通信。终端102获取目标服务器104中的电网监控数据。电网监控数据中可以包括结构化的电网数据和非结构化电网数据。终端102校验电网监控数据中非结构化电网数据。终端102校验非结构化电网数据通过的情况下。终端102根据预先设置的主副标签存储非结构化电网数据。并且对不同时间段获取的非结构化数据进行压缩处理。并可以将压缩处理后的结构化数据存储在终端102或者后端服务器/客户端106中。终端102可以对结构化电网数据进行转化处理，得到非结构化对应的结构化数据。转化处理可以包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据。所述非结构化电网数据是根据所述电网监控数据的类型确定的。终端102将结构化数据和结构化电网数据输出至后端服务器/客户端106。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。目标服务器104、后端服务器/客户端106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种电力监控系统的非结构化数据处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S202，获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据。
其中，电网监控数据通常可以是通过电网监控系统采集的数据。电网监控系统可以对开关柜运行情况监控、电流电压等负载运行监控、母线测温监测、电缆测温监测、环境监测，进而得到对应的电网监控数据。结构化电网数据通常可以是具体明确的关系的数据。在电网监控系统采集电网监控数据的过程中，本领域技术人员可以根据预先设置的条件将一部分采集的电网监控数据确定明确的关系。有另一些电网监控数据因为其中对应的格式或者类型比较繁琐，所以通过预先设置的条件无法确定其明确的关系，则该数据可以是非结构化电网数据。
具体地，可以连接电网监控系统，获取电网监控系统的目标服务器中存储的电网监控数据。获取的电网监控数据中可以包括结构化电网数据和非结构化电网数据。
S204，校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理。
其中，主副标签通常可以是具有映射关系的标签。通常情况下可以通过副标签找到主标签对应的数据。压缩处理通常可以是对非结构化进行处理的一种方式，以减少存储空间。
具体地，可以对非结构化电网数据进行完整性校验，判断非结构化电网数据是否完整。可以通过奇偶校验、CRC循环冗余校验、bcc异或校验法等方法对非结构化电网数据进行校验。需要说明的是，此处本领域技术人员还可以对非结构化电网数据进行其他方式的校验，以及使用其他的校验方法对非结构化电网数据进行完整性校验。在本公开实施例中不进行限制具体校验的类型以及校验的方法。在上述对非结构化电网数据的校验均通过的情况下，可以根据预先设置的主副标签将非结构化电网数据根据映射关系进行存储，使得非结构化的电网数据便于检索。然后可以对获取的不同时间段的非结构化电网数据进行压缩处理，然后可以将压缩处理后的非结构化电网数据进行存储。可以根据当前时间压缩处理后的非结构化电网数据覆盖上一时间压缩处理后的非结构化电网数据。
在一些示例性的实施方式中，如当前时间为N，则可以将N时间点压缩处理后的非结构化电网数据覆盖N-1时间点压缩处理后的非结构化电网数据。
S206，对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据。
其中，半结构化数据和普通纯文本相比，半结构化数据具有一定的结构性。半结构化数据中结构模式附着或相融于数据本身，数据自身就描述了其相应结构模式。
具体地，可以将非结构化电网数据转换为半结构化数据。将半结构化数据转换为结构化数据。
S208，输出所述结构化数据和所述结构化电网数据。
具体地，上述将非结构化电网数据转换为结构化电网数据之后，可以输出结构化数据和结构化电网数据至客户端或后端服务器。当客户端或后端服务器接收到结构化数据和结构化电网数据后，可以对结构化数据和结构化电网数据进行分析，从而准确地得到电网的各项信息。
上述电力监控系统的非结构化数据处理方法中，通过对非结构化电网数据进行校验，能够确定该非结构化电网数据是否符合标准，在符合标准的情况下，后续可以对非结构化电网数据进行处理。不会对不符合标准的非结构化电网数据进行处理，保证了处理效率。并且根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理，保证了处理非结构化数据过程的稳定性。对非结构化数据进行转化处理，能够对电力监控系统得到的非结构化数据信息处理得到结构化数据，以便于精确的掌握电力系统的各项信息。
在一个实施例中，如图3所示，所述对所述非结构化电网数据进行转化处理，得到对应的结构化数据，包括：
S302，根据非结构化电网数据的类型、以及对应的预先设置的数据抽取规则，将所述非结构化电网数据通过预先设置的半结构化模板进行输出，得到半结构化数据，所述非结构化电网数据的类型包括下述中至少一种：文本类型、表格类型、图片类型、视频类型；所述半结构化模板包括下述中至少一种：可扩展标记语言模板、数据交换格式模板。
其中，预先设置的数据抽取规则通常可以是提取文本类型、表格类型、图片类型、视频类型中数据的规则。半结构化模板通常可以是将提取出的数据按照预先设置的数据排列模式形成固定的类型的模板。文本类型可以是word类型也可以是txt类型的文件。表格类型通常可以是Excel类型的文件。可扩展标记语言模板通常可以是XML(Extensible MarkupLanguage)模板。数据交换格式模板通常可以是JSON模板。
具体地，确定非结构化电网数据的类型。根据非结构化电网数据的类型以及对应的预先设置的数据抽取规则，获取非结构化电网数据中的电网信息。然后将该电网信息以预先设置的半结构化模板进行数据，得到半结构化数据。
在一些示例性的实施方式中，以非结构化电网数据的类型为word进行举例。如word文档中存储了：v1＝三相电压、A1＝电流、P1＝功率、P2＝功率因数、F＝频率、G＝电能、T＝温度、Location＝开关位置等信息。则可以设置与上述信息对应的字段。进而提取出对应的数据。从而得到电网信息。然后可以将上述电网信息，以XML文档的形式进行构建对应的半结构化模板。将电网信息输入半结构化模板中，最终得到半结构化数据，XML文档。
S304，解析所述半结构化数据，建立解析后的所述半结构化数据和非结构化电网数据对应的数据信息之间的映射关系，得到结构化数据。
具体地，解析半结构化数据，获取半结构化数据中的解析数据，然后将解析数据和电网信息建立对应的映射关系，即可将半结构化数据建立具体的明确关系。最终得到了结构化数据。
在一些示例性的实施方式中，可以通过DOM解析、SAX解析、JDOM解析、DOM4J解析对XML格式的文档进行解析。需要说明的是，其中前两种属于基础方法，是官方提供的平台无关的解析方式；后两种属于扩展方法，它们是在基础的方法上扩展出来的，通常情况下只适用于java平台。
本实施例中，通过半结构化数据建立非结构化数据和结构化数据之间的联系，能够将非结构化数据逐步转换为结构化数据，从而通过得到的结构化数据可以准确的掌握电力系统的各项信息。
在一个实施例中，如图4所示，所述获取电网监控数据，包括：
S402，确定目标服务器的访问路径信息。
S404，通过所述访问路径信息获取所述目标服务器中电网监控数据，所述电网监控数据是通过电网监控系统采集得到的。
S406，根据所述电网监控数据的类型确定结构化电网数据和非结构化电网数据。
其中，访问路径信息通常可以理解为目标服务器的地址。可以通过该信息找到目标服务器所在的地址，进而访问目标服务器。目标服务器通常可以理解为存储了电网监控信息的服务器或者数据，可以为一个或多个。
具体地，通过电网系统采集得到电网监控数据，可以将电网监控数据存储至目标服务器中。在获取电网监控数据之前需要先确定电网监控数据存储的目标服务器。确定目标服务器的访问路径信息。通过访问路径信息访问目标服务器获取目标服务器中存储的电网监控数据。可以根据电网监控数据的类型确定非结构化数据，通常情况下，电网监控数据的类型为办公文档，如word、ppt、Excel等、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等可以为非结构化数据。确定非结构化数据后，剩余的数据可以为结构化数据。确定结构化电网数据和非结构化电网数据，还可以将这些非结构化数据采集到可视化分析系统中，提供统一视角，将非结构数据组织成最终的业务主题呈现在展示画面上，以便于分析。
在本实施例中，通过目标服务器的访问路径信息能够确定目标服务器，进而得到电网监控数据，并且可以通过电网监控数据的类型快速的区分结构化电网数据和非结构化电网数据，提高了非结构化电网数据的处理效率。
在一个实施例中，所述方法还包括：在所述非结构化电网数据校验未通过的情况下，清理所述非结构化电网数据。
在本实施例中，在所述非结构化电网数据校验未通过的情况下，清理所述非结构化电网数据，可以将未校验通过的电网数据进行删除，释放空间。
在一个实施例中，如图5所示，所述根据预先设置的主副标签存储所述非结构化电网数据，包括：
S502，生成所述非结构化电网数据对应的主标签；
S504，识别所述非结构化电网数据，确定所述非结构化电网数据对应的数据信息；
S506，根据所述非结构化电网数据对应的数据信息生成副标签；
S508，根据所述主标签对所述非结构化电网数据进行分块存储；
S510，在所述分块存储的存储区根据所述副标签进行检索并生成映射关系。
具体地，上述在识别到非结构化电网数据后，可以生成该电网数据对应的主标签。识别非结构化电网数据，确定该非结构化电网数据信息，数据信息可以理解为非结构化电网数据所代表的数据类型，如代表电流类型、电压类型等等类型。根据数据信息生成副标签。基于主标签非结构化电网数据进行分块存储。在每块存储区域基于副标签进行检索主标签并生成和主标签的映射关系。
在本实施例中，通过主副标签的形式将非结构化数据进行存储可以充分利用每部分的存储空间，并且便于检索。
在一个实施例中，所述压缩处理包括：所述压缩处理包括：比较第N时间段和第N+1时间段中所述非结构化数据的变化数据，将所述变化数据通过哈希算法映射到内存中以及将所述变化数据存储到所述内存中，其中，N为正整数。
具体地，在进行压缩处理时，可以以获取得到的第一帧数据为基础的比较样本。获取到的第二帧数据和第一帧数据进行比较，得到两帧数据的变化数据。将得到的变化数据通过哈希算法映射到固定的内存空间中。将变化数据存储也对应存储到内存空间中。可以理解的是，在处理第N帧采样数据和第N+1帧采样数据时，同理。
在本实施例中，通过压缩变化数据可以节省存储非结构化数据的存储空间，并且在需要获取非结构化变化数据时，仅仅提取变化数据即可，且通过压缩算法进行处理，能够快速的进行检索，提升处理速度。
在一个实施例中，所述输出所述结构化数据和所述结构化电网数据，之前，所述方法还包括：
根据生产服务器的性能指标计算生产服务器的性能权重；
根据所述性能权重分配备份任务至生产服务器，所述备份任务用于指示所述生产服务器备份所述结构化数据和所述结构化电网数据。
其中，生产服务器通常可以理解为业务服务器，能够处理结构化数据和结构化电网数据的服务器。可以利用结构化数据和结构化电网数据的服务器执行对应的业务，如告警分析，预警，电力分析等等。性能指标通常可以是通过CPU、内存等等通过预设的方式计算出的指标。也可以是在出厂时生产服务器的厂家提供的指标。
具体地，可以通过生产服务器的性能指标计算生产服务器的性能权重。生产服务器可以为一个或多个。可以通过生产服务器将结构化数据和结构化电网数据备份至后端服务器或者客户端。当其中一个生产服务器接收到将结构化数据和结构化电网数据备份至后端服务器的备份任务时，针对此备份任务创建一个备份进程生成相应的备份策略，将备份策略分解成若干个子进程执行，并依据各生产服务器的性能权重将所有子进程分配至各生产服务器，各生产服务器中所有子进程依据各自的备份策略执行，分别将共享存储中数据备份至后端服务器中。
在本实施例中，通过性能指标分配备份任务，能够提高备份的效率，提升处理速度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的电力监控系统的非结构化数据处理方法的电力监控系统的非结构化数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电力监控系统的非结构化数据处理装置实施例中的具体限定可以参见上文中对于电力监控系统的非结构化数据处理方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种电力监控系统的非结构化数据处理装置600，包括：数据获取模块602、校验处理模块604、转化处理模块606、数据输出模块608，其中：
数据获取模块602，用于获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据。
校验处理模块604，用于校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理。
转化处理模块606，用于对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据，所述非结构化电网数据是根据所述电网监控数据的类型确定的，
数据输出模块608，用于输出所述结构化数据和所述结构化电网数据。
在所述装置的一个实施例中，所述转化处理模块606，包括：半结构化输出模块，用于根据非结构化电网数据的类型、以及对应的预先设置的数据抽取规则，将所述非结构化电网数据通过预先设置的半结构化模板进行输出，得到半结构化数据，所述非结构化电网数据的类型包括下述中至少一种：文本类型、表格类型、图片类型、视频类型；所述半结构化模板包括下述中至少一种：可扩展标记语言模板、数据交换格式模板。
半结构化解析模块，用于解析所述半结构化数据，建立解析后的所述半结构化数据和非结构化电网数据对应的数据信息之间的映射关系，得到结构化数据。
在所述装置的一个实施例中，所述数据获取模块602，包括：路径确定模块，路径访问模块，数据确定模块。
所述路径确定模块，用于确定目标服务器的访问路径信息。所述路径访问模块，用于通过所述访问路径信息获取所述目标服务器中电网监控数据，所述电网监控数据是通过电网监控系统采集得到的。
所述数据确定模块，用于根据所述电网监控数据的类型确定结构化电网数据和非结构化电网数据。
在所述装置的一个实施例中，所述装置还包括，数据清理模块，用于在所述非结构化电网数据校验未通过的情况下，清理所述非结构化电网数据。
在所述装置的一个实施例中，所述校验处理模块604，包括：标签生成模块、识别模块、分块存储模块、关系生成模块；
标签生成模块，用于生成所述非结构化电网数据对应的主标签，根据所述非结构化电网数据对应的数据信息生成副标签。
识别模块，用于识别所述非结构化电网数据，确定所述非结构化电网数据对应的数据信息。
分块存储模块，用于根据所述主标签对所述非结构化电网数据进行分块存储。
关系生成模块，用于在所述分块存储的存储区根据所述副标签进行检索并生成映射关系。
在所述装置的一个实施例中，所述压缩处理包括：比较第N时间段和第N+1时间段中所述非结构化数据的变化数据，将所述变化数据通过哈希算法映射到内存中以及将所述变化数据存储到所述内存中，其中，N为正整数。
在所述装置的一个实施例中，所述校验处理模块604，还包括：权重确定模块，用于根据生产服务器的性能指标计算生产服务器的性能权重。
备份模块，用于根据所述性能权重分配备份任务至生产服务器，所述备份任务用于指示所述生产服务器备份所述结构化数据和所述结构化电网数据。
上述电力监控系统的非结构化数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储非结构化电网数据、结构化电网数据、监控数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力监控系统的非结构化数据处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力监控系统的非结构化数据处理方法，其特征在于，所述方法包括：
获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据；
校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理，所述非结构化电网数据是根据所述电网监控数据的类型确定的；
对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据；
输出所述结构化数据和所述结构化电网数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述非结构化电网数据进行转化处理，得到对应的结构化数据，包括：
根据非结构化电网数据的类型、以及对应的预先设置的数据抽取规则，将所述非结构化电网数据通过预先设置的半结构化模板进行输出，得到半结构化数据，所述非结构化电网数据的类型包括下述中至少一种：文本类型、表格类型、图片类型、视频类型；所述半结构化模板包括下述中至少一种：可扩展标记语言模板、数据交换格式模板；
解析所述半结构化数据，建立解析后的所述半结构化数据和非结构化电网数据对应的数据信息之间的映射关系，得到结构化数据。
3.根据权利要求1所述的方法，其特征在于，所述获取电网监控数据，包括：
确定目标服务器的访问路径信息；
通过所述访问路径信息获取所述目标服务器中电网监控数据，所述电网监控数据是通过电网监控系统采集得到的；
根据所述电网监控数据的类型确定结构化电网数据和非结构化电网数据。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：在所述非结构化电网数据校验未通过的情况下，清理所述非结构化电网数据。
5.根据权利要求1所述的方法，其特征在于，所述根据预先设置的主副标签存储所述非结构化电网数据，包括：
生成所述非结构化电网数据对应的主标签；
识别所述非结构化电网数据，确定所述非结构化电网数据对应的数据信息；
根据所述非结构化电网数据对应的数据信息生成副标签；
根据所述主标签对所述非结构化电网数据进行分块存储；
在所述分块存储的存储区根据所述副标签进行检索并生成映射关系。
6.根据权利要求1所述的方法，其特征在于，所述压缩处理包括：比较第N时间段和第N+1时间段中所述非结构化数据的变化数据，将所述变化数据通过哈希算法映射到内存中以及将所述变化数据存储到所述内存中，其中，N为正整数。
7.根据权利要求1所述的方法，其特征在于，所述输出所述结构化数据和所述结构化电网数据，之前，所述方法还包括：
根据生产服务器的性能指标计算生产服务器的性能权重；
根据所述性能权重分配备份任务至生产服务器，所述备份任务用于指示所述生产服务器备份所述结构化数据和所述结构化电网数据。
8.一种电力监控系统的非结构化数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取电网监控数据，所述电网监控数据包括结构化电网数据和非结构化电网数据；
校验处理模块，用于校验所述非结构化电网数据，在所述非结构化电网数据校验通过的情况下，根据预先设置的主副标签存储所述非结构化电网数据，对获取的不同时间段所述非结构化数据进行压缩处理；
转化处理模块，用于对所述非结构化电网数据进行转化处理，得到对应的结构化数据，所述转化处理包括：将所述非结构化电网数据转换为半结构化数据，将所述半结构化数据转换为结构化数据，所述非结构化电网数据是根据所述电网监控数据的类型确定的；
数据输出模块，用于输出所述结构化数据和所述结构化电网数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210366085.XA CN114691769A (zh) | 2022-04-08 | 2022-04-08 | 电力监控系统的非结构化数据处理方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210366085.XA CN114691769A (zh) | 2022-04-08 | 2022-04-08 | 电力监控系统的非结构化数据处理方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114691769A true CN114691769A (zh) | 2022-07-01 |
Family
ID=82143916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210366085.XA Pending CN114691769A (zh) | 2022-04-08 | 2022-04-08 | 电力监控系统的非结构化数据处理方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114691769A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063052A (zh) * | 2022-08-16 | 2022-09-16 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
-
2022
- 2022-04-08 CN CN202210366085.XA patent/CN114691769A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063052A (zh) * | 2022-08-16 | 2022-09-16 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
| CN115063052B (zh) * | 2022-08-16 | 2022-11-25 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2732377B1 (en) | Optimizing data processing using dynamic schemas | |
| CN108427693B (zh) | 一种将bim模型数据化存储给第三方软件系统的方法 | |
| CN112988741A (zh) | 实时业务数据合并方法、装置及电子设备 | |
| CN114915634A (zh) | 一种基于数据湖的工业数据采集存储系统和采集存储方法 | |
| CN114691769A (zh) | 电力监控系统的非结构化数据处理方法、装置 | |
| CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
| CN111950623B (zh) | 数据稳定性监控方法、装置、计算机设备及介质 | |
| CN110019347B (zh) | 一种区块链的数据处理方法、装置及终端设备 | |
| CN117215867A (zh) | 一种业务监控方法、装置、计算机设备及存储介质 | |
| CN112130944A (zh) | 页面异常的检测方法、装置、设备及存储介质 | |
| CN116028446A (zh) | 时序数据文件化管理方法、装置、设备及其存储介质 | |
| CN115016754A (zh) | 设备间的页面同步显示方法、装置、电子设备及介质 | |
| CN114049036A (zh) | 数据计算平台、方法、设备及存储介质 | |
| CN111833165A (zh) | 一种支出预算管理系统、设备及介质 | |
| CN111352795A (zh) | 一种移动业务的监控方法及装置 | |
| CN113657076B (zh) | 页面操作记录表的生成方法、装置、电子设备及存储介质 | |
| CN114663073B (zh) | 异常节点的发现方法及其相关设备 | |
| CN114356689A (zh) | 工作流监控方法、装置与设备 | |
| CN115934473A (zh) | 异常信息采集工具生成方法、装置、计算机设备 | |
| CN117933699A (zh) | 任务分析方法、装置、计算机设备及存储介质 | |
| CN116775193A (zh) | 页面检测方法、装置、设备及存储介质 | |
| CN113626439A (zh) | 一种数据处理方法、装置、数据处理设备及存储介质 | |
| CN118312208A (zh) | 增量发版的版本回退方法、装置、计算机设备、可读存储介质和程序产品 | |
| CN115146072A (zh) | 一种电力领域中知识地图的绘制方法 | |
| CN114995850A (zh) | 安装包图片处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |