CN114237829B - 一种电力设备的数据采集与处理方法 - Google Patents

Abstract

本发明涉及数据处理技术，揭露了一种电力设备的数据采集与处理方法，包括：获取监控数据文件，并识别监控数据文件的文件类型及监控关键字序列；利用数据清洗容器对监控数据文件进行数据清洗，得到干净文件；获取监控关键字序列中的最高级关键字，并在历史监控文件图谱中查询最高级关键字所处于的子文件图谱；将监控关键字序列中各个监控关键字在子文件图谱区域中进行层次聚类操作，得到文件关系树图；利用监控关键字序列中各个监控关键字在文件关系树图中的位置信息标记所述干净文件，得到标记文件，并将所述标记文件进行存储。本发明可以提高电力设备监控数据存储时的效率。

Description

一种电力设备的数据采集与处理方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种电力设备的数据采集与处理方法。

背景技术

为了提高电力供应的可靠性，满足人们越来越高的用电质量要求，行业内普遍加强了对电力设备的监控，保证电力设备的生产质量。

目前行业内电力设备生产过程中的监控点越来越多，使得出现了各种各样类型的数据，如纸质版报告、手工测量数据后录入、仪器直接检测的电子数据等，由于这些数据的采集方式、传输时间、传输次数等方面互不相同，使得电力企业只能划分出大量存储空间，将各个接收到的数据进行定义位置并存储，造成电力设备监控数据的存储效率极低。

发明内容

本发明提供一种电力设备的数据采集与处理方法，其主要目的在于在提高电力设备监控数据存储时的效率。

为实现上述目的，本发明提供的一种电力设备的数据采集与处理方法，包括：

获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；

获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；

根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱；

将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；

获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；

利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

可选的，所述识别所述监控数据文件的文件类型及监控关键字序列，包括：

获取所述监控数据文件的文件流，并解析所述文件流中的目标参数字段，得到所述监控数据文件的文件扩展名；

根据所述文件扩展名，获取所述监控数据文件的文件类型；

判断所述文件类型是否为图片类型；

当所述文件类型为图片类型时，利用光学识别算法识别所述所述监控数据文件的文件内容，得到文本文档，并查询所述文本文档中的目标字段内容，得到所述监控数据文件的监控关键字序列；

当所述文件类型不是图片类型时，查询所述监控数据文件中的目标字段内容，得到所述监控数据文件的监控关键字序列。

可选的，所述在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，包括：

判断所述历史监控文件图谱中是否含有所述最高级关键字；

当所述历史监控文件图谱中不含有所述最高级关键字时，根据余弦相似度算法，获取所述历史监控文件图谱的各个节点中与所述最高级关键字的语义关联度最大的节点，作为并列节点，并将所述并列节点的父节点下的图谱网络作为子文件图谱；

当所述历史监控文件图谱中含有所述最高级关键字时，将所述历史监控文件图谱中所述最高级关键字对应的节点下的图谱网络作为子文件图谱。

可选的，所述获取所述文件类型对应的数据清洗容器之前，所述方法还包括：

根据预构建的容器脚本，获得镜像容器框架；

获取数据库的操作系统依赖包，并利用所述操作系统依赖包对所述镜像容器框架进行操作环境配置，得到基础容器；

根据预设的数据清洗策略表，获取各个文件类型对应的数据清洗函数包，并将各个所述数据清洗函数包封装至不同的所述基础容器中，得到所述各个目标文件类型对应的数据清洗容器。

可选的，所述利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件，包括：

利用所述数据清洗容器对所述监控数据文件进行格式化处理，得到格式化文档；

查询所述格式化文档的缺失值与异常值，并利用所述数据清洗容器中的数据清洗函数包对所述缺失值与所述异常值进行清洗，得到干净文件。

可选的，所述将所述标记文件进行存储，包括：

利用预构建的纠删码对所述标记文件进行编码加密，得到加密数据；

将所述加密数据进行分块，并分布式存储于数据库的各个存储空间中。

可选的，所述将所述标记文件进行存储之后，所述方法还包括：

利用埋点分析方法，监控所述标记文件的存储过程；

当所述标记文件存储成功后，获取所述标记文件的存储地址，并根据所述存储地址，在预设的可视化区域中构建浏览超链接；

当所述标记文件存储不成功时，显示预构建的存储失败提示信息。

本发明实施例通过判断监控数据文件的类型，先将不同类型的监控数据文件通过不同的数据清洗容器进行清洗，得到干净文件，使得存储过程中减少了数据冗余性、增加了数据可用性，而且所述数据清洗容器可以增加数据清洗效率，从而增加整体数据存储效率；此外，本发明通过图谱的方式将文件所属位置进行标记，避免了顺序存储或人工主观存储带来的低效率及存储不合理的问题，其中，本发明还通过先确定最高级关键字的位置，再确定监控关键字序列中各个监控关键字位置的聚类方式，能够较少聚类过程的计算量，增加聚类效率。因此本发明提出的电力设备的数据采集与处理方法、装置、电子设备及计算机可读存储介质，可以解决多类型文件混合存储时的存储效率低的问题。

附图说明

图1为本发明一实施例提供一种数据存储框架的结构示意图；

图2为本发明一实施例提供的电力设备的数据采集与处理方法的流程示意图；

图3为本发明一实施例提供的电力设备的数据采集与处理方法中一个步骤的详细流程示意图；

图4为本发明一实施例提供的电力设备监控数据的存储装置的功能模块图；

图5为本发明一实施例提供的实现所述电力设备的数据采集与处理方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为解决电力设备监控数据存储效率较低的问题，本发明实施例构建了一个数据存储框架来执行所述电力设备监控数据的存储。参阅图1所示，所述数据存储框架1包括数据库集群2、缓存空间3及数据接收接口4，其中，所述数据库集群2用于数据的底层存储，所述数据接收接口4用于与外业务对接，所述缓存空间3处于所述数据接收接口4及所述数据库集群2之间的缓冲区域，用于对数据进行清洗及聚类操作，其中，所述缓存空间3包括清洗容器集群5及文件聚类算法6。

进一步地，本申请实施例提供一种电力设备的数据采集与处理方法。本申请实施例中，所述电力设备的数据采集与处理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述电力设备的数据采集与处理方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。参照图2所示，为本发明一实施例提供的电力设备的数据采集与处理方法的流程示意图。在本实施例中，所述电力设备的数据采集与处理方法包括：

S1、获取数据接收接口4中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列。

本发明实施例中，所述数据接收接口4为一种并行数据传输接口，可以同步获取各个方式传输的监控文件，而不会造成线程紊乱。

详细的，本发明实施例中，所述识别所述监控数据文件的文件类型及监控关键字序列，包括：

获取所述监控数据文件的文件流，并解析所述文件流中的目标参数字段，得到所述监控数据文件的文件扩展名；

根据所述文件扩展名，获取所述监控数据文件的文件类型；

判断所述文件类型是否为图片类型；

当所述文件类型为图片类型时，利用光学识别算法识别所述所述监控数据文件的文件内容，得到文本文档，并查询所述文本文档中的目标字段内容，得到所述监控数据文件的监控关键字序列；

当所述文件类型不是图片类型时，查询所述监控数据文件中的目标字段内容，得到所述监控数据文件的监控关键字序列。

本发明实施例中，所述文件流是建立在面向对象基础上的一种抽象的用于传输数据的参数序列，其中，包括初始、结束地址及传输对象信息。本发明实施例解析所述传输对象信息时，可以识别所述监控数据文件的编码方式，其中，每一种编码方式对应一种文件名中的扩展名，如“.t”、“.docx”及“.png、”等。根据所述扩展名即可获取所述监控数据文件的文件类型，例如“.png”代表图片类型；“.xls”代表表格类型。

其中，表格类型或文本类型等可编辑类型文本，可直接获取文本内容中的目标字段内容，得到监控关键字序列，例如：名称编号字段、环境温湿度字段等对应内容，均可以为监控关键字；而图片类型无法直接获取文件内容，因此需要通过光学识别算法(OpticalCharacter Recognition，简称OCR)对图片类型的监控数据文件进行文本识别，得到文本文档，再查询监控关键字序列。其中，所述通过检测暗、亮的模式确定所述监控数据文件中的各个形状，然后所述各个形状翻译成计算机文字的过程。

本发明实施例中，待所述数据接收接口4识别出所述监控数据文件的文件类型及监控关键字序列后，将所述文件类型及所述监控关键字暂存至所述缓存空间3中。

S2、获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件。

本发明实施例中，所述数据清洗容器为电力企业根据电力设备中涉及的文件类型所需的专业清洗方法而制定的数据库容器，本发明实施例将多个数据清洗容器组合成所述清洗容器集群5，并将所述清洗容器集群5配置于所述缓存空间3中，方便及时调用。

详细的，本发明实施例中，所述利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件，包括：

利用所述数据清洗容器对所述监控数据文件进行格式化处理，得到格式化文档；

查询所述格式化文档的缺失值与异常值，并利用所述数据清洗容器中的数据清洗函数包对所述缺失值与所述异常值进行清洗，得到干净文件。

本发明实施例中，所述格式化是指将预设的存储格式配置于各个监控数据文件中，并保证各个监控数据文件中各个字段内容排列整齐，从而得到格式化文档，有利于提高数据清洗的效率。

进一步地，本发明实施例中调用所述所述文件类型对应的数据清洗容器，对所述格式化文档进行自动化数据清洗操作，得到干净文件。

进一步的，本发明实施例中，所述获取所述文件类型对应的数据清洗容器之前，所述方法还包括：

根据预构建的容器脚本，获得镜像容器框架；

获取数据库的操作系统依赖包，并利用所述操作系统依赖包对所述镜像容器框架进行操作环境配置，得到基础容器；

根据预设的数据清洗策略表，获取各个文件类型对应的数据清洗函数包，并将各个所述数据清洗函数包封装至不同的所述基础容器中，得到所述各个目标文件类型对应的数据清洗容器。

具体的，本发明实施例中，所述数据清洗容器通过Docker工具构建而成。

进一步的，所述容器脚本(dockerfile)是用来构建dokcer镜像的文件命令参数脚本程序。本发明实施例执行所述容器脚本，并通过docker build功能构建成为一个镜像，通过docker run功能运行镜像，通过docker push功能发布镜像，得到镜像容器框架。

为保证所述镜像容器框架能够执行数据清洗操作，本发明实施例提取数据库的操作系统依赖包，并利用所述操作系统依赖包对所述镜像容器框架进行操作环境配置，使得各个数据清洗操作模拟出数据库的环境。最后将各个类型文件需要的清洗函数封装至各个所述数据清洗容器中，例如，文本类型为文本文件时，则需要将knn回归算法、去重函数、异常值检测函数及缺失值检测函数包装至一个数据清洗容器中。

S3、根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱。

本发明实施例中，所述监控关键字等级表为一个根据电力设备信息覆盖面积进行编译的排表，如：设备编号—生产记录—环境参数……的顺序。

本发明实施例根据所述监控关键字等级表查询所述监控关键字序列中最高级关键字，如“设备编码007”。

所述历史监控文件图谱可以是预先通过知识图谱构建的文件关系图谱网络，也可以为一个空网络。

进一步的，参考图3所示，本发明实施例中，所述在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，包括：

S31、判断所述历史监控文件图谱中是否含有所述最高级关键字；

S32、当所述历史监控文件图谱中不含有所述最高级关键字时，根据余弦相似度算法，获取所述历史监控文件图谱的各个节点中与所述最高级关键字的语义关联度最大的节点，作为并列节点，并将所述并列节点的父节点下的图谱网络作为子文件图谱；

S33、当所述历史监控文件图谱中含有所述最高级关键字时，将所述历史监控文件图谱中所述最高级关键字对应的节点下的图谱网络作为子文件图谱。

具体地，本发明实施例中，判断所述历史监控文件图谱中是否含有所述最高级关键字，当历史监控文件图谱中不含有所述最高级关键字时，表明电力企业从未接受过“设备编码007”的相关数据，则可以通过余弦相似度算法计算关联度最大的节点，得到并列节点，如“设备编码006”，则可以将所述“设备编码006”的父节点“设备”下的图谱网络作为一个子文件图谱；

而当历史监控文件图谱中含有所述最高级关键字时，表明此前电力企业已经接受过“设备编码007”的相关数据，则可以将“设备编码007”所在节点下的图谱网络作为子文件图谱。

其中，所述余弦相似度算法是一种通过分词、量化、余弦函数的过程来计量的两个句子的相似度的算法，此处不加以赘述。

S4、将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图。

所述层次聚类操作是指确定所述子文件图谱中的目标点为父节点，将所述目标点下的全部子节点进行层级排列的方法。其中，所述目标点需参考上述S3的过程，为切割出所述子文件图谱的节点，例如【节点“设备”】，或者【节点“设备编码007”】。

本发明实施例通过单连接聚合聚类算法实现所述层次聚类操作。

具体的，本发明实施例通过hclust()函数包中的"single"方法，计算所述子文件图谱中各个节点与所述各个监控关键字之间的欧式距离，并根据所述欧式距离，得到各个节点与所述各个监控关键字之间的相似性值，并将最大相似性之间的节点或监控关键字进行连接，使得所述历史监控文件图谱的子文件图谱区域的网络发生更新，得到文件关系树图。

本发明实施例中，所述步骤S3及步骤S4的操作过程都是依靠所述缓存空间3中的所述文件聚类算法6完成的，其中，所述文件聚类算法6调用所述缓存空间3的运算资源，可以增加计算效率。

S5、获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合。

本发明实施例在所述文件关系树图中默认一个节点为中心节点，根据各个节点与所述中心节点的相对位置确定各个节点的坐标值。例如节点A、节点B、节点C三点，若以节点A为中心节点则，所述节点B的坐标值为

而所述节点C的的坐标值为

由此，本发明实施例通过查询所述各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合。

S6、利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

本发明实施例可以将每个所述位置信息转化为唯一标识标签，并将各个所述唯一标识标签赋值值所述干净文件中，得到一个标记文件。

详细的，本发明实施例中，所述将所述标记文件进行存储，包括：

利用预构建的纠删码对所述标记文件进行编码加密，得到加密数据；

将所述加密数据进行分块，并分布式存储于数据库的各个存储空间中。

所述纠删码为编码容错技术，是通过一个加密矩阵，对所述标记文件数据中进行矩阵加密及分块操作的方法，本发明实施例利用所述纠删码将所述标记文件加密，并进行分块，得到数据块，可以保证即时存储后的数据块丢失也能将所述标记文件进行复原，增加了数据容灾性。然后，本发明实施例通过分布式存储使得数据库可以通过各个零散的分区将数据进行存储，减少存储占用空间，增加存储效率，其中，所述各个零散的分区可构成所述数据库集群2。

进一步的，本发明另一实施例中，所述将所述标记文件进行存储之后，所述方法还包括：

利用埋点分析方法，监控所述标记文件的存储过程；

当所述标记文件存储成功后，获取所述标记文件的存储地址，并根据所述存储地址，在预设的可视化区域中构建浏览超链接；

当所述标记文件存储不成功时，显示预构建的存储失败提示信息。

所述埋点分析方法是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况的数据采集方法。

本发明实施例通过埋点分析方法对所述标记文件的存储过程进行监控，当所述标记文件存储成功时，可以根据预设的协同规则，利用存储地址，自动化构建一个可视化的浏览超链接，例如快捷方式等，提示用户存储成功；当所述标记文件存储不成功时，可以将预构建的提示文本，如“存储错误！请清理存储空间或重新上传”来进行提示。

如图4所示，是本发明一实施例提供的电力设备监控数据的存储装置的功能模块图。

本发明所述电力设备监控数据的存储装置100可以安装于电子设备中。根据实现的功能，所述电力设备监控数据的存储装置100可以包括文件接收模块101、数据清洗模块102、文件聚类模块103以及文件存储模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述文件接收模块101，用于获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；

所述数据清洗模块102，用于获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；

所述文件聚类模块103，用于根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，及将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；

所述文件存储模块104，用于获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合，及利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

详细地，本申请实施例中所述电力设备监控数据的存储装置100中所述的各模块在使用时采用与上述图2至图3中所述的电力设备的数据采集与处理方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图5所示，是本发明一实施例提供的实现电力设备的数据采集与处理方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如电力设备监控数据的存储程序。

其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行电力设备监控数据的存储程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如电力设备监控数据的存储程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的电力设备监控数据的存储程序是多个指令的组合，在所述处理器10中运行时，可以实现：

获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；

获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；

根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱；

将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；

获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；

利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；

获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；

根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱；

将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；

获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；

利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种电力设备的数据采集与处理方法，其特征在于，所述方法包括：

获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；

获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；

根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，其包括：判断所述历史监控文件图谱中是否含有所述最高级关键字；当所述历史监控文件图谱中不含有所述最高级关键字时，根据余弦相似度算法，获取所述历史监控文件图谱的各个节点中与所述最高级关键字的语义关联度最大的节点，作为并列节点，并将所述并列节点的父节点下的图谱网络作为子文件图谱；

当所述历史监控文件图谱中含有所述最高级关键字时，将所述历史监控文件图谱中所述最高级关键字对应的节点下的图谱网络作为子文件图谱；

将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；

获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；

利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。

2.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述识别所述监控数据文件的文件类型及监控关键字序列，包括：

获取所述监控数据文件的文件流，并解析所述文件流中的目标参数字段，得到所述监控数据文件的文件扩展名；

根据所述文件扩展名，获取所述监控数据文件的文件类型；

判断所述文件类型是否为图片类型；

当所述文件类型为图片类型时，利用光学识别算法识别所述监控数据文件的文件内容，得到文本文档，并查询所述文本文档中的目标字段内容，得到所述监控数据文件的监控关键字序列；

当所述文件类型不是图片类型时，查询所述监控数据文件中的目标字段内容，得到所述监控数据文件的监控关键字序列。

3.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述获取所述文件类型对应的数据清洗容器之前，所述方法还包括：

根据预构建的容器脚本，获得镜像容器框架；

获取数据库的操作系统依赖包，并利用所述操作系统依赖包对所述镜像容器框架进行操作环境配置，得到基础容器；

根据预设的数据清洗策略表，获取各个文件类型对应的数据清洗函数包，并将各个所述数据清洗函数包封装至不同的所述基础容器中，得到各个目标文件类型对应的数据清洗容器。

4.如权利要求3所述的电力设备的数据采集与处理方法，其特征在于，所述利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件，包括：

利用所述数据清洗容器对所述监控数据文件进行格式化处理，得到格式化文档；

查询所述格式化文档的缺失值与异常值，并利用所述数据清洗容器中的数据清洗函数包对所述缺失值与所述异常值进行清洗，得到干净文件。

5.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述将所述标记文件进行存储，包括：

利用预构建的纠删码对所述标记文件进行编码加密，得到加密数据；

将所述加密数据进行分块，并分布式存储于数据库的各个存储空间中。

6.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述将所述标记文件进行存储之后，所述方法还包括：

利用埋点分析方法，监控所述标记文件的存储过程；

当所述标记文件存储成功后，获取所述标记文件的存储地址，并根据所述存储地址，在预设的可视化区域中构建浏览超链接；

当所述标记文件存储不成功时，显示预构建的存储失败提示信息。

Images