CN116701389A - 一种基于人工智能的配电网数据高效存储方法及系统 - Google Patents

一种基于人工智能的配电网数据高效存储方法及系统 Download PDF

Info

Publication number
CN116701389A
CN116701389A CN202211591070.XA CN202211591070A CN116701389A CN 116701389 A CN116701389 A CN 116701389A CN 202211591070 A CN202211591070 A CN 202211591070A CN 116701389 A CN116701389 A CN 116701389A
Authority
CN
China
Prior art keywords
distribution network
power
data
network data
power distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211591070.XA
Other languages
English (en)
Inventor
张俊成
谭靖
黎敏
万松
陶毅刚
罗天禄
谭晓虹
李镕耀
黄柳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN202211591070.XA priority Critical patent/CN116701389A/zh
Publication of CN116701389A publication Critical patent/CN116701389A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于人工智能的配电网数据高效存储方法及系统,该系统包括配电网数据关联属性建立单元、配电网数据存储流程确定单元、电力数据遗失筛查单元、配电网数据监管标准设定单元、配电网数据云服务器需求认定单元、配电网数据运行优化单元、配电网数据系统协调存储单元、配电网数据存储单元、配电网数据应用单元、配电网数据云服务器消息反馈单元。本发明提供通过算法自动发现需要进行遗失控制的配电网数据关联属性电力数据,通过机器统一定义配电网数据关联属性电力数据遗失服务制度,降低了配电网数据关联属性电力数据遗失控制的漏报、误报率,降低了人力成本,提高了配电网数据存储效率。

Description

一种基于人工智能的配电网数据高效存储方法及系统
技术领域
本发明涉及配电网数据存储领域,尤其涉及一种基于人工智能的配电网数据高效存储方法及系统。
背景技术
配电网数据包含配电网设备故障数据,负荷电量数据,电网状态数据等。配电网的各方面特征指标以及相关评价,都基于对这些数据的分析和研究。但由于存在测量误差、数据传送错误、设备故障等复杂的因素影响,导致配电网收集到的数据中存在或多或少的错误数据。为了准确收集配电网数据,通常采用顺序存储方法对收集到的配电网数据中的异常数据进行存储及过滤,以提升数据质量,为配电网状态反馈和辅助配电网运维提供支撑。
然而,常见的基于顺序存储方法的异常数据存储方式,均随机选取维度进行空间切割,通常导致模型建成后仍然有大量维度信息没有被使用,或者导致随机选取到噪音维度或无关维度,从而影响异常存储的可靠性,限制了存储效率。
发明内容
本发明提供一种基于人工智能的配电网数据高效存储方法及系统,解决现有技术中配电网数据存储可靠性低、存储效率低的问题。
本发明所采用的技术方案是,一种基于人工智能的配电网数据高效存储系统,所述系统包括:
配电网数据关联属性建立单元、配电网数据存储流程确定单元、电力数据遗失筛查单元、配电网数据监管标准设定单元、配电网数据云服务器需求认定单元、配电网数据运行优化单元、配电网数据系统协调存储单元、配电网数据存储单元、配电网数据应用单元、配电网数据云服务器消息反馈单元,其中,
所述配电网数据关联属性建立单元用于对控制配电网数据关联属性进行电力数据监管配置,并建立关联属性之间的连接关系,所述配电网数据关联属性建立单元与所述配电网数据存储流程确定单元电连接;
所述配电网数据存储流程确定单元用于根据所述配电网数据关联属性建立单元的配电网数据关联属性电力数据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化后形成统一的电力数据存储格式,所述配电网数据存储流程确定单元分别与所述配电网数据关联属性建立单元、所述电力数据遗失筛查单元以及所述配电网数据存储单元电连接;
所述电力数据遗失筛查单元用于自动发现所述配电网数据存储流程确定单元中标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制;所述电力数据遗失筛查单元分别与所述配电网数据存储流程确定单元、所述配电网数据关联属性电力数据遗失服务制度生成与更新单元以及所述配电网数据运行优化单元电连接;
所述配电网数据监管标准设定单元用于对系统中电力数据进行存储标准参数的设定,所述配电网数据监管标准设定单元分别与所述配电网数据关联属性建立单元及所述配电网数据云服务器需求认定单元电连接;
配电网数据云服务器需求认定单元,用于根据配电网数据存储流程确定单元、所述电力数据遗失筛查单元和所述配电网数据监管标准设定单元的数据进行遗失服务制度统一定义;所述配电网数据云服务器需求认定单元分别与所述配电网数据存储流程确定单元、电力数据遗失筛查单元以及配电网数据监管标准设定单元电连接;
所述配电网数据运行优化单元用于支持人工对所述配电网数据云服务器需求认定单元自生成的模型参数进行优化与修改,完善服务制度,或者由人工自主定义新的服务制度,所述配电网数据运行优化单元分别与所述电力数据遗失筛查单元以及所述配电网数据云服务器需求认定单元电连接;
所述配电网数据系统协调存储单元用于完成系统中各个功能单元工作系统的统一协调与存储,所述配电网数据系统协调存储单元分别与所述配电网数据云服务器需求认定单元以及所述配电网数据应用单元电连接;
所述配电网数据存储单元用于根据所述配电网数据云服务器需求认定单元自生成的配电网数据关联属性配电网数据制度综合所述配电网数据运行优化单元的人工自定义规则对新增待遗失控制配电网数据关联属性电力数据进行计算,并判断该新增配电网数据关联属性电力数据是否有遗失或异常数据出现;所述配电网数据存储单元分别与所述配电网数据云服务器需求认定单元、所述配电网数据运行优化单元以及所述配电网数据应用单元电连接;
所述配电网数据应用单元根据配电网数据存储单元的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用;所述配电网数据应用单元分别与所述配电网数据存储单元以及所述配电网数据云服务器消息反馈单元电连接;
所述配电网数据云服务器消息反馈单元用于接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈给所述配电网数据云服务器需求认定单元根据人工消息反馈对模型进行调整和优化,所述配电网数据云服务器消息反馈单元分别与所述配电网数据云服务器需求认定单元以及所述配电网数据应用单元电连接。
进一步地,所述配电网数据存储流程确定单元包括:待控制配电网数据关联属性电力数据监管单元以及配电网数据关联属性电力数据存储格式标准化单元,
所述待控制配电网数据关联属性电力数据监管单元用于根据所述配电网数据关联属性建立单元所设定好的配电网数据关联属性电力数据监管方式对待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管,
所述配电网数据关联属性电力数据存储格式标准化单元用于将所述待控制配电网数据关联属性电力数据监管单元监管的配电网数据关联属性电力数据归一化所述配电网数据云服务器需求认定单元、配电网数据存储单元可识别的标准配电网数据关联属性电力数据存储格式。
进一步地,所述电力数据遗失筛查单元包括存储配电网数据关联属性电力数据筛查子单元以及系统配电网数据关联属性电力数据对筛查子单元,所述存储配电网数据关联属性电力数据筛查子单元用于将存储数据筛查出来,所述系统配电网数据关联属性电力数据对筛查子单元用于将系统数据筛查出来。
本申请的另一种技术方案:
一种基于人工智能的配电网数据高效存储方法,包括如下步骤:
步骤Q1,对待控制配电网数据关联属性电力数据进行监管配置;
步骤Q2,根据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化约定的电力数据存储格式;
步骤Q3,寻找发现标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制;
步骤Q4,对系统中电力数据进行存储标准参数的设定;
步骤Q5,根据步骤Q2中标准化后的配电网数据关联属性电力数据、步骤Q3中需要进行遗失控制的配电网数据关联属性电力数据以及步骤Q4中自动服务制度模型的超参数进行遗失服务制度统一定义;
步骤Q6,人工对步骤Q5中自生成的遗失服务制度进行优化与修改,完善服务制度;
步骤Q7,根据步骤Q5中自生成的遗失服务制度以及步骤Q6中人工修改的遗失服务制度对待控制配电网数据关联属性电力数据进行遗失计算,并判断该新增配电网数据关联属性电力数据是否有遗失或异常数据出现;
步骤Q8:根据步骤Q7中的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用。
进一步地,所述步骤Q8之后还包括步骤Q9:接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈到步骤Q5中,对遗失控制统一定义规则进行调整和优化。
进一步地,所述步骤Q2具体包括:
步骤Q21,根据监管配置,对配电网数据关联属性电力数据库中的待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管;
步骤Q22,把监管出的配电网数据关联属性电力数据归一化约定的电力数据存储格式。
进一步地,所述步骤Q3具体包括:
步骤Q31,从待控制配电网数据关联属性电力数据表中筛查出存储配电网数据关联属性电力数据;
步骤Q32,根据筛查出的存储数据历史配电网数据关联属性电力数据,计算相关服务配电网数据关联属性电力数据的波动系数矩阵,得到服务配电网数据关联属性电力数据间的相关性度量;
步骤Q33,得到的不同配电网数据关联属性电力数据相关度,将系统数据筛查出来。
进一步地,所述步骤Q5具体包括:
步骤Q51,判断待控制配电网数据关联属性电力数据是否为新的待控制配电网数据关联属性电力数据;
步骤Q52,如果判断为新的配电网数据关联属性电力数据,则进行遗失服务制度模型参数学习;
步骤Q53,如果判断不是新配电网数据关联属性电力数据,则判断当前时间点是否为待遗失控制配电网数据关联属性电力数据的更新时间点。如果到达更新时间点,则对待遗失服务制度模型参数进行更新调整。
进一步地,所述步骤Q52具体包括:
步骤Q521,假设两个待遗失检查数据对应的配电网数据关联属性电力数据变量;
步骤Q522,根据历史配电网数据关联属性电力数据进行特征存储,得到特征存储模型;
步骤Q523,计算特征存储模型与真实配电网数据关联属性电力数据值的误差;
步骤Q524,计算历史误差的最大至和波动系数,对配电网数据存储模型进行调整。
与现有技术相比,本发明提供的一种基于人工智能的配电网数据高效存储方法及系统,通过机器统一定义对配电网数据关联属性电力数据遗失进行控制,降低了漏报、误报率,同时大大降低了人工成本,提高了配电网数据存储效率。
附图说明
图1为本发明的一种基于人工智能的配电网数据高效存储系统的结构示意图;
图2为本发明的一种基于人工智能的配电网数据高效存储方法的流程图;
图3为本发明的一种基于人工智能的配电网数据高效存储方法的步骤Q200的具体流程图;
图4为本发明的一种基于人工智能的配电网数据高效存储方法的步骤Q300的具体流程图;
图5为本发明的一种基于人工智能的配电网数据高效存储方法的步骤Q500的具体流程图;
附图标号:1、配电网数据关联属性建立单元;2、配电网数据存储流程确定单元;21、待控制配电网数据关联属性电力数据监管单元;22、配电网数据关联属性电力数据存储格式标准化单元;3、电力数据遗失筛查单元;31、存储配电网数据关联属性电力数据筛查子单元;32、系统配电网数据关联属性电力数据对筛查子单元;4、配电网数据监管标准设定单元;5、配电网数据云服务器需求认定单元;6、配电网数据运行优化单元;7、配电网数据系统协调存储单元;8、配电网数据存储单元;9、配电网数据应用单元;10、配电网数据云服务器消息反馈单元。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和有具体实施例对本申请作进一步详细说明。
如图1所示,为本发明一种基于人工智能的配电网数据高效存储系统的一种实施例,该一种基于人工智能的配电网数据高效存储系统包括配电网数据关联属性建立单元1、配电网数据存储流程确定单元2、电力数据遗失筛查单元3、配电网数据监管标准设定单元4、配电网数据云服务器需求认定单元5、配电网数据运行优化单元6、配电网数据系统协调存储单元7、配电网数据存储单元8、配电网数据应用单元9、配电网数据云服务器消息反馈单元10。
其中,所述配电网数据关联属性建立单元1用于对控制配电网数据关联属性进行电力数据监管配置,并建立关联属性之间的连接关系,所述配电网数据关联属性建立单元1与所述配电网数据存储流程确定单元2电连接。配电网数据关联属性建立单元1允许云服务器通过云服务器界面(基于Web或移动App的云服务器界面),对待控制配电网数据关联属性电力数据的配电网数据关联属性电力数据源(包括:配电网数据关联属性电力数据库类型、IP地址、云服务器、密码、待控制配电网数据关联属性电力数据所在的配电网数据关联属性电力数据表、待控制配电网数据关联属性电力数据在表中的数据名等)、或者待控制配电网数据关联属性电力数据前端监管接口进行配置;同时也可以支持云服务器输入符合系统设计标准的配电网数据关联属性电力数据监管源代码脚本(例如:用python语言编写的配电网数据关联属性电力数据监管脚本)。当云服务器在云服务器界面设定完成并确认后,设定的内容将通过应用服务器(可采用微服务的方式实现)将设定内容写入应用配电网数据关联属性电力数据库(可采用mysq l,postgresq l,mongo等配电网数据关联属性电力数据库)。
所述配电网数据存储流程确定单元2用于根据所述配电网数据关联属性建立单元1的配电网数据关联属性电力数据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化后形成统一的电力数据存储格式,所述配电网数据存储流程确定单元2分别与所述配电网数据关联属性建立单元1、所述电力数据遗失筛查单元3以及所述配电网数据存储单元8电连接。配电网数据存储流程确定单元2,一般包含以下子单元:(1)待控制配电网数据关联属性电力数据监管单元21。
该单元根据配电网数据关联属性建立单元1所设定好的配电网数据关联属性电力数据监管方式对待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管。该单元一般通过计算服务单元来完成。面对海量的待控制配电网数据关联属性电力数据,通常该计算服务单元可采用Apache Spark,Apache Spark Streaming等分布式计算引擎来实现,也可以采用弹性可扩展的微服务架构完成实时计算。配电网数据关联属性电力数据监管单元根据云服务器输入的配电网数据关联属性电力数据库类型;IP地址;云服务器;密码;待控制配电网数据关联属性电力数据所在的配电网数据关联属性电力数据表;待控制配电网数据关联属性电力数据在表中的数据名等参数调用对应的配电网数据关联属性电力数据库监管代码库对配电网数据关联属性电力数据进行监管。如果云服务器配置了待控制配电网数据关联属性电力数据的前端监管接口,则该单元根据配置的配电网数据关联属性电力数据监管地址和参数进行配电网数据关联属性电力数据获取。为了支持更丰富的配电网数据关联属性电力数据监管方式,该单元也支持云服务器输入符合规范的配电网数据关联属性电力数据监管代码脚本供计算服务单元调用获取配电网数据关联属性电力数据。
(2)配电网数据关联属性电力数据存储格式标准化单元22。该单元将待控制配电网数据关联属性电力数据监管单元21监管的配电网数据关联属性电力数据归一化配电网数据云服务器需求认定单元5、配电网数据存储单元8可识别的标准配电网数据关联属性电力数据存储格式,例如(key,value);或者n维配电网数据关联属性电力数据帧(DataFrame)的电力数据存储格式。
所述电力数据遗失筛查单元3用于自动发现所述配电网数据存储流程确定单元2中标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制,所述电力数据遗失筛查单元3分别与所述配电网数据存储流程确定单元2、配电网数据云服务器需求认定单元5以及所述配电网数据运行优化单元6电连接。电力数据遗失筛查单元3,该模型能够自动发现单元2中标准化后待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制,解决传统人工查找、定义需要遗失控制的数据存在的效率低,容易遗失的缺点。该单元主要由以下两个单元组成:(1)存储配电网数据关联属性电力数据筛查子单元31。本发明主要解决存储配电网数据关联属性电力数据遗失控制的问题,所以需要首先将配电网数据关联属性电力数据型数据筛查出来,在实现上,首先对配电网数据关联属性电力数据类型标记为存储的数据。(2)系统配电网数据关联属性电力数据对筛查子单元32,该系统配电网数据关联属性电力数据筛查子单元主要由以下步骤实现:
步骤1:根据筛查出的存储数据历史配电网数据关联属性电力数据,计算相关服务配电网数据关联属性电力数据的波动系数矩阵,得到服务配电网数据关联属性电力数据间的相关性度量;
步骤2:根据步骤1计算得到的不同配电网数据关联属性电力数据相关度,将系统数据筛查出来(相关度大于一定阈值)。
所述配电网数据监管标准设定单元4用于对系统中电力数据进行存储标准参数的设定,所述配电网数据监管标准设定单元4与所述配电网数据云服务器需求认定单元5电连接。配电网数据监管标准设定单元4,主要对系统中默认支持的控制参数进行配置,或自定义的配电网数据关联属性电力数据遗失服务制度进行配置。当两个配电网数据关联属性电力数据高度线性相关(一致)时,通过一个数据对另一个进行特征存储,然后计算回归的值与待控制值的误差。假设这一误差服从正态分布,则当待控制数值与回归值的误差超过历史误差波动系数的2倍以上时发出二级服务推广与应用;当该误差大于历史误差波动系数4倍以上时发出一级服务推广与应用。
所述配电网数据云服务器需求认定单元5用于根据配电网数据存储流程确定单元2、所述电力数据遗失筛查单元3和所述配电网数据监管标准设定单元4的数据进行遗失服务制度统一定义;所述配电网数据云服务器需求认定单元5分别与所述配电网数据监管标准设定单元4、所述配电网数据存储流程确定单元2以及电力数据遗失筛查单元3电连接;该单元根据系统默认的遗失服务制度模型,利用单元3控制出的系统性数据对应的标准化后待控制历史配电网数据关联属性电力数据对服务制度进行统一定义。根据配电网数据关联属性电力数据的特性,我们可以设定如下遗失规则控制模型。
实时参数动态更新的控制模型:不同行业的存储配电网数据关联属性电力数据中常常会出现近似线性相关的两个变量,例如基金的评级得分和基金的评级级别一般符合近似线性的关系。对两线性相关(配电网数据关联属性电力数据)。首先,根据历史配电网数据关联属性电力数据进行特征存储,得到线性模型;然后,计算线性模型预测值与配电网数据关联属性电力数据真实值的误差,并对这些误差建立相应的高斯模型(即估计这些误差的最大至和波动系数)。
配电网数据关联属性电力数据遗失服务制度的更新可以设计成包含以下步骤:
步骤1:判断待控制配电网数据关联属性电力数据是否为新的待控制配电网数据关联属性电力数据;
步骤2:如果步骤1判断为新的配电网数据关联属性电力数据,则进行遗失服务制度模型参数学习,计算步骤如下:
步骤2_1:假设两个待遗失检查数据对应的配电网数据关联属性电力数据变量为x和y;
步骤2_2:根据历史配电网数据关联属性电力数据进行特征存储,得到特征存储模型。参数的估计方法可以采用最小二乘法、最大似然法等方法。
步骤2_3:计算特征存储模型与真实配电网数据关联属性电力数据值的误差;
步骤2_4:计算历史误差的最大至和波动系数,得到深度学习算法,的参数。
步骤3:如果不是新的待遗失控制配电网数据关联属性电力数据,则判断当前时间点是否为待遗失控制配电网数据关联属性电力数据的更新时间点。如果到达更新时间点,则对待遗失服务制度模型参数进行更新调整(计算方法如前所述,可以根据历史配电网数据关联属性电力数据进行更新、也可以根据最近一段时间内历史配电网数据关联属性电力数据进行更新)。否则结束当前单元。
上述的几种常用自动服务制度模型,获得新的待控制配电网数据关联属性电力数据后的控制计算方法进行介绍:
当输入待控制配电网数据关联属性电力数据时,利用前面建立的线性模型,计算预测值,然后计算预测值与待控制配电网数据关联属性电力数据的误差,再将该误差输入单元4计算得到的预测值与真实值误差的高斯模型,得到该误差出现的概率,当该概率低于设定的数值时(由单元4进行配置),则发出不同级别的服务推广与应用信号。
如果单元4在步骤2_4建立的是混合高斯模型,则需要将当前误差代入训练好的混合高斯模型,当输入数值的概率低于设定的数值时(由单元4进行配置),则发出不同级别的服务推广与应用信号。
上述的配电网数据关联属性电力数据控制计算可以通过Apache Spark计算引擎实现。对实时性要求较高的可通过Spark Streaming,或者Apache Spark Flink来完成计算。
所述配电网数据运行优化单元6用于支持人工对所述配电网数据云服务器需求认定单元5自生成的模型参数进行优化与修改,完善服务制度,或者由人工自主定义新的服务制度,所述配电网数据运行优化单元6分别与所述电力数据遗失筛查单元3以及所述配电网数据云服务器需求认定单元5电连接;采用机器学习产生的配电网数据关联属性电力数据遗失服务制度,在历史正常配电网数据关联属性电力数据较少的情况,容易出现服务制度不够完善的情况,配电网数据云服务器需求认定单元5支持人工对自动生成的服务制度进行修改和添加新的规则。让自动生成规则与人工规则相配合,提高系统的灵活性及适应性。
所述配电网数据系统协调存储单元7用于完成系统中各个功能单元工作系统的统一协调与存储,所述配电网数据系统协调存储单元7分别与所述配电网数据云服务器需求认定单元5以及所述配电网数据应用单元9电连接;
所述配电网数据存储单元8用于根据所述配电网数据云服务器需求认定单元5自生成的配电网数据关联属性配电网数据制度综和所述配电网数据运行优化单元6的人工自定义规则对新增待遗失控制配电网数据关联属性电力数据进行计算,并判断该新增配电网数据关联属性电力数据是否有遗失或异常数据出现。所述配电网数据存储单元8分别与所述配电网数据云服务器需求认定单元5、所述配电网数据运行优化单元6以及所述配电网数据应用单元9电连接;
所述配电网数据应用单元9根据配电网数据存储单元8的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用,所述配电网数据应用单元9分别与所述配电网数据存储单元8以及所述配电网数据云服务器消息反馈单元10电连接。该单元将配电网数据存储单元8输出的配电网数据关联属性电力数据存储控制使用服务电力数据,包括触发服务推广与应用的配电网数据关联属性电力数据基本电力数据及服务推广与应用级别等,利用消息推送系统,通过微信、短信、应用App等渠道推送给客户。例如:App推送可通过MQTT、XMPP等协议实现,也可以调用华为推送、阿里云移动推送、腾讯信鸽推送等第三方平台实现。
所述配电网数据云服务器消息反馈单元10用于接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈给所述配电网数据云服务器需求认定单元5根据人工消息反馈对模型进行调整和优化,所述配电网数据云服务器消息反馈单元10分别与所述配电网数据云服务器需求认定单元5以及所述配电网数据应用单元9电连接。该单元主要接收配电网数据关联属性电力数据存储系统对配电网数据关联属性电力数据控制服务推广与应用的消息反馈电力数据,并将该消息反馈电力数据消息反馈给配电网数据关联属性配电网数据制度更新单元(单元4)根据人工消息反馈对服务制度进行调整和优化。如果人工消息反馈发出服务推广与应用的信号为假信号,则需要消息反馈给单元4根据当前输入数值及时进行服务制度调整。
如图2所示,为本发明一种基于人工智能的配电网数据高效存储方法的一种实施例,该方法包括:
步骤Q100,对待控制配电网数据关联属性电力数据进行监管配置;
步骤Q200,根据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化约定的电力数据存储格式;
步骤Q300,寻找发现标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制;
步骤Q400,对系统中电力数据进行存储标准参数的设定;
步骤Q500,根据步骤Q200中标准化后的配电网数据关联属性电力数据、步骤Q300中需要进行遗失控制的配电网数据关联属性电力数据以及步骤Q400中自动服务制度模型的超参数进行遗失服务制度统一定义;
步骤Q600,人工对步骤Q500中自生成的遗失服务制度进行优化与修改,完善服务制度;
步骤Q700,根据步骤Q500中自生成的遗失服务制度以及步骤Q600中人工修改的遗失服务制度对待控制配电网数据关联属性电力数据进行遗失计算,并判断该新增配电网数据关联属性电力数据是否有遗失或异常数据出现;
步骤Q800,根据步骤Q700中的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用;
步骤Q900,接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈到步骤Q500中,对遗失控制统一定义规则进行调整和优化。
如图3所示,所述步骤Q200具体包括:
步骤Q201,根据监管配置,对配电网数据关联属性电力数据库中的待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管;
步骤Q202,把监管出的配电网数据关联属性电力数据归一化约定的电力数据存储格式。
如图4所示,所述步骤Q300具体包括:
步骤Q301,从待控制配电网数据关联属性电力数据表中筛查出存储配电网数据关联属性电力数据;
步骤Q302,根据筛查出的存储数据历史配电网数据关联属性电力数据,计算相关服务配电网数据关联属性电力数据的波动系数矩阵,得到服务配电网数据关联属性电力数据间的相关性度量;
步骤Q303,根据得到的不同配电网数据关联属性电力数据相关度,将系统数据筛查出来。
如图5所示,所述步骤Q500具体包括:
步骤Q501,判断待控制配电网数据关联属性电力数据是否为新的待控制配电网数据关联属性电力数据;
步骤Q502,如果判断为新的配电网数据关联属性电力数据,则进行遗失服务制度模型参数学习;
步骤Q503,如果判断不是新配电网数据关联属性电力数据,则判断当前时间点是否为待遗失控制配电网数据关联属性电力数据的更新时间点。如果到达更新时间点,则对待遗失服务制度模型参数进行更新调整。
所述步骤Q502具体包括:
步骤Q5021,假设两个待遗失检查数据对应的配电网数据关联属性电力数据变量;
步骤Q5022,根据历史配电网数据关联属性电力数据进行特征存储,得到特征存储模型;
步骤Q5023,计算特征存储模型与真实配电网数据关联属性电力数据值的误差;
步骤Q5024,计算历史误差的最大至和波动系数,对配电网数据存储模型进行调整。
本发明提供一种基于人工智能的配电网数据高效存储系统及控制方法,具有以下优点:
1、可以自动发现需要进行遗失控制的配电网数据关联属性电力数据,极大的提高了配电网数据关联属性电力数据遗失控制的效率、准确度和覆盖率。
2、发现需要进行遗失控制的数据后,根据配电网数据关联属性电力数据的历史值,自动学习配电网数据关联属性电力数据遗失服务制度,从而提高配电网数据关联属性电力数据遗失控制的存储、效率及覆盖面、同时提高了配电网数据存储效率。
在本发明描述中,需要说明的是,除非另有明确的规定和限定,术语“设定”、“安装”、“相连”、“连接”、“固定”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术系统而言,可以通过具体情况理解上述术语在本发明中的具体含义。尽管已经示出和描述了本发明的实施例,对于本领域的普通技术系统而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。

Claims (9)

1.一种基于人工智能的配电网数据高效存储系统,其特征在于,该系统包括:
配电网数据关联属性建立单元,用于对控制配电网数据关联属性进行电力数据监管配置,并建立关联属性之间的连接关系;
配电网数据存储流程确定单元,用于根据所述配电网数据关联属性建立单元的配电网数据关联属性电力数据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化后形成统一的电力数据存储格式;
电力数据遗失筛查单元,用于自动发现所述配电网数据存储流程确定单元中标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制;
配电网数据监管标准设定单元,用于对系统中电力数据进行存储标准参数的设定;
配电网数据云服务器需求认定单元,用于根据配电网数据存储流程确定单元、所述电力数据遗失筛查单元和所述配电网数据监管标准设定单元的数据进行遗失服务制度统一定义;
配电网数据运行优化单元,用于支持人工对所述配电网数据监管标准设定单元自生成的模型参数进行优化与修改,完善服务制度,或者由人工自主定义新的服务制度;
配电网数据系统协调存储单元,用于完成系统中各个功能单元工作系统的统一协调与存储;
配电网数据存储单元,用于根据所述配电网数据监管标准设定单元自生成的配电网数据关联属性配电网数据制度综合所述配电网数据运行优化单元的人工自定义规则对新增待遗失控制配电网数据关联属性电力数据进行计算,并判断该新增配电网数据关联属性电力数据是否有遗失或异常数据出现;
配电网数据应用单元,用于根据配电网数据存储单元的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用;
配电网数据云服务器消息反馈单元,用于接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈给所述配电网数据监管标准设定单元根据人工消息反馈对模型进行调整和优化。
2.根据权利要求1所述的基于人工智能的配电网数据高效存储系统,其特征在于,所述配电网数据存储流程确定单元包括:
待控制配电网数据关联属性电力数据监管单元,用于根据所述配电网数据关联属性建立单元所设定好的配电网数据关联属性电力数据监管方式,对待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管;
配电网数据关联属性电力数据存储格式标准化单元,用于将所述待控制配电网数据关联属性电力数据监管单元监管的配电网数据关联属性电力数据归一化所述配电网数据监管标准设定单元、配电网数据存储单元可识别的标准配电网数据关联属性电力数据存储格式。
3.根据权利要求1所述的基于人工智能的配电网数据高效存储系统,其特征在于,所述电力数据遗失筛查单元包括:
存储配电网数据关联属性电力数据筛查子单元,用于将存储数据筛查出来;
系统配电网数据关联属性电力数据对筛查子单元,用于将系统数据筛查出来。
4.一种基于人工智能的配电网数据高效存储方法,其特征在于,包括如下步骤:
步骤Q1,对待控制配电网数据关联属性电力数据进行监管配置;
步骤Q2,根据监管配置,从配电网数据关联属性电力数据库中监管待控制配电网数据关联属性电力数据,并把配电网数据关联属性电力数据归一化电力数据存储格式;
步骤Q3,寻找发现标准化后的待控制配电网数据关联属性电力数据表中哪些配电网数据关联属性电力数据需要进行遗失控制;
步骤Q4,对系统中电力数据进行存储标准参数的设定;
步骤Q5,根据步骤Q2中标准化后的配电网数据关联属性电力数据、步骤Q3中需要进行遗失控制的配电网数据关联属性电力数据以及步骤Q4中自动服务制度模型的超参数进行遗失服务制度统一定义;
步骤Q6,人工对步骤Q5中自生成的遗失服务制度进行优化与修改,完善服务制度;
步骤Q7,根据步骤Q5中自生成的遗失服务制度以及步骤Q6中人工修改的遗失服务制度对待控制配电网数据关联属性电力数据进行遗失计算,并判断该配电网数据关联属性电力数据是否有遗失或异常数据出现;
步骤Q8:根据步骤Q7中的计算结果向配电网数据关联属性电力数据存储系统发出相关服务推广与应用。
5.根据权利要求4所述的基于人工智能的配电网数据高效存储方法,其特征在于,所述步骤Q8之后还包括步骤Q9:接收配电网数据关联属性电力数据存储系统对使用服务电力数据的消息反馈,并将该电力数据消息反馈到步骤Q5中,对遗失控制统一定义规则进行调整和优化。
6.根据权利要求4所述的基于人工智能的配电网数据高效存储方法,其特征在于,所述步骤Q2具体包括:
步骤Q21,根据监管配置,对配电网数据关联属性电力数据库中的待控制配电网数据关联属性电力数据或待控制配电网数据关联属性电力数据的历史正常配电网数据关联属性电力数据进行监管;
步骤Q22,把监管出的配电网数据关联属性电力数据归一化约定的电力数据存储格式。
7.根据权利要求4所述的基于人工智能的配电网数据高效存储方法,其特征在于,所述步骤Q3具体包括:
步骤Q31,从待控制配电网数据关联属性电力数据表中筛查出存储配电网数据关联属性电力数据;
步骤Q32,根据筛查出的存储数据历史配电网数据关联属性电力数据,计算相关服务配电网数据关联属性电力数据的波动系数矩阵,得到服务配电网数据关联属性电力数据间的相关性度量;
步骤Q33,根据得到的不同配电网数据关联属性电力数据相关度,将系统数据筛查出来。
8.根据权利要求4所述的基于人工智能的配电网数据高效存储方法,其特征在于,所述步骤Q5具体包括:
步骤Q51,判断待控制配电网数据关联属性电力数据是否为新的待控制配电网数据关联属性电力数据;
步骤Q52,如果判断为新的配电网数据关联属性电力数据,则进行遗失服务制度模型参数学习;
步骤Q53,如果判断不是新配电网数据关联属性电力数据,则判断当前时间点是否为待遗失控制配电网数据关联属性电力数据的更新时间点,如果到达更新时间点,则对待遗失服务制度模型参数进行更新调整。
9.根据权利要求8所述的一种基于人工智能的配电网数据高效存储方法,其特征在于,所述步骤Q52具体包括:
步骤Q521,假设两个待遗失检查数据对应的配电网数据关联属性电力数据变量;
步骤Q522,根据历史配电网数据关联属性电力数据进行特征存储,得到特征存储模型;
步骤Q523,计算特征存储模型与真实配电网数据关联属性电力数据值的误差;
步骤Q524,计算历史误差的最大至和波动系数,对配电网数据存储模型进行调整。
CN202211591070.XA 2022-12-12 2022-12-12 一种基于人工智能的配电网数据高效存储方法及系统 Pending CN116701389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211591070.XA CN116701389A (zh) 2022-12-12 2022-12-12 一种基于人工智能的配电网数据高效存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211591070.XA CN116701389A (zh) 2022-12-12 2022-12-12 一种基于人工智能的配电网数据高效存储方法及系统

Publications (1)

Publication Number Publication Date
CN116701389A true CN116701389A (zh) 2023-09-05

Family

ID=87826405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211591070.XA Pending CN116701389A (zh) 2022-12-12 2022-12-12 一种基于人工智能的配电网数据高效存储方法及系统

Country Status (1)

Country Link
CN (1) CN116701389A (zh)

Similar Documents

Publication Publication Date Title
EP3798846B1 (en) Operation and maintenance system and method
CN107888397B (zh) 确定故障类型的方法和装置
CN111047082A (zh) 设备的预警方法及装置、存储介质和电子装置
CN110493025B (zh) 一种基于多层有向图的故障根因诊断的方法及装置
US10444746B2 (en) Method for managing subsystems of a process plant using a distributed control system
CN118054845B (zh) 一种分布式光网络终端故障监测方法及系统
CN110749462B (zh) 一种基于边缘计算的工业设备故障检测方法及系统
CN117931424A (zh) 一种云环境的网络资源调度优化系统
CN114760180A (zh) 一种网络设备的巡检方法、装置、设备和存储介质
CN118034990B (zh) 一种基于机器学习的集中器校验方法及系统
CN115695150A (zh) 一种基于分布式异构融合组网设备检测方法及装置
CN117792864A (zh) 一种告警处理方法、装置、存储介质及电子装置
CN109102080B (zh) 一种数值型金融数据质量监控系统及方法
CN109240882B (zh) 一种金融数据一致性检测系统及方法
CN116701389A (zh) 一种基于人工智能的配电网数据高效存储方法及系统
CN106301922B (zh) 一种Tuner状态的调整方法和装置
CN117435446A (zh) 渠道接口异常管理方法、装置、终端及存储介质
CN115713234A (zh) 一种基于工业大数据的设备风险分析预警系统及方法
CN117097369A (zh) 一种hplc通信检测系统与方法
US20070033161A1 (en) Apparatus and method for automatic refinement of business processes
CN116963134A (zh) 故障诊断方法、装置、终端设备及网络平台
CN115378841A (zh) 设备接入云平台状态的检测方法及装置、存储介质、终端
CN116108097A (zh) 一种企业管理智慧监督系统及方法
CN116346954A (zh) 一种基于物联网的数据传输系统及方法
CN117498918B (zh) 基于卫星信号强度的信号接收器控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination