CN116662333A - 一种用于新能源设备的数据访问管理方法、系统 - Google Patents

一种用于新能源设备的数据访问管理方法、系统 Download PDF

Info

Publication number
CN116662333A
CN116662333A CN202310566729.4A CN202310566729A CN116662333A CN 116662333 A CN116662333 A CN 116662333A CN 202310566729 A CN202310566729 A CN 202310566729A CN 116662333 A CN116662333 A CN 116662333A
Authority
CN
China
Prior art keywords
data
request
analysis model
rule analysis
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310566729.4A
Other languages
English (en)
Inventor
刘振杰
黄力哲
叶林
杜闯
王伟
相童巍
王鹏
曹晶
刘美岑
包紫晨
谭国宁
于淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Lancang River Hydropower Co Ltd
Beijing Huaneng Xinrui Control Technology Co Ltd
Original Assignee
Huaneng Lancang River Hydropower Co Ltd
Beijing Huaneng Xinrui Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Lancang River Hydropower Co Ltd, Beijing Huaneng Xinrui Control Technology Co Ltd filed Critical Huaneng Lancang River Hydropower Co Ltd
Priority to CN202310566729.4A priority Critical patent/CN116662333A/zh
Publication of CN116662333A publication Critical patent/CN116662333A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2336—Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343—Locking methods, e.g. distributed locking or locking implementation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供了一种用于新能源设备的数据访问管理方法、系统，其可以解决数据量随着新能源设备不断接入爆炸式增长带来的数据访问响应慢的问题，包括：采集数据访问过程的请求记录，保存得到历史请求数据；基于深度学习算法构建规则解析模型，通过历史请求数据训练规则解析模型，优化模型参数；通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；通过训练好的规则解析模型对新接入的访问请求数据进行解析，若满足访问预聚合数据条件，将访问请求路由到对应的聚合数据集中取出数据返回，否则将访问请求路由到原始数据集，从原始数据集取出数据返回。

Description

一种用于新能源设备的数据访问管理方法、系统
技术领域
本发明涉及新能源数据管理技术领域，具体涉及一种用于新能源设备的数据访问管理方法、系统。
背景技术
在新能源领域，通过数据传输、存储、汇聚、访问等技术体系的构建，可以实现工业设备运行数据的汇聚整合。通过对汇聚整合的数据进行分析、建模等技术手段对新能源场站、设备全生命周期运维管理起到至关重要的作用。
然而，新能源设备实时、持续生产数据的特性不可避免的会导致海量数据的产生。因此，海量数据的采集、转换、加工、存储、访问等方面涉及的技术体系在安全性、高效性等方面面临不同的挑战。尤其是数据访问效率问题是所有基于数据的业务功能都无法避免的。传统的基于设备原始数据的访问体系由于是对全量数据或者简单聚合后的数据直接进行存储、访问，其响应速度会随着数据不断爆炸式的增长最终无法适应业务发展。
新能源设备生产数据的持续性带的数据持续增长，和其它非设备数据，或者互联网数据生产速度相比，其产生的数据是不间断的，不像互联网数据那样存在峰值点。其一直是峰值生产数据，提高新能源相关的数据访问的响应速度是当前的重大需求。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种用于新能源设备的数据访问管理方法、系统，其可以解决数据量随着新能源设备不断接入爆炸式增长带来的数据访问响应慢的问题，进而提升基于数据分析、数据建模等的业务功能的生产效率。
为达到上述目的，本发明采用的技术方案为：一种用于新能源设备的数据访问管理方法，其特征在于，包括以下：
采集数据访问过程的请求记录，保存得到历史请求数据；
基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类聚合；
通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
进一步的，通过日志采集中间件采集数据访问过程的请求记录，将请求记录以文件或者数据库记录形式进行历史留存。
进一步的，对于采集到的请求记录，设置请求格式预设模板对请求记录进行过滤，保留有效请求记录。
进一步的，所述请求格式预设模板包括请求头和请求体，所述请求头包括访问认证相关的信息，所述请求体包括请求的参数。
进一步的，所述规则解析模型包括共性抽取层、特征加工层、聚类分析层，所述共性抽取层用于对历史请求数据中的共性请求参数进行抽取归类，所述特征加工层用于抽取的请求参数进行相应的特征衍生，所述聚类分析层用于基于聚类分析算法对历史请求数据中的共性特征进行聚类。
进一步的，在对请求参数中的时间参数进行特征衍生时，按照符合新能源数据特性的分区粒度，将时间参数衍生出不同的时间维度对数据进行分区。
进一步的，将新接入的访问请求的请求记录放入历史请求数据，通过新的历史请求数据更新规则解析模型。
一种用于新能源设备的数据访问管理系统，其特征在于，包括：
数据采集模块，用于采集数据访问过程的请求记录，保存得到历史请求数据；
建模模块，基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类；
模型训练模块，通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
聚合数据生成模块，通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
访问路由模块，当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
一种计算机装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的基于用于新能源设备的数据访问管理方法。
一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的基于用于新能源设备的数据访问管理方法。
本发明的方法设置了基于深度学习算法构建的规则解析模型，规则解析模型通过分析请求记录中请求参数的共性信息，将数据自动进行不同维度的划分，实现对原始数据的聚合形成独立的数据访问区域，然后制定动态访问路由规则，新请求到达后根据规则解析模型判断是否与聚合数据分区相匹配，若匹配则请求命中对应的数据区域则从独立数据区域拉取数据，实现快速响应请求的目的。本发明的方法有效提高了请求响应速度，此外，为保证业务功能的正常使用，在路由请求无法命中预聚合数据时，发明加入了结合原始数据集的动态路由失败的容错机制，当请求无法命中预聚合数据或者预聚合结果集数据尚未生成的时候通过访问原始记录的方式，满足正常的数据访问请求。
附图说明
图1为一个实施例中的一种用于新能源设备的数据访问管理方法的步骤示意图；
图2为另一个实施例中的一种用于新能源设备的数据访问管理方法的步骤示意图；
图3为实施例中的一种用于新能源设备的数据访问管理系统的构成框图；
图4为一个实施例中计算机装置的内部结构图；
图5为直接访问和基于规则解析模型的百万请求平均响应时间对比图；
图6为不同有效记录下模型命中率的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
如背景技术中所示，现有技术中，新能源设备的数据管理中，存在随着新能源设备不断接入爆炸式增长带来的数据访问响应慢的情况，针对于此，本发明提供了一种用于新能源设备的数据访问管理方法。
见图1，本发明的一种用于新能源设备的数据访问管理方法，至少包括以下步骤：
步骤1：采集数据访问过程的请求记录，保存得到历史请求数据；
步骤2：基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类聚合；
步骤3：通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
步骤4：通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
步骤5:当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
具体本发明的一个实施例中，在步骤1中，可以通过日志采集中间件采集数据访问过程的请求记录，将请求记录以文件或者数据库记录形式进行历史留存。
对于采集到的请求记录，根据实际业务需求制定有效访问记录判定规则，这里采用请求格式预设模板方式进行有效访问记录的过滤，然后将有效访问进行收集存储。请求格式预设模板主体为请求头+请求体，请求头包括访问认证相关的信息，包括token、过期时间、访问时间等，请求体包括请求的参数，可以包括：请求数据的周期，请求数据类型，数据测点等。
具体在步骤2中，会基于深度学习算法构建规则解析模型，规则解析模型用于对历史请求数据进行分类聚合，规则解析模型包括共性抽取层、特征加工层、聚类分析层，其中共性抽取层用于对历史请求数据中的共性请求参数进行抽取归类，特征加工层用于抽取的请求参数进行相应的特征衍生，聚类分析层用于基于聚类分析算法对历史请求数据中的共性特征进行聚类。
由于是基于历史请求记录进行的，所以通过分析历史请求的特性，通过共性抽取层抽取共性，比如同一个请求在一段时间内触发了多次，请求体中请求周期为日，那么这种请求的共性，就是日维度的请求频繁出现，此时会考虑将数据按日维度进行分区。
共性抽取可以是根据规则进行历史请求参数中的相同或者相似参数进行归类，相关规则可以上完全匹配，相似匹配，也可以是基于机器学习算法的归类,譬如k-means算法。
特征加工层会针对请求参数进行相应的特征衍生，在对请求参数中的时间参数进行特征衍生时，按照符合新能源数据特性的分区粒度，将时间参数衍生出不同的时间维度对数据进行分区。
对于请求参数中的时间参数，是指当获取到某一类参数时，对参数进行衍生，比如收到日期2022-11-03,可以衍生出2022-11月维度，2022年-11-3日的维度等，具体的方法可以值最大化，最小化，均值化等，对于这里考虑新能源设运行数据的特性排除年、秒维度的数据规则，保留其它维度规则待用，比如如果具体到小时和分，可以从日维度衍生出小时、分钟维度等，当基于小时、分钟周期的请求到达时优先命中该部分数据。
聚类分析层指通聚类算法进行请求记录的共性聚合，达到更加精确的维度划分，可以采用的聚类算法包括K均值算法(k-means)、学习向量化(LVQ)、KNN算法等。
具体在步骤3中，会通过历史请求数据训练规则解析模型，随着请求的不断接入，不断优化规则解析模型，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型，设定阈值默认设置80％,可根据实际情况调整。
具体在步骤4中，规则解析模型构建完成后，通过配置/构建预聚合任务对设备运行过程中产生的数据进行聚合操作，生成聚合数据集，聚合数据集与原始数据集分区存储；
具体在步骤5中，当有新的访问请求接入时，根据规则解析模型判断新接入请求是否满足访问预聚合数据条件，预聚合数据条件表示通过规则解析模型解析后，解析出来的结果是否已经有对应的聚合数据集，若满足访问预聚合数据条件，将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，这个过程实现了访问请求的动态路由，实现不同维度的访问命中不同区域的聚合数据。
为保证业务功能的正常使用，在路由请求无法命中聚合数据集中的预聚合数据时，加入了结合原始数据集返回请求数据的动态路由失败的容错机制，当请求无法命中预聚合数据或者预聚合结果集数据尚未生成的时候，通过访问原始数据集的方式，从原始数据集取出数据返回，满足正常的数据访问请求。
见图2，在本发明的另一个实施例中，在上述步骤1至步骤5的基础上，还设置了步骤6：将新接入的访问请求的请求记录放入历史请求数据，通过新的历史请求数据进行规则解析模型的迭代更新，使得规则解析模型更加精准；图6为不同有效记录下模型命中率的示意图，由此可见，通过步骤6的实施，可以进一步提高规则解析模型的判断精准率。
新能源设备生产数据的持续性带的数据持续增长，和其它非设备数据，或者互联网数据生产速度相比，其产生的数据是不间断的，不像互联网数据那样存在峰值点。其一直是峰值生产数据。现有技术一般通过直接访问原始数据分区，或者根据业务需求进行预聚合形成新的分区，缺少动态分区和相关动态路由规则生成机制。本发明的方法因而其数据量巨大才会引入关于分区存储，分区访问、动态路由等策略实现快速相应，通过数据自动预聚合有效提高了请求响应速度，另外通过访问路由规则优化有效提高了独立数据区域的命中率。
图5为直接访问和基于规则解析模型的百万请求平均响应时间对比图，从图5可见，当数据量特别大时，采用本发明的方法大大提升了响应效率。
见图3，在本发明的实施例中，还提供了一种用于新能源设备的数据访问管理系统，包括：
数据采集模块100，用于采集数据访问过程的请求记录，保存得到历史请求数据；
建模模块200，基于深度学习算法构建规则解析模型，规则解析模型用于对历史请求数据进行分类；
模型训练模块300，通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
聚合数据生成模块400，通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
访问路由模块500，当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
在本发明的实施例中，还提供了一种计算机装置，其包括：包括处理器、存储器以及程序；
程序存储在存储器中，处理器调用存储器存储的程序，以执行上述的在基于用于新能源设备的数据访问管理方法。
该计算机装置可以是终端，其内部结构图可以如图4所示。该计算机装置包括通过总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机装置的处理器用于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于用于新能源设备的数据访问管理方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机装置的限定，具体的计算机装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序，程序用于执行上述的基于用于新能源设备的数据访问管理方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、计算机装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、计算机装置、或计算机程序产品的流程图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
以上对本发明所提供的基于用于新能源设备的数据访问管理方法、系统、计算机装置、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于新能源设备的数据访问管理方法，其特征在于，包括以下：
采集数据访问过程的请求记录，保存得到历史请求数据；
基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类聚合；
通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
2.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：通过日志采集中间件采集数据访问过程的请求记录，将请求记录以文件或者数据库记录形式进行历史留存。
3.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：对于采集到的请求记录，设置请求格式预设模板对请求记录进行过滤，保留有效请求记录。
4.根据权利要求3所述一种用于新能源设备的数据访问管理方法，其特征在于：所述请求格式预设模板包括请求头和请求体，所述请求头包括访问认证相关的信息，所述请求体包括请求的参数。
5.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：所述规则解析模型包括共性抽取层、特征加工层、聚类分析层，所述共性抽取层用于对历史请求数据中的共性请求参数进行抽取归类，所述特征加工层用于抽取的请求参数进行相应的特征衍生，所述聚类分析层用于基于聚类分析算法对历史请求数据中的共性特征进行聚类。
6.根据权利要求5所述一种用于新能源设备的数据访问管理方法，其特征在于：在对请求参数中的时间参数进行特征衍生时，按照符合新能源数据特性的分区粒度，将时间参数衍生出不同的时间维度对数据进行分区。
7.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：将新接入的访问请求的请求记录放入历史请求数据，通过新的历史请求数据更新规则解析模型。
8.一种用于新能源设备的数据访问管理系统，其特征在于，包括：
数据采集模块，用于采集数据访问过程的请求记录，保存得到历史请求数据；
建模模块，基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类；
模型训练模块，通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
聚合数据生成模块，通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
访问路由模块，当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
9.一种计算机装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1所述的基于用于新能源设备的数据访问管理方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1所述的基于用于新能源设备的数据访问管理方法。
CN202310566729.4A 2023-05-19 2023-05-19 一种用于新能源设备的数据访问管理方法、系统 Pending CN116662333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310566729.4A CN116662333A (zh) 2023-05-19 2023-05-19 一种用于新能源设备的数据访问管理方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310566729.4A CN116662333A (zh) 2023-05-19 2023-05-19 一种用于新能源设备的数据访问管理方法、系统

Publications (1)

Publication Number Publication Date
CN116662333A true CN116662333A (zh) 2023-08-29

Family

ID=87712873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310566729.4A Pending CN116662333A (zh) 2023-05-19 2023-05-19 一种用于新能源设备的数据访问管理方法、系统

Country Status (1)

Country Link
CN (1) CN116662333A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632905A (zh) * 2023-11-28 2024-03-01 广州视声智能科技有限公司 基于云端使用记录的数据库管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117632905A (zh) * 2023-11-28 2024-03-01 广州视声智能科技有限公司 基于云端使用记录的数据库管理方法及系统
CN117632905B (zh) * 2023-11-28 2024-05-17 广州视声智能科技有限公司 基于云端使用记录的数据库管理方法及系统

Similar Documents

Publication Publication Date Title
WO2022110444A1 (zh) 云原生资源动态预测方法、装置、计算机设备及存储介质
EP3871120B1 (en) Apparatus and method for detecting an anomaly among successive events and computer program product therefor
CN105071983A (zh) 一种面向云计算在线业务的异常负载检测方法
CN117078048B (zh) 基于数字孪生的智慧城市资源管理方法及系统
WO2021217637A1 (zh) 终端策略配置方法、装置、计算机设备和存储介质
CN113254833B (zh) 一种基于产教融合的信息推送的方法及服务系统
CN116662333A (zh) 一种用于新能源设备的数据访问管理方法、系统
CN113656686B (zh) 一种基于产教融合的任务报告的生成方法及服务系统
CN111259167B (zh) 用户请求风险识别方法及装置
CN113762377A (zh) 网络流量识别方法、装置、设备及存储介质
CN115794578A (zh) 一种电力系统的数据管理方法、装置、设备及介质
CN115249043A (zh) 数据分析方法、装置、电子设备及存储介质
CN114138617B (zh) 自学习的变频监控方法、系统、电子设备和存储介质
TWI677830B (zh) 模型中關鍵變量的探測方法及裝置
CN116127400B (zh) 基于异构计算的敏感数据识别系统、方法及存储介质
CN110363640B (zh) 监控系统业务运行方法、装置及存储介质、服务器
CN115981179A (zh) 一种自动驾驶仿真测试场景测试指标生成方法及装置
CN117135038A (zh) 网络故障监测方法、装置及电子设备
CN114547482B (zh) 业务特征生成方法、装置、电子设备及存储介质
CN118134358B (zh) 一种智慧物流配送数据管理平台
CN116739545B (zh) 一种提升智能消息触达率的方法和装置
CN112101926B (zh) 一种专利年费智能支付方法及系统
CN118708444A (zh) 一种自推荐操作的服务器运维管理方法及系统
CN114116421A (zh) 一种基于elk的用户习惯分析方法及系统
CN115439928A (zh) 一种操作行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination