CN115167783A - 一种基于大数据的电力物资数据多元存储方法及系统 - Google Patents

一种基于大数据的电力物资数据多元存储方法及系统 Download PDF

Info

Publication number
CN115167783A
CN115167783A CN202210927735.3A CN202210927735A CN115167783A CN 115167783 A CN115167783 A CN 115167783A CN 202210927735 A CN202210927735 A CN 202210927735A CN 115167783 A CN115167783 A CN 115167783A
Authority
CN
China
Prior art keywords
data
storage
request
storage address
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210927735.3A
Other languages
English (en)
Inventor
丁奎
陈元久
周滢雪
杨鸰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Tongchuang Technology Co ltd
Original Assignee
Guizhou Tongchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Tongchuang Technology Co ltd filed Critical Guizhou Tongchuang Technology Co ltd
Priority to CN202210927735.3A priority Critical patent/CN115167783A/zh
Publication of CN115167783A publication Critical patent/CN115167783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数据存储技术领域，具体公开了一种基于大数据的电力物资数据多元存储方法及系统，包括以下步骤：获取用户请求，所述用户请求包括读取请求或写入请求，所述读取请求用于读取第一数据，所述写入请求用于写入第二数据；判断用户请求类型，当用户请求类型为读取请求时，查找第一数据的第一存储地址，用户请求类型为写入请求时，生成第二数据的第二存储地址；将第一存储地址或第二存储地址返还给用户，构建用户与第一存储节点或第二存储节点之间的连接。本发明将数据的存储地址直接返回给用户，使用户与存储设备直接通信，获取存储设备中对应存储地址的数据，从而提高了数据获取效率，同时提高了CPU的工作效率。

Description

一种基于大数据的电力物资数据多元存储方法及系统
技术领域
本发明具体涉及数据存储技术领域，具体是一种基于大数据的电力物资数据多元存储方法及系统。
背景技术
随着我国经济的快速发展，电网建设也随之进入了发展的快车道。智能电网、特高压、直流输电、新能源等技术得到了大力发展。目前，电力系统内各类设备的安装量和使用量不断增加，同时电力企业减员增效工作持续推进，全面加强电力物资的调配效率和管理水平、提高高弹性电网的可靠性和效能性的现实需求逐渐明确。电力工程物资管理和最终的利润关系密切，因此加强物资管理是提高施工项目工程经济效益的主要途径。
由于电力系统中的物资数据种类繁多、数量庞大，采用现有技术中的存储服务器进行数据存储时需要存储服务器的CPU与存储设备不断进行通信，以获取存储设备中的数据和相应的数据存储地址，需要CPU从数据来源(存储设备)把每次获取的数据及地址信息复制到暂存器中，然后把它们返回给用户，在这个时间中，CPU对于其他的工作来说就无法使用，从而导致CPU工作拖延，降低CPU的工作效率。
发明内容
本发明的目的在于提供一种基于大数据的电力物资数据多元存储方法及系统，以解决上述背景技术中提出的CPU从数据来源(存储设备)把每次获取的数据及地址信息复制到暂存器中，然后把它们返回给用户，在这个时间中，CPU对于其他的工作来说就无法使用，从而导致CPU工作拖延，降低CPU的工作效率的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于大数据的电力物资数据多元存储方法及系统，包括以下步骤：
S10、获取用户请求，所述用户请求包括读取请求或写入请求，所述读取请求用于读取第一数据，所述写入请求用于写入第二数据；
S20、判断用户请求类型，当用户请求类型为读取请求时，查找第一数据的第一存储地址，用户请求类型为写入请求时，生成第二数据的第二存储地址；
S30、将第一存储地址或第二存储地址返还给用户，构建用户与第一存储节点或第二存储节点之间的连接，所述第一存储节点具有第一存储地址，第二存储节点具有第二存储地址；
S40、发送第一数据或写入第二数据。
作为本发明进一步的方案：步骤S20中，查找第一数据的第一存储地址的方法，包括以下步骤：
步骤S201、获取读取请求中的第一数据名称；
步骤S202、基于第一数据名称确定数据检索结果，所述数据检索结果为符合所述第一数据名称的目标数据以及与该目标数据对应的存储地址，所述目标数据对应的存储地址即为第一存储地址。
作为本发明再进一步的方案：步骤S20中，生成第二数据的第二存储地址的方法，包括以下步骤：
步骤S211、获取存储模块中各存储节点的磁盘空间剩余量和磁盘空间使用率；
步骤S212、基于磁盘空间剩余量计算剩余量比重以及基于磁盘空间使用率计算使用率比重，根据计算结果选择目标存储节点，该目标存储节点的存储地址即为第二存储地址。
作为本发明再进一步的方案：，步骤S212中，第i个存储节点的磁盘空间剩余量占数据存储模块存储空间的剩余量的比重为：
Figure BDA0003780390380000021
第i个存储节点的磁盘空间使用率占数据存储模块存储存储空间的使用率的比重为：
Figure BDA0003780390380000022
根据计算结果选择目标存储节点的方法为：构建存储节点选择模型：
Figure BDA0003780390380000023
其中：k表示权值，k(0≤k≤1)，满足存储节点选择模型的存储节点i即为所求的第二存储地址。
作为本发明再进一步的方案：还包括有步骤S50，所述步骤S50用于判断第二数据的类型，基于基于判断结果删除或保留第二数据。
作为本发明再进一步的方案：步骤S50中，判断第二数据类型的方法包括以下步骤：
S51、构建类型码数据库，所述类型码数据库包括至少一个用于区分数据类型的类型码；
S52、获取写入请求中的第二数据，所述第二数据包括特征类型码；
S53、将特征类型码与类型码数据库中的类型码进行逐一对比，基于对比结果确定第二数据的数据类型；
S54、基于第二数据的数据类型进行数据操作，所述数据操作包括删除数据和保留数据。
作为本发明再进一步的方案：所述类型码数据库中存储的类型码包括：表示定时存储数据的第一类型码、表示永久存储数据的第二类型码以及表示随机存储数据的第三类型码。
一种基于大数据的电力物资数据多元存储系统，包括：
用户模块，用于发送读取请求，所述读取请求用于读取第一数据，读取请求中包含第一数据名称；还用于发送写入请求，所述写入请求用于写入第二数据，写入请求中包含第二数据；以及
根据第一存储地址读取第一数据或根据第二存储地址写入第二数据；
数据访问模块，用于基于读取请求获取第一数据的第一存储地址，将所述第一存储地址发送给用户模块；还用于基于写入请求获取第二数据的第二存储地址，将所述第二存储地址发送给用户模块；
数据处理模块，用于检索第一数据的第一存储地址和生成第二数据的第二存储地址；还用于判断第二数据的数据类型，基于判断结果执行数据操作；
数据存储模块，包括至少一个数据存储节点，所述数据存储节点用于存储第一数据和/或第二数据。
作为本发明再进一步的方案：所述数据访问模块包括：
接收单元，用于接收读取请求或写入请求；还用于接收第一存储地址和第二存储地址；
发送单元，用于发送读取请求或写入请求；还用于将第一存储地址和第二存储地址发送给用户模块；
数据暂存单元，用于存储第一存储地址和第二存储地址。
作为本发明再进一步的方案：所述数据处理模块包括：
数据获取单元，用于获取第一数据的检索条件，所述检索条件为第一数据名称；还用于获取第二数据；
确定单元，用于根据第一数据的检索条件确定数据检索结果，所述数据检索结果为数据存储模块中符合所述检索条件的目标数据以及所述目标数据的存储地址，该目标数据即为第一数据，该目标数据的存储地址即为第一存储地址；还用于生成第二数据的第二存储地址；
判断模块，用于判断第二数据的数据类型，基于判断结果生成操作指令并执行，所述操作指令用于对存入的第二数据进行保留或删除；
数据发送单元，用于发送第一存储地址和第二数据。
与现有技术相比，本发明的有益效果是：本发明将数据的存储地址直接返回给用户，使用户与存储设备直接通信，获取存储设备中对应存储地址的数据，从而提高了数据获取效率，同时提高了CPU的工作效率。
附图说明
图1为基于大数据的电力物资数据多元存储方法的流程图。
图2为基于大数据的电力物资数据多元存储方法中步骤S20的流程图。
图3为基于大数据的电力物资数据多元存储方法中步骤S20进一步的流程图。
图4为基于大数据的电力物资数据多元存储方法中步骤S50的流程图。
图5为基于大数据的电力物资数据多元存储系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～4，本发明实施例中，一种基于大数据的电力物资数据多元存储方法，应用于电力系统的物资数据存储服务器，包括以下步骤：
S10、获取用户请求，所述用户请求包括读取请求或写入请求，所述读取请求用于读取第一数据，读取请求中包含第一数据名称，所述写入请求用于写入第二数据，写入请求中包含第二数据；
S20、判断用户请求类型，当用户请求类型为读取请求时，查找第一数据的第一存储地址，用户请求类型为写入请求时，生成第二数据的第二存储地址；
S30、将第一存储地址或第二存储地址返还给用户，构建用户与第一存储节点或第二存储节点之间的连接，所述第一存储节点具有第一存储地址，第二存储节点具有第二存储地址；
S40、发送第一数据或写入第二数据。
由于电力系统中的物资数据种类繁多、数量庞大，采用现有技术中的存储服务器进行数据存储时需要存储服务器的CPU与存储设备不断进行通信，以获取存储设备中的数据和相应的数据存储地址，需要CPU从数据来源(存储设备)把每次获取的数据及地址信息复制到暂存器中，然后把它们返回给用户，在这个时间中，CPU对于其他的工作来说就无法使用，从而导致CPU工作拖延，降低CPU的工作效率，本发明将数据的存储地址直接返回给用户，使用户与存储设备直接通信，获取存储设备中对应存储地址的数据，从而提高了数据获取效率，同时提高了CPU的工作效率；
在本发明实施例步骤S20中，查找第一数据的第一存储地址的方法，包括以下步骤：
步骤S201、获取读取请求中的第一数据名称；
步骤S202、基于第一数据名称确定数据检索结果，所述数据检索结果为符合所述第一数据名称的目标数据以及与该目标数据对应的存储地址，可以理解的是，该目标数据即为第一数据，该存储地址即为第一存储地址；
进一步的，在本发明实施例步骤S20中，生成第二数据的第二存储地址的方法，包括以下步骤：
步骤S211、获取存储模块中各存储节点的磁盘空间剩余量和磁盘空间使用率；
步骤S212、基于磁盘空间剩余量计算剩余量比重以及磁盘空间使用率计算使用率比重，根据计算结果选择目标存储节点，该目标存储节点即为第二数据的存储位置，该目标节点的存储地址即为第二存储地址；
再进一步的，步骤S212中，第i个存储节点的磁盘空间剩余量占数据存储模块存储空间的剩余量的比重表示为：
Figure BDA0003780390380000061
第i个存储节点的磁盘空间使用率占数据存储模块存储存储空间的使用率的比重表示为：
Figure BDA0003780390380000062
基于计算结果选择目标存储节点的方法为：构建存储节点的选择模型：
Figure BDA0003780390380000063
其中：k表示权值，k(0≤k≤1)。
在本发明实施例中，还包括有步骤S50，所述步骤S50用于判断第二数据的类型，基于判断结果删除或保留第二数据；
另外，在本发明实施例步骤S50中，判断第二数据类型的方法包括以下步骤：
S51、构建类型码数据库，所述类型码数据库包括至少一个用于区分数据类型的类型码；
S52、获取写入请求中的第二数据，所述第二数据包括特征类型码；
S53、将特征类型码与类型码数据库中的类型码进行逐一对比，基于对比结果确定第二数据的数据类型；
S54、基于第二数据的数据类型进行数据操作，所述数据操作包括删除数据和保留数据；
进一步的，再本发明实施例中，所述类型码数据库中存储的类型码包括：表示定时存储数据的第一类型码、表示永久存储数据的第二类型码以及表示随机存储数据的第三类型码，其中，定时存储数据表示为用户设定删除时间T1的数据，随机存储数据为系统设定删除时间T2的数据，永久存储数据为永久保留的数据，具体如表1所示：
表1
Figure BDA0003780390380000064
Figure BDA0003780390380000071
用户模块100，所述用户模块100用于发送读取请求，所述读取请求用于读取第一数据，读取请求中包含第一数据名称；还用于发送写入请求，所述写入请求用于写入第二数据，写入请求中包含第二数据；以及
根据第一存储地址读取第一数据或根据第二存储地址写入第二数据；
数据访问模块200，所述数据访问模块200用于基于读取请求获取第一数据的第一存储地址，将所述第一存储地址发送给用户模块100；还用于基于写入请求获取第二数据的第二存储地址，将所述第二存储地址发送给用户模块100；
数据处理模块300，所述数据处理模块300用于检索第一数据的第一存储地址和生成第二数据的第二存储地址；还用于判断第二数据的数据类型，基于判断结果执行数据操作；
数据存储模块400，包括至少一个数据存储节点，所述数据存储节点用于存储第一数据和/或第二数据。
在本发明实施例中，当用户模块100访问文件(发送读取请求读取第一数据)时，首先将包含该文件名字的访问请求发送给数据访问模块200，数据访问模块200通过数据处理模块300查找该文件的存储地址信息，然后数据访问模块200将该地址信息反馈给用户模块100，进而用户模块100直接和相应的数据存储节点建立连接并进行具体的文件读写操作，实现用户模块100与数据存储节点的直接对接；
进一步的，在本发明实施例中，所述数据访问模块200包括：
接收单元210，用于接收用户模块100发送的读取请求或写入请求；还用于接收数据处理模块300发送的第一存储地址和第二存储地址；
发送单元220，用于将读取请求或写入请求发送给数据处理模块300，以获取数据处理模块300返回的第一存储地址和第二存储地址；还用于将第一存储地址和第二存储地址发送给用户模块100；
数据暂存单元230，用于存储第一存储地址和第二存储地址。
在本发明实施例中，所述数据处理模块300包括：
数据获取单元310，用于获取第一数据的检索条件，所述检索条件为第一数据名称；还用于获取第二数据；
确定单元320，用于根据第一数据的检索条件确定数据检索结果，所述数据检索结果为数据存储模块400中符合所述检索条件的目标数据以及所述目标数据的存储地址，该目标数据即为第一数据，该目标数据的存储地址即为第一存储地址；还用于生成第二数据的第二存储地址；
判断单元330，用于判断第二数据的数据类型，基于判断结果生成操作指令并执行，所述操作指令用于对存入的第二数据进行保留或删除，需要说明的是，在本发明实施例中，所述删除操作并不是直接删除，而是保存一段时间T后删除，在执行删除操作时，需要判断文件的保存时间是否达到删除时间T，达到后再进行删除，在本实施例中，删除时间T1由用户设定，删除时间T2由系统设定，一般为一个较短的时间值；
数据发送单元340，用于发送第一存储地址和第二数据；
进一步的，在本发明实施例中，生成第二数据的第二存储地址的方法为：
设数据存储模块400中共有n个存储节点，Pi表示第i个数据节点的磁盘空间的剩余量，Qi表示第i个数据节点的磁盘空间使用率；
那么，第i个存储节点的磁盘空间剩余量占数据存储模块400存储空间的剩余量的比重表示为：
Figure BDA0003780390380000081
第i个存储节点的磁盘空间使用率占数据存储模块400存储存储空间的使用率的比重表示为：
Figure BDA0003780390380000082
为了使磁盘使用率达到最高，则，第i个存储节点的磁盘空间剩余量越大，该存储节点的资源使用率就越小，即，该存储节点的资源剩余量越大，用户上传的文件数据被分配到该存储节点的概率就越大，为了使存储节点的磁盘空间剩余量和系统资源占用率的影响力可控，设定权值k(0≤k≤1)，那么，第i个存储节点的磁盘空间剩余量与磁盘空间使用率的综合比重为：
Figure BDA0003780390380000091
由上式可知，当k越小时，第i个存储节点的磁盘空间的剩余量对综合空间剩余比重的影响越小，存储节点的磁盘空间使用情况对综合磁盘空间剩余比重越大；反之，当k越大时，第i个存储节点的磁盘空间的剩余量对综合空间剩余比重的影响越大，存储节点的磁盘空间使用情况对综合磁盘空间剩余比重越小，因此，可实现利用权值k来条件系统占用率与磁盘空间剩余量的影响力，选取随机数random，且满足1≤random≤100，那么i的选取条件为：
Figure BDA0003780390380000092
满足上式的i即为当前选取的条件最优的存储节点，该存储节点地址即为第二存储地址。
综上所述，本发明将数据的存储地址直接返回给用户，使用户与存储设备直接通信，获取存储设备中对应存储地址的数据，从而提高了数据获取效率，同时提高了CPU的工作效率。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于大数据的电力物资数据多元存储方法，其特征在于，包括以下步骤：
S10、获取用户请求，所述用户请求包括读取请求或写入请求，所述读取请求用于读取第一数据，所述写入请求用于写入第二数据；
S20、判断用户请求类型，当用户请求类型为读取请求时，查找第一数据的第一存储地址，用户请求类型为写入请求时，生成第二数据的第二存储地址；
S30、将第一存储地址或第二存储地址返还给用户，构建用户与第一存储节点或第二存储节点之间的连接，所述第一存储节点具有第一存储地址，第二存储节点具有第二存储地址；
S40、发送第一数据或写入第二数据。
2.根据权利要求1所述的基于大数据的电力物资数据多元存储方法，其特征在于，步骤S20中，查找第一数据的第一存储地址的方法，包括以下步骤：
步骤S201、获取读取请求中的第一数据名称；
步骤S202、基于第一数据名称确定数据检索结果，所述数据检索结果为符合所述第一数据名称的目标数据以及与该目标数据对应的存储地址，所述目标数据对应的存储地址即为第一存储地址。
3.根据权利要求1所述的基于大数据的电力物资数据多元存储方法，其特征在于，步骤S20中，生成第二数据的第二存储地址的方法，包括以下步骤：
步骤S211、获取存储模块中各存储节点的磁盘空间剩余量和磁盘空间使用率；
步骤S212、基于磁盘空间剩余量计算剩余量比重以及基于磁盘空间使用率计算使用率比重，根据计算结果选择目标存储节点，该目标存储节点的存储地址即为第二存储地址。
4.根据权利要求3所述的基于大数据的电力物资数据多元存储方法，其特征在于，步骤S212中，第i个存储节点的磁盘空间剩余量占数据存储模块存储空间的剩余量的比重为：
Figure FDA0003780390370000011
第i个存储节点的磁盘空间使用率占数据存储模块存储存储空间的使用率的比重为：
Figure FDA0003780390370000021
根据计算结果选择目标存储节点的方法为：构建存储节点选择模型：
Figure FDA0003780390370000022
其中：k表示权值，k(0≤k≤1)，满足存储节点选择模型的存储节点i即为所求的第二存储地址。
5.根据权利要求1所述的基于大数据的电力物资数据多元存储方法，其特征在于，还包括有步骤S50，所述步骤S50用于判断第二数据的类型，基于基于判断结果删除或保留第二数据。
6.根据权利要求1所述的基于大数据的电力物资数据多元存储方法，其特征在于，另外，步骤S50中，判断第二数据类型的方法包括以下步骤：
S51、构建类型码数据库，所述类型码数据库包括至少一个用于区分数据类型的类型码；
S52、获取写入请求中的第二数据，所述第二数据包括特征类型码；
S53、将特征类型码与类型码数据库中的类型码进行逐一对比，基于对比结果确定第二数据的数据类型；
S54、基于第二数据的数据类型进行数据操作，所述数据操作包括删除数据和保留数据。
7.根据权利要求6所述的基于大数据的电力物资数据多元存储方法，其特征在于，所述类型码数据库中存储的类型码包括：表示定时存储数据的第一类型码、表示永久存储数据的第二类型码以及表示随机存储数据的第三类型码。
8.一种基于大数据的电力物资数据多元存储系统，其特征在于，包括：
用户模块，用于发送读取请求，所述读取请求用于读取第一数据，读取请求中包含第一数据名称；还用于发送写入请求，所述写入请求用于写入第二数据，写入请求中包含第二数据；以及
根据第一存储地址读取第一数据或根据第二存储地址写入第二数据；
数据访问模块，用于基于读取请求获取第一数据的第一存储地址，将所述第一存储地址发送给用户模块；还用于基于写入请求获取第二数据的第二存储地址，将所述第二存储地址发送给用户模块；
数据处理模块，用于检索第一数据的第一存储地址和生成第二数据的第二存储地址；还用于判断第二数据的数据类型，基于判断结果执行数据操作；
数据存储模块，包括至少一个数据存储节点，所述数据存储节点用于存储第一数据和/或第二数据。
9.根据权利要求8所述的基于大数据的电力物资数据多元存储系统，其特征在于，所述数据访问模块包括：
接收单元，用于接收读取请求或写入请求；还用于接收第一存储地址和第二存储地址；
发送单元，用于发送读取请求或写入请求；还用于将第一存储地址和第二存储地址发送给用户模块；
数据暂存单元，用于存储第一存储地址和第二存储地址。
10.根据权利要求9所述的基于大数据的电力物资数据多元存储系统，其特征在于，所述数据处理模块包括：
数据获取单元，用于获取第一数据的检索条件，所述检索条件为第一数据名称；还用于获取第二数据；
确定单元，用于根据第一数据的检索条件确定数据检索结果，所述数据检索结果为数据存储模块中符合所述检索条件的目标数据以及所述目标数据的存储地址，该目标数据即为第一数据，该目标数据的存储地址即为第一存储地址；还用于生成第二数据的第二存储地址；
判断模块，用于判断第二数据的数据类型，基于判断结果生成操作指令并执行，所述操作指令用于对存入的第二数据进行保留或删除；
数据发送单元，用于发送第一存储地址和第二数据。
CN202210927735.3A 2022-08-03 2022-08-03 一种基于大数据的电力物资数据多元存储方法及系统 Pending CN115167783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210927735.3A CN115167783A (zh) 2022-08-03 2022-08-03 一种基于大数据的电力物资数据多元存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210927735.3A CN115167783A (zh) 2022-08-03 2022-08-03 一种基于大数据的电力物资数据多元存储方法及系统

Publications (1)

Publication Number Publication Date
CN115167783A true CN115167783A (zh) 2022-10-11

Family

ID=83476773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210927735.3A Pending CN115167783A (zh) 2022-08-03 2022-08-03 一种基于大数据的电力物资数据多元存储方法及系统

Country Status (1)

Country Link
CN (1) CN115167783A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术（北京）股份有限公司 一种具有p2p功能的分布式存储系统和方法
CN107092439A (zh) * 2017-03-07 2017-08-25 华为技术有限公司 一种数据存储的方法及设备
CN109634915A (zh) * 2018-11-28 2019-04-16 深圳市网心科技有限公司 文件部署方法、云服务器、系统及存储介质
CN110570538A (zh) * 2019-08-07 2019-12-13 华为技术有限公司 智能驾驶汽车中黑匣子数据的管理方法、装置和设备
CN110781156A (zh) * 2019-09-20 2020-02-11 苏州浪潮智能科技有限公司 一种数据节点的分配方法、设备及介质
CN111858588A (zh) * 2020-07-15 2020-10-30 中国建设银行股份有限公司 一种分布式应用索引服务平台及数据处理方法
CN113420079A (zh) * 2021-06-25 2021-09-21 江苏三希科技股份有限公司 环保监控平台的数据管理方法、系统、终端及存储介质
CN113535330A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种基于节点评价函数的超融合系统数据本地化存储方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710901A (zh) * 2009-10-22 2010-05-19 乐视网信息技术（北京）股份有限公司 一种具有p2p功能的分布式存储系统和方法
CN107092439A (zh) * 2017-03-07 2017-08-25 华为技术有限公司 一种数据存储的方法及设备
CN109634915A (zh) * 2018-11-28 2019-04-16 深圳市网心科技有限公司 文件部署方法、云服务器、系统及存储介质
CN110570538A (zh) * 2019-08-07 2019-12-13 华为技术有限公司 智能驾驶汽车中黑匣子数据的管理方法、装置和设备
CN110781156A (zh) * 2019-09-20 2020-02-11 苏州浪潮智能科技有限公司 一种数据节点的分配方法、设备及介质
CN111858588A (zh) * 2020-07-15 2020-10-30 中国建设银行股份有限公司 一种分布式应用索引服务平台及数据处理方法
CN113420079A (zh) * 2021-06-25 2021-09-21 江苏三希科技股份有限公司 环保监控平台的数据管理方法、系统、终端及存储介质
CN113535330A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种基于节点评价函数的超融合系统数据本地化存储方法

Similar Documents

Publication Publication Date Title
JP4503647B2 (ja) メモリ割り当てのためのフックした複製値を有するバイナリサーチツリー
US10152501B2 (en) Rollover strategies in a n-bit dictionary compressed column store
CN106294190B (zh) 一种存储空间管理方法及装置
CN110147204B (zh) 一种元数据落盘方法、装置、系统及计算机可读存储介质
CN104035925A (zh) 数据存储方法、装置和存储系统
CN104598394A (zh) 一种可动态分配的数据缓存方法及系统
CN106960011A (zh) 分布式文件系统元数据管理系统及方法
CN104021223A (zh) 一种集群数据库测点的访问方法及装置
CN115391427A (zh) Impala自动化伸缩的系统、方法、介质及设备
CN115878595A (zh) 一种基于ftl的智能物联表的数据迁移方法及存储介质
CN111158601A (zh) 一种缓存中的io数据下刷方法、系统及相关装置
CN104391947B (zh) 海量gis数据实时处理方法及系统
CN115964002B (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN111949610B (zh) 一种基于ai训练平台的海量文件检索方法、装置及设备
CN115167783A (zh) 一种基于大数据的电力物资数据多元存储方法及系统
CN111984650A (zh) 一种树结构数据的存储方法、系统及相关装置
CN112463734A (zh) 一种文件检索方法、系统及相关装置
CN111124313A (zh) 电力采集终端数据读写方法、装置和电子设备
CN115510092B (zh) 一种基于布谷鸟过滤器的近似成员查询优化方法
CN112541834B (zh) 水电工业数字对象的标识符处理方法、装置和系统
Beigrezaei et al. A new fuzzy based dynamic data replication algorithm in data grids
CN110851452B (zh) 数据表连接处理方法及装置、电子设备和存储介质
CN113626382A (zh) 分布式文件系统中聚合对象的索引方法、系统及相关装置
CN113344548A (zh) 一种工作流生成方法、装置、设备及存储介质
CN113741787B (zh) 一种数据存储方法、装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination