CN110795430A - 一种数据存储的方法及系统 - Google Patents

一种数据存储的方法及系统 Download PDF

Info

Publication number
CN110795430A
CN110795430A CN201911025758.XA CN201911025758A CN110795430A CN 110795430 A CN110795430 A CN 110795430A CN 201911025758 A CN201911025758 A CN 201911025758A CN 110795430 A CN110795430 A CN 110795430A
Authority
CN
China
Prior art keywords
historical data
storage table
time
data storage
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911025758.XA
Other languages
English (en)
Inventor
王泽军
姜闿笈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinao Shuneng Technology Co Ltd
Original Assignee
Xinao Shuneng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinao Shuneng Technology Co Ltd filed Critical Xinao Shuneng Technology Co Ltd
Priority to CN201911025758.XA priority Critical patent/CN110795430A/zh
Publication of CN110795430A publication Critical patent/CN110795430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据存储的方法、系统、计算机可读存储介质及电子设备，该方法通过根据历史数据的测点类型，确定历史数据存储表的时间单位；利用所述时间单位生成所述历史数据的配置信息；根据所述配置信息，生成当前时间对应的历史数据存储表；当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。通过本发明的技术方案，可更为快速简单的解决关系数据库中，由于时间的积累所带来的历史数据处理效率的问题。

Description

一种数据存储的方法及系统
技术领域
本发明涉及能源技术领域，尤其涉及一种数据存储的方法及系统。
背景技术
目前，历史数据存储于关系型数据库中时，一般同一测点的不同时间段的采样值都存于同一张表。此类存储表只要创建一次即可，测点的历史数据的查询插入处理也较为简单，只要对同一张表进行处理即可。
但是，传统方法同一个测点的历史数据存储在一张数据表中，系统运行时间越长，数据表记录越多，导致查询速度变慢。同时对较为久远的历史数据处理会变得较为复杂，如数据迁移(为节约空间，将暂时不用的过去的数据迁移至其他存储设备)、数据稀疏(将过去的历史数据存储周期由15分钟改为60分钟存储)等。由于关系数据库的特点，将会影响当前的历史数据的查询、存储效率。
因此，需要一种可以提高查询效率的数据存储方法。
发明内容
本发明提供了一种数据存储的方法、系统、计算机可读存储介质及电子设备，以解决关系数据库中，由于时间的积累所带来的历史数据处理效率的问题。
第一方面，本发明提供了一种数据存储的方法，包括：
根据历史数据的测点类型，确定历史数据存储表的时间单位；
利用所述时间单位生成所述历史数据的配置信息；
根据所述配置信息，生成当前时间对应的历史数据存储表；
当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。
优选地，根据历史数据的测点类型，确定历史数据存储表的时间单位，包括：
根据历史数据的测点类型，获取所述历史数据的存储时间；
根据所述存储时间，配置所述历史数据存储表的存储时间；
将所述存储时间设置为确定历史数据存储表的时间单位。
优选地，利用所述时间单位生成所述历史数据的配置信息，包括：
根据所述时间单位，确定所述历史数据对应的数据格式；
根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；
基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；
其中，所述配置信息至少包含历史数据的类型名称和存储时间。
优选地，根据所述配置信息，生成当前时间对应的历史数据存储表，包括：
当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；
若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
第二方面，本发明提供了一种数据存储的系统，包括：
设置模块，用于根据历史数据的测点类型，确定历史数据存储表的时间单位；
配置模块，用于利用所述时间单位生成所述历史数据的配置信息；
存储模块，用于根据所述配置信息，生成当前时间对应的历史数据存储表；
生成模块，用于当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。
优选地，设置模块包括：
获取单元，用于根据历史数据的测点类型，获取所述历史数据的存储时间；
配置单元，用于根据所述存储时间，配置所述历史数据存储表的存储时间；
设置单元，用于将所述存储时间设置为确定历史数据存储表的时间单位。
优选地，配置模块包括：
确定单元，用于根据所述时间单位，确定所述历史数据对应的数据格式；
第一生成单元，用于根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；
第二生成单元，用于基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；
其中，所述配置信息至少包含历史数据的类型名称和存储时间。
优选地，存储模块包括：
判断单元，用于当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；
若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
第三方面，本发明提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
本发明提供了一种数据存储的方法、系统、计算机可读存储介质及电子设备，该方法通过根据历史数据的测点类型，确定历史数据存储表的时间单位；利用所述时间单位生成所述历史数据的配置信息；根据所述配置信息，生成当前时间对应的历史数据存储表；当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。综上所述，通过本发明的技术方案，可更为快速简单的解决关系数据库中，由于时间的积累所带来的历史数据处理效率的问题。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种数据存储的方法的流程示意图；
图2为本发明一实施例提供的一种数据存储的系统的结构示意图；
图3为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所述，本发明实施例提供了一种数据存储的方法，包括如下各个步骤：
S101、根据历史数据的测点类型，确定历史数据存储表的时间单位。
具体地，可以根据历史数据的测点类型获取历史数据的存储时间；再由存储时间，配置该历史数据存储表的存储时间；将该存储时间设置为确定历史数据存储表的时间单位。进一步地，按测点类型配置历史数据存储表的存储时间单位，支持年、月、日等，分别存储一年、一个月、一天的历史数据。
S102、利用所述时间单位生成历史数据的配置信息。
具体地，可以根据历史数据存储表的时间单位确定所述历史数据对应的数据格式；根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；其中，所述配置信息至少包含历史数据的类型名称和存储时间。
S103、根据历史数据的配置信息，生成当前时间对应的历史数据存储表；
具体地，当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
S104、当采样数据生成时，将采样数据提交到当前时间对应的历史数据存储表。
具体地，可以是当新的存储周期到来时，历史管理服务器将会检查历史存储表是否存在，若历史管理服务器中不存在该采样数据可对应的历史存储表，则生成采样数据提交到当前时间对应的历史数据存储表。
针对上述数据存储的方法可以进一步进行实例说明：
历史管理服务根据配置信息生成当前时间相应的历史数据存储表，年存储表为类型名+年份；月存储表为类型名+年月；日存储表为类型名+年月日。以2019年5月12日为例，遥测数据存储表的存储单位为年时，生成的表名为ANALOG2019；存储单位为月时，生成的表名为ANALOG201905；存储单位为日时，生成的表名为ANALOG20190512；当新的存储周期到来时，历史管理服务将会检查历史存储表是否存在，若不存在，则生成；新的采样数据生成时，历史管理服务将会根据采样数据的时间，将数据提交到对应时间的历史数据存储表中。
综上所述方法，通过根据历史数据的测点类型，确定历史数据存储表的时间单位；利用所述时间单位生成所述历史数据的配置信息；根据所述配置信息，生成当前时间对应的历史数据存储表；当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。因此，通过本发明的技术方案，可更为快速简单的解决关系数据库中，由于时间的积累所带来的历史数据处理效率的问题。
如图2所述，本发明实施例提供了一种数据存储的系统，包括如下各个模块：设置模块201、配置模块202、存储模块203、生成模块204，具体如下：
设置模块201，用于根据历史数据的测点类型，确定历史数据存储表的时间单位；
配置模块202，用于利用所述时间单位生成所述历史数据的配置信息；
存储模块203，用于根据所述配置信息，生成当前时间对应的历史数据存储表；
生成模块204，用于当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。
其中，设置模块201包括获取单元、配置单元、设置单元，具体说明如下：
获取单元，用于根据历史数据的测点类型，获取所述历史数据的存储时间；
配置单元，用于根据所述存储时间，配置所述历史数据存储表的存储时间；
设置单元，用于将所述存储时间设置为确定历史数据存储表的时间单位。
配置模块202包括确定单元、第一生成单元、第二生成单元，具体说明如下：
确定单元，用于根据所述时间单位，确定所述历史数据对应的数据格式；
第一生成单元，用于根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；
第二生成单元，用于基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；
其中，所述配置信息至少包含历史数据的类型名称和存储时间。
存储模块203包括判断单元，具体说明如下：
判断单元，用于当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；
若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
基于上述所提供的系统，通过设置模块201、配置模块202、存储模块203、生成模块204的各功能的实现，可更为快速简单的解决关系数据库中，由于时间的积累所带来的历史数据处理效率的问题。
图3是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器301以及存储有执行指令的存储器302，可选地还包括内部总线303及网络接口304。其中，存储器302可能包含内存3021，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器3022(non-volatile memory)，例如至少1个磁盘存储器等；处理器301、网络接口304和存储器302可以通过内部总线303相互连接，该内部总线303可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线303可以分为地址总线、数据总线、控制总线等，为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器301执行存储器302存储的执行指令时，处理器301执行本发明任意一个实施例中的方法，并至少用于执行如图1所示的方法。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种区域能源系统的配置系统。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的一种区域能源系统的配置方法。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图3所示的电子设备；执行指令是一种区域能源系统的配置系统所对应计算机程序。
本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者锅炉不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者锅炉所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者锅炉中还存在另外的相同要素。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种数据存储的方法，其特征在于，包括：
根据历史数据的测点类型，确定历史数据存储表的时间单位；
利用所述时间单位生成所述历史数据的配置信息；
根据所述配置信息，生成当前时间对应的历史数据存储表；
当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。
2.根据权利要求1所述的方法，其特征在于，根据历史数据的测点类型，确定历史数据存储表的时间单位，包括：
根据历史数据的测点类型，获取所述历史数据的存储时间；
根据所述存储时间，配置所述历史数据存储表的存储时间；
将所述存储时间设置为确定历史数据存储表的时间单位。
3.根据权利要求1所述的方法，其特征在于，利用所述时间单位生成所述历史数据的配置信息，包括：
根据所述时间单位，确定所述历史数据对应的数据格式；
根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；
基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；
其中，所述配置信息至少包含历史数据的类型名称和存储时间。
4.根据权利要求1所述的方法，其特征在于，根据所述配置信息，生成当前时间对应的历史数据存储表，包括：
当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；
若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
5.一种数据存储的系统，其特征在于，包括：
设置模块，用于根据历史数据的测点类型，确定历史数据存储表的时间单位；
配置模块，用于利用所述时间单位生成所述历史数据的配置信息；
存储模块，用于根据所述配置信息，生成当前时间对应的历史数据存储表；
生成模块，用于当采样数据生成时，将所述采样数据提交到所述当前时间对应的历史数据存储表。
6.根据权利要求5所述的系统，其特征在于，所述设置模块包括：
获取单元，用于根据历史数据的测点类型，获取所述历史数据的存储时间；
配置单元，用于根据所述存储时间，配置所述历史数据存储表的存储时间；
设置单元，用于将所述存储时间设置为确定历史数据存储表的时间单位。
7.根据权利要求5所述的系统，其特征在于，所述配置模块包括：
确定单元，用于根据所述时间单位，确定所述历史数据对应的数据格式；
第一生成单元，用于根据所述时间单位和所述数据格式，生成所述历史数据存储表的名称；
第二生成单元，用于基于所述历史数据存储表的名称，自动生成所述历史数据的配置信息；
其中，所述配置信息至少包含历史数据的类型名称和存储时间。
8.根据权利要求5所述的系统，其特征在于，所述存储模块包括：
判断单元，用于当获取到历史数据新的存储周期时，判断所述有历史数据对应的历史存储表是否存在；
若所述有历史数据对应的历史存储表不存在，则根据所述配置信息，生成当前时间对应的历史数据存储表。
9.一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述处理器执行如权利要求1至4中任一所述的方法。
10.一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至4中任一所述的方法。
CN201911025758.XA 2019-10-25 2019-10-25 一种数据存储的方法及系统 Pending CN110795430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911025758.XA CN110795430A (zh) 2019-10-25 2019-10-25 一种数据存储的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025758.XA CN110795430A (zh) 2019-10-25 2019-10-25 一种数据存储的方法及系统

Publications (1)

Publication Number Publication Date
CN110795430A true CN110795430A (zh) 2020-02-14

Family

ID=69441392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025758.XA Pending CN110795430A (zh) 2019-10-25 2019-10-25 一种数据存储的方法及系统

Country Status (1)

Country Link
CN (1) CN110795430A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467547A (zh) * 2010-11-16 2012-05-23 金蝶软件（中国）有限公司 历史数据存储方法及装置
CN102646130A (zh) * 2012-03-12 2012-08-22 华中科技大学 一种海量历史数据的存储及索引方法
US20160154837A1 (en) * 2014-11-28 2016-06-02 International Business Machines Corporation Data storage in a network
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467547A (zh) * 2010-11-16 2012-05-23 金蝶软件（中国）有限公司 历史数据存储方法及装置
CN102646130A (zh) * 2012-03-12 2012-08-22 华中科技大学 一种海量历史数据的存储及索引方法
US20160154837A1 (en) * 2014-11-28 2016-06-02 International Business Machines Corporation Data storage in a network
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN110413634B (zh) 数据查询方法、系统、装置及计算机可读存储介质
CN110515795B (zh) 一种大数据组件的监控方法、装置、电子设备
CN112581018B (zh) 一种流程任务管理方法、系统、装置以及存储介质
CN112861501A (zh) 报表的生成方法、装置、电子设备及计算机可读存储介质
CN108304614B (zh) 集成电路版图引脚的设置方法及装置
CN109254904B (zh) 一种数据库压测方法、装置及电子设备
CN113688602A (zh) 一种任务处理方法以及装置
CN110083602B (zh) 一种基于hive表的数据存储及数据处理的方法及装置
CN110795430A (zh) 一种数据存储的方法及系统
CN110428156B (zh) 用于业务数据校验的方法、装置及电子设备
CN110647463B (zh) 一种恢复测试断点的方法、装置、电子设备
CN109815083B (zh) 一种应用崩溃的监控方法、装置、电子设备及介质
CN111198893B (zh) 一种数据更新方法、装置、可读介质及电子设备
CN114528214A (zh) 单元测试方法和装置
CN111143482B (zh) 一种能源物联网的业务数据处理方法、装置及电子设备
CN110688430B (zh) 一种获得数据旁路的方法、装置及电子设备
CN112651460A (zh) 一种光伏功率异常数据的识别方法及装置
CN109615465B (zh) 业务订单的处理方法、装置和电子设备
CN111198798A (zh) 服务稳定性的测量方法及装置
CN112733453A (zh) 一种基于联合学习的设备预测性维护方法及装置
CN111814112B (zh) 电力负荷预测方法、装置、可读介质及电子设备
CN112783922B (zh) 一种基于关系数据库的查询方法及装置
CN117272910B (zh) 一种集成电路老化电路板的模块化设计方法及装置
CN113051120A (zh) 一种数据监控方法、装置、可读介质及电子设备
CN111309623B (zh) 一种坐标类数据分类测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214

RJ01 Rejection of invention patent application after publication