CN112380256B - 能源系统数据存取的方法、数据库、计算机可读存储介质 - Google Patents
能源系统数据存取的方法、数据库、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112380256B CN112380256B CN202011325622.3A CN202011325622A CN112380256B CN 112380256 B CN112380256 B CN 112380256B CN 202011325622 A CN202011325622 A CN 202011325622A CN 112380256 B CN112380256 B CN 112380256B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- executing
- query
- result set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013500 data storage Methods 0.000 claims abstract description 10
- 238000005265 energy consumption Methods 0.000 claims abstract description 8
- 238000013508 migration Methods 0.000 claims abstract description 8
- 230000005012 migration Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种能源系统数据存取的方法、数据库、计算机可读存储介质。其中系统存储结构包含有缓存数据库、关系型数据库和文档型数据库，方法包括：系统数据存储步骤.其用于向能源设备采集能耗数据形成数据集，并根据数据集中数据的属性将数据分类存储至缓存数据库、关系型数据库或文档型数据库；系统数据优化存储步骤.其用于定时对关系型数据库中的每一项结果集数据，根据结果集数据的项长度以及数据库磁盘空间与相应临界值的比较结果，执行迁移操作；系统数据查询步骤.其用于在执行查询数据操作时，根据查询条件及查询数据的属性，从缓存数据库、关系型数据库或文档型数据库查询数据并进行结果集返回操作。
Description
技术领域
本发明涉及大数据应用领域，尤其是一种能源系统数据存取的方法、数据库、计算机可读存储介质。
背景技术
机场的能源监测分析系统用于收集汇总某片区域内所有的耗能设备基础信息、实时设备状态信息、实时设备能耗测量信息、实时影响该区域耗能的其他信息。随着系统使用时间增长，系统收集汇总的数据量越来越多，系统查询效率逐步下降，优化数据存储空间和数据查询效率是系统亟待解决的问题。
发明内容
本发明为解决或部分解决现有技术中的不足之处，而提供一种能源系统数据存取的方法、数据库、计算机可读存储介质。
为实现所述目的，本发明的技术方案为：
依据本发明的一个方面，提供一种能源系统数据存取的方法，系统存储结构包含有缓存数据库、关系型数据库和文档型数据库，其中缓存数据库支持key-value查询并使用内存存储，关系型数据库支持关联查询、连表查询；
所述方法包括：
系统数据存储步骤.其用于向能源设备采集能耗数据形成数据集，并根据数据集中数据的属性将数据分类存储至缓存数据库、关系型数据库或文档型数据库，其中所述属性包括是否为源数据、是否涉及关联查询或连表查询；
系统数据优化存储步骤.其用于定时对关系型数据库中的每一项结果集数据，根据结果集数据的项长度以及数据库磁盘空间与相应临界值的比较结果，执行迁移操作；
系统数据查询步骤.其用于在执行查询数据操作时，根据查询条件及查询数据的属性，从缓存数据库、关系型数据库或文档型数据库查询数据并进行结果集返回操作。
进一步的，缓存数据库用于存储用户交互相关数据，以及作为数据分析过程中缓存数据库；文档型数据库用于存储能源设备采集的源数据，以及系统分析后的历史数据；关系型数据库用于存储系统其余数据。
进一步的，所述系统数据存储步骤进一步包括：
步骤S11.逐一判断数据集中每一项数据，如果属于源数据，则将其存入文档型数据库，流程结束；如果不属于源数据，则对结果集数据进行筛选分类并执行步骤S12进行判断；
步骤S12.判断该项结果集数据是否需要关联查询或连表查询，如果涉及关联查询或连表查询，则将其存入关系型数据库，流程结束；如果不涉及关联查询或连表查询，则根据该项结果集数据的特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，value值为数据主体，然后执行步骤S13；
步骤S13.对步骤S12的数据集分类，把key值存入关系型数据库并标记为单一查询库，把value值存入文档型数据库，流程结束。
进一步的，系统定时发送指令向能源设备采集能耗数据。
进一步的，所述系统数据优化存储步骤进一步包括：
步骤S21.判断结果集数据项长度是否大于临界值A，如果没有达到临界值A，则执行步骤S22进行检查数据库磁盘空间；如果达到临界值A，则查找并移出超过临界值A的数据，然后启动执行步骤S22进行检查数据库磁盘空间，以及执行步骤S24进行数据处理；
步骤S22.如果磁盘使用空间小于临界值B，流程结束，如果大于临界值B，执行步骤S23进行迁移操作；
步骤S23.查找最近最久使用的数据，并移出处理，然后执行步骤S24；
步骤S24.对于移出关系型数据库数据，根据其特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，存储于关系型数据库中并标记为历史查询库，value值为数据主体，存储文档型数据库。
进一步的，步骤S21中，具体根据FIFO算法来查找并移出超过临界值A的数据；且/或步骤S23中，具体根据LRU算法来查找最近最久使用的数据。
进一步的，所述系统数据查询步骤具体使用缓存数据库作为关系型数据库的查询中间件。
进一步的，所述系统数据查询步骤进一步包括：
步骤S31.判断查询的数据是否属于源数据，如果属于源数据，执行步骤S32，否则执行步骤S33；
步骤S32.从文档型数据库中查询数据，然后执行步骤S310进行结果集返回操作；
步骤S33.根据查询条件查询缓存数据库是否满足查询需求，如果满足，从缓存数据库中读数据，然后执行步骤S310进行结果集返回操作，否则执行步骤S34；
步骤S34.查询关系型数据库中的单一查询库，判断是否满足相关查询条件，如果满足，执行步骤S35，否则执行步骤S37；
步骤S35.根据条件查找关系型数据库中满足查询条件的所有key值，执行步骤S36；
步骤S36.根据步骤S35中的所有key值，逐一查询文档型数据，获取结果集，然后执行步骤S310进行结果集返回操作；
步骤S37.查询关系型数据库中历史查询库，判断历史查询库是否含有相关查询条件，如果未含有，执行步骤S38，否则查找关系型数据库中满足查询条件的所有key值，执行步骤S39；
步骤S38.查询关系型数据，然后执行步骤S310进行结果集返回操作；
步骤S39.根据步骤S37中的所有key值，从文档型数据库中查找相关数据，并转换为关系型数据存储于关系型数据库中，再执行步骤S38；
步骤S310.处理数据并返回结果，流程结束。
依据本发明的另一个方面，提供了一种数据库，包括缓存数据库、关系型数据库和文档型数据库，其中缓存数据库支持key-value查询并使用内存存储，关系型数据库支持关联查询、连表查询；还包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行所述的方法。
依据本发明的另一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现所述的方法。
本发明的能源系统数据存取方法，能提高服务器资源的利用率，优化系统查询效率，解决系统数据存储问题。
所述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的所述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的台件。
在附图中：
图1示出了本发明的数据库设计存储结构图；
图2示出了本发明的数据入库存储流程图；
图3示出了本发明的数据优化存储流程；
图4示出了本发明的数据查询流程；
图5为本发明的数据库的结构示意图；
图6为本发明的计算机可读存储介质的结构示意图。
实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所述，系统存储共三个模块，分别是缓存数据库、关系型数据库和文档型数据库；三种数据库的特征如下：缓存数据库只支持key-value查询，使用内存存储，读取速度快但存储空间小；关系型数据库支持关联查询连表查询等各种复杂查询，具备数据计算功能，数据量级500万；文档数据库存储空间大，查询速度快，但不支持关联连表查询等。根据三种数据库的特点，其中缓存数据库存储与用户相互交互相关的数据，以及作为数据分析过程中缓存数据库；文档型数据库存储存储能源设备采集的源数据，以及系统分析后的历史数据；关系型数据库存储系统其余数据，实际中为主要数据。
基于上述系统存储架构，如图2所示，系统数据存储流程如下处理步骤：
步骤S11.系统定时发送指令向机场的能源设备采集能耗数据，对采集后的数据集进行分析和分类，从而根据数据集中数据的属性将数据分类存储至缓存数据库、关系型数据库或文档型数据库，其中所述属性包括是否为源数据、是否涉及关联查询或连表查询，具体地，逐一判断数据集中每一项数据，如果属于源数据，则将其存入文档型数据库，流程结束；如果不属于源数据，则对结果集数据进行筛选分类并执行步骤S12进行判断；
步骤S12.判断该项结果集数据是否需要关联或连表查询，如果涉及关联或连表等复杂查询，则将其存入关系型数据库，流程结束；如果不涉及关联或连表查询，则根据该项结果集数据的特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，存储空间小，value值为数据主体，然后执行步骤S13；
步骤S13.对步骤S12的数据集分类，把key值存入关系型数据库并标记为单一查询库，把value值存入文档型数据库，流程结束。
随着系统使用时间增长，结果集数据量会越来越大，关系型数据库压力逐步增大，执行效率下降，需求进行数据迁移，系统如图3所述，执行系统数据优化存储流程如下：
步骤S21.系统定时启动对关系型数据库中结果集数据的迁移操作，逐一对每一项结果集数据，根据结果集数据的项长度以及数据库磁盘空间与相应临界值的比较结果，进行迁移，具体地，判断结果集数据项长度是否大于临界值A，如果没有达到临界值A，则执行步骤S22进行检查数据库磁盘空间；如果达到临界值A，则根据FIFO算法，查找并移出超过临界值A的数据，然后同时启动两项操作，操作一为执行步骤S22进行检查数据库磁盘空间，操作二为执行步骤S24进行数据处理；
步骤S22.如果磁盘使用空间小于临界值B，流程结束，如果大于临界值B，执行步骤S23进行迁移操作；
步骤S23.根据LRU算法，查找最近最久使用的数据，并移出处理，然后执行步骤S24；
步骤S24.对于移出关系型数据库数据，根据其特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，存储于关系型数据库中并标记为历史查询库，value值为数据主体，存储文档型数据库。
由于按读写速度排序，缓存数据库>文档型数据库>关系型数据库，系统数据存储已分类后，为了提高查询效率高，系统使用缓存数据库作为关系型数据库的查询中间件，系统读取流程调整，操作流程如图4所述，包括：
步骤S31.在执行查询数据操作时，对查询条件进行分析处理，并根据查询条件及查询数据的属性，从缓存数据库、关系型数据库或文档型数据库查询数据并进行结果集返回操作，具体为判断查询的数据是否属于源数据，如果属于源数据，执行步骤S32，否则执行步骤S33；
步骤S32.从文档型数据库中查询数据，然后执行步骤S310进行结果集返回操作；
步骤S33.根据查询条件查询缓存数据库是否满足查询需求，如果满足，从缓存数据库中读数据，然后执行步骤S310进行结果集返回操作，否则执行步骤S34；
步骤S34.查询关系型数据库中的单一查询库，判断是否满足相关查询条件，如果满足，执行步骤S35，否则执行步骤S37；
步骤S35.根据条件查找关系型数据库中满足查询条件的所有key值，执行步骤S36；
步骤S36.根据步骤S35中的所有key值，逐一查询文档型数据，获取结果集，然后执行步骤S310进行结果集返回操作；
步骤S37.查询关系型数据库中历史查询库，判断历史查询库是否含有相关查询条件，如果未含有，表明所有的数据存储于关系新型数据库中，则执行步骤S38，否则查找关系型数据库中满足查询条件的所有key值，执行步骤S39；
步骤S38.查询关系型数据，然后执行步骤S310进行结果集返回操作；
步骤S39.根据步骤S37中的所有key值，从文档型数据库中查找相关数据，并转换为关系型数据存储于关系型数据库中，再执行步骤S38；
步骤S310.相应处理数据并返回结果，流程结束。
本实施例的能源系统数据存取方法，能提高服务器资源的利用率，优化系统查询效率，解决系统数据存储问题。
需要说明的是：
本实施例所用的方法，可转化为可存储于计算机存储介质中的程序步骤及装置，通过被控制器调用执行的方式进行实施，其中所述装置应当被理解为计算机程序实现的功能模块。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图5示出了根据本发明一个实施例的数据库的结构示意图。该数据库传统上包括处理器31和被安排成存储计算机可执行指令（程序代码）的存储器32。存储器32可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。存储器32具有存储用于执行实施例中的任何方法步骤的程序代码34的存储空间33。例如，用于程序代码的存储空间33可以包括分别用于实现上面的方法中的各种步骤的各个程序代码34。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘（CD）、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图6所述的计算机可读存储介质。该计算机可读存储介质可以具有与图5的数据库中的存储器32类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码41，即可以由诸如31之类的处理器读取的程序代码，当这些程序代码由数据库运行时，导致该数据库执行上面所描述的方法中的各个步骤。
应该注意的是所述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (6)
1.一种能源系统数据存取的方法，其特征在于，
系统存储结构包含有缓存数据库、关系型数据库和文档型数据库，其中缓存数据库支持key-value查询并使用内存存储，关系型数据库支持关联查询、连表查询；
所述方法包括：
系统数据存储步骤，其用于向能源设备采集能耗数据形成数据集，并根据数据集中数据的属性将数据分类存储至缓存数据库、关系型数据库或文档型数据库，其中所述属性包括是否为源数据、是否涉及关联查询或连表查询；
系统数据优化存储步骤，其用于定时对关系型数据库中的每一项结果集数据，根据结果集数据的项长度以及数据库磁盘空间与相应临界值的比较结果，执行迁移操作；
系统数据查询步骤，其用于在执行查询数据操作时，根据查询条件及查询数据的属性，从缓存数据库、关系型数据库或文档型数据库查询数据并进行结果集返回操作；
所述系统数据存储步骤进一步包括：
步骤S11.逐一判断数据集中每一项数据，如果属于源数据，则将其存入文档型数据库，流程结束；如果不属于源数据，则对结果集数据进行筛选分类并执行步骤S12进行判断；
步骤S12.判断该项结果集数据是否需要关联查询或连表查询，如果涉及关联查询或连表查询，则将其存入关系型数据库，流程结束；如果不涉及关联查询或连表查询，则根据该项结果集数据的特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，value值为数据主体，然后执行步骤S13；
步骤S13.对步骤S12的数据集分类，把key值存入关系型数据库并标记为单一查询库，把value值存入文档型数据库，流程结束；
所述系统数据优化存储步骤进一步包括：
步骤S21.判断结果集数据项长度是否大于临界值A，如果没有达到临界值A，则执行步骤S22进行检查数据库磁盘空间；如果达到临界值A，则查找并移出超过临界值A的数据，然后启动执行步骤S22进行检查数据库磁盘空间，以及执行步骤S24进行数据处理；
步骤S22.如果磁盘使用空间小于临界值B，流程结束，如果大于临界值B，执行步骤S23进行迁移操作；
步骤S23.查找最近最久使用的数据，并移出处理，然后执行步骤S24；
步骤S24.对于移出关系型数据库数据，根据其特征把数据转为key-value模式的数据，得到转化后的两种数据集，其中key值为数据查询索引值，存储于关系型数据库中并标记为历史查询库，value值为数据主体，存储文档型数据库；
所述系统数据查询步骤具体使用缓存数据库作为关系型数据库的查询中间件；
所述系统数据查询步骤进一步包括：
步骤S31.判断查询的数据是否属于源数据，如果属于源数据，执行步骤S32，否则执行步骤S33；
步骤S32.从文档型数据库中查询数据，然后执行步骤S310进行结果集返回操作；
步骤S33.根据查询条件查询缓存数据库是否满足查询需求，如果满足，从缓存数据库中读数据，然后执行步骤S310进行结果集返回操作，否则执行步骤S34；
步骤S34.查询关系型数据库中的单一查询库，判断是否满足相关查询条件，如果满足，执行步骤S35，否则执行步骤S37；
步骤S35.根据条件查找关系型数据库中满足查询条件的所有key值，执行步骤S36；
步骤S36.根据步骤S35中的所有key值，逐一查询文档型数据，获取结果集，然后执行步骤S310进行结果集返回操作；
步骤S37.查询关系型数据库中历史查询库，判断历史查询库是否含有相关查询条件，如果未含有，执行步骤S38，否则查找关系型数据库中满足查询条件的所有key值，执行步骤S39；
步骤S38.查询关系型数据，然后执行步骤S310进行结果集返回操作；
步骤S39.根据步骤S37中的所有key值，从文档型数据库中查找相关数据，并转换为关系型数据存储于关系型数据库中，再执行步骤S38；
步骤S310.处理数据并返回结果，流程结束。
2.如权利要求1所述的方法，其特征在于：
缓存数据库用于存储用户交互相关数据，以及作为数据分析过程中缓存数据库；
文档型数据库用于存储能源设备采集的源数据，以及系统分析后的历史数据；
关系型数据库用于存储系统其余数据。
3.如权利要求1所述的方法，其特征在于，系统定时发送指令向能源设备采集能耗数据。
4.如权利要求1所述的方法，其特征在于：
步骤S21中，具体根据FIFO算法来查找并移出超过临界值A的数据；且/或
步骤S23中，具体根据LRU算法来查找最近最久使用的数据。
5.一种数据库，包括缓存数据库、关系型数据库和文档型数据库，其中缓存数据库支持key-value查询并使用内存存储，关系型数据库支持关联查询、连表查询；还包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1~4中任一项所述的方法。
6.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1~4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325622.3A CN112380256B (zh) | 2020-11-24 | 2020-11-24 | 能源系统数据存取的方法、数据库、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325622.3A CN112380256B (zh) | 2020-11-24 | 2020-11-24 | 能源系统数据存取的方法、数据库、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112380256A CN112380256A (zh) | 2021-02-19 |
| CN112380256B true CN112380256B (zh) | 2023-10-13 |
Family
ID=74588312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011325622.3A Active CN112380256B (zh) | 2020-11-24 | 2020-11-24 | 能源系统数据存取的方法、数据库、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380256B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779641B (zh) * | 2021-09-02 | 2024-03-05 | 新奥数能科技有限公司 | 数据配置方法、装置、计算机设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766413A (zh) * | 2017-09-05 | 2018-03-06 | 珠海宇能云企科技有限公司 | 一种实时数据流聚合查询的实现方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN109947796A (zh) * | 2019-04-12 | 2019-06-28 | 北京工业大学 | 一种分布式数据库系统查询中间结果集的缓存方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11068617B2 (en) * | 2017-10-09 | 2021-07-20 | Sage Intacct, Inc. | Secure access to multi-tenant relational data |
-
2020
- 2020-11-24 CN CN202011325622.3A patent/CN112380256B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766413A (zh) * | 2017-09-05 | 2018-03-06 | 珠海宇能云企科技有限公司 | 一种实时数据流聚合查询的实现方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN109947796A (zh) * | 2019-04-12 | 2019-06-28 | 北京工业大学 | 一种分布式数据库系统查询中间结果集的缓存方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112380256A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8140514B2 (en) | Automatic classification of defects | |
| US9317613B2 (en) | Large scale entity-specific resource classification | |
| US8266147B2 (en) | Methods and systems for database organization | |
| US7917498B2 (en) | Method and system for dynamic join reordering | |
| US7370039B2 (en) | Method and system for optimizing configuration classification of software | |
| US7797347B2 (en) | Workload aware checking of database reorganization | |
| US20070143246A1 (en) | Method and apparatus for analyzing the effect of different execution parameters on the performance of a database query | |
| US10776354B2 (en) | Efficient processing of data extents | |
| Nguyen et al. | Towards automatic tuning of apache spark configuration | |
| US20200097483A1 (en) | Novel olap pre-calculation model and method for generating pre-calculation result | |
| CN104021161A (zh) | 一种聚簇存储方法及装置 | |
| US20070250517A1 (en) | Method and Apparatus for Autonomically Maintaining Latent Auxiliary Database Structures for Use in Executing Database Queries | |
| KR101663547B1 (ko) | 데이터베이스의 아카이빙 방법 및 장치, 아카이빙된 데이터베이스의 검색 방법 및 장치 | |
| KR101656750B1 (ko) | 인덱스정보를 생성하는 데이터베이스의 아카이빙 방법 및 장치, 인덱스정보를 포함하는 아카이빙된 데이터베이스의 검색 방법 및 장치 | |
| KR102415962B1 (ko) | 스토리지 시스템 및 그것의 동작 방법 | |
| CN105095255A (zh) | 一种数据索引创建方法及装置 | |
| CN112380256B (zh) | 能源系统数据存取的方法、数据库、计算机可读存储介质 | |
| KR102541934B1 (ko) | 빅데이터 증강분석 프로파일링 시스템 | |
| CN107430633B (zh) | 用于数据存储的系统及方法和计算机可读介质 | |
| CN111858366A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
| CN113625967B (zh) | 数据存储方法、数据查询方法及服务器 | |
| CN108920687B (zh) | 一种基于Lucene索引段的合并优化方法 | |
| KR20220095654A (ko) | 소셜 데이터 수집 분석 시스템 | |
| CN112328630A (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN102163199A (zh) | 构造索引库的方法和设备以及查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510000 North Building of secondary company business building, block A4, New Baiyun International Airport, Baiyun District, Guangzhou City, Guangdong Province Patentee after: Guangdong Airport Baiyun Information Technology Co.,Ltd. Address before: 510000 North Building of secondary company business building, block A4, New Baiyun International Airport, Baiyun District, Guangzhou City, Guangdong Province Patentee before: GUANGDONG AIRPORT BAIYUN INFORMATION TECHNOLOGY CO.,LTD. |