CN115510055A - 基于聚合处理的时序数据存储管理方法、介质及集中器 - Google Patents
基于聚合处理的时序数据存储管理方法、介质及集中器 Download PDFInfo
- Publication number
- CN115510055A CN115510055A CN202211011731.7A CN202211011731A CN115510055A CN 115510055 A CN115510055 A CN 115510055A CN 202211011731 A CN202211011731 A CN 202211011731A CN 115510055 A CN115510055 A CN 115510055A
- Authority
- CN
- China
- Prior art keywords
- sequence data
- time sequence
- time
- acquisition
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
Abstract
本发明涉及一种基于聚合处理的时序数据存储管理方法、介质及集中器，通过对各电表所采集到的各时序数据均按照预设采集时间格式处理以得到预设格式化时序数据后，再遍历台区内每个电表且根据所得每一个预设格式化时序数据和该台区内集中器的数据库做出判断处理，以将具有相同日期的时序数据放在一起，使得这些时序数据在一天的维度内进行聚合，这样可以减少各时序数据分散记录的数据记录条数，降低针对数据记录条数的存储空间；由于时序数据是按照日期(天)做了聚合，减少了索引的维度，这样所建立查询数据的索引数量会大大减少，从而提高针对时序数据的查询效率。
Description
技术领域
本发明涉及电力领域，尤其涉及一种基于聚合处理的时序数据存储管理方法、介质及集中器。
背景技术
在电力领域，台区内各电表在工作过程中会产生大量的时序数据，同一台区内的集中器需要存储这些时序数据，并且随着时间的推移，产生的时序数据会越来越多，致使如此多的时序数据对集中器的存储性能提出了更高的要求。
为了应对产生的大量时序数据对采集系统的存储性能的挑战，目前主要采取将时序数据存储到集中器的文档性数据库中，每条文档性数据存储一条时序数据，并在关键字段上创建索引，根据时间字段进行分表来提高利用文档性数据库查询时序数据的查询性能，而后再将基于这些时间数据得到的统计分析数据进行单独存储。
不过，现有的时序数据存储方法存在不足：由于台区内的电表数量较大，每个电表每天都在按照一定的采集频率采集数据，使得每天所产生的时序数据量非常庞大，集中器需要创建更多的索引，以便于查询所需要的时序数据，这样就占据了大量的存储空间，降低了索引效率。
发明内容
本发明所要解决的第一个技术问题是针对上述现有技术提供一种基于聚合处理的时序数据存储管理方法。该基于聚合处理的时序数据存储管理方法通过对电表产生的时序数据做聚合存储，减少数据存储的条数和索引量，降低数据存储空间，提高针对时序数据的查询性能。
本发明所要解决的第二个技术问题是提供一种可读存储介质。该可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现所述的基于聚合处理的时序数据存储管理方法。
本发明所要解决的第三个技术问题是提供一种集中器。该集中器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现所述的基于聚合处理的时序数据存储管理方法。
本发明解决第一个技术问题所采用的技术方案为：基于聚合处理的时序数据存储管理方法，其特征在于，包括如下步骤：
步骤S1，将采集到的每一个电表的各时序数据均按照预设采集时间格式做出处理，分别得到与各电表相对应的预设格式化时序数据；其中，预设格式化时序数据包括时序数据和采集时间，该采集时间包括有采集日期和采集时刻，每一个电表至少对应有一个预设格式化时序数据；
步骤S2，遍历台区内每个电表且根据所得每一个预设格式化时序数据和该台区内集中器的数据库做出判断处理：
当任一个预设格式化时序数据与数据库内的任一时序数据具有相同采集日期时，将该任一个预设格式化时序数据的时序数据插入到其所对应电表的时序数据数组中，并转入步骤S3；否则，将该任一个预设格式化时序数据的时序数据作为一条独立的时序数据组插入到该集中器的数据库内，转入步骤S3；
步骤S3，将插入了预设格式化时序数据的时序数据数组作为该对应电表的最新时序数据组。
改进地，在该发明中，所述基于聚合处理的时序数据存储管理方法还包括：对每一个最新时序数据组内的时序数据做定期统计分析处理，得到统计分析数据。
进一步地，在所述基于聚合处理的时序数据存储管理方法中，所述统计分析数据为时序数据的最大值、最小值和平均值中的至少一个。
再改进，在该发明中，所述基于聚合处理的时序数据存储管理方法还包括：
步骤a1，获取数据查询请求信息；
步骤a2，根据数据查询请求信息做出处理：
当数据查询请求信息为时序数据查询请求时，将位于所述最新时序数据组内且与该时序数据查询请求相对应的时序数据拆解成完整格式的时序数据，转入步骤a3；否则，反馈无法提供数据查询的信息；其中，时序数据查询请求具有要查询的时序数据，该时序数据查询请求所具有的时序数据与拆解后的完整格式的时序数据具有相同的数据结构形式；
步骤a3，将拆解后所得到的完整格式的时序数据提供给发送数据查询请求信息的请求方。
改进地，在该发明中，所述基于聚合处理的时序数据存储管理方法还包括：根据所得电表在每天内的最新时序数据组与该电表在每天的采集间隔，得到该电表的时序数据采集成功率；其中，该电表的时序数据采集成功率为电表在每天内的最新时序数据组内的最新时序数据总数量与该电表在每天的总采集次数之间的比值，电表在每天的总采集次数为每天的总时长与该采集间隔之间比值的取整值。
进一步地，在该发明中，所述基于聚合处理的时序数据存储管理方法还包括：在所述集中器的数据库内预先生成目标数量的空置时序数据组；其中，该目标数量为电表在一天内按照采集间隔所采集到的时序数据总数量，空置时序数据组在其处于初始状态时的内置时序数据数量为零；以及，将电表采集到的时序数据插入到相对应的空置时序数据组内。
再改进，在该发明中，所述基于聚合处理的时序数据存储管理方法还包括：
按照与采集间隔的单位相一致的形式将所述预设格式化时序数据的采集时刻部分取出；
将取出的该采集时刻部分转换成与该采集间隔单位相一致的形式，得到转换后采集时长；
计算该转换后采集时长与采集间隔之间的比值，且对该比值做取整处理，得到取整后比值；
以及，将该取整后比值作为该预设格式化时序数据在更新后的时序数据组内的位置。
改进地，在所述基于聚合处理的时序数据存储管理方法中，所述采集间隔为15min。
本发明解决第二个技术问题所采用的技术方案为：可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现任一项所述的基于聚合处理的时序数据存储管理方法。
本发明解决第三个技术问题所采用的技术方案为：集中器，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现任一项所述的基于聚合处理的时序数据存储管理方法。
与现有技术相比，本发明的优点在于：该发明中基于聚合处理的时序数据存储管理方法通过对各电表所采集到的各时序数据均按照预设采集时间格式处理以得到预设格式化时序数据后，再遍历台区内每个电表且根据所得每一个预设格式化时序数据和该台区内集中器的数据库做出判断处理，以将具有相同日期的时序数据放在一起，使得这些时序数据在一天的维度内进行聚合，这样可以减少各时序数据分散记录的数据记录条数，降低针对数据记录条数的存储空间；由于时序数据是按照日期(天)做了聚合，减少了索引的维度，这样所建立查询数据的索引数量会大大减少，从而提高针对时序数据的查询效率。另外，由于通过对这些时序数据做聚合处理，可以将该大量时序数据内重复的属性数据量减少，节省了存储空间。
附图说明
图1为本发明实施例中的基于聚合处理的时序数据存储管理方法流程示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本实施例提供一种基于聚合处理的时序数据存储管理方法。具体地，参见图1所示，该实施例的基于聚合处理的时序数据存储管理方法包括如下步骤S1～S3：
步骤S1，将采集到的每一个电表的各时序数据均按照预设采集时间格式做出处理，分别得到与各电表相对应的预设格式化时序数据；其中，预设格式化时序数据包括时序数据和采集时间，该采集时间包括有采集日期和采集时刻，每一个电表至少对应有一个预设格式化时序数据；
具体到该实施例中，此处的预设采集时间格式为yyyy-MM-dd，例如，针对电表1，该电表1的时序数据情况如下表1：
表1
可以知道，该电表1的时序数据组中含有6个预设格式化时序数据，分别是：第1个预设格式化时序数据为{电压：230，电流：120，采集时刻0:00:00}；第2个预设格式化时序数据为{电压：230，电流：120，采集时刻0:15:00}；其他剩余四个见表1中所示；
步骤S2，遍历台区内每个电表且根据所得每一个预设格式化时序数据和该台区内集中器的数据库做出判断处理：
当任一个预设格式化时序数据与数据库内的任一时序数据具有相同采集日期时，将该任一个预设格式化时序数据的时序数据插入到其所对应电表的时序数据数组中，并转入步骤S3；否则，将该任一个预设格式化时序数据的时序数据作为一条独立的时序数据组插入到该集中器的数据库内，转入步骤S3；其中，此处的“当任一个预设格式化时序数据与数据库内的任一时序数据具有相同采集日期时，将该任一个预设格式化时序数据的时序数据插入到其所对应电表的时序数据数组中”即为按照天的维度做聚合处理；
步骤S3，将插入了预设格式化时序数据的时序数据数组作为该对应电表的最新时序数据组。
出于分析这些时序数据组内时序数据的需要，该实施例中基于聚合处理的时序数据存储管理方法还对每一个最新时序数据组内的时序数据做定期统计分析处理，得到统计分析数据。例如，此处的统计分析数据为时序数据的最大值、最小值和平均值中的至少一个。
为了满足查询时序数据的实际需要，该实施例的基于聚合处理的时序数据存储管理方法还做出如下改进：步骤a1，获取数据查询请求信息；步骤a2，根据数据查询请求信息做出处理：当数据查询请求信息为时序数据查询请求时，将位于最新时序数据组内且与该时序数据查询请求相对应的时序数据拆解成完整格式的时序数据，转入步骤a3；否则，反馈无法提供数据查询的信息；其中，时序数据查询请求具有要查询的时序数据，该时序数据查询请求所具有的时序数据与拆解后的完整格式的时序数据具有相同的数据结构形式；步骤a3，将拆解后所得到的完整格式的时序数据提供给发送数据查询请求信息的请求方。
为了满足掌握时序数据采集成功率的实际需要，在该实施例中，还会根据所得电表在每天内的最新时序数据组与该电表在每天的采集间隔，得到该电表的时序数据采集成功率；其中，该电表的时序数据采集成功率为电表在每天内的最新时序数据组内的最新时序数据总数量与该电表在每天的总采集次数之间的比值，电表在每天的总采集次数为每天的总时长与该采集间隔之间比值的取整值。例如，此处的采集间隔为15min。
为了避免前期给待插入时序数据预留空间不足的问题，该实施例的基于聚合处理的时序数据存储管理方法还做出如下改进：在所述集中器的数据库内预先生成目标数量的空置时序数据组；其中，该目标数量为电表在一天内按照采集间隔所采集到的时序数据总数量，空置时序数据组在其处于初始状态时的内置时序数据数量为零；以及，将电表采集到的时序数据插入到相对应的空置时序数据组内。
为了准确地确定待插入时序数据在时序数据组中的位置，该实施例通过采取如下步骤b1～b措施来确定该位置，即：
步骤b1，按照与采集间隔的单位相一致的形式将所述预设格式化时序数据的采集时刻部分取出；
步骤b2，将取出的该采集时刻部分转换成与该采集间隔单位相一致的形式，得到转换后采集时长；
步骤b3，计算该转换后采集时长与采集间隔之间的比值，且对该比值做取整处理，得到取整后比值；以及，
步骤b4，将该取整后比值作为该预设格式化时序数据在更新后的时序数据组内的位置。
例如，针对电表1，可以知道，采集间隔的单位是min，那么，将其第五个时序数据的采集时刻部分取出，即60min(也即1*60＝60)，由于采集间隔为15min，所以，该转换后采集时长60min与采集间隔15min之间的比值取整后为4，那么，就将该取整后比值4作为该预设格式化时序数据{电压：210，电流：223，采集时刻1:00:00}在更新后的时序数据组内的位置。
该实施例还提供了一种可读存储介质。具体地，该可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述的基于聚合处理的时序数据存储管理方法。
该实施例还提供了一种集中器，该集中器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述的基于聚合处理的时序数据存储管理方法。
尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于聚合处理的时序数据存储管理方法，其特征在于，包括如下步骤S1～S3：
步骤S1，将采集到的每一个电表的各时序数据均按照预设采集时间格式做出处理，分别得到与各电表相对应的预设格式化时序数据；其中，预设格式化时序数据包括时序数据和采集时间，该采集时间包括有采集日期和采集时刻，每一个电表至少对应有一个预设格式化时序数据；
步骤S2，遍历台区内每个电表且根据所得每一个预设格式化时序数据和该台区内集中器的数据库做出判断处理：
当任一个预设格式化时序数据与数据库内的任一时序数据具有相同采集日期时，将该任一个预设格式化时序数据的时序数据插入到其所对应电表的时序数据数组中，并转入步骤S3；否则，将该任一个预设格式化时序数据的时序数据作为一条独立的时序数据组插入到该集中器的数据库内，转入步骤S3；
步骤S3，将插入了预设格式化时序数据的时序数据数组作为该对应电表的最新时序数据组。
2.根据权利要求1所述的基于聚合处理的时序数据存储管理方法，其特征在于，还包括：对每一个最新时序数据组内的时序数据做定期统计分析处理，得到统计分析数据。
3.根据权利要求2所述的基于聚合处理的时序数据存储管理方法，其特征在于，所述统计分析数据为时序数据的最大值、最小值和平均值中的至少一个。
4.根据权利要求1所述的基于聚合处理的时序数据存储管理方法，其特征在于，还包括步骤a1～a3：
步骤a1，获取数据查询请求信息；
步骤a2，根据数据查询请求信息做出处理：
当数据查询请求信息为时序数据查询请求时，将位于所述最新时序数据组内且与该时序数据查询请求相对应的时序数据拆解成完整格式的时序数据，转入步骤a3；否则，反馈无法提供数据查询的信息；其中，时序数据查询请求具有要查询的时序数据，该时序数据查询请求所具有的时序数据与拆解后的完整格式的时序数据具有相同的数据结构形式；
步骤a3，将拆解后所得到的完整格式的时序数据提供给发送数据查询请求信息的请求方。
5.根据权利要求1所述的基于聚合处理的时序数据存储管理方法，其特征在于，还包括：根据所得电表在每天内的最新时序数据组与该电表在每天的采集间隔，得到该电表的时序数据采集成功率；其中，该电表的时序数据采集成功率为电表在每天内的最新时序数据组内的最新时序数据总数量与该电表在每天的总采集次数之间的比值，电表在每天的总采集次数为每天的总时长与该采集间隔之间比值的取整值。
6.根据权利要求5所述的基于聚合处理的时序数据存储管理方法，其特征在于，还包括：
在所述集中器的数据库内预先生成目标数量的空置时序数据组；其中，该目标数量为电表在一天内按照采集间隔所采集到的时序数据总数量，空置时序数据组在其处于初始状态时的内置时序数据数量为零；
以及，将电表采集到的时序数据插入到相对应的空置时序数据组内。
7.根据权利要求1～6任一项所述的基于聚合处理的时序数据存储管理方法，其特征在于，
按照与采集间隔的单位相一致的形式将所述预设格式化时序数据的采集时刻部分取出；
将取出的该采集时刻部分转换成与该采集间隔单位相一致的形式，得到转换后采集时长；
计算该转换后采集时长与采集间隔之间的比值，且对该比值做取整处理，得到取整后比值；
以及，将该取整后比值作为该预设格式化时序数据在更新后的时序数据组内的位置。
8.根据权利要求5所述的基于聚合处理的时序数据存储管理方法，其特征在于，所述采集间隔为15min。
9.可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1～8任一项所述的基于聚合处理的时序数据存储管理方法。
10.集中器，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现权利要求1～8任一项所述的基于聚合处理的时序数据存储管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211011731.7A CN115510055A (zh) | 2022-08-23 | 2022-08-23 | 基于聚合处理的时序数据存储管理方法、介质及集中器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211011731.7A CN115510055A (zh) | 2022-08-23 | 2022-08-23 | 基于聚合处理的时序数据存储管理方法、介质及集中器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115510055A true CN115510055A (zh) | 2022-12-23 |
Family
ID=84501332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211011731.7A Pending CN115510055A (zh) | 2022-08-23 | 2022-08-23 | 基于聚合处理的时序数据存储管理方法、介质及集中器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115510055A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110147A (zh) * | 2023-04-12 | 2023-05-12 | 江西珉轩大数据有限公司 | 一种分布式时序数据存储与聚合分析方法 |
-
2022
- 2022-08-23 CN CN202211011731.7A patent/CN115510055A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110147A (zh) * | 2023-04-12 | 2023-05-12 | 江西珉轩大数据有限公司 | 一种分布式时序数据存储与聚合分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111125089B (zh) | 时序数据存储方法、装置、服务器及存储介质 | |
| CN107273506B (zh) | 一种数据库多表联合查询的方法 | |
| CN102222092B (zh) | 一种MapReduce平台上的海量高维数据聚类方法 | |
| CN107943831B (zh) | 一种基于HBase的电网历史数据集中存储方法 | |
| CN107247811B (zh) | 基于Oracle数据库的SQL语句性能优化方法及装置 | |
| CN106547918B (zh) | 一种统计数据的整合方法及系统 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN111241056B (zh) | 一种基于决策树模型的电力用能数据存储优化方法 | |
| CN115510055A (zh) | 基于聚合处理的时序数据存储管理方法、介质及集中器 | |
| CN106599052A (zh) | 一种基于ApacheKylin的数据查询系统及其方法 | |
| CN103246745A (zh) | 一种基于数据仓库的数据处理装置及方法 | |
| CN107783974B (zh) | 数据处理系统及方法 | |
| CN102867066A (zh) | 数据汇总装置和数据汇总方法 | |
| CN113761013A (zh) | 时序数据预统计方法、装置及存储介质 | |
| CN110765074B (zh) | 一种采集终端用电负荷曲线数据的快速存取方法及系统 | |
| CN104714956A (zh) | 一种异构记录集对比方法及装置 | |
| CN116862137A (zh) | 基于数据融合的充电桩负荷柔性调度方法及装置 | |
| CN111143329B (zh) | 一种数据处理方法及装置 | |
| Colosi et al. | Time series data management optimized for smart city policy decision | |
| CN114003774A (zh) | 一种用于智慧城市的电力大数据信息采集系统 | |
| CN112667859A (zh) | 基于内存的数据处理方法及装置 | |
| CN112463381A (zh) | 一种基于聚类有效性指标的服务器自动分组方法及装置 | |
| CN101799803A (zh) | 信息处理方法、模块及系统 | |
| CN106533840B (zh) | 网控器呼损率和信道利用值数据采集统计的方法及系统 | |
| CN117494942A (zh) | 一种数据中心机柜智能超电管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |