CN116932470B - 一种可计算存储物联网时序数据的方法、系统及存储介质 - Google Patents
一种可计算存储物联网时序数据的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116932470B CN116932470B CN202311197110.7A CN202311197110A CN116932470B CN 116932470 B CN116932470 B CN 116932470B CN 202311197110 A CN202311197110 A CN 202311197110A CN 116932470 B CN116932470 B CN 116932470B
- Authority
- CN
- China
- Prior art keywords
- time
- value
- data
- real
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可计算存储物联网时序数据的方法、系统及存储介质，该方法包括：创建文件存储路径，采用多级目录结构的形式进行文件存储，将数据的初始值预存储入文件；通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法、逼近值存储算法；将计算出的实时值写入对应的文件，存储文件供查询使用。本发明采用多级目录结构的形式进行存储，方便后续的查询和管理；由用户根据数据存储要求选择合适的实时值存储算法，对实时值进行计算，计算存储之后存储点位迅速减少可以有效减少数据存储量，以提升查询的精确度和速度。
Description
技术领域
本发明涉及物联网数据存储技术领域，具体涉及一种可计算存储物联网时序数据的方法、系统及存储介质。
背景技术
物联网设备管理系统是一种利用物联网技术实现对设备运行情况、维修保养、故障处理、库存管理等方面的信息化系统。它通过采集设备的数据，实现对设备的全面监控和实时管理，提高设备的稳定性和可靠性，减少维修成本，提高生产效率和质量。
物联网产生的数据通常都具备时间序列特征，称之为“时序数据”，是随时间不断产生的一系列数据，如电表电量、环境温度、股市交易记录、应用监控数据等，通常一个时序数据可以由时间戳(time)、标签(quality)和指标(value)三要素唯一确定。如果在时间坐标中将这些数据点连成线，过往的数据可以形成多纬度报表，揭示数据的趋势性、规律性，捕获异常，未来的数据可以建立数据模型、做统计分析，实现预测和预警。时序数据更适合体现数据“变化”的过程价值。时序数据由于其特殊的形式(与时间高度相关)，在进行存储时会面临很多区别于传统数据存储的问题和困难。
随着物联网技术的快速发展，由于设备众多、且使用年限长，物联网设备产生的数据呈爆炸式增长，数据的总量、数据类型越来越多、访问速度要求越来越快，所有时序数据全部存储会导致大量的数据，当达到百亿级的数据存储时，服务器集群和数据规模增大很多倍。同时根据查询特点，按照各类维度对指标进行统计分析时，存在明显的冷热数据，例如每天00：00时刻的电量是经常需要查询统计的，但是每天02：03分的电量数据几乎不会被使用。因此如果将所有的时序数据都进行存储，不仅是对存储资源的浪费，同时查询时要处理大量的无效数据，需要扫描大量的集群数据才能拿到结果，查询的结果集也可能非常大，这样会导致查询速度非常缓慢。
发明内容
针对物联网时序数据全部存储带来的数据量过大、无效数据过多等问题，本发明提出一种可计算存储物联网时序数据的方法、系统及存储介质，通过创建存储文件、计算存储数据的方式，实现缩小存储文件大小、减少冷数据存储数量的目标。
为了实现上述目的，本发明通过如下的技术方案来实现：
一种可计算存储物联网时序数据的方法，所述方法包括如下步骤：
S1：创建文件存储路径，采用多级目录结构的形式进行文件存储；将数据的初始值预存储入文件；
S2：通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法及逼近值存储算法，由用户根据数据存储要求进行选择；
S3：将计算出的实时值写入对应的文件，存储文件供查询使用。
作为本发明的一种优选方案，所述步骤S1具体包括以下步骤：
S11：向系统发送指令信息请求写入；
S12：抽取指令信息中的表信息；
S13：将表信息转化为路径信息；
S14：拆解路径信息；
S15：按照拆解后的路径信息创建文件夹和文件；
S16：数据接入后，将数据的初始值预存储入文件。
作为本发明的一种优选方案，所述步骤S2具体包括以下步骤：
S21：启动计算服务；
S22：用户设置时间窗口；所述时间窗口为滚动窗口，数值为60的因数或倍数，用于决定数据存储的时间间隔；
S23：根据所述时间窗口进行整点切割，计算数据存储的整点时刻；
S24：对第一个整点时刻预存储入离整点时刻最近的实时值作为初始值，即整点时刻左侧最新的实时值；
S25：根据用户选择的实时值存储算法，计算整点时刻的新的实时值；
S26：用计算后的实时值覆盖初始值并存储；
S27：返回步骤S24开始循环执行，进行下一个整点时刻的初始值预存储。
作为本发明的一种优选方案，所述最大值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最大值，用最大值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最大值，直至再次获取到数据进行计算。
作为本发明的一种优选方案，所述最小值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最小值，用最小值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最小值，直至再次获取到数据进行计算。
作为本发明的一种优选方案，所述最近值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口右侧距离当前整点时刻最远的实时值，即最靠近下一整点时刻的实时值作为最近值，用最近值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最近值，直至再次获取到数据进行计算。
作为本发明的一种优选方案，所述最远值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口左侧距离当前整点时刻最近的实时值，即最远离下一整点时刻的实时值作为最远值，用最远值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最远值，直至再次获取到数据进行计算。
作为本发明的一种优选方案，所述逼近值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据M={M1,M2,···,Mn}；
计算（N1+M1）/2=P1，（P1+M2）/2=P2，以此类推，（Pn-1+Mn）/2=Pn；
计算完毕后，用Pn作为该整点时刻的逼近值覆盖掉初始值N1；
若时间窗口内未获取到数据，则复制上个整点时刻计算后的逼近值，直至再次获取到数据进行计算。
一种可计算存储物联网时序数据的系统，所述系统包括：
数据采集模块，用于采集物联网设备的数据，所述数据为时序数据；
文件创建模块，用于创建文件存储路径，采用多级目录结构的形式创建文件夹和文件；
数据预存储模块，用于将数据的初始值预存储入文件；
计算存储模块，用于通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法、逼近值存储算法；
文件存储及查询模块，用于将计算出的实时值写入对应的文件，存储文件供查询使用。
一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上所述的一种可计算存储物联网时序数据的方法。
与现有技术相比，本发明的有益效果是：本发明通过创建存储文件、计算存储数据的方式，实现缩小存储文件大小、减少冷数据存储数量的目标。采用多级目录结构的形式进行文件存储，方便后续的查询和管理；由用户根据数据存储要求选择合适的实时值存储算法，对实时值进行计算，可以有效减少数据存储量，以提升查询的精确度和速度。使用本发明计算存储之前，数据全部存储的存储时间间隔为分钟/次级，存储密集数据量大；经过多次试验反复对比论证，通过本发明计算存储之后，存储点位迅速减少。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明的方法流程图；
图2为本发明实施例中步骤S1的流程图；
图3为本发明实施例中步骤S2的流程图；
图4为本发明的系统模块化结构图；
图5为本发明实施例的计算存储的效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图3所示，为本发明的一个实施例，该实施例提供了一种可计算存储物联网时序数据的方法，具体包括如下步骤：
S1：创建文件存储路径，采用多级目录结构的形式进行文件存储，将数据的初始值预存储入文件；
根据需要存储的数据类型和层次结构创建多级目录结构，例如，可以使用时间戳作为目录的一级，然后再根据设备或传感器的标识创建二级目录，以此类推。这样可以将数据按照时间和设备进行组织，方便后续的查询和管理。
在创建好的目录结构中，为每个数据点创建对应的文件；数据接入后，将初始值正常存储在这些文件中；初始值可以是默认值或上一次存储的值，具体根据需求而定。
在一个实施例中，如图2所示，步骤S1可以包括以下步骤：
S11：向系统发送指令信息请求写入，如“insert into area01.area02.area03values (id,value1)”这样的写入指令；
S12：抽取指令信息中的表信息，如“area01.area02.area03”；
S13：将表信息转化为路径信息，如“area01/area02/area03”；
S14：拆解路径信息；
S15：存储引擎按照拆解后的路径信息创建文件夹和文件；
S16：数据接入后，将数据的初始值预存储入文件；
如路径信息“area01/area02/area03”表示文件的位置在area01文件夹中的area02文件夹下的area03文件中，其中分隔符“/”用于表示分隔文件夹层级；最后一层为写入文件，即“area01/area02/area03”表示数据被写入到area03文件中。
S2：通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；
实时值存储算法包括五类，分别是：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法及逼近值存储算法；这五类方法供存储计算时选择，由用户根据数据存储要求选择合适的实时值存储算法，对实时值进行计算，可以有效减少数据存储量，以提升查询的精确度和速度。
在一个实施例中，如图3所示，步骤S2可以包括以下步骤：
S21：启动计算服务；
S22：用户设置时间窗口；时间窗口是外部输入的，为60的因数或倍数，用于决定数据存储的时间间隔；
本实施例中所指的时间窗口为滚动时间窗口，是一种对数据进行“均匀切片”的划分方式，窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。如果我们把多个窗口的创建，看作一个窗口的运动，那就好像它在不停地向前“翻滚”一样，也正是因为滚动窗口是“无缝衔接”，所以每个数据都会被分配到一个窗口，而且只会属于一个窗口。
S23：根据时间窗口，按照分钟、小时或者天等进行整点切割，系统计算数据存储的整点时刻；
S24：对第一个整点时刻预存储入离整点时刻最近的实时值作为初始值，即整点时刻左侧最新的实时值；
整点时刻开始前，所有接入的数据均正常预存储入文件，将整点时刻左侧的最新值作为整点时刻的初始值，直到整点时刻到来，时间窗口开始滚动；
S25：根据用户选择的实时值存储算法，计算整点时刻的新的实时值；
本实施例选用的窗口函数为全量计算，先把时间窗口内的数据全部收集、缓存起来，等到时间窗口结束需要结果时再取出所有数据进行计算；
S26：用计算后的实时值覆盖初始值并存储；
S27：返回步骤S24开始循环执行，进行下一个整点时刻的初始值预存储。
在一个优选实施例中，最大值存储算法具体为：进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最大值，用最大值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最大值，直至再次获取到数据进行计算。
在一个优选实施例中，最小值存储算法具体为：进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最小值，用最小值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最小值，直至再次获取到数据进行计算。
在一个优选实施例中，最近值存储算法具体为：进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口右侧距离当前整点时刻最远的实时值，即最靠近下一整点时刻的实时值作为最近值，用最近值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最近值，直至再次获取到数据进行计算。
在一个优选实施例中，最远值存储算法具体为：进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口左侧距离当前整点时刻最近的实时值，即最远离下一整点时刻的实时值作为最远值，用最远值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最远值，直至再次获取到数据进行计算。
在一个优选实施例中，逼近值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据M={M1,M2,···,Mn}；
计算（N1+M1）/2=P1，（P1+M2）/2=P2，以此类推，（Pn-1+Mn）/2=Pn；
计算完毕后，用Pn作为该整点时刻的逼近值覆盖掉初始值N1；
若时间窗口内未获取到数据，则复制上个整点时刻计算后的逼近值，直至再次获取到数据进行计算。
S3：将计算出的实时值写入对应的文件，存储文件供查询使用。
下面以时间窗口为10min，存储时刻按照0点开始为例，对最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法及逼近值存储算法分别举例说明。
假设第一个时间窗口内收集到的为“2.1…3.9…8.2…7.3…5”这五个数据，第二个时间窗口内收集到的数据为“3.1…9.2…2.2…7.3…4”。整点时刻开始前，所有接入的数据均正常预存储入文件。
在最大值存储算法中，比较计算得第一个时间窗口内数据的最大值为8.2，则用8.2覆盖掉N1，此时00:00的存储值变成8.2；在第二个整点时刻00:10预存储00:10时刻左侧最新值N2，收集00:10-00:20内的所有数据，比较计算得第二个时间窗口内数据的最大值为9.2，则用9.2覆盖掉N2，此时00:10的存储值变成9.2。若00:10-00:20没有获取到数据，则复制上个整点时刻计算后的最大值，即8.2作为第二个整点时刻00:10的存储值，以此类推。
在最小值存储算法中，比较计算得第一个时间窗口内数据的最小值为2.1，则用2.1覆盖掉N1，此时00:00的存储值变成2.1；在第二个整点时刻00:10预存储00:10时刻左侧最新值N2，收集00:10-00:20内的所有数据，比较计算得第二个时间窗口内数据的最小值为2.2，则用2.2覆盖掉N2，此时00:10的存储值变成2.2。若00:10-00:20没有获取到数据，则复制上个整点时刻计算后的最小值，即2.1作为第二个整点时刻00:10的存储值，以此类推。
在最近值存储算法中，比较计算得第一个时间窗口右侧距离整点时刻00:00最远的实时值，即最靠近下一个整点时刻00:10的实时值为5，则5作为最近值覆盖掉N1,此时00:00的存储值变成5；在第二个整点时刻00:10预存储00:10时刻左侧最新值N2，收集00:10-00:20内的所有数据，第二个时间窗口内的最近值为4，则用4覆盖掉N2，此时00:10的存储值变成4。若00:10-00:20没有获取到数据，则复制上个整点时刻计算后的最近值，即5作为第二个整点时刻00:10的存储值，以此类推。
在最远值存储算法中，比较计算得第一个时间窗口左侧距离当前整点时刻00:00最近的实时值，即最远离下一整点时刻00:10的实时值为2.1，则2.1作为最远值覆盖掉N1，此时00:00的存储值变成2.1；在第二个整点时刻00:10预存储00:10时刻左侧最新值N2，收集00:10-00:20内的所有数据，第二个时间窗口内的最远值为3.1，则用3.1覆盖掉N2，此时00:10的存储值变成3.1。若00:10-00:20没有获取到数据，则复制上个整点时刻计算后的最远值，即2.1作为第二个整点时刻00:10的存储值，以此类推。
在逼近值存储算法中，第一个时间窗口的数据记作M={2.1，3.9，8.2，7.3，5}，初始值N1假设为2；
计算过程如下：（2+2.1）/2=2.05，（2.05+3.9）/2=2.075，…，继续计算得P3等于5.5875，P4等于6.44375，P5等于5.721875；则用P5作为整点时刻00:00的逼近值覆盖掉N1；以此类推。
若时间窗口内未获取到数据，则复制上个整点时刻计算后的逼近值，直至再次获取到数据进行计算。
如图5所示，使用本发明计算存储之前，数据全部存储的存储时间间隔为分钟/次级，存储密集数据量大；经过多次试验反复论证，通过本发明计算存储之后，存储间隔变成10分钟/次级，存储点位迅速减少。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
如图4所示，为本发明的另一实施例，该实施例提供了一种可计算存储物联网时序数据的系统，该系统包括：
数据采集模块，用于采集物联网设备的数据，所述数据为时序数据；
文件创建模块，用于创建文件存储路径，采用多级目录结构的形式创建文件夹和文件；
数据预存储模块，用于将数据的初始值预存储入文件；
计算存储模块，用于通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法、逼近值存储算法；
文件存储及查询模块，用于将计算出的实时值写入对应的文件，存储文件供查询使用。
在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
因此，本实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行如上所述的一种可计算存储物联网时序数据的方法。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明通过创建存储文件、计算存储数据的方式，实现缩小存储文件大小、减少冷数据存储数量的目标。采用多级目录结构的形式进行文件存储，方便后续的查询和管理；由用户根据数据存储要求选择合适的实时值存储算法，对实时值进行计算，可以有效减少数据存储量，以提升查询的精确度和速度。使用本发明计算存储之前，数据全部存储的存储时间间隔为分钟/次级，存储密集数据量大；通过本发明计算存储之后，存储点位迅速减少。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种可计算存储物联网时序数据的方法，其特征在于，所述方法包括如下步骤：
S1：创建文件存储路径，采用多级目录结构的形式进行文件存储；将数据的初始值预存储入文件；
所述步骤S1具体包括以下步骤：
S11：向系统发送指令信息请求写入；
S12：抽取指令信息中的表信息；
S13：将表信息转化为路径信息；
S14：拆解路径信息；
S15：按照拆解后的路径信息创建文件夹和文件；
S16：数据接入后，将数据的初始值预存储入文件；
S2：通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法及逼近值存储算法，由用户根据数据存储要求进行选择；
所述步骤S2具体包括以下步骤：
S21：启动计算服务；
S22：用户设置时间窗口；所述时间窗口为滚动窗口，数值为60的因数或倍数，用于决定数据存储的时间间隔；
S23：根据所述时间窗口进行整点切割，计算数据存储的整点时刻；
S24：对第一个整点时刻预存储入离整点时刻最近的实时值作为初始值，即整点时刻左侧最新的实时值；
S25：根据用户选择的实时值存储算法，计算整点时刻的新的实时值；
S26：用计算后的实时值覆盖初始值并存储；
S27：返回步骤S24开始循环执行，进行下一个整点时刻的初始值预存储；
S3：将计算出的实时值写入对应的文件，存储文件供查询使用。
2.根据权利要求1所述的一种可计算存储物联网时序数据的方法，其特征在于，所述最大值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最大值，用最大值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最大值，直至再次获取到数据进行计算。
3.根据权利要求1所述的一种可计算存储物联网时序数据的方法，其特征在于，所述最小值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，得到最小值，用最小值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最小值，直至再次获取到数据进行计算。
4.根据权利要求1所述的一种可计算存储物联网时序数据的方法，其特征在于，所述最近值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口右侧距离当前整点时刻最远的实时值，即最靠近下一整点时刻的实时值作为最近值，用最近值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最近值，直至再次获取到数据进行计算。
5.根据权利要求1所述的一种可计算存储物联网时序数据的方法，其特征在于，所述最远值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据并进行比较计算，选择时间窗口左侧距离当前整点时刻最近的实时值，即最远离下一整点时刻的实时值作为最远值，用最远值覆盖掉初始值N1；若时间窗口内未获取到数据，则复制上个整点时刻计算后的最远值，直至再次获取到数据进行计算。
6.根据权利要求1所述的一种可计算存储物联网时序数据的方法，其特征在于，所述逼近值存储算法具体为：
进入整点时刻之前，获取整点时刻之前最新的实时值作为初始值N1预存储到整点时刻；
进入整点时刻，获取一个时间窗口内的所有数据M={M1,M2,···,Mn}；
计算（N1+M1）/2=P1，（P1+M2）/2=P2，以此类推，（Pn-1+Mn）/2=Pn；
计算完毕后，用Pn作为该整点时刻的逼近值覆盖掉N1；
若时间窗口内未获取到数据，则复制上个整点时刻计算后的逼近值，直至再次获取到数据进行计算。
7.基于权利要求1-6任一项所述的一种可计算存储物联网时序数据的方法的系统，其特征在于，所述系统包括：
数据采集模块，用于采集物联网设备的数据，所述数据为时序数据；
文件创建模块，用于创建文件存储路径，采用多级目录结构的形式创建文件夹和文件；
数据预存储模块，用于将数据的初始值预存储入文件；
计算存储模块，用于通过实时值存储算法计算出符合要求的实时值，用实时值覆盖初始值并存储；所述实时值存储算法包括：最大值存储算法、最小值存储算法、最近值存储算法、最远值存储算法、逼近值存储算法；
文件存储及查询模块，用于将计算出的实时值写入对应的文件，存储文件供查询使用。
8.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的一种可计算存储物联网时序数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311197110.7A CN116932470B (zh) | 2023-09-18 | 2023-09-18 | 一种可计算存储物联网时序数据的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311197110.7A CN116932470B (zh) | 2023-09-18 | 2023-09-18 | 一种可计算存储物联网时序数据的方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116932470A CN116932470A (zh) | 2023-10-24 |
| CN116932470B true CN116932470B (zh) | 2024-01-05 |
Family
ID=88377530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311197110.7A Active CN116932470B (zh) | 2023-09-18 | 2023-09-18 | 一种可计算存储物联网时序数据的方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116932470B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118427164A (zh) * | 2024-04-25 | 2024-08-02 | 上海能誉科技股份有限公司 | 采用txt文本格式存储物联网设备数据的方法、装置、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9317213B1 (en) * | 2013-05-10 | 2016-04-19 | Amazon Technologies, Inc. | Efficient storage of variably-sized data objects in a data store |
| CN106990915A (zh) * | 2017-02-27 | 2017-07-28 | 北京航空航天大学 | 一种基于存储介质类型和加权配额的存储资源管理方法 |
| US9842031B1 (en) * | 2014-12-08 | 2017-12-12 | Amazon Technologies, Inc. | Incremental updates to user transaction state at read-only nodes of a distributed database |
| CN109582708A (zh) * | 2018-11-19 | 2019-04-05 | 冶金自动化研究设计院 | 一种时序数据库系统 |
| CN112380383A (zh) * | 2020-11-11 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种实时视频流数据的高效容错索引方法 |
| CN113326288A (zh) * | 2020-07-15 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备 |
| CN113568960A (zh) * | 2021-09-24 | 2021-10-29 | 江苏正泰泰杰赛智能科技有限公司 | 物联网数据实时分析方法、系统及计算机可读存储介质 |
| CN115114296A (zh) * | 2022-07-06 | 2022-09-27 | 中国人民解放军陆军军医大学第一附属医院 | 一种基于TemplateB+Tree的索引结构布局方法 |
| CN115248864A (zh) * | 2021-04-28 | 2022-10-28 | 网帅科技（北京）有限公司 | 一种交通行业时序知识图谱存储编码及知识管理方法 |
| CN115408390A (zh) * | 2022-08-24 | 2022-11-29 | 上海电气风电集团股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN116257490A (zh) * | 2023-01-13 | 2023-06-13 | 浙江泰易云信息科技有限公司 | 一种数据处理方法、装置、计算机设备和存储介质 |
| CN116304390A (zh) * | 2023-04-13 | 2023-06-23 | 北京基调网络股份有限公司 | 时序数据处理方法、装置、存储介质及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150039849A1 (en) * | 2013-08-02 | 2015-02-05 | Formation Data Systems, Inc. | Multi-Layer Data Storage Virtualization Using a Consistent Data Reference Model |
-
2023
- 2023-09-18 CN CN202311197110.7A patent/CN116932470B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9317213B1 (en) * | 2013-05-10 | 2016-04-19 | Amazon Technologies, Inc. | Efficient storage of variably-sized data objects in a data store |
| US9842031B1 (en) * | 2014-12-08 | 2017-12-12 | Amazon Technologies, Inc. | Incremental updates to user transaction state at read-only nodes of a distributed database |
| CN106990915A (zh) * | 2017-02-27 | 2017-07-28 | 北京航空航天大学 | 一种基于存储介质类型和加权配额的存储资源管理方法 |
| CN109582708A (zh) * | 2018-11-19 | 2019-04-05 | 冶金自动化研究设计院 | 一种时序数据库系统 |
| CN113326288A (zh) * | 2020-07-15 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备 |
| CN112380383A (zh) * | 2020-11-11 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种实时视频流数据的高效容错索引方法 |
| CN115248864A (zh) * | 2021-04-28 | 2022-10-28 | 网帅科技（北京）有限公司 | 一种交通行业时序知识图谱存储编码及知识管理方法 |
| CN113568960A (zh) * | 2021-09-24 | 2021-10-29 | 江苏正泰泰杰赛智能科技有限公司 | 物联网数据实时分析方法、系统及计算机可读存储介质 |
| CN115114296A (zh) * | 2022-07-06 | 2022-09-27 | 中国人民解放军陆军军医大学第一附属医院 | 一种基于TemplateB+Tree的索引结构布局方法 |
| CN115408390A (zh) * | 2022-08-24 | 2022-11-29 | 上海电气风电集团股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN116257490A (zh) * | 2023-01-13 | 2023-06-13 | 浙江泰易云信息科技有限公司 | 一种数据处理方法、装置、计算机设备和存储介质 |
| CN116304390A (zh) * | 2023-04-13 | 2023-06-23 | 北京基调网络股份有限公司 | 时序数据处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| "A multi-layer Internet of things database schema for online-to-offline systems";Cai, H. 等;《International Journal of Distributed Sensor Networks》;第1-13页 * |
| "基于云计算的智能电网时序数据库自动化运维方法";聂开勋 等;《数据通信》;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116932470A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116932470B (zh) | 一种可计算存储物联网时序数据的方法、系统及存储介质 | |
| WO2021091489A1 (en) | Method and apparatus for storing time series data, and server and storage medium thereof | |
| US7590668B2 (en) | Pausable backups of file system items | |
| CN112579606A (zh) | 工作流数据处理方法、装置、计算机设备及存储介质 | |
| CN112015674A (zh) | 基于多层级的缓存资源访问方法、装置和计算机设备 | |
| CN110309227B (zh) | 分布式数据回档方法、装置和计算机可读存储介质 | |
| CN112948504B (zh) | 数据采集方法、装置、计算机设备和存储介质 | |
| CN110727727B (zh) | 一种数据库的统计方法及装置 | |
| CN111767297B (zh) | 大数据处理方法、装置、设备及介质 | |
| CN113886382A (zh) | 数据库任务处理方法、设备及存储介质 | |
| CN107391600A (zh) | 用于在内存中存取时序数据的方法和装置 | |
| US20210034995A1 (en) | Distributed machine learning for cached data validity | |
| CN108614721A (zh) | 应用系统配置参数的处理方法、装置和存储介质 | |
| CN111459939B (zh) | 数据的处理方法及装置 | |
| CN115982244A (zh) | 时序数据处理方法和装置、电子设备和存储介质 | |
| WO2022062777A1 (zh) | 数据管理方法、数据管理装置及存储介质 | |
| CN112115166B (zh) | 数据缓存方法、装置、计算机设备和存储介质 | |
| CN111736778A (zh) | 数据更新方法、装置、系统和电子设备 | |
| CN112069212B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN118069590B (zh) | 搜索数据库的正排索引处理方法、装置、介质和设备 | |
| CN112131433B (zh) | 区间计数查询方法及装置 | |
| CN110968640A (zh) | 油井数据处理方法及装置、油井控制系统 | |
| CN113568883B (zh) | 数据写入方法及装置 | |
| CN110990466B (zh) | 一种数据同步方法及装置 | |
| CN101894119A (zh) | 用于监控的海量数据的储存 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |