CN112052249A - 一种基于层级时间栅栏的增量数据管理的方法及装置 - Google Patents
一种基于层级时间栅栏的增量数据管理的方法及装置 Download PDFInfo
- Publication number
- CN112052249A CN112052249A CN202010879085.0A CN202010879085A CN112052249A CN 112052249 A CN112052249 A CN 112052249A CN 202010879085 A CN202010879085 A CN 202010879085A CN 112052249 A CN112052249 A CN 112052249A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- equipment
- state data
- historical state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013523 data management Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 75
- 238000007726 management method Methods 0.000 claims description 68
- 238000007405 data analysis Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000007418 data mining Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于层级时间栅栏的增量数据管理的方法及装置，包括：获取设备的当前时刻的增量数据。若根据设备的设备ID确定设备为已存储设备，则将增量数据确定为设备在当前发送周期的结束时刻的历史状态数据。确定在当前发送周期的结束时刻之前接收到设备的新的增量数据时，将新的增量数据确定为设备在当前发送周期的结束时刻的历史状态数据，直到确定在当前发送周期的结束时刻之前未收到设备的新的增量数据时将当前发送周期的结束时刻的历史状态数据存储至存储系统。避免后续数据分析过程进行数据回填过程，不再需要通过比较历史数据确定该时刻的设备状态数据，减少逐条时间比较的时间和计算，提升数据挖掘效率。
Description
技术领域
本发明涉及数据管理领域，尤其涉及一种基于层级时间栅栏的增量数据管理的方法及装置。
背景技术
随着物联网技术的进一步发展以及应用规模的扩大，海量传感器数据将不断采集的数据发送至数据中心。而物联网大数据的存储与管理，需要持久化存储数据，实时检索数据，对数据进行及时的分析和处理，并提供高效的计算框架，最终对数据实现有效的感知与控制。
传统增量数据存储过程为系统收到“设备状态增量数据”后对编码数据进行相应状态解析等etl(Extract-Transform-Load，抽取-转换-加载)数据处理，然后即存入分布式大数据存储系统中，待后续数据分析与查询。其中，设备状态增量数据指的是相同设备的传感数据只有在值发生变化时才上报并存储，在维持传感状态值的时间段内不收集与存储设备状态值。这种方式虽然明确记录了设备的历史传感状态信息，但给后期的数据分析造成了很大的困扰与不便，特别对基于时间维度(如整点数据分析)的数据统计与分析需求带来了额外的数据处理与计算开销。例如，某空调设备会实时上报当前电流、电压值，在空调运行周期内只有电流或电压传感器的值发生改变时，才会将数据上报给大数据平台进行存储，在开机时间段内如果外界环境影响较小，可能在电流电压保持恒定的几个小时内都不会产生上报数据。若当前需求为依据上报历史数据计算某型号空调设备在以天为单位的时间范围内的耗电量情况，则需先根据上报时间对源数据进行数据回填，切分时间单位(小时)，此时逐条解析与比较寻找时间节点的操作，增加了分布式处理系统的计算与计算时间。
因此，现亟需一种数据管理方法，以避免了后续数据分析过程进行数据回填过程，减少逐条时间比较的时间和计算，提升数据挖掘效率。
发明内容
本发明实施例提供一种基于层级时间栅栏的增量数据管理的方法及装置，用于避免后续数据分析过程进行数据回填过程，减少逐条时间比较的时间和计算，提升数据挖掘效率。
第一方面，本发明实施例提供一种基于层级时间栅栏的增量数据管理的方法，包括：
获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID(Identity Document，身份标识号)；
若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
上述技术方案中，在确定获取的增量数据对应的设备为已存储设备时，则确定该设备存在历史状态数据，并将当前时刻的增量数据通过数据字段之间的转换，确定出当前时刻的历史状态数据，然后确定在当前发送周期的结束时刻之前是否接收有新的增量数据，若没有，则将当前时刻的历史状态数据确定为当前发送周期的结束时刻的历史状态数据，相当于给予该设备在当前的发送周期的结束时刻记录设备状态数据，进而将该时刻的设备状态数据存储至存储系统。避免后续数据分析过程进行数据回填过程，不再需要通过比较历史数据确定该时刻的设备状态数据，减少逐条时间比较的时间和计算，提升数据挖掘效率。
可选的，在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，还包括：
确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
上述技术方案中，在确定当前发送周期的结束时刻的历史状态数据与存储系统中设备的时间栅栏管理列表中历史状态数据相同时，只将当前发送周期的结束时刻的历史状态数据的结束时刻记录在对应的存储系统中设备的时间栅栏管理列表中，不再重新创建历史状态数据。以此既减少了存储的数据量，又不丢失数据，增加了对设备的历史状态数据的管理。
可选的，所述方法还包括：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
上述技术方案中，在确定为设备为新设备时，新建历史状态数据，并记录新设备的每个发送周期的结束时刻的历史状态数据，便于用户随时将新设备的历史状态数据进行存储并查询，提示用户的体验感。
可选的，所述时间栅栏管理列表包括设备的开关状态；
所述方法还包括：
若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；
若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。
上述技术方案中，通过确定未上报数据的次数，确定设备的开关状态，以提升设备的历史状态数据的准确性。
可选的，在获取设备的当前时刻的增量数据之后，还包括：
确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开，并将所述设备的未上报数据的次数设置为0。
上述技术方案中，在时间栅栏管理列表中的设备的开关状态为关时，且接收到增量数据后，则设备的开关状态设置为开，并将设备的未上报数据的次数设置为0。以提升设备的历史状态数据的准确性。
第二方面，本发明实施例提供一种基于层级时间栅栏的增量数据管理的装置，包括：
获取模块，用于获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；
处理模块，用于若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
可选的，所述处理模块还用于：
在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
可选的，所述处理模块还用于：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
可选的，所述时间栅栏管理列表包括设备的开关状态；
所述处理模块还用于：
若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；
若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。
可选的，所述处理模块还用于：
在获取设备的当前时刻的增量数据之后，确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开，并将所述设备的未上报数据的次数设置为0。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于层级时间栅栏的增量数据管理的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于层级时间栅栏的增量数据管理的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构示意图；
图2为本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的流程示意图；
图3为本发明实施例提供的一种时间栅栏模块的结构的示意图；
图4为本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的流程示意图；
图5为本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构包括服务器设备A110、设备B120、状态分析模块200、时间管理模块300和存储系统400。
其中，设备A110和设备B120用于在产生状态数据变化时，将增量数据上报至状态解析模块200。需要说明的是，增量数据中包括设备的多个状态数据，多个状态数据包括发生变化的数据和未发生变化的数据。例如，设备A100为空调设备，包括设备ID、电流和电压。若电流发生变化，则此时的设备ID、电流和电压属于该空调设备的增量数据。
状态解析模块200用于将增量数据中的字段进行转换，输出设备的历史状态数据至时间栅栏管理模块300和存储系统400。例如，空调设备的开光状态数据的字段为二进制数值1，则通过状态解析模块200输出空调设备的开光状态为开。
时间栅栏管理模块300用于获取设备的增量数据，并根据增量数据中的设备ID确定设备是否为已存储设备，进一步将增量数据确定为设备在当前发送周期的结束时刻的历史状态数据。然后根据在当前发送周期内接收到的增量数据确定出当前发送周期的结束时刻的历史状态数据，然后存储至存储系统400。
存储系统400用于存储时间栅栏管理模块300发送的设备的发送周期的结束时刻的历史状态数据以及状态解析模块200发送的设备的所有的历史状态数据。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的流程，该流程可由基于层级时间栅栏的增量数据管理的装置执行。
如图2所示，该流程具体包括：
步骤201，获取设备的当前时刻的增量数据。
本发明实施例中，增量数据是设备的状态数据发生变化后由设备上报的。例如，设备为空调设备，该空调设备的状态数据包括设备ID、状态时间、设备时区、开关状态、电流和电压。在其中一个状态数据的值发生变化时，将所有的状态数据确定为增量进行上报。
步骤202，若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据。
在本发明实施例中，通过增量数据中的设备ID确定设备是否为已该设备的历史状态数据，进而确定该设备是否为已存储设备。并将该增量数据确定为当前发送周期的结束时刻的历史状态数据。需要说明的是，发送周期是用户通过时间栅栏标签设置的。例如，用户设置发送周期为1小时，则在24小时的整点时刻为发送周期的结束时刻。
步骤203，确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
本发明实施例中，将当前发送周期内的设备的多个历史指标数据中与当前发送周期的结束时刻之间的时间间隔最小的历史指标数据确定为当前发送周期的结束时刻的历史状态数据，并存储至存储系统。例如，发送周期为1小时，在2：00-3：00之间共接收3个增量数据I、J、K。其中，增量数据I的时间状态为2：15。增量数据J的时间状态为2：25。增量数据K的时间状态为2：50。则增量数据K为3：00的历史状态数据。
示例性的，在将当前发送周期的结束时刻的历史状态数据存储至存储系统之后，确定当前发送周期的结束时刻的历史状态数据与存储系统中设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在存储系统中设备的时间栅栏管理列表中与当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录当前发送周期的结束时刻。
否则，将当前发送周期的结束时刻的历史状态数据存储在存储系统中设备的时间栅栏管理列表中，并在当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录当前发送周期的结束时刻。
在本发明实施例中，在确定同一设备的在发送周期的结束时刻的历史状态数据中除时间栅栏标签的其他历史状态数据相同时，将发送周期的结束时刻记录在时间栅栏标签中。如下表1所示。
表1
表1为不同发送周期的结束时刻的设备的相同的历史状态数据。
示例性的，若确定设备为新设备，则在存储系统中新增设备的时间栅栏管理列表，并将当前发送周期的结束时刻的历史状态数据存储在设备的时间栅栏管理列表中，在当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录当前发送周期的结束时刻。
本发明实施例中，通过增量数据中的设备ID确定出不存在该设备的历史状态数据时，则确定该设备为新设备，在确定出新设备后，将该设备的增量数据新建为历史状态数据，并将该增量数据的状态时间设置在对应的时间栅栏管理标签中。例如，确定设备C为新设备，则将当前获取到的设备C的增量数据中的状态时间设置在时间栅栏标签中，生成设备C的历史状态数据。
需要说明的是，时间栅栏还包括设备的开关状态，若当前发送周期内未接收到增量数据，则记录设备的未上报数据的次数。
若设备的未上报数据的次数大于次数阈值，则将设备的开关状态设置为关。
在本发明实施例中，次数阈值是依据经验设置的值，例如可以取值5、10等。例如，在连续5(次数阈值)个小时(发送周期)内设备未上报数据，则将时间栅栏列表中设备的开关状态设置为关。
进一步地，在获取设备的当前时刻的增量数据之后，若确定设备的开关状态是关，则将设备的开关状态设置为开，并将设备的未上报数据的次数设置为0。
为了更好的解释上述技术方案，下面将结合图1在具体的实例中进行阐述。
实例1
图3为本发明实施例提供的一种时间栅栏模块的结构的示意图，如图3所示，时间栅栏管理模块300包括开关管理310、设备状态模块320和时间时钟330。
在接收到增量数据之后，若通过增量数据中的设备ID确定出该设备存在于时间栅栏管理模块300中，则通过开关管理310将时间栅栏管理模块300中的开关状态设置为1。并将1转换为设备状态数据，已给用户显示设备的开关状态为开。并根据时间时钟330，将接收到的时间设置在时间标签中。同时将增量数据中的其他数据存储至设备状态模块320中。
若通过增量数据中的设备ID确定出该设备不存在于时间栅栏管理模块300中，则根据增量数据中的设备ID新建一条历史状态数据，根据增量数据中的开关状态，以使开关管理310将时间栅栏管理模块300中的开关状态进行设置并根据时间时钟330，将接收到的时间设置在时间标签中。同时将增量数据中的其他数据存储至设备状态模块320中。
若时间栅栏管理模块300未接收到中的某设备在连续多个发送周内发送的增量数据，则在经过发送周期时记录未上报数据次数，并在未上报数据次数大于次数阈值时通过开关管理310将时间栅栏管理模块300中的开关状态设置为0。并将1转换为设备状态数据，给用户显示设备的开关状态为关。
若通过增量数据中的设备ID确定出该设备存在于时间栅栏管理模块300中，但增量数据中不包括开关状态，则在接收到增量数据时通过开关管理310将时间栅栏管理模块300中的开关状态设置为1。并将1转换为设备状态数据，已给用户显示设备的开关状态为开。然后确定为该设备的历史状态数据，并发送至存储系统400。
在本发明实施例中，通过在当前发送周期内的所有增量数据中确定出当前发送周期的结束时刻的历史状态数据，从而不再需要通过比较历史数据确定该时刻的设备状态数据，避免后续数据分析过程进行数据回填过程，减少逐条时间比较的时间和计算，提升数据挖掘效率。同时将对除时间标签外的相同的历史状态数据进行整合，以减少数据量的存储，提升了对数据的管理效率。
图4为本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的流程示意图。
如图4所示，具体流程包括：
步骤401，判断设备ID是否存在，若是则执行步骤402，否则执行步骤403。
根据获取的增量数据中的设备ID确定出时间管理模块中的是否存有设备的历史状态数据对应的设备ID。
步骤402，判断开关状态是否为开启，若是，则执行步骤405，否则执行步骤406。
判断管理模块中的开关状态是否为开启。
步骤403，增加状态数据。
在判断时间管理模块中的未存有增量数据中的设备ID时，确定该设备为新设备，根据该设备的设备ID新建历史状态数据，并根据时间管理模块中的世界时钟设置时间标签，新建该设备的历史状态数据。
步骤404，更改历史状态数据。
在判断时间管理模块中的存有增量数据中的设备ID时，进一步判断时间管理模块中该设备的开关状态，在开关状态为开时，将当前的增量数据更新至时间管理模块中的历史状态数据中，更新时间标签。
步骤405，更新历史状态数据。
在开关状态为关时，将当前的增量数据更新至时间管理模块中的历史状态数据中，更新时间标签，还将时间管理模块中的开关状态设置为开。
在本方实施例中，通过增量数据中的设备ID判断时间管理模块中的是否存有该设备的历史状态数据，并通过增量数据，设置时间管理模块中的设备的开关状态，提升设备的历史状态数据的准确性。
基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种基于层级时间栅栏的增量数据管理的方法的结构，该装置可以执行层级时间栅栏的增量数据管理的方法的流程。
如图5所示，该装置具体包括：
获取模块501，用于获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；
处理模块502，用于若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
可选的，所述处理模块502还用于：
在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
可选的，所述处理模块502还用于：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
可选的，所述时间栅栏管理列表包括设备的开关状态；
所述处理模块502还用于：
若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；
若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。
可选的，所述处理模块502还用于：
在获取设备的当前时刻的增量数据之后，确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开，并将所述设备的未上报数据的次数设置为0。
基于相同的技术构思，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于层级时间栅栏的增量数据管理的方法。
基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于层级时间栅栏的增量数据管理的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于层级时间栅栏的增量数据管理的方法，其特征在于，包括：
获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；
若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
2.如权利要求1所述的方法，其特征在于，在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，还包括：
确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
4.如权利要求1至3任一项所述的方法，其特征在于，所述时间栅栏管理列表包括设备的开关状态；
所述方法还包括：
若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；
若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。
5.如权利要求4所述的方法，其特征在于，在获取设备的当前时刻的增量数据之后，还包括：
确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开，并将所述设备的未上报数据的次数设置为0。
6.一种基于层级时间栅栏的增量数据管理的装置，其特征在于，包括：
获取模块，用于获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；
处理模块，用于若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。
7.如权利要求6所述的装置，其特征在于，所述获取模块还用于：
在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
8.如权利要求6所述的装置，其特征在于，所述处理模块还用于：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879085.0A CN112052249A (zh) | 2020-08-27 | 2020-08-27 | 一种基于层级时间栅栏的增量数据管理的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879085.0A CN112052249A (zh) | 2020-08-27 | 2020-08-27 | 一种基于层级时间栅栏的增量数据管理的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052249A true CN112052249A (zh) | 2020-12-08 |
Family
ID=73600025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879085.0A Pending CN112052249A (zh) | 2020-08-27 | 2020-08-27 | 一种基于层级时间栅栏的增量数据管理的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052249A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045881A (zh) * | 2015-07-21 | 2015-11-11 | 上海融甸信息科技有限公司 | 一种历史数据新增方法 |
| CN105607968A (zh) * | 2015-12-17 | 2016-05-25 | 浙江大华技术股份有限公司 | 一种增量备份方法及设备 |
| CN106909495A (zh) * | 2016-06-03 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据的窗口统计方法、装置及系统 |
| US20190243719A1 (en) * | 2018-02-02 | 2019-08-08 | EMC IP Holding Company LLC | Virtual Machine Backup with Efficient Checkpoint Handling |
| CN110309122A (zh) * | 2018-03-28 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 获取增量数据的方法、装置、服务器和存储介质 |
| CN110784499A (zh) * | 2018-07-30 | 2020-02-11 | 华为技术有限公司 | 备份数据的方法和终端设备 |
| CN111328038A (zh) * | 2020-02-27 | 2020-06-23 | 青岛海信移动通信技术股份有限公司 | 一种nb网络下数据传输方法及装置 |
-
2020
- 2020-08-27 CN CN202010879085.0A patent/CN112052249A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045881A (zh) * | 2015-07-21 | 2015-11-11 | 上海融甸信息科技有限公司 | 一种历史数据新增方法 |
| CN105607968A (zh) * | 2015-12-17 | 2016-05-25 | 浙江大华技术股份有限公司 | 一种增量备份方法及设备 |
| CN106909495A (zh) * | 2016-06-03 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据的窗口统计方法、装置及系统 |
| US20190243719A1 (en) * | 2018-02-02 | 2019-08-08 | EMC IP Holding Company LLC | Virtual Machine Backup with Efficient Checkpoint Handling |
| CN110309122A (zh) * | 2018-03-28 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 获取增量数据的方法、装置、服务器和存储介质 |
| CN110784499A (zh) * | 2018-07-30 | 2020-02-11 | 华为技术有限公司 | 备份数据的方法和终端设备 |
| CN111328038A (zh) * | 2020-02-27 | 2020-06-23 | 青岛海信移动通信技术股份有限公司 | 一种nb网络下数据传输方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111400408B (zh) | 数据同步方法、装置、设备及存储介质 | |
| US10176208B2 (en) | Processing time series data from multiple sensors | |
| CN110633277A (zh) | 时序数据存储方法、装置、计算机设备和存储介质 | |
| CN112804079B (zh) | 云计算平台告警分析方法、装置、设备及存储介质 | |
| US11373642B2 (en) | Voice interaction method, system, terminal device and medium | |
| CN107704604B (zh) | 一种消息持久化方法、服务器和计算机可读存储介质 | |
| CN104142954A (zh) | 一种基于频度分区的数据表比对更新方法与装置 | |
| CN110765773A (zh) | 地址数据获取方法以及装置 | |
| CN110795499A (zh) | 基于大数据的集群数据同步方法、装置、设备及存储介质 | |
| Lange et al. | Remote real-time trajectory simplification | |
| CN113190426B (zh) | 一种大数据评分系统稳定性监控方法 | |
| US20120306670A1 (en) | Compression match enumeration | |
| CN110807050A (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
| CN112163015B (zh) | 一种物联网时序数据实时监控方法、装置和系统 | |
| CN112052249A (zh) | 一种基于层级时间栅栏的增量数据管理的方法及装置 | |
| CN112269726A (zh) | 一种数据处理方法及装置 | |
| CN109165101B (zh) | 基于Redis的内存服务器设计方法 | |
| US8140488B2 (en) | Reducing memory required for prediction by partial matching models | |
| CN114817408B (zh) | 调度资源识别方法、装置、电子设备及存储介质 | |
| CN114625805B (zh) | 一种回测配置方法、装置、设备及介质 | |
| CN114025024B (zh) | 一种数据传输方法及装置 | |
| CN115168415A (zh) | 基于订阅发布的时序数据查询方法、系统及计算机介质 | |
| CN112002352B (zh) | 随机播放音乐方法、装置、计算机设备及存储介质 | |
| US20170337644A1 (en) | Data driven invocation of realtime wind market forecasting analytics | |
| CN110929207B (zh) | 数据处理方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |