CN114969120A - 一种海量设备数据条件存储方法 - Google Patents

Abstract

本发明公开了一种海量设备数据条件存储方法，包括当设备数据上报时，经过元数据管理设备，将设备历史数据存储到不同的时序数据库中；位于其中的离散无记忆信道管理设备中，对于上报的设备数据，根据用户配置的对应条件，如果判断不通过，则该数据不进行存储；如果通过，则根据通路路落入时序数据库中；由于设备数据有不同类型，提供了不同的条件判断选项，所述设备数据不同的类型包括：2.全量存储，为默认存储方法；每条消息上报的值都存储，周期时间段存储，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段，与现有技术相比，通过对信号的通路进行选择性的组合，从而使得整个信号通路更加适用于当前的使用环境。

Description

一种海量设备数据条件存储方法

技术领域

本发明属于数据存储技术领域，具体涉及一种海量设备数据条件存储方法。

背景技术

在数据存储领域，随着时代的发展，通常会面临海量数据存储和查询的问题，具体表现为以下两个缺陷：

1、海量设备数据存储问题：当大量的设备接入物联网平台,并且上报频率较高时,对于数据库的存储能力会有比较大的压力；随着时间的累计，设备数据会堆积在磁盘中，对服务器的磁盘空间会有相当的挑战；

2、设备历史数据查询问题：对于设备数据来说，绝大部分的数据是类似的，那么对于这部分数据，是没有存储的必要的，并且会加重对磁盘的负担，以及带来不必要的查询，实用性差。该现象成为本领域人员亟待解决的问题。

发明内容

本发明的目的在于针对现有的集材装置一种海量设备数据条件存储方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种海量设备数据条件存储方法，当设备数据上报时，经过元数据管理设备，将设备历史数据存储到不同的时序数据库中；位于其中的离散无记忆信道管理设备中，对于上报的设备数据，根据用户配置的对应条件，如果判断不通过，则该数据不进行存储；如果通过，则根据通路路落入时序数据库中；由于设备数据有不同类型，提供了不同的条件判断选项。

本发明进一步说明，设备数据不同的类型包括：

1)数字型，包括int\float\double\time：

1.不存储，历史数据不存储；

2.全量存储，为默认存储方法；每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段存储，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段，每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值达到设定的条件时存储，条件配置包括＞、＜、≥、≤、＝＝、！＝、between；

2)字符型，包括text：

1.不存储，历史数据不存储；

2.全量存储，为默认，每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段；每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值，达到设定的条件时存储，条件配置包括＝＝、！＝、like。

本发明进一步说明，所述当进行配置时，会根据设备点位的数据类型，校验客户传入的存储类型是否符合，并且校验该配置是否正确；而在设备数据上报时，会根据已配置的规则，调用不同的函数进行判断。

本发明进一步说明，检验存储类型是否符合的单元包括临时通道单元，所述临时通道单元包括临时通道标记单元、临时通道组合单元、间隔触发单元，所述临时通道标记单元与临时通道组合单元电联接，所述临时通道组合单元与间隔触发单元电联接；

所述临时通道标记单元用于数据类型标记的录入以及传输运送，所述临时通道组合单元用于组合大量标记一致的临时通道标记通路，所述间隔触发单元用于记录临时通道组合来确定临时通道分离时间。

本发明进一步说明，所述临时通道标记单元包括数据输送单元、类型区别单元、个体通道合并单元、个体通道接入单元以及射频发送单元，所述数据输送单元与类型区别单元电联接，所述类型区别单元与个体通道合并单元电联接，所述个体通道合并单元与个体通道接入单元电联接，所述个体通道接入单元与射频发送单元电联接，所述射频发送单元与数据库电联接；

所述数据输送单元用于临时通道标记的录入，所述类型区别单元用于标记标记的分配，所述个体通道合并单元用于临时通道标记子单元的组合，所述个体通道接入单元用于临时通道标记子单元的连接，所述射频发送单元用于临时通道标记子单元标记的射频输出。

本发明进一步说明，利用临时通道标记系统对数字型数据和字符型数据进行分别处理，处理方法如下：

S1、临时通道标记单元运送过来的数据类型数据由数据输送单元进行数据录入，对标记标记进行赋值，可以赋值为不存储、全量存储以及周期存储、周期时间段存储、条件存储，此时就有五种标记通道，不同类型的数据标记分别进入到不同的标记通道；

S2、临时通道标记子单元的每两条对边设置为相同的数据类型的标记，当临时通道标记子单元被赋予五种不同标记时被激活，该临时通道标记子单元可以通过五种标记，组合了若干个临时通道标记子单元之后，标记在各个临时通道标记子单元随机通过，当两个相同数据类型信息通过相邻的两个临时通道标记子单元时，该标记标记信号变得活跃，其连接的两边标记活跃，此时，该标记更优先通过临时通道标记子单元。

本发明进一步说明，所述临时通道组合单元工作过程是若干个临时通道标记个体通道合并之后，具有相同属性的临时通道标记子单元同时激活时，标记标记信号点的活跃，相互连接，该标记活跃，逐渐组合一条标记明显的临时通道，允许该属性标记通过。

本发明进一步说明，所述间隔触发单元工作过程是在一条成型的临时通道组合之后开始启动，一条成型的临时通道会保持一段时间，确保组合的临时通道上所有数据得以完整记录保存并上传到交通数据系统当中，时间结束之后临时通道失去活跃度分离。

与现有技术相比，本发明所达到的有益效果是：本发明，实现了以下有益效果：

1.数据条件存储，当设备数据上报时，根据配置的条件规则，判断该条是否需要进行存储；

2.多个条件的排列组合，当用户对于该数据点位配置多条规则时，可以选择或|且|多个成立等方式，决定条件之间的成立规则；

3.实时生效，对于配置完的规则，可以及时生效到当前上报的设备数据中，使用效率高；

4、可以根据各种处理方法的出现频次，来对信号的通路进行选择性的组合，从而使得整个信号通路更加适用于当前的使用环境，传输效果好。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体结构示意图；

图2是本发明的工作流程示意图；

图3是本发明的临时通道组合示意图。

具体实施方式

以下结合较佳实施例及其附图对本发明技术方案作进一步非限制性的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供技术方案：一种海量设备数据条件存储方法，当设备数据上报时，经过元数据管理设备，将设备历史数据存储到不同的时序数据库中；位于其中的离散无记忆信道管理设备中，对于上报的设备数据，根据用户配置的对应条件，如果判断不通过，则该数据不进行存储；如果通过，则根据通路路落入时序数据库中；由于设备数据有不同类型，提供了不同的条件判断选项；

设备数据不同的类型包括：

1)数字型，包括int\float\double\time：

1.不存储，历史数据不存储；

2.全量存储，为默认存储方法；每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段存储，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段，每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值达到设定的条件时存储，条件配置包括＞、＜、≥、≤、＝＝、！＝、between；

2)字符型，包括text：

1.不存储，历史数据不存储；

2.全量存储，为默认，每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段；每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值，达到设定的条件时存储，条件配置包括＝＝、！＝、like；

当进行配置时，会根据设备点位的数据类型，校验客户传入的存储类型是否符合，并且校验该配置是否正确；而在设备数据上报时，会根据已配置的规则，调用不同的函数进行判断；

检验存储类型是否符合的单元包括临时通道单元，临时通道单元包括临时通道标记单元、临时通道组合单元、间隔触发单元，临时通道标记单元与临时通道组合单元电联接，临时通道组合单元与间隔触发单元电联接；

临时通道标记单元用于数据类型标记的录入以及传输运送，临时通道组合单元用于组合大量标记一致的临时通道标记通路，间隔触发单元用于记录临时通道组合来确定临时通道分离时间；

临时通道标记单元包括数据输送单元、类型区别单元、个体通道合并单元、个体通道接入单元以及射频发送单元，数据输送单元与类型区别单元电联接，类型区别单元与个体通道合并单元电联接，个体通道合并单元与个体通道接入单元电联接，个体通道接入单元与射频发送单元电联接，射频发送单元与数据库电联接；

数据输送单元用于临时通道标记的录入，类型区别单元用于标记标记的分配，个体通道合并单元用于临时通道标记子单元的组合，个体通道接入单元用于临时通道标记子单元的连接，射频发送单元用于临时通道标记子单元标记的射频输出；

利用临时通道标记系统对数字型数据和字符型数据进行分别处理，处理方法如下：

S1、临时通道标记单元运送过来的数据类型数据由数据输送单元进行数据录入，对标记标记进行赋值，可以赋值为不存储、全量存储以及周期存储、周期时间段存储、条件存储，此时就有五种标记通道，不同类型的数据标记分别进入到不同的标记通道；

S2、临时通道标记子单元的每两条对边设置为相同的数据类型的标记，当临时通道标记子单元被赋予五种不同标记时被激活，该临时通道标记子单元可以通过五种标记，组合了若干个临时通道标记子单元之后，标记在各个临时通道标记子单元随机通过，当两个相同数据类型信息通过相邻的两个临时通道标记子单元时，该标记标记信号变得活跃，其连接的两边标记活跃，此时，该标记更优先通过临时通道标记子单元；

临时通道组合单元工作过程是若干个临时通道标记个体通道合并之后，具有相同属性的临时通道标记子单元同时激活时，标记标记信号点的活跃，相互连接，该标记活跃，逐渐组合一条标记明显的临时通道，允许该属性标记通过；

间隔触发单元工作过程是在一条成型的临时通道组合之后开始启动，一条成型的临时通道会保持一段时间，确保组合的临时通道上所有数据得以完整记录保存并上传到交通数据系统当中，时间结束之后临时通道失去活跃度分离，可以根据各种处理方法的出现频次，来对信号的通路进行选择性的组合，从而使得整个信号通路更加适用于当前的使用环境。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种海量设备数据条件存储方法，其特征在于：当设备数据上报时，经过元数据管理设备，将设备历史数据存储到不同的时序数据库中；位于其中的离散无记忆信道管理设备中，对于上报的设备数据，根据用户配置的对应条件，如果判断不通过，则该数据不进行存储；如果通过，则根据通路路落入时序数据库中；由于设备数据有不同类型，提供了不同的条件判断选项。

2.根据权利要求1所述的一种海量设备数据条件存储方法，其特征在于：所述设备数据不同的类型包括：

1)数字型，包括int\float\double\time：

1.不存储，历史数据不存储；

2.全量存储，为默认存储方法；每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段存储，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段，每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值达到设定的条件时存储，条件配置包括＞、＜、≥、≤、＝＝、！＝、between；

2)字符型，包括text：

1.不存储，历史数据不存储；

2.全量存储，为默认，每条消息上报的值都存储；

3.周期存储，可配置定时存储的周期，以ms为单位，范围在100～86400000之间，不超过24h，每个周期存储设备影子的值，如果影子值为空，此时记录值为空，非0；

4.周期时间段，周期性时间段内的数据全量存储，每个周期最多不超过10个时间段；每个点位的不同时间段必须是同个纬度的周期，可选的周期：月、周、日；

5.条件存储，上报的值，达到设定的条件时存储，条件配置包括＝＝、！＝、like。

3.根据权利要求2所述的一种海量设备数据条件存储方法，其特征在于：

当进行配置时，会根据设备点位的数据类型，校验客户传入的存储类型是否符合，并且校验该配置是否正确；而在设备数据上报时，会根据已配置的规则，调用不同的函数进行判断。

4.根据权利要求3所述的一种海量设备数据条件存储方法，其特征在于检验存储类型是否符合的单元包括临时通道单元，所述临时通道单元包括临时通道标记单元、临时通道组合单元、间隔触发单元，所述临时通道标记单元与临时通道组合单元电联接，所述临时通道组合单元与间隔触发单元电联接；

所述临时通道标记单元用于数据类型标记的录入以及传输运送，所述临时通道组合单元用于组合大量标记一致的临时通道标记通路，所述间隔触发单元用于记录临时通道组合来确定临时通道分离时间。

5.根据权利要求4所述的一种海量设备数据条件存储方法，其特征在于：所述临时通道标记单元包括数据输送单元、类型区别单元、个体通道合并单元、个体通道接入单元以及射频发送单元，所述数据输送单元与类型区别单元电联接，所述类型区别单元与个体通道合并单元电联接，所述个体通道合并单元与个体通道接入单元电联接，所述个体通道接入单元与射频发送单元电联接，所述射频发送单元与数据库电联接；

所述数据输送单元用于临时通道标记的录入，所述类型区别单元用于标记标记的分配，所述个体通道合并单元用于临时通道标记子单元的组合，所述个体通道接入单元用于临时通道标记子单元的连接，所述射频发送单元用于临时通道标记子单元标记的射频输出。

6.根据权利要求5所述的一种海量设备数据条件存储方法，其特征在于：利用临时通道标记系统对数字型数据和字符型数据进行分别处理，处理方法如下：

S1、临时通道标记单元运送过来的数据类型数据由数据输送单元进行数据录入，对标记标记进行赋值，可以赋值为不存储、全量存储以及周期存储、周期时间段存储、条件存储，此时就有五种标记通道，不同类型的数据标记分别进入到不同的标记通道；

S2、临时通道标记子单元的每两条对边设置为相同的数据类型的标记，当临时通道标记子单元被赋予五种不同标记时被激活，该临时通道标记子单元可以通过五种标记，组合了若干个临时通道标记子单元之后，标记在各个临时通道标记子单元随机通过，当两个相同数据类型信息通过相邻的两个临时通道标记子单元时，该标记标记信号变得活跃，其连接的两边标记活跃，此时，该标记更优先通过临时通道标记子单元。

7.根据权利要求6所述的一种海量设备数据条件存储方法，其特征在于：所述临时通道组合单元工作过程是若干个临时通道标记个体通道合并之后，具有相同属性的临时通道标记子单元同时激活时，标记标记信号点的活跃，相互连接，该标记活跃，逐渐组合一条标记明显的临时通道，允许该属性标记通过。

8.根据权利要求7所述的一种海量设备数据条件存储方法，其特征在于：所述间隔触发单元工作过程是在一条成型的临时通道组合之后开始启动，一条成型的临时通道会保持一段时间，确保组合的临时通道上所有数据得以完整记录保存并上传到交通数据系统当中，时间结束之后临时通道失去活跃度分离。

Images