CN109656891A - 物联网数据实时压缩方法和系统 - Google Patents

Abstract

本发明公开了一种物联网数据实时压缩方法和系统，其中，方法包括：根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；在当前输入的物联网数据被判断为有效数据后，通过压缩模型对当前输入的物联网数据进行压缩；并以模型唯一标识为标记将压缩后得到的字符数据保存至数据库中。本发明考虑实际业务场景，并且能够对物联网数据本身进行优化压缩，再将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。

Description

物联网数据实时压缩方法和系统

技术领域

本发明涉及物联网数据压缩技术领域，尤其涉及一种物联网数据实时压缩方法和系统。

背景技术

物联网是新一代信息技术的重要组成部分。顾名思义，物联网就是“物物相连的互联网”。物联网的定义是：通过射频识别、红外感应器、全球定位系统以及激光扫描器等信息传感设备，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控以及管理的一种网络。

一般而言，在物联网中对设备每次推送的数据都进行保存，然后对数据进行统一压缩，即采用先存储后压缩的方式。主要是对数据存储空间进行了优化，采用收缩日志方式释放磁盘空间。这种方式虽然也对数据进行了压缩，但没有考虑到实际的业务场景，并未对数据本身采取优化策略，存储的数据量会呈爆炸式增长，导致较大的资源开销及性能降低的问题。

发明内容

本发明提供的物联网数据实时压缩方法和系统，其主要目的在于克服现有先存储后压缩的压缩方式，存在存储的数据量会呈爆炸式增长，导致较大的资源开销及性能降低的问题。

为解决上述技术问题，本发明采用如下技术方案：

一种物联网数据实时压缩方法，包括以下步骤；

根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；

通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；

在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。

作为一种可实施方式，所述数据库为关系型数据库或文档型数据库。

作为一种可实施方式，所述根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；包括以下步骤；

对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；

若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；

若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；

若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

作为一种可实施方式，本发明提供的物联网数据实时压缩方法，还包括以下步骤；

在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。

作为一种可实施方式，本发明提供的物联网数据实时压缩方法，还包括以下步骤；

在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。

相应的，本发明还提供一种物联网数据实时压缩系统，包括配置模块、判断模块以及压缩模块；

所述配置模块，用于根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；

所述判断模块，用于通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；

所述压缩模块，用于在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。

作为一种可实施方式，所述数据库为关系型数据库或文档型数据库。

作为一种可实施方式，所述判断模块包括第一计算单元、第二计算单元、更新单元以及过滤单元；

所述第一计算单元，用于对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；

所述第二计算单元，用于若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；

所述更新单元，用于若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；

所述过滤单元，用于若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

作为一种可实施方式，本发明提供的物联网数据实时压缩系统，还包括存储模块；

所述存储模块，用于在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。

作为一种可实施方式，本发明提供的物联网数据实时压缩系统，还包括还原展示模块；

所述还原展示模块，用于在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。

与现有技术相比，本技术方案具有以下优点：

本发明提供的物联网数据实时压缩方法和系统，先根据业务场景对预设的压缩模型进行业务参数配置，使得配置后的压缩模型能够匹配对应的业务场景；并且根据配置的业务参数实现对物联网数据本身进行优化压缩，即只对有效数据进行压缩，将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。

附图说明

图1为本发明实施例一提供的物联网数据实时压缩方法的流程示意图；

图2为本发明实施例二提供的物联网数据实时压缩系统的结构示意图；

图3为图2中判断模块的结构示意图。

图中：100、配置模块；200、判断模块；210、第一计算单元；220、第二计算单元；230、更新单元；240、过滤单元；300、压缩模块；400、存储模块；500、还原展示模块。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

请参阅图1，本发明实施例一提供的物联网数据实时压缩方法，包括以下步骤；

S100、根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；

S200、通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；

S300、在当前输入的物联网数据被判断为有效数据后，通过压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以模型唯一标识为标记将字符数据保存至数据库中。

需要说明的是，压缩模型是预先建立的统一压缩模型，而不同业务场景对压缩的需求完全是不一样的，对于压缩模型具体建立的过程并不进行限制。于本实施例中，可以根据不同的业务场景进行业务参数配置。业务参数主要包括有效波动阈值和最小采集频率，具体的有效波动阈值和最小采集频率的阈值可以由实际业务场景来确定。比如，对于漏电值采集的业务场景来说，绝大多数情况下设备的漏电值为零，而用户关心的往往是非零的数据。但是传感器会按固定的频率不停的上传数据。如果将所有的物联网数据都保存到数据库中，会造成的巨大的浪费。但如果把为零的物联网数据全部过滤，就可能导致传感器工作状态的丢失。因此，必须设定一个最小采集频率来表示设备正常运行。同时，这也是在应用端还原数据的一个依据。这里的应用端可以为手机端、平板端以及电脑端等。面对这种情况可以通过配置压缩模型来对物联网数据进行压缩。即有效波动阈值可以设定为采集器的精度，比如，有效波动阈值为1mA，最小采集频率为1小时，这样配置的压缩模型为有效漏电值压缩模型。再比如，有效波动阈值可以设定为30mA，最小采集频率可以为1天，这样配置的压缩模型为安全用电压缩模型。当然，于其他实施例中，对于如何确定有效波动阈值和最小采集频率，可以根据具体的业务场景确定有效波动阈值和最小采集频率来确定，即配置压缩模型。比如，有效波动阈值的采集可以是由设备的误差决定，而安全用电则是根据电气安全用电规范。

在压缩模型配置后，可以以模型唯一标识作为键值将配置后的压缩模型进行保存。每个配置后的压缩模型都有唯一对于的模型唯一标识，通过模型唯一标识可以找到对应的配置后的压缩模型。

当前输入的物联网数据和上次输入的物联网数据相比，只是在于时间节点不同而获取的物联网数据不同。每次输入物联网数据均会记录当前输入的时间节点。需要强调的是，于本实施例中，这两则在时间上都是相邻的，可以理解为上次和当前或者上次和本次。而且本申请只有在当前输入的物联网数据被判断为有效数据后才会对物联网数据进行压缩，再以模型唯一标识为标记将字符数据保存至数据库中。从而使数据库中存储的数据量大幅度降低。在保存前必须在数据库中设置一列用于保存模型唯一标识。比如有效漏电值压缩模型可以拥有以下几列，主键，设备编号，漏电值或者采集时间等作为压缩模型唯一标记。保存该列的主要目的是用于数据还原。而数据库可以为关系型数据库或文档型数据库。

本发明提供的物联网数据实时压缩方法和系统，先根据业务场景对预设的压缩模型进行业务参数配置，使得配置后的压缩模型能够匹配对应的业务场景；并且根据配置的业务参数实现对物联网数据本身进行优化压缩，即只对有效数据进行压缩，将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。

进一步的，根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据，包括以下步骤；

对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将数据差值与业务参数的有效波动阈值进行比较；

若数据差值大于等于有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将时间差值与业务参数的最小采集频率进行比较；

若时间差值大于等于最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；

若时间差值小于最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

设置后的压缩模型可以提供一个数据验证接口来判断当前输入的数据是否为有效值。也就是说基于业务参数配置的有效波动阈值和最小采集频率以及上次输入的物联网数据来判断当前输入的物联网数据是否为有效数据。判断的具体过程可以为：取当前输入数据与上次输入的数据差值，然后取绝对值与有效波动阈值比对；如果绝对值大于或者等于阈值；则取当前时间和上次输入物联网数据的时间的差值与最小采集频率进行比较，如果差值大于等于最小采集频率；则视为有效数据，同时把上次输入的数据更新成本次输入的数据，作为下次比对的依据；否则视为无效数据进行过滤。当最小采集频率为1小时时，如果数据一天内都没有变化，按一小时采集一次只需保存24条数据，这样就大大压缩了数据存储空间。判断为有效数据的物联网数据可以采用jdbc，ado.net等方式保存到mysql、sqlserver等关系型数据库中，也可以保存到mongodb、CouchDB等文档型数据库中。于其他实施例中，压缩后的物联网数据可以是其他形式的数据。

进一步的，本发明提供的物联网数据实时压缩方法，还包括以下步骤；

在以模型唯一标识为标记将字符数据保存至数据库中之后，获取与字符数据对应的模型唯一标识，根据模型唯一标识提取对应的配置后的压缩模型，并利用配置后的压缩模型对字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。

在展示时，可以是在应用端中通过图形、表格等形式展示。而用户想查看某个设备昨天的漏电情况，如果按有效漏电值压缩模型，那至少会有24个点，一般可以满足展示的需求。但如果用户想查看某一个小时的漏电，但恰好这一个小时内设备没有发生漏电，在图表上展示可能只有两个点这样就无法满足展示的需求。这时就需要对字符数据进行还原。每一个字符数据都带有压缩模型唯一标记，可以通过标记获取对应的设置后的压缩模型，然后根据展示需要把两个点还原到十个或者更多，因为最小采集频率两个点之间值是不变的可以任意扩展个数，从而满足展示需求。

基于同一发明构思，本发明实施例还提供一种物联网数据实时压缩系统，该系统的实施可参照上述方法的过程实现，重复之处不再冗述。

如图2所示，是本发明实施例二提供的物联网数据实时压缩系统的结构示意图，包括配置模块100、判断模块200以及压缩模块300；配置模块100用于根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；判断模块200用于通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；压缩模块300用于在当前输入的物联网数据被判断为有效数据后，通过压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以模型唯一标识为标记将字符数据保存至数据库中。

本发明先根据业务场景对预设的压缩模型进行业务参数配置，使得配置后的压缩模型能够匹配对应的业务场景；并且根据配置的业务参数实现对物联网数据本身进行优化压缩，即只对有效数据进行压缩，将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。

进一步的，数据库为关系型数据库或文档型数据库。

如图3所示，为判断模块200的结构示意图；包括第一计算单元210、第二计算单元220、更新单元230以及过滤单元240；第一计算单元210用于对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将数据差值与业务参数的有效波动阈值进行比较；第二计算单元220用于若数据差值大于等于有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将时间差值与业务参数的最小采集频率进行比较；更新单元230用于若时间差值大于等于最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；过滤单元240用于若时间差值小于最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

进一步的，本发明提供的物联网数据实时压缩系统，还包括存储模块400；存储模块400用于在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。

为了满足展示需求，本发明提供的物联网数据实时压缩系统，还包括还原展示模块500；还原展示模块500用于在以模型唯一标识为标记将字符数据保存至数据库中之后，获取与字符数据对应的模型唯一标识，根据模型唯一标识提取对应的配置后的压缩模型，并利用配置后的压缩模型对字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种物联网数据实时压缩方法，其特征在于，包括以下步骤；

根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；

通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；

在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。

2.如权利要求1所述的物联网数据实时压缩方法，其特征在于，所述数据库为关系型数据库或文档型数据库。

3.如权利要求1所述的物联网数据实时压缩方法，其特征在于，所述根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；包括以下步骤；

对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；

若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；

若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；

若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

4.如权利要求1-3任一项所述的物联网数据实时压缩方法，其特征在于，还包括以下步骤；

在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。

5.如权利要求1-3任一项所述的物联网数据实时压缩方法，其特征在于，还包括以下步骤；

在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。

6.一种物联网数据实时压缩系统，其特征在于，包括配置模块、判断模块以及压缩模块；

所述配置模块，用于根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；

所述判断模块，用于通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；

所述压缩模块，用于在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。

7.如权利要求6所述的物联网数据实时压缩系统，其特征在于，所述数据库为关系型数据库或文档型数据库。

8.如权利要求6所述的物联网数据实时压缩系统，其特征在于，所述判断模块包括第一计算单元、第二计算单元、更新单元以及过滤单元；

所述第一计算单元，用于对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；

所述第二计算单元，用于若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；

所述更新单元，用于若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；

所述过滤单元，用于若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。

9.如权利要求6-8任一项所述的物联网数据实时压缩系统，其特征在于，还包括存储模块；

所述存储模块，用于在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。

10.如权利要求6-8任一项所述的物联网数据实时压缩系统，其特征在于，还包括还原展示模块；

所述还原展示模块，用于在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。