CN110602178B - 一种基于边缘压缩计算处理温度传感器数据的方法 - Google Patents

Abstract

本发明公开了一种基于边缘压缩计算处理温度传感器数据的方法。本发明将边缘计算引入到可视化平台系统中，应用在传感器数据采集端将数据进行压缩，再由发送接收模块转发到服务器；首先，在传感器数据采集端对数据进行处理，将集中式的大批量数据压缩计算，分割成小粒度的单模块压缩计算；其次，将压缩后的数据再通过发送接收模块进行发送，减小服务器端网络带宽的压力。本发明降低对消息队列对数据报文进行缓存的压力，大量的数据缓存和处理，容易发生队列的满载造成信息的丢失。数据在发送前进行压缩，可以提高数据的采集频率，使得到的数据信息更加准确，减少信息的丢失，在生产中提高数据的准确性。

Description

一种基于边缘压缩计算处理温度传感器数据的方法

技术领域

本发明涉及物联网温度传感器领域，特别是大规模、大数据量的温度传感器及可视化平台系统。

背景技术

传感器技术作为信息技术的三大基础之一，是当前各发达国家竞相发展的高新技术。随着经济和技术的进步、互联网的普及和信息高速公路的发展，在社会的各个角落，部署了大量的各种用途的传感器，用于确保人们生活的安全，便捷。

温度是人类生活关系中最为密切相关的物理量之一，也是工业生产过程中应用最普遍、最重要的参数。无论是工农业生产，还是科学研究的国防现代化，都离不开温度测量及温度传感器。它是现代测试和工业过程控制中应用频率最高的传感器之一。

大量的传感器也产生了大量的数据，不但在传输时占用了大量的网络带宽，而且随着应用的积累，也需要大量的硬件系统去存储历史数据。如果不对数据进行相应的处理，将会有很多的冗余数据。在历史数据的检索时，会降低平台系统的效率，占用更多的硬件资源，造成大量硬件资源浪费。

为了降低数据的容量和减小服务器性能的需求压力，又不影响信息的获取。有降低数据获取频率以减少数据量的方法，这样做虽然减小了数据量，但是降低了数据变化过程的准确性。此外，也有在存储前对数据进行适当的压缩的方法，但是大量传感器的数据集中同时处理，可以达到减小数据量的目的，但是对服务器数据缓存并处理的性能有较高的需要。

发明内容

本发明的目的在于提供一种基于边缘压缩计算处理温度传感器数据的方法，一种基于边缘压缩计算的温度传感器，并转发给服务器进行存储、检索调用的可视化平台系统的实现方法。

本发明通过将边缘计算的思想引入到系统中，应用于在传感器数据采集端将数据进行压缩，再由发送模块转发到服务器。首先，在数据端对数据进行处理，将集中式的大批量数据压缩计算，分割成小粒度的单模块压缩计算。在大规模的传感器系统中，合理利用了成千上万个网络末端的算力，降低了服务器端算力的压力。其次，将数据进行压缩后再进行发送，减小了服务器端网络带宽的压力。在减小了网络带宽压力的同时，也可以降低对消息队列对数据报文进行缓存的压力，大量的数据缓存和处理，容易发生队列的满载造成信息的丢失。再者，数据在发送前进行压缩，可以提高数据的采集频率，使得到的数据信息更加准确，减少信息的丢失，在生产中提高数据的准确性。

一种基于边缘计算思想方法处理温度传感器数据，并转发给服务器进行存储、检索调用的可视化平台系统。主要问题就是数据获取端到发送之前的数据采集及压缩过程，压缩问题就是对获取到的大量时间序列问题的压缩算法问题。

实现本发明目的的技术解决方案包括如下步骤：

步骤1.在温度传感器的工作环境下，根据要求进行硬件部署；硬件包括测试和转换模块、中转模块和发射接收模块；

步骤2.测试和转换模块采集连接器内的现场温度，转成适用于长线传输的CAN信号；转换后的CAN信号传输到中转模块；使用CAN总线通讯方式，通讯距离由波特率决定；

步骤3.中转模块在接收到温度传感器采集并传输的数据后，转入缓存，再由压缩程序进行数据的处理；

步骤4.对数据进行压缩处理：通过对局部特征点进行优化，得到所需的局部特征点集，从而实现曲线的离散；先对采集的数据进行滤波，剔除干扰数据压缩的波动，再使用自适应分段常数近似的优化算法，根据实际情况产生最终表示；

步骤5.如果工作环境中有多个温度传感器，用于测量相似的工作环境，则对两个压缩后数据进行欧几里得距离的计算，若得出的距离在设定阈值内，则认为是同一曲线；若非多点测量，则跳过此步骤；

步骤6.通过发射接收模块，以4G模式将经过压缩处理的温度数据发送到远程服务平台，并接收远程服务平台的参数设置；

4G模式通信的格式为MQTT协议，由2个部分组成：服务器、中继器，中继器通过MQTT协议与服务器进行交互；中继器通过推送方式上传站点内的状态信息，通过订阅方式获取服务器下发的控制指令和信息；服务器通过推送方式下发指令和信息，通过订阅方式获取中继器的状态信息；中继器存在全球唯一的IMEI号，能够用于消息标签和方便服务器管理；

步骤7.设备通过MQTT协议将数据推送到mqtt代理服务器(emq)的指定topic，通过订阅相应的topic接收数据，然后根据协定的协议格式将数据流反序列化成JavaBean对象后，将数据对象推送到kafka分布式消息中间件；

步骤8.由服务器从kafka分布式消息中间件中收取消息，并存入时序数据库中；由平台服务调用数据，并展示给客户端；数据转发模块通过kafka作为消息中间件对数据采集模块的数据进行缓存和转发，为其他功能模块提供数据访问的接口；

步骤9.使用redis数据库或其他内存型数据库作缓存，由平台服务调用数据，并展示给客户端；redis作为缓存的作用就是减少对数据库的访问压力，当访问一个数据时，首先从redis中查看是否有该数据，如果没有，则从数据库中读取，将从数据库中读取的数据存放到缓存中，下次再访问同样的数据时，先判断redis中是否存在该数据，如果有，则从缓存中读取；

步骤10.对历史数据在基于自适应分段常数近似算法压缩过后,通过按时间序列对相邻数据点进行分组，维持较低的压缩比，创建观测值编码字典并生成具有位数组格式的新观测值；再次进行压缩存储,并创建索引；索引树直接构建在压缩序列上以支持点查询和范围查询，为后续数据查询提供了便利。

步骤4所述的APCA算法具体实现如下：

给定时间序列C＝{(t₁,v₁),...,(t_n,v_n)}，

生成APCA表示：

APCA(C,M)＝{(t₁t,v₁t),...,(t_Mt,v_Mt)},ct₀＝0

其中:C是被压缩的时间序列；M是压缩后表示的段数；v_it是第i个段中数据点的平均值；t_it是第i段的右端点，不代表段的长度；

APCA的算法步骤：

①如果时间序列C的原始长度不是2的幂，则用零填充；

②对时间序列C执行Haar离散小波变换，得到结果W_c；

③对W_c进行排序，在M之后截断得到系数系数W′_c；

④用保留的系数W′_c重建时间序列C的近似序列；

⑤如果有用零填充时间序列C，则将近似序列截断为原始长度。

步骤5具体如下：

给定两个时间序列Q＝{q₁,q₂,…,q_n}和Q′＝{q’₁,q’₂,…,q’₃}，两者之间的欧氏距离定义为：

步骤10所述的具体实现如下：

给定一个时间序列C的APCA表示APCA(C,M)＝{(t₁t,v₁t),...,(t_Mt,v_Mt)}，应用增强压缩算法；

参数定义如下：

P每组中的最大元组数；JUMP相邻元组之间的最大采样时间间隔；JNB存储JUMP的位数；JNB＝log₂(JUMP)；V可能的观察总数；VNB编码所有可能观测值的位数；VNB＝log₂(V)；

具体实现如下：

该算法读取输入序列中要处理的第一个P元组；这些P元组进行扫描到第k的元组，k≤P；如果相邻元组的每个采样时间间隔满足小于预定义的最大值JUMP，被提取，此时k＝P；显然，如果k小于P，则第k个元组和第(k+1)个元组的时间间隔必须大于JUMP；

新元组的采样时间属性t，等于前k个元组中第一个元组的采样时间属性；新元组的观察值属性v，是从前k个元组生成的；v使用位数组存储，该数组按逻辑包含两个段；一个段用于存储属于第一个k元组的k-1个时间间隔，而另一个段包含前k个元组的所有观察值；v＝(tmp diff＜＜(P*VNB+(P-1-(num-1))*JNB))|(tmp value＜＜(P-num)*VNB)；然后重复APCA结果的构建过程，直到序列结束，完成整个增强压缩过程。

本发明的有益效果如下：

本发明基于边缘计算的思想，将温度传感器将要上传到服务器数据库的大量时序数据，在上传之前进行边缘端压缩处理。在不丢失数据要表达信息的完整性的基础上，在发送前先对数据进行滤波，并剔除冗余数据。合理利用了大量边缘端硬件的算力，将服务器端集中处理大量数据的算力压力细分为边缘端的小粒度算力。对数据进行提前处理，在传输冲程中减小了服务器端网络带宽的需求，且减小了消息队列的性能需求。对数据进行压缩，在数据的存储上对硬件的开销也更小。相同的数据缓存，可以容纳更多信息，则在使用内存型数据库作为缓存时，可以使整个平台项目的查询效率，查询量都有大幅度的提升。且使用率较低的历史数据进行了几倍的压缩,为历史数据的存储节省了很大的空间。

附图说明

图1是本发明流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一种基于边缘压缩计算处理温度传感器数据的方法，具体包括如下步骤：

步骤1.在温度传感器的工作环境下，根据要求进行硬件部署；硬件包括测试和转换模块、中转模块和发射接收模块；温度传感器可以直接连接在测试和转换模块上，也可以通过5m专用线连接到测试和转换模块上。

步骤2.测试和转换模块采集连接器内的现场温度，转成适用于长线传输的CAN信号；转换后的CAN信号传输到中转模块；使用CAN总线通讯方式，通讯距离由波特率决定；测试和转换模块的5V电源由中转模块提供。通讯协议根据实际情况自定义。通讯频率最低30s/次，通过远程服务平台设置。

步骤3.中转模块在接受到温度传感器采集并传输的数据，转入缓存。再由压缩程序进行数据的处理：

在传感器的线性范围内，希望传感器的灵敏度越高越好，因为只有灵敏度高时，与被测量变化对应的输出信号才比较大有利于信号处理。但是，传感器的灵敏度高，与被测量无关的外界噪声也容易混入，也会被放大系统放大，影响测量精度。因此在实际测量结果中会出现数值的震荡，所以需要先对数据进行降噪处理。因为是简单的二维散点型数据，我们选用了均值去波法来处理数值上的波动。

步骤4.对数据的压缩，通过对局部特征点进行优化，得到所需的局部特征点集，从而实现曲线的离散。在离散过程中需要充分考虑离散精度误差与对后续图形化质量的影响。本发明使用APCA算法，并根据实际情况对最终表示进行适当修改，适用于本发明。

步骤5.如果温度传感器的工作环境下，有多个温度传感器，用于测量相似的工作环境，则可对两个压缩后序列进行欧几里得距离的计算，距离在一定阈值内，则可认为是同一曲线。若非多点测量，则跳过此步骤。

步骤6.发射接收模块，通过4G模式将经过压缩处理的温度数据发送到远程服务平台，并接收远程服务平台的参数设置。通信格式为MQTT协议，由2个部分组成，服务器、中继器，中继器通过MQTT协议与服务器进行交互。中继器通过推送方式上传站点内的状态信息，通过订阅方式获取服务器下发的控制指令和信息。服务器通过推送方式下发指令和信息，通过订阅方式获取中继器的状态信息。继器存在全球唯一的IMEI号，可以用于消息标签和方便服务器管理。

步骤7.设备通过MQTT协议将数据推送到mqtt代理服务器(emq)的指定topic，数据解析微服务通过订阅相应的topic接收数据，然后根据协定的协议格式将数据流反序列化成JavaBean对象后，将数据对象推送到kafka分布式消息中间件。

步骤8.最后由服务器从kafka消息中间件中收取消息，并存入时序数据库中，由平台服务调用数据，并展示给客户端。数据转发模块通过kafka作为消息中间件对数据采集模块的数据进行缓存和转发，为其他功能模块提供数据访问的接口，提高了系统的可拓展性。一方面是为了应用之间解耦、异步处理数据。另一方面，通过微服务创建新的模块。

步骤9.使用redis数据库或其他内存型数据库作缓存，由平台服务调用数据，并展示给客户端。redis作为缓存的作用就是减少对数据库的访问压力，当我们访问一个数据的时候，首先我们从redis中查看是否有该数据，如果没有，则从数据库中读取，将从数据库中读取的数据存放到缓存中，下次再访问同样的数据时，先判断redis中是否存在该数据，如果有，则从缓存中读取。

步骤10.对历史数据在基于APCA算法压缩过,通过按时间序列对相邻数据点进行分组，维持较低的压缩比，创建观测值编码字典并生成具有位数组格式的新观测值。再次进行压缩存储,并创建索引。索引树直接构建在压缩序列上以支持点查询和范围查询，为后续数据查询提供了便利。也将原先较为庞大,且使用率较低的历史数据进行了几倍的压缩。

Claims (4)

1.一种基于边缘压缩计算处理温度传感器数据的方法，其特征在于：将边缘计算引入到可视化平台系统中，应用在传感器数据采集端将数据进行压缩，再由发送接收模块转发到服务器；首先，在传感器数据采集端对数据进行处理，将集中式的大批量数据压缩计算，分割成小粒度的单模块压缩计算；其次，将压缩后的数据再通过发送接收模块进行发送，减小服务器端网络带宽的压力；

包括如下步骤：

步骤1.在温度传感器的工作环境下，根据要求进行硬件部署；硬件包括测试和转换模块、中转模块和发射接收模块；

步骤2.测试和转换模块采集连接器内的现场温度，转成适用于长线传输的CAN信号；转换后的CAN信号传输到中转模块；使用CAN总线通讯方式，通讯距离由波特率决定；

步骤3.中转模块在接收到温度传感器采集并传输的数据后，转入缓存，再由压缩程序进行数据的处理；

步骤4.对数据进行压缩处理：通过对局部特征点进行优化，得到所需的局部特征点集，从而实现曲线的离散；先对采集的数据进行滤波，剔除干扰数据压缩的波动，再使用自适应分段常数近似的优化算法，根据实际情况产生最终表示；

步骤5.如果工作环境中有多个温度传感器，用于测量相似的工作环境，则对两个压缩后数据进行欧几里得距离的计算，若得出的距离在设定阈值内，则认为是同一曲线；若非多点测量，则跳过此步骤；

步骤6.通过发射接收模块，以4G模式将经过压缩处理的温度数据发送到远程服务平台，并接收远程服务平台的参数设置；

4G模式通信的格式为MQTT协议，由2个部分组成：服务器、中继器，中继器通过MQTT协议与服务器进行交互；中继器通过推送方式上传站点内的状态信息，通过订阅方式获取服务器下发的控制指令和信息；服务器通过推送方式下发指令和信息，通过订阅方式获取中继器的状态信息；中继器存在全球唯一的IMEI号，能够用于消息标签和方便服务器管理；

步骤7.设备通过MQTT协议将数据推送到mqtt代理服务器(emq)的指定topic，通过订阅相应的topic接收数据，然后根据协定的协议格式将数据流反序列化成JavaBean对象后，将数据对象推送到kafka分布式消息中间件；

步骤8.由服务器从kafka分布式消息中间件中收取消息，并存入时序数据库中；由平台服务调用数据，并展示给客户端；数据转发模块通过kafka作为消息中间件对数据采集模块的数据进行缓存和转发，为其他功能模块提供数据访问的接口；

步骤9.使用redis数据库或其他内存型数据库作缓存，由平台服务调用数据，并展示给客户端；redis作为缓存的作用就是减少对数据库的访问压力，当访问一个数据时，首先从redis中查看是否有该数据，如果没有，则从数据库中读取，将从数据库中读取的数据存放到缓存中，下次再访问同样的数据时，先判断redis中是否存在该数据，如果有，则从缓存中读取；

步骤10.对历史数据在基于自适应分段常数近似算法压缩过后，通过按时间序列对相邻数据点进行分组，维持较低的压缩比，创建观测值编码字典并生成具有位数组格式的新观测值；再次进行压缩存储，并创建索引；索引树直接构建在压缩序列上以支持点查询和范围查询，为后续数据查询提供了便利。

2.根据权利要求1所述的一种基于边缘压缩计算处理温度传感器数据的方法，其特征在于步骤4所述的算法具体实现如下：

给定时间序列C＝{(t₁，v₁)，...，(t_n，v_n)}，

生成APCA表示：

APCA(C，M)＝{(t₁t，v₁t)，...，(t_Mt，v_Mt)}，cr₀＝0

其中：C是被压缩的时间序列；M是压缩后表示的段数；v_it是第i个段中数据点的平均值；t_it是第i段的右端点，不代表段的长度；

APCA的算法步骤：

①如果时间序列C的原始长度不是2的幂，则用零填充；

②对时间序列C执行Haar离散小波变换，得到结果W_c；

③对W_c进行排序，在M之后截断得到系数W’_c；

④用保留的系数W’_c重建时间序列C的近似序列；

⑤如果有用零填充时间序列C，则将近似序列截断为原始长度。

3.根据权利要求2所述的一种基于边缘压缩计算处理温度传感器数据的方法，其特征在于步骤5具体如下：

给定两个时间序列Q＝{q₁，q₂，…，q_n}和Q’＝{q’₁，q’₂，…，q’₃}，两者之间的欧氏距离定义为：

4.根据权利要求3所述的一种基于边缘压缩计算处理温度传感器数据的方法，其特征在于步骤10所述的具体实现如下：

给定一个时间序列C的APCA表示APCA(C，M)＝{(t₁t，v₁t)，...，(t_Mt，v_Mt)}，应用增强压缩算法；

参数定义如下：

P每组中的最大元组数；JUMP相邻元组之间的最大采样时间间隔；JNB存储JUMP的位数；JNB＝log₂(JUMP)；V可能的观察总数；VNB编码所有可能观测值的位数；VNB＝log₂(V)；

具体实现如下：

该算法读取输入序列中要处理的第一个P元组；这些P元组进行扫描到第k的元组，k≤P；如果相邻元组的每个采样时间间隔满足小于预定义的最大值JUMP，被提取，此时k＝P；显然，如果k小于P，则第k个元组和第(k+1)个元组的时间间隔必须大于JUMP；

新元组的采样时间属性t，等于前k个元组中第一个元组的采样时间属性；新元组的观察值属性v，是从前k个元组生成的；v使用位数组存储，该数组按逻辑包含两个段；一个段用于存储属于第一个k元组的k-1个时间间隔，而另一个段包含前k个元组的所有观察值；v＝(tmp diff＜＜(P*VNB+(P-1-(num-1))*JNB))|(tmp value＜＜(P-num)*VNB)；然后重复APCA结果的构建过程，直到序列结束，完成整个增强压缩过程。

Images