CN111970351B - 一种基于数据对齐的物联网多维传感优化方法及系统 - Google Patents

Abstract

本发明涉及一种基于数据对齐的物联网多维传感优化方法及系统，通过将设备上采集到的不同源的数据积累存储下来，确定不同数据源的时钟之间的相对关系以及多传感器数据的最佳可能匹配对齐方式，将在同一时间上采样的数据进行对齐处理得到一个完整的数据包，实现同一台设备上不同传感器数据在时间上的多维传感优化。本发明基于改进的尼德曼‑翁施算法，引入时间结构上的信息，能够在物联网大数据系统中实现数据的对齐，这样各个不同纬度上的物联网数据就可以在时间纬度上进行统一处理，为后续的故障预测与可预测性维护提供了基础。

Description

一种基于数据对齐的物联网多维传感优化方法及系统

技术领域

本发明涉及物联网信息处理领域，特别是涉及一种基于数据对齐的物联网多维传感优化方法及系统。

背景技术

同步对齐是数据通信领域的一个核心技术和问题，在工业设备物联网应用场景中，需要采集设备的控制信号，震动信号以及热成像等许多不同传感器信号，这些信号来源于不同的传感器，这些传感器可能来自于不同的厂商，使用不同的数据传输设备，例如数据交换设备(DTU)或远程终端设备(RTU)，并可能被上传到不同的云中。在现有物联网中，需要使用时间同步方法比如GPS时间同步以实现采样数据基于时间戳的同步对齐，实现数据的对齐。而在工业设备场景中由于传感器以及传输设备来自于不同厂商，数据存储的云环境也不尽相同，数据的时间同步对齐变得非常困难。

现有通信技术中使用的时间同步方法是将一个时钟源的时钟与另一个时钟源的时钟相关锁定来实现的，这种锁定可以使用锁相环来实现。也就是通过改变本地时钟和远程的时钟信号保持一致。这通常需要在硬件层面或者网络层面引入额外的链路。通信设备之间不仅要传输数据，而且同时要传输时间。比如通过在信号中编码时钟来完成时钟与信号数据的同时传输或者增加的额外的时钟传输通道，比如使用GPS或者网络时间协议(NTP)进行授时与时钟同步。而在工业物联网环境下，这些方法并不适用。由于工业设备的监控与预测性维护应用中，需要监控的设备状态多样，包括了设备的润滑、设备的震动、设备工作的温度分布图像等多维度的数据。设备与传感器的研发成本都非常高，很难研发一个统一的物联网平台来涵盖所有这些需要测量的设备状态，必须要组合多个不同技术厂商与供应商的技术解决方案。而不同厂商的方案互联互通都非常困难更难实现时间同步，因此在这样的工业物联网场景下现有的时钟同步数据对齐技术就无法实现。

发明内容

本发明的目的是提供一种基于数据对齐的物联网多维传感优化方法及系统，基于改进的尼德曼-翁施算法，引入时间结构上的信息，能够在物联网大数据系统中实现数据的对齐，这样各个不同纬度上的物联网数据就可以在时间纬度上进行统一处理，为后续的故障预测与可预测性维护提供了基础。

为实现上述目的，本发明提供了如下方案：

一种基于数据对齐的物联网多维传感优化方法，所述优化方法包括：

采集工业设备上不同源的数据；

确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式；

将在同一时间上采样的数据进行对齐处理得到一个完整的数据包；

基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化。

可选的，所述相对关系包括：抖动、偏斜和/或缺失。

可选的，所述确定多传感器数据的最佳匹配对齐方式具体包括：

采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐。

可选的，所述采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐具体包括：

获取数据序列V(n,i)和目标时间序列模板W(n,j)；

根据所述数据序列和目标时间序列模板构建映射矩阵TD(i,j)；

利用映射矩阵回溯确定匹配对齐的数据序列R(n,j)。

可选的，所述的映射矩阵TD(i,j)内的元素满足：

对于0≤i≤N，0≤j≤M，1≤n≤L，当：V(n,i)＝W(n,j)，则TD(i,j)＝TD(i-1,j-1)，否则TD(i,j)＝Min(TD(i-1,j-1),TD(i-1,j),TD(i,j-1))+abs(i-j)，其中：Min为取小值，abs为取绝对值函数。

可选的，所述回溯包括：

第一步：定位在映射矩阵的右下角；

第二步：回溯单元格至映射矩阵的左上角并判断：当V(n,i)＝W(n,j)，则回溯到左上角单元格，否则回溯到左上角、上边、左边中值最小的单元格，当有相同最小值的单元格，优先级按照左上角、上边、左边的顺序，并进一步判断：

当当前单元格是在矩阵的第一行，则回溯至左边的单元格；

当当前单元格是在矩阵的第一列，则回溯至上边的单元格；

第三步：根据回溯路径，确定时间序列的映射关系。

本发明另外提供一种基于数据对齐的物联网多维传感优化系统，所述优化系统包括：

数据采集模块，用于采集工业设备上不同源的数据；

相对关系及最佳匹配对齐方式确定模块，用于确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式；

对齐处理模块，用于将在同一时间上采样的数据进行对齐处理得到一个完整的数据包；

优化模块，用于基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明整体解决了测量统一设备的不同传感器之间的数据实现关联对齐的技术问题，即当这些传感器的数据是离散不同步的存储在大数据系统中是没有任何价值的，将相同设备的数据归并对齐到一起可以有效的提高数据的可分析性以及价值，为后续的设备健康管理可预测性维护提供了坚实的数据支撑，这样在数据表里存的每一行都是某一设备一系列相关的检测量的合集。

相比现有方法需要基于硬件或者边缘计算实现时间戳同步，本方法直接在大数据端解决数据同步的问题，不需要特殊硬件的支持，有效降低了成本，具有良好的灵活性。特别是在工业互联网大规模应用场景下，其节约的成本是巨大的。同时通过这一技术，使得物联网部署不在限定在单一的云上，现有的工业物联网在实施过程中都是使用单一的供应商或者云厂商，应为多云间数据对齐不容易实现，本发明使得多云数据对齐成为可能，能够有效丰富工业物联网的应用组合，可以组合选用不同的云厂商来实现复杂的物联网应用功能，这是单一云平台或供应商做不到的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于数据对齐的物联网多维传感优化方法流程图；

图2为本发明实施例抖动故障示意图；

图3为本发明实施例偏斜故障示意图；

图4为本发明实施例缺失故障示意图；

图5为本发明实施例硬件系统示意图；

图6为本发明实施例数据对齐示意图；

图7为本发明实施例基于数据对齐的物联网多维传感优化系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于数据对齐的物联网多维传感优化方法，基于改进的尼德曼-翁施算法，引入时间结构上的信息，能够在物联网大数据系统中实现数据的对齐，这样各个不同纬度上的物联网数据就可以在时间纬度上进行统一处理，为后续的故障预测与可预测性维护提供了基础。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例基于数据对齐的物联网多维传感优化方法流程图，如图1所示，所述方法包括：

步骤101：采集工业设备上不同源的数据。

步骤102：确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式。所述不同源数据指来自不同源的传感器数据。

具体的，所述相对关系包括：抖动、偏斜和/或缺失，具体如图2、图3、图4所示。

所述的抖动是指：由于物联网系统的传输延时以及或者指令重传，同一传感器设备采样的数据采集会有不同的延迟，产生的延迟的不同；

所述的偏斜是指：由于物联网系统的传输以及或者指令重传，不同传感器设备的数据采集会有不同的延迟，这种多个纬度数据之间的偏差称为偏斜；

所述的缺失是指：由于物联网系统的传输不可靠，某些时刻某些传感的数据没有完成传输发生了丢失称为数据的缺失。

所述的最佳匹配对齐方式：采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐。具体指：

获取数据序列V(n,i)和目标时间序列模板W(n,j)；

根据所述数据序列和目标时间序列模板构建映射矩阵TD(i,j)，即目标时间序列模板W(n,j)和数据序列V(n,i)各相当于映射矩阵TD(i,j)的一条边；

利用映射矩阵回溯确定匹配对齐的数据序列。

步骤103：将在同一时间上采样的数据进行对齐处理得到一个完整的数据包。

步骤104：基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化。

所述的映射矩阵TD(i,j)内的元素满足：

对于0≤i≤N，0≤j≤M，1≤n≤L，当：V(n,i)＝W(n,j)，则TD(i,j)＝TD(i-1,j-1)，否则TD(i,j)＝Min(TD(i-1,j-1),TD(i-1,j),TD(i,j-1))+abs(i-j)，其中：Min为取小值，abs为取绝对值函数。

所述回溯包括：

第一步：定位在映射矩阵的右下角；

第二步：回溯单元格至映射矩阵的左上角并判断：当V(n,i)＝W(n,j)，则回溯到左上角单元格，否则回溯到左上角、上边、左边中值最小的单元格，当有相同最小值的单元格，优先级按照左上角、上边、左边的顺序，并进一步判断：

当当前单元格是在矩阵的第一行，则回溯至左边的单元格；

当当前单元格是在矩阵的第一列，则回溯至上边的单元格；

第三步：根据回溯路径，确定时间序列的映射关系。

如图5所示，为本实施例涉及一种用于工业物联网多维传感器数据对齐系统，包括：在工业设备上部署的多种不同类型的物联网传感器1、物联网传感器2，其分别采集工业设备的包括震动、功率、温度等信息。不同传感器通过各自不同的物联网云服务1、物联网云服务器2进行数据传输与汇总。最终，数据汇总到大数据统一处理平台上，在大数据平台上通过部署实时数据总线，并部署本实施例中的数据对齐过程，实现了不同传感器不同云服务之间的数据对齐与同步。如图6是数据的具体对齐过程示意图，物联网数据以流的方式接收到大数据平台中，平台将数据填入到预先定义了格式的数据表中。

例如，在空压机的物联网监控系统中，可以通过监控设备当前的运行状态来对其健康状态进行评估，实现可预测性维护，减少计划外停机带来的经济损失。为了能够全面检测空压机设备的健康状态，需要通过多个纬度去采集空压机的数据，而这些数据有些可以从空压机内部的控制器上获得，有些并不能直接从空压机设备的控制器上直接获得，而需要部署额外的传感器来获取。通常对于一台空压机的运行状况参量包括主机电流、排气温度、供气压力、轴承温度、润滑油使用时间等参量是能够通过空压机控制器直接采集获得的。而包括空压机润滑油的密度、含水量、粘度等数据需要额外在空压机的油回路上安装润滑油传感器来采集，同样的设备的震动幅度信息以及设备的红外温度图像则分别需要通过加装震动传感器以及红外成像仪来采集。这些传感器分别使用不同的云将数据传输到统一大数据平台的数据总线上。那么数据总线上接收到的序列为：

经过本方法处理进行数据对齐优化后存储大数据系统的数据表为：

本实施例涉及上述系统的数据对齐过程，具体包括以下步骤：

步骤1)根据两个数据序列V(n,i)与W(n,j)，其中：i为时间戳偏移量，例如2019-12-112:31:45，n代表第n个采样的物联网特征，例如空压机功率、润滑油含水量，W是数据对齐后期望得到的时间序列模版，j为模版中数据的时间戳偏移量，寻找的目的在于找到一组最优的V(n,i)与W(n,j)映射关系即实现数据对齐。

步骤2)构建一个V(n,i)与W(n,j)的映射矩阵TD(i,j)，矩阵的横轴与纵轴分别由V(n,i)与W(n,j)组成，矩阵的元素值满足：对于0≤i≤N，0≤j≤M，1≤n≤L有：

当V(n,i)＝W(n,j)，则TD(i,j)＝TD(i-1,j-1)，否则TD(i,j)＝Min(TD(i-1,j-1),TD(i-1,j),TD(i,j-1))+abs(i-j)。

例：假设物联网接收的数据序列为：

V(1,15)

V(3,21)

V(1,25)

V(2,29)

V(3,31)

V(2,39)

待匹配对齐的模版序列为：

W(1,10)

W(2,10)

W(3,10)

W(2,20)

W(2,20)

W(3,20)

则根据上述公式构建的矩阵如下：

(0,0)	V(1,15)	V(3,21)	V(1,25)	V(2,29)	V(3,31)	V(2,39)
							W(1,10)	0	11	11	30	50	51
W(2,10)	5	11	26	26	47	76
							W(3,10)	10	5	20	39	26	55
W(1,20)	10	6	5	14	25	44
							W(2,20)	15	7	10	5	16	25
W(3,20)	20	8	12	14	5	24

利用以上定义的TD矩阵，通过回溯，能找到匹配对齐的数据序列。

所述的回溯是指：

第一步：定位在矩阵的右下角

第二步：回溯单元格，至矩阵的左上角

当V(n,i)＝W(n,j)，则回溯到左上角单元格，否则回溯到左上角、上边、左边中值最小的单元格，若有相同最小值的单元格，优先级按照左上角、上边、左边的顺序。

当当前单元格是在矩阵的第一行，则回溯至左边的单元格；

当当前单元格是在矩阵的第一列，则回溯至上边的单元格；

第三步：根据回溯路径，写出时间序列的映射关系

回溯路径使用灰色标注：

由此得到的数据对齐关系是：

W(1,10)V(1,15)

W(2,10)NULL

W(3,10)V(3,21)

W(1,20)V(1,25)

W(2,20)V(2,29)

W(3,20)V(3,31)

可以看到算法输出结果消除了抖动与偏斜，并预测了空缺值的位置。

本方法将时间下标引入到算法扩展了编辑距离里字符位置下标，因此可以将编辑距离算法看作是本方法的一个特例，而本方法是编辑距离算法的一个超集。通过这一扩展算法可以有效处理时间序列消除抖动与偏斜并预测空缺值。

图7为本发明实施例一种基于数据对齐的物联网多维传感优化系统结构示意图，如图7所示，所述优化系统包括：

数据采集模块201，用于采集工业设备上不同源的数据；

相对关系及最佳匹配对齐方式确定模块202，用于确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式；

对齐处理模块203，用于将在同一时间上采样的数据进行对齐处理得到一个完整的数据包；

优化模块204，用于基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于数据对齐的物联网多维传感优化方法，其特征在于，所述优化方法包括：

采集工业设备上不同源的数据；

确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式；

将在同一时间上采样的数据进行对齐处理得到一个完整的数据包；

基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化；

确定多传感器数据的最佳匹配对齐方式具体包括：

采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐；

所述采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐具体包括：

获取数据序列V(n,i)和目标时间序列模板W(n,j)；

根据所述数据序列和目标时间序列模板构建映射矩阵TD(i,j)；

利用映射矩阵回溯确定匹配对齐的数据序列R(n,j)；

所述映射矩阵TD(i,j)内的元素满足：

对于0≤i≤N，0≤j≤M，1≤n≤L，当：V(n,i)＝W(n,j)，则TD(i,j)＝TD(i-1,j-1)，否则TD(i,j)＝Min(TD(i-1,j-1),TD(i-1,j),TD(i,j-1))+abs(i-j)，其中：Min为取小值，abs为取绝对值函数；

所述回溯包括：

第一步：定位在映射矩阵的右下角；

第二步：回溯单元格至映射矩阵的左上角并判断：当V(n,i)＝W(n,j)，则回溯到左上角单元格，否则回溯到左上角、上边、左边中值最小的单元格，当有相同最小值的单元格，优先级按照左上角、上边、左边的顺序，并进一步判断：

当当前单元格是在矩阵的第一行，则回溯至左边的单元格；

当当前单元格是在矩阵的第一列，则回溯至上边的单元格；

第三步：根据回溯路径，确定时间序列的映射关系。

2.根据权利要求1所述的基于数据对齐的物联网多维传感优化方法，其特征在于，所述相对关系包括：抖动、偏斜和/或缺失。

3.一种基于数据对齐的物联网多维传感优化系统，所述优化系统包括：

数据采集模块，用于采集工业设备上不同源的数据；

相对关系及最佳匹配对齐方式确定模块，用于确定不同数据源的时钟之间的相对关系以及不同源数据的最佳匹配对齐方式；

确定多传感器数据的最佳匹配对齐方式具体包括：

采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐；

所述采用改进的尼德曼-翁施算法，通过比较两个时间序列的最优公共子时间序列来实现数据的对齐具体包括：

获取数据序列V(n,i)和目标时间序列模板W(n,j)；

根据所述数据序列和目标时间序列模板构建映射矩阵TD(i,j)；

利用映射矩阵回溯确定匹配对齐的数据序列R(n,j)；

所述映射矩阵TD(i,j)内的元素满足：

对于0≤i≤N，0≤j≤M，1≤n≤L，当：V(n,i)＝W(n,j)，则TD(i,j)＝TD(i-1,j-1)，否则TD(i,j)＝Min(TD(i-1,j-1),TD(i-1,j),TD(i,j-1))+abs(i-j)，其中：Min为取小值，abs为取绝对值函数；

所述回溯包括：

第一步：定位在映射矩阵的右下角；

第二步：回溯单元格至映射矩阵的左上角并判断：当V(n,i)＝W(n,j)，则回溯到左上角单元格，否则回溯到左上角、上边、左边中值最小的单元格，当有相同最小值的单元格，优先级按照左上角、上边、左边的顺序，并进一步判断：

当当前单元格是在矩阵的第一行，则回溯至左边的单元格；

当当前单元格是在矩阵的第一列，则回溯至上边的单元格；

第三步：根据回溯路径，确定时间序列的映射关系；

对齐处理模块，用于将在同一时间上采样的数据进行对齐处理得到一个完整的数据包；

优化模块，用于基于所述数据包实现同一台设备上不同传感器数据在时间上的多维传感优化。

Images