CN114328483B - 一种传感器数据的处理系统 - Google Patents

Abstract

本发明提供了一种传感器监测数据处理系统，包括：处理器、存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：获取预设时间段内的传感器测量数据，若传感器测量数据数量低于预设的连续时间节点集合中时间节点数量，则基于已知传感器测量数据，获取缺失数据的时间节点上的修正数据，并使用修正数据替换实际监测数据，将构成的目标数据集生成可视化曲线并使用不同颜色区分实际监测数据和修正数据。本发明能够将一段时间节点内缺失的传感器数据进行修正，保证显示器中显示数据的可视性。

Description

一种传感器数据的处理系统

技术领域

本发明涉及数据处理领域，具体涉及一种传感器数据的处理系统。

背景技术

为保障桥隧涵边坡运营安全、延长其使用寿命，一般在桥隧涵边坡的监测点上安装传感器以对桥梁进行实时监控。传感器会按照预定时间获取传感数据并传输到服务器中。为了方便工作人员查看监控结果和数据趋势，一般会设置一个显示器，将传输到服务器中的传感器数据显示出来。

通过传感器监控桥梁的目的之一是在恶劣环境和极端情况下发现问题。由于桥梁的监测点众多，使用的传感器数量也会很多。但是在环境恶劣的情况下，传感器自身、安装以及传感器与服务器之间的通信的意外情况多发，如此会导致传感器上报服务器的数据出现无法上报的情况，进而导致显示器中显示的传感器数据图像可视效果差。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种传感器数据的处理系统，所述系统包括：处理器、存储有计算机程序的存储器当所述计算机程序被处理器执行时，实现以下步骤：

S100、获取D_i={D_i1，D_i2，……，D_is}，D_ij是指在预设时间段内的第i个非关键传感器ID对应的第j个时间点的实际监测数据，i=1……n，n为非关键传感器的数量，j=1……s，s为预设时间段内的时间点数量；

S300、遍历D_i且当D_ij=0时，获取D_i对应的精确度W_i；

S500、当W_i≤预设的精确度阈值W₀时，获取D_ij对应的修正数据R_ij，其中，R_ij符合如下条件：

其中，

是指在第一时间段内的第i个非关键传感器ID对应的第x个时间点的实 际监测数据，x=1……q，q为第一时间段内的时间点数量，D'_iy是指在第二时间段内的第i个 非关键传感器ID对应的第y个时间点的实际监测数据，y=1……p，p为第二时间段内的时间 点数量；

其中，所述第一时间段是指在第j个时间点之前的时间段；

其中，所述第二时间段是指在第j个时间点之后的时间段；

S700、在D_i中将D_ij替换为R_ij，获取D_i对应的可视化曲线。

本发明至少具有以下技术效果：本发明提供了一种传感器监测数据处理系统，包括：处理器、存储有计算机程序的存储器和数据库，所述数据库中存储的字段有非关键传感器ID、每一非关键传感器ID对应的精确度和每一非关键传感器ID的实际监测数据，当所述计算机程序被处理器执行时，实现以下步骤：获取预设时间段内的传感器测量数据，若传感器测量数据数量低于预设的连续时间节点集合中时间节点数量，则基于已知传感器测量数据，获取缺失数据的时间节点上的修正数据，并使用修正数据替换实际监测数据，将构成的目标数据集生成可视化曲线并使用不同颜色区分实际监测数据和修正数据。本发明能够将一段时间节点内缺失的传感器数据进行修正，保证显示器中显示数据的可视性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种传感器数据的处理系统执行程序的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种传感器数据的处理系统，所述系统包括：所述系统包括：处理器、存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤，如图1所示：

S100、获取D_i={D_i1，D_i2，……，D_is}，D_ij是指在第一预设时间段内的第i个非关键传感器ID对应的第j个实际监测数据，i=1……n，n为非关键传感器的数量，j=1……s，s为第一预设时间段内的实际监测数据数量。

具体地，所述第一预设时间段的取值范围为5~10min；优选地，所述第一预设时间段的取值为5min。

S300、遍历D_i且当D_ij=0时，获取D_i对应的精确度W_i。

S500、当W_i≤预设的精确度阈值W₀时，获取D_ij对应的修正数据R_ij，其中，R_ij符合如下条件：

，其中，

是指在第一时间段内的第i个非关键传感器ID对应的 第x个时间点的实际监测数据，x=1……q，q为第一时间段内的时间点数量，D'_iy是指在第二 时间段内的第i个非关键传感器ID对应的第y个时间点的实际监测数据，y=1……p，p为第二 时间段内的时间点数量，能够基于非关键传感器中缺失实际监测数据的时间点对应的前后 时间段，获取两个时间段的实际测量平均值且基于两个时间段的实际测量平均值，有效和 快速的获取对应的修正数据，同时也保证了修改值的准确性，避免修正数据与实际监测数 据之间的误差较大，影响到整体数传感器数据的准确性。

进一步地，所述第一时间段是指在第j个时间点之前的时间段，所述第二时间段是指在第j个时间点之后的时间段。

优选地，当p=q=u且x=y=z时，R_ij符合如下条件：

。

上述优选的修正数据获取方式能够在缺失实际监测数据的时间点前后两个时间段内获取相同数量的实际监测数据，一方面保证了修正数据的准确性且简化数据处理过程，另一方面，降低了获取修正数据时因前后时间段的不一致性产生的误差，使得修正数据更贴近实际监测数据。

具体地，在S500步骤和S700步骤之间还包括如下步骤：

S600、当W_i＞W₀时，获取D_i对应的修正数据R_ij，其中，R_ij符合如下条件：

，其中，K_ij为D_ij对应的预设权重值，其中，

符合 如下条件：

。

优选地，R_i0=0。

具体地，K_ij符合如下条件：

，Q_i为第i个非关键传感器的误差值。

进一步地，C_ij-1的获取方式与C_ij的获取方式一致，其中，C_ij符合如下条件：

。

优选地，C_i0=1。

具体地，在S600步骤中还包括如下步骤：

获取B_i={B_i1，B_i2，……，B_ir}，其中，B_ir是指第i个非关键传感器的第r个关键数据，r=1……m_i，m_i为关键数据数量，所述关键数据是指除D_ij之外的其他实际监测数据；

基于B_ir，获取

，

符合如下条件：

。

进一步地，m_i符合如下条件：

，

其中，D_i对应的第一时间周期T_i、D_i对应的第二时间周期

和m_i对应的预设下限 值H_i，能够进一步现在关键数据数量，避免关键数据数量过多，导致数据处理量较大，影响 到数据处理效率，同时也避免关键数据数量过少，导致无法准确的获取修正数据，使得修正 数据与实际监测数据之间误差较大。

进一步地，所述第一时间周期是指任一非关键传感器中上传的所有实际监测数据均不超过预设测量阈值的最大时间周期；本领域技术人员知晓第二时间周期可根据非关键传感器的采取情况进行确定，在此不再赘述。

进一步地，所述第二时间周期是指任一非关键传感器执行一次实际监测数据上传的时间周期；本领域技术人员知晓第二时间周期可根据实际需求进行设置，在此不再赘述。

具体地，H_i是指K_ij满足预设收敛条件的关键数据数量，即K_ij≤预设收敛参数阈值K₀，能够通过参数的收敛条件，合理的对关键数据数量进行限制，避免关键数据数量过少，导致无法准确的获取修正数据，使得修正数据与实际监测数据之间误差较大。

其中，本领域技术人员知晓设收敛参数阈值可根据实际需求进行设置，在此不再赘述。

优先地，当Q_i=0.1时，K₀=0.3。

具体地，D'符合如下条件：

，

可以理解为：D'为

和

中一个随机数，能够增加获取修正 数据的随机性，进而减少数据处理时因某一实际监测数据的不准确，导致修正数据出现较 大误差的情况。

S700、在D_i中将D_ij替换为R_ij，获取D_i对应的可视化曲线，可以理解为：在D_i中将D_ij替换为R_ij，构建成D_i对应的目标数据列表且基于D_i对应的目标数据列表，获取D_i对应的可视化曲线，其中，在所述可视化曲线中，实际监测数据与修正数据采用不同的标记色，能够实现对修正数据和其他实际监测数据的区分，有利于对传感器的实际监测数据的分析。

上述实施例为针对非关键传感器的实际监测数据存在误差时的修正方法，根据非关键传感器的精度分别使用不同方式处理，保障了处理不同精度传感器数据准确率的同时提高了数据处理的效率，进而提高了基于传感器数据构建的可视化曲线的可视性，有利于对非关键传感器的实际监测数据的分析。

在一个具体的实施例中，所述数据库中字段还包括：关键传感器ID、每一关键传感器ID的实际监测数据、与关键传感器ID对应的AI数据，当所述计算机程序被处理器执行时，实现以下步骤：

S1、获取A_g={A_g1，A_g2，……，A_gM}，其中，A_gt是指第二预设时间段内第g个关键传感器的第t个实际监测数据，g=1……N，N为关键传感器数量，t=1……M，M为第二预设时间段内的实际监测数据数量。

具体地，所述第二预设时间段的取值范围为5~10min；优选地，所述第二预设时间段的取值为5min。

S2、遍历A_g且当A_gt=0时，获取A_g对应的AI数据。

具体地，在S2步骤中还包括如下步骤获取A_g对应的AI数据：

S21、获取A_g对应的时间窗口数量Lλ。

S23、当Lλ=0时，将A_g对应的关键传感器当前采集的实际监测数据作为A_g的AI计算数据。

S25、当Lλ=L'时，则使用A_g对应的关键传感器采集的当前实际监测数据和当前时间点之前的L'个时间窗口内采集的T'个历史实际监测数据作为A_g的AI计算数据，即使用A_g涉及的L'+1个实际监测数据作为A_g的AI计算数据，能够确保使用的AI计算数据更加符合传感器所处的真实场景情况，使得计算的关键传感器数据更加准确。在本发明实施例中，时间窗口为传感器的采样周期。

S3、根据A_g对应的AI数据和已训练的AI模型，获取A_gt的预测数据。

具体地，所述AI模型为回归模型，优选地，所述AI模型为逻辑回归模型。

具体地，在S3步骤中还包括如下步骤获取A_gt的预测数据：

获取A_g对应的样本数据集，A_g对应的样本数据集包括：E*（F+1）个样本向量U，U=（U¹，U²，…，U^F），U^η=（U^η ₁，U^η ₂，…，U^η _Lη），可以理解为：即U=（U¹ ₁，U¹ ₂，......，U¹ _L1，U² ₁，U² ₂，......，U² _L2，......，U^F ₁，U^F ₂，......，U^F _LF），其中，U^η为Ag对应的关键传感器相关的第η个非关键传感器包括的L_η个非关键传感器的实际测量数据，U^λγ为Ag对应的关键传感器相关的第λ个非关键传感器的在第γ个时间窗口内的非关键传感器的实际测量数据，γ的1……L_λ，λ=1……F。

具体地，预设的样本系数E可根据实际需要进行设置，只要能够保证样本数量足够训练得到准确的AI模型即可。

优选地，本发明实施例中的E*（F+1）个样本向量满足以下条件：

（1）E个样本向量中，任一非关键传感器数据Uⁱ中的所有采样数据均在预设的阈值范围内即均为正常数据，即每个非关键传感器的所有时间窗口内的采样数据均为正常数据；预设的阈值范围可为预先设置值，例如，用户自定义。

（2）其余的E*F个样本向量中的任一E个样本向量中，仅存在一个非关键传感器数据满足：至少存在一个采样数据在预设的阈值范围外即为异常数据，而其他采样数据均在预设的阈值范围内。即，对于其余的每份包括E个样本向量的样本数据，存在一个非关键传感器数据的至少一个时间窗口内的采样数据为异常数据。

在本发明实施例中，在选取AI模型的训练样本集时，需要满足上述条件（1）和（2），这样，样本向量包括所有非关键传感器数据均为正常数据以及每个非关键传感器为异常数据的情况，能够使得训练数据分布更广泛，训练得到的AI模型更准确；此外，考虑到非关键传感器实际应用场景下，时间窗口内的监测数据可能存在高度耦合性，因此，没有以时间窗口作为参考标准得到差异数据，而是基于每个非关键传感器进行，如此，能够获取足够的样本数据。

进一步地，如果基于条件（2）获得的样本数量不足E*F个，则选用至少存在两个非关键传感器数据满足上述条件（2）的样本数据补充至样本集中，以保证样本集数量充足；可以理解为：A_g对应的关键传感器与β个A_g对应的关键传感器相关的非关键传感器O_g1，O_g2，……O_gβ相关，则Ag对应的样本数据集的选择需满足以下条件：

1）β个非关键传感器采集的实际监测数据均为正常数据的样本量占总样本量的25%；

2）仅任一非关键传感器O_gα采集的实际监测数据为异常数据的样本量占总样本量的25%，α=1……β。

进一步地，当无任一非关键传感器O_gα采集的实际监测数据为异常数据的样本量占总样本量的25%时，则可选择满足如下条件的样本数据进行补充：

a）任一两个非关键传感器O_gα同时为异常数据而其他非关键传感器均为正常数据；

b）O_g1，O_g2，……O_gβ同时为异常数据。

S4、在A_g中将A_tg替换为A_gt对应的预测数据，构建成A_g对应的目标数据列表且基于A_g对应的目标数据列表，获取A_t对应的可视化曲线，其中，在所述At对应的可视化曲线中，实际监测数据与预测数据采用不同的标记色，能够实现对修正数据和其他实际监测数据的区分，有利于对传感器的实际监测数据的分析。

上述实施例为针对关键传感器的实际监测数据存在误差时的修正方法，由于关键传感器在实际应用中的关键性，通过AI预测的方式处理关键传感器的实际监测数据，进一步地提高了关键传感器数据处理的准确性。

在本发明实施例中，考虑到极端环境下传感器上传数据不准确的情况，在M_x1个传感器数据中的任一个传感器数据在预设阈值范围以外，则向所述服务器实时上传报文，并利用关键传感器关联的非关键传感器的数据进行AI计算，得到预测的关键传感器数据，使得用于监测的关键传感器数据能够在极端环境下也是准确的。

本发明至少具有以下技术效果：本发明提供了一种传感器监测数据处理系统，包括：处理器、存储有计算机程序的存储器和数据库，所述数据库中存储的字段有非关键传感器ID、每一非关键传感器ID对应的精确度和每一非关键传感器ID的实际监测数据，当所述计算机程序被处理器执行时，实现以下步骤：获取预设时间段内的传感器测量数据，若传感器测量数据数量低于预设的连续时间节点集合中时间节点数量，则基于已知传感器测量数据，获取缺失数据的时间节点上的修正数据，并使用修正数据替换实际监测数据，将构成的目标数据集生成可视化曲线并使用不同颜色区分实际监测数据和修正数据。本发明能够将一段时间节点内缺失的传感器数据进行修正，保证显示器中显示数据的可视性。

所述关键传感器数据与非关键传感器数据相关，每个关键传感器的数据的预测涉及多个非关键传感器。例如，在一个示意性实施例中，索力是关键传感器数据。索力与时间窗口内的多个温度和湿度相关，实时的风速和风向相关，实时的车辆荷载相关。因此，可以通过采集的多个温度和湿度、实时的风速、风向和车辆荷载，代入AI模型中对实时索力进行预测，并与实时测量结果进行比较，如果预测值与测量值之间的误差小于预设阈值，则当前监测的索力合理。反之，则当前监测的索力不合理，合理的索力值即为本发明中所述修正数据。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种传感器数据的处理系统，其特征在于，所述系统包括：处理器、存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

S100、获取D_i＝{D_i1，D_i2，……，D_is}，D_ij是指在预设时间段内的第i个非关键传感器ID对应的第j个时间点的实际监测数据，i＝1……n，n为非关键传感器的数量，j＝1……s，s为预设时间段内的时间点数量；

S300、遍历D_i且当D_ij＝0时，获取D_i对应的精确度W_i；

S500、当W_i≤预设的精确度阈值W₀时，获取D_ij对应的修正数据R_ij，其中，R_ij符合如下条件：

其中，

是指在第一时间段内的第i个非关键传感器ID对应的第x个时间点的实际监测数据，x＝1……q，q为第一时间段内的时间点数量，D'_iy是指在第二时间段内的第i个非关键传感器ID对应的第y个时间点的实际监测数据，y＝1……p，p为第二时间段内的时间点数量；

其中，所述第一时间段是指在第j个时间点之前的时间段；

其中，所述第二时间段是指在第j个时间点之后的时间段；

S700、在D_i中将D_ij替换为R_ij，获取D_i对应的可视化曲线；

其中，在S500步骤和S700步骤之间还包括如下步骤：

S600、当W_i＞W₀时，获取D_ij对应的修正数据R_ij，其中，R_ij符合如下条件：

其中，K_ij为D_ij对应的预设权重值，其中，/>

符合如下条件：

其中，通过如下步骤获取

获取B_i＝{B_i1，B_i2，…，B_ir，…，B_imi}，其中，B_ir是指第i个非关键传感器的第r个关键数据，r＝1……m_i，m_i为关键数据数量，所述关键数据是指除D_ij之外的其他实际监测数据；

基于B_ir，获取

符合如下条件：

其中，D'为

和/>

中一个随机数。

2.根据权利要求1所述的系统，其特征在于，所述第一时间段的取值范围为5～10min。

3.根据权利要求1所述的系统，其特征在于，K_ij符合如下条件：

Q_i为第i个非关键传感器的误差值；

其中，C_i(j-1)的获取方式与C_ij的获取方式一致，其中，C_ij符合如下条件：

4.根据权利要求1所述的系统，其特征在于，m_i符合如下条件：

其中，D_i对应的第一时间周期T_i、D_i对应的第二时间周期

和m_i对应的预设下限值H_i。

5.根据权利要求4所述的系统，其特征在于，所述第一时间周期是指任一非关键传感器中上传的所有实际监测数据均不超过预设测量阈值的最大时间周期。

6.根据权利要求4所述的系统，其特征在于，所述第二时间周期是指任一非关键传感器完成一次实际监测数据上传的时间周期。

7.根据权利要求4所述的系统，其特征在于，H_i是指K_ij满足预设收敛条件的关键数据数量。

Images