CN113139571A - 一种基于时空多视图融合的大坝安全监测数据补全方法 - Google Patents

Abstract

本发明公开了一种基于时空多视图融合的大坝安全监测数据补全方法，包括，根据大坝安全监测数据的特点，在全局空间视图、全局时间视图、局部空间视图、局部时间视图上分别抽象出视图模型；将四个模型利用lasso回归进行融合，产生时空多视图融合模型；利用时空多视图融合模型生成补全数据。在时空特征强相关的情况下，该方法可以很好的解决大坝安全监测数据中存在的块状缺失和局部缺失等问题，且经过在真实大坝安全监测数据上验证，该方法比以往经典算法和传统时空模型具有更小的误差和更好的补全效果。

Description

一种基于时空多视图融合的大坝安全监测数据补全方法

技术领域

本发明涉及一种缺失数据补全方法，具体涉及一种基于时空多视图融合的大坝安全监测数据补全方法。

背景技术

随着互联网技术的愈发成熟、数据采集和存储能力的高速发展，大数据技术已经完全渗入数据信息领域。而现实数据中存在的缺失问题，导致建立在理想数据集上的模型与方法已经满足不了数据挖掘的真实需求。为了挖掘可靠信息，建立更有效的应用数据挖掘模型，对缺失数据进行补全十分必要。He等人基于深度学习的框架重建缺失的数据，以利于时间序列的分析。该框架建立在观测数据的时间序列上，基于多个预测模型的集合，在虚拟数据的帮助下完成预测模块之间的耦合。最初使用序列的前面部分进行预测，然后以迭代的方式逐渐改善哑元数据，以便更好地符合序列的下一部分。实践证明提出的预测集成方案的有效性。但是，这类所提方法并不能够处理混合分类连续缺失等问题，Vincent基于DAE提出的方法也需要在完整数据前提下才会有更好的准确性，因此对于非完整数据，效果并不理想。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于时空多视图融合的大坝安全监测数据补全方法，在保证数据补全的基础上，提升了补全效果，降低了模型的误差。

为实现上述目的，本发明采用如下的技术方案：

本发明提供一种基于时空多视图融合的大坝安全监测数据补全方法，包括：

构造时空多视图模型，包括：全局空间视图子模型，全局时间视图子模型，局部空间视图子模型和局部时间视图子模型；

将所构建的时空多视图模型进行融合，生成时空多视图融合模型；

采用时空多视图融合模型对大坝安全监测数据进行数据补全。

进一步的，所述构造时空多视图模型，包括：

采用反转距离加权插值算法构造全局空间视图子模型：

其中，v₁为全局空间视图维度产生的补全值，v_i,t为监测点i在时间t时的监测值，n为监测点数，d_i为表示缺失值与监测点i之间的空间距离，α为衰减因子，

是监测点i的权重；

基于牛顿冷却定律构造全局时间视图子模型：

其中，v₂为全局时间视图维度产生的补全值，β_i表示监测点i的冷却因子，

是监测点i在时间t_x时的监测值，t_x-t表示时间t到时间t_x之间发生了数据缺失的时长，

为监测点i所有监测值的平均值；

采用基于用户的协同过滤算法和趋势相似性相结合的算法构造局部空间视图子模型：

其中，v₃为局部空间视图维度产生的补全值，K为根据趋势相似性选取的监测点个数，

表示监测点间的局部空间相似性矩阵；

采用基于物品的协同过滤算法和趋势相似性相结合的算法构造局部时间视图子模型：

其中，v₄为局部时间视图维度产生的补全值，K为根据趋势相似性选取的监测点个数，

表示监测点间的局部时间相似性矩阵。

进一步的，所述全局空间视图子模型中，采用不同衰减因子的取值下进行多次实验，选取使预测值与真实值的平均绝对误差值最小的衰减因子作为该子模型的α。

进一步的，所述采用基于用户的协同过滤算法和趋势相似性相结合的算法构造局部空间视图子模型，包括：

基于用户的协同过滤算法，采用皮尔逊相似度计算两个监测点之间的相似性，构建局部相似性矩阵S_u；

结合趋势相似性，选取最近的K个监测点；

对于K个监测点，提取所计算的时间段内各监测点每一天相比于前一天的变化，若比前一天增加则记为1，若不增加则记为0，从而形成该时间段的一个由0和1构成的序列，每个监测点均形成一个序列；

计算两个监测点序列间的汉明距离，得到两监测点间的趋势相似性矩阵S_v；

计算局部相似性矩阵S_u和趋势相似性矩阵S_v之间的矩阵相似性

将

根据比重与趋势相似性进行结合，得到最终的监测点间的相似性

基于

构造局部空间视图子模型。

进一步的，所述采用基于物品的协同过滤算法和趋势相似性相结合的算法构造局部时间视图子模型，包括：

采用基于物品的协同过滤算法计算两个时间段(t₁,t₂)之间的皮尔逊相似性；

结合趋势相似性，选取最近的K个监测点，计算得到两监测点间的趋势相似性矩阵；

将皮尔逊相似性根据比重，与趋势相似性结合，得到最终的相似性

基于

构造局部时间视图子模型。

进一步的，所述将所构建的时空多视图模型进行融合，生成时空多视图融合模型，包括：

采用lasso回归对四个子模型分别产生的四个维度的补全值进行融合，生成时空多视图融合模型：

v＝w₁*v₁+w₂*v₂+w₃*v₃+w₄*v₄+b，

其中，v是时空多视图融合模型计算的补全值，w_j，j＝1,2,3,4是j视图子模型对应的权重，b是偏置值。

进一步的，所述采用时空多视图融合模型对大坝安全监测数据进行数据补全，包括：

获取大坝安全监测数据中所有缺失值的位置，判断是否存在块状缺失；

若不存在块状缺失，则对于每一个缺失位置，采用所述时空多视图融合模型对缺失值进行预测，得到最终的补全值；

若存在块状缺失，则，

利用反转距离加权插值算法与牛顿冷却定律算法根据数据分布为块状缺失的位置产生初始值，

根据补全后的数据构建局部空间视图子模型和局部时间视图子模型求解补全值，

将求解的局部时间视图维度补全值和局部空间视图维度补全值，与全局时间视图维度补全值和全局空间视图维度补全值输入至所述时空多视图融合模型，得到最终的补全值。

进一步的，所述判断是否存在块状缺失为，

在连续的时间段内任意传感器读数都丢失的情况，称为块状缺失。

本发明的有益之处在于：本发明提出的时空多视图融合模型能够很好的解决数据缺失问题，尤其适用于大坝安全监测数据等相关科研场景，很好的解决大坝安全监测数据中存在的块状缺失和局部缺失等问题，且该方法具有更小的误差和更好的补全效果，有效的提升了数据质量。

附图说明

图1为本发明的基于时空多视图融合的大坝安全监测数据补全方法流程图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明提供一种基于时空多视图融合的大坝安全监测数据补全方法，包括如下步骤：

1)构造多视图模型：根据大坝安全监测数据的特点，在全局空间视图、全局时间视图、局部空间视图、局部时间视图上分别抽象出视图模型。并对局部空间视图参数α与局部时间视图参数β进行确定。

具体如下：

步骤1-1：构建全局空间视图子模型：以经典统计模型里的反转距离加权插值(Inverse Distanced Weighted,IDW)算法为基础，在全局空间维度进行建模。之后在不同衰减因子α的取值下进行多次实验，选取使预测值与真实值的平均绝对误差最小的衰减因子α的值作为该模型的参数。

该模型计算公式为：

从全局空间维度产生该维度的补全值v₁。

其中，v₁为全局空间视图补全值，v_i,t为监测点i在时间t时的监测值，d_i为表示缺失值与监测点i之间的空间距离，t为时间，n为监测值的数量，α为衰减因子，控制随距离的衰减程度，

是监测点i的权重。

该部分计算是从全局角度进行的，因此所有的已知数据都参与计算。

步骤1-2：构建全局时间视图子模型：以物理学中的牛顿冷却定律(NewtonCooling Law,NCL)为基础，在全局时间维度进行建模。之后在不同冷却系数β的取值下进行多次实验，选取使平均绝对误差值最小的冷却系数β的值作为该模型的参数。

该模型计算公式为：

其中，v₂为全局时间视图维度产生的补全值，β_i表示监测点i的冷却因子，

是监测点i在时间t_x时的监测值，t_x-t表示时间t到时间t_x之间发生了数据缺失的时长，

为监测点i所有监测值的平均值。

该部分计算是从全局角度进行的，因此所有的已知数据都参与计算。

步骤1-3：构建局部空间视图子模型：以结合趋势相似性的UCF(User-BasedCollaborative Filtering，基于用户的协同过滤算法)算法为基础，在局部空间维度进行建模。

本发明中将大坝数据传感器视为user，将传感器在一段时间内的读数视为item，根据基于用户的协同过滤算法的思想，构造局部视图时空子模型。

首先基于传统UCF算法，采用皮尔逊相似度来衡量两个监测点之间的相似性，并构建局部相似性矩阵S_u；

再结合趋势相似性，选取最近的K个监测点，提取所计算的时间段内各监测点每一天相比于前一天的变化，若比前一天增加则记为1，若不增加则记为0，从而形成该时间段的一个由0和1构成的序列，每个监测点均形成一个序列；

计算任意两个监测点序列间的汉明距离，得到两监测点间的趋势相似性矩阵S_v；

将两相似性矩阵结合得到最终的局部空间视图子模型S(S_u,S_v)；

基于局部空间视图子模型S(S_u,S_v)计算监测点间的相似性；

从局部空间维度计算补全值：

计算公式为：

其中，v_i,t是监测点i在时间t时的监测值，

表示监测点间的相似性。

该部分只计算与缺失值监测点皮尔逊相似度最大的K个监测点的数据。

具体的，基于局部空间视图子模型S(S_u,S_v)计算监测点间的相似性如下：

计算局部相似性矩阵S_u和趋势相似性矩阵S_v之间的矩阵相似性，

是S_u和S_v的矩阵相似性，v_u,i为监测点u时间i时的监测值，v_v,i为监测点v时间i时的监测值；

将

根据比重与趋势相似性进行结合，得到最终的监测点间的相似性

步骤1-4：构建局部时间视图子模型：

以结合趋势相似性的ICF(Item-Based Collaborative Filtering，基于物品的协同过滤)算法为基础，在局部时间维度进行建模，

首先根据UCF模型中构建的局部相似性矩阵最近的读数，计算两个监测点两个时间段(t₁,t₂)之间的皮尔逊相似性：

其中，v_u,1为监测点u时间t₁时的监测值，v_v,2为监测点v时间t₂时的监测值；

将皮尔逊相似性根据比重，与趋势相似性结合，得到最终的相似性

最后，从局部时间维度产生该维度的补全值v₄：

其中，v_i,t是监测点i在时间t时的监测值。

2)将所构建的时空多视图模型进行融合，产生时空多视图融合模型：将步骤1中的四个模型利用lasso回归进行融合，产生时空多视图融合模型。

具体为，

采用lasso回归对四个子模型分别产生的四个维度的补全值进行融合，

为每个子模型分配不同权重，并通过最小化平方误差来预测真实与补全的值，时空多视图融合模型表示为：

v＝w₁*v₁+w₂*v₂+w₃*v₃+w₄*v₄+b，

其中，v是时空多视图融合模型，w_j，j＝1,2,3,4是j视图子视图对应的权重，权重通过对lasso回归模型进行训练确定，b是偏置值。

3)基于时空多视图融合模型生成补全数据。

具体为，

获取输入的大坝安全监测数据中所有的缺失值的位置，判断是否存在块状缺失。在连续的时间段内任意传感器读数都丢失的情况，称为块状缺失。

若不存在块状缺失，则对于每一个缺失位置，直接利用上述融合模型对缺失值进行预测，得到最终的补全结果。

若存在块状缺失，则首先利用反转距离加权插值算法与牛顿冷却定律算法根据数据分布为块状缺失的位置产生初始值，从而得到局部时间视图维度与局部空间视图维度的补全值，之后根据补全后的数据构建局部空间视图子模型和局部时间视图子模型求解补全值，将其与全局时间视图维度补全值与全局空间视图维度补全值输入至上述融合模型，得到最终的补全结果。

依照本发明的步骤，当对存在数据缺失的大坝安全监测数据集应用本发明的基于时空多视图融合的大坝安全监测数据补全方法时，首先对数据中缺失的情况进行分析。当数据存在块状缺失时，通过IDW和NCL算法为其根据其数据分布生成初始值。对于随机缺失的值，首先将四个子模型的中间值作为输入，集成在lasso回归模型中进行融合，为每个训练模型分配权重，最小化平方误差来预测真实与补全的值。该方法构造简单，执行高效，且在大坝安全监测数据集上拥有更为精确的补全效果。

该方法可以很好的解决大坝安全监测数据中存在的块状缺失和局部缺失等问题，且该方法比以往经典算法和传统时空模型具有更小的误差和更好的补全效果。

对上述技术方案涉及的相关概念进行说明和解释。

一、协同过滤算法

协同过滤算法(Collaborative Filtering,CF)是推荐算法中最常用的一种方法。作为机器学习算法中的一种，它汇总所有<user,item>的行为，利用集体智慧做推荐。比如通过对用户喜欢的item进行分析，发现用户A和用户B的喜好很接近，则当用户B选择了某样item而用户A没有关注时，该算法将这个item推荐给用户A。同样切换维度，item A和item B被差不多用户群体选择，当该类用户选择item B时，该算法将所有靠近的item A从列表拉出来，作为候选推荐给用户。

因而，基于用户的协同过滤算法关键是找到相同偏好的用户，找到偏好接近的几个用户，根据他们偏好的物品作为给你推荐的目标；基于物品的协同过滤算法关键是计算其它物品和历史物品的相似度，相似度最近的几个就是要推荐的。距离的度量可以采用皮尔逊相关系数。皮尔逊相关系数一般用于计算两个定距变量之间联系的紧密程度，它的取值在[-1,1]之间。

其中，S_x和S_y是x和y的样本标准偏差。

二、趋势相似性

在局部视图下，传感器之间的时空相关性多是通过加权平均计算求解该点相邻的K个传感器得来。在传感器所在点的所处环境相似时，具有可靠地分析结果。当传感器所在点的所处环境具有较大差异时，如S1与S2距离更为接近，但S1与S3是商圈属性更为一致，S2是森林地带，此时距离较近的相邻传感器之间读数并不总是比距离较远的读数更近。相反，所处环境往往会导致S1和S3的数值波动更接近。这时把S1和S3传感器在同一时段的监测值序列的波动趋势进行相关性分析，以此作为两个传感器之间时空相关性的度量标准。

距离并不是影响传感器值的第一要素，而是传感器所处环境具有更大影响。因而传感器数值变化的趋势相似性就成为了重要考虑因素。

汉明距离本来是使用在数据传输差错控制编码里的，是一个概念，表示两个相同长度字对应不同位的数量。这里将汉明距离引入趋势相似度计算中，观察测点随时间的趋势变化是否相似。提取每一天相比于前一天的变化(是增加还是不增加)，根据就近的K个监测点波动的趋势提出一个序列，增加就是1，不增加就是0。例如序列0101000和0101001之间的汉明距离d就是1。

同时，K个监测点S_i对应t_i时刻的值和监测点时间段内的均值的差异，求得均值

差距值为

由此得到了传感器的趋势相似度，从而为局部视图计算各监测点的分配权重：w＝d^-α。

三、线性回归模型

线性回归模型是假设监测数据在统计上是独立或不相关的，是一种静态的处理方式。在数学应用中，就是多个自变量和一个因变量的对应关系，其函数模型可表示为多元线性回归法。在数据缺失过程中，将含缺失值的属性作为因变量，其他属性作为自变量，建立起一个回归模型，进而通过已知属性的值带入回归模型来预测缺失值。其回归模型通常表示如下：

其中，E已知，M缺失，X和W分别为E,M的自变量，其中α是估计的参数，ε₁和ε₂分别是误差值。利用已知数据来建立模型：E＝Xα+ε₁，利用最小二乘估算α，再将α带入缺失值模型：M＝Wα+ε₂，从而得到一组补全数据。其中如果存在ε₂＝0，则称为确定性回归补全法，否则称为随机性的填补方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，包括：

构造时空多视图模型，包括：全局空间视图子模型，全局时间视图子模型，局部空间视图子模型和局部时间视图子模型；

将所构建的时空多视图模型进行融合，生成时空多视图融合模型；

采用时空多视图融合模型对大坝安全监测数据进行数据补全。

2.根据权利要求1所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述构造时空多视图模型，包括：

采用反转距离加权插值算法构造全局空间视图子模型：

其中，v₁为全局空间视图维度产生的补全值，v_i,t为监测点i在时间t时的监测值，n为监测点数，d_i为表示缺失值与监测点i之间的空间距离，α为衰减因子，

是监测点i的权重；

基于牛顿冷却定律构造全局时间视图子模型：

其中，v₂为全局时间视图维度产生的补全值，β_i表示监测点i的冷却因子，

是监测点i在时间t_x时的监测值，t_x-t表示时间t到时间t_x之间发生了数据缺失的时长，

为监测点i所有监测值的平均值；

采用基于用户的协同过滤算法和趋势相似性相结合的算法构造局部空间视图子模型：

其中，v₃为局部空间视图维度产生的补全值，K为根据趋势相似性选取的监测点个数，

表示监测点间的局部空间相似性矩阵；

采用基于物品的协同过滤算法和趋势相似性相结合的算法构造局部时间视图子模型：

其中，v₄为局部时间视图维度产生的补全值，K为根据趋势相似性选取的监测点个数，

表示监测点间的局部时间相似性矩阵。

3.根据权利要求2所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述全局空间视图子模型中，采用不同衰减因子的取值下进行多次实验，选取使预测值与真实值的平均绝对误差值最小的衰减因子作为该子模型的α。

4.根据权利要求2所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述采用基于用户的协同过滤算法和趋势相似性相结合的算法构造局部空间视图子模型，包括：

基于用户的协同过滤算法，采用皮尔逊相似度计算两个监测点之间的相似性，构建局部相似性矩阵S_u；

结合趋势相似性，选取最近的K个监测点；

对于K个监测点，提取所计算的时间段内各监测点每一天相比于前一天的变化，若比前一天增加则记为1，若不增加则记为0，从而形成该时间段的一个由0和1构成的序列，每个监测点均形成一个序列；

计算两个监测点序列间的汉明距离，得到两监测点间的趋势相似性矩阵S_v；

计算局部相似性矩阵S_u和趋势相似性矩阵S_v之间的矩阵相似性

将

根据比重与趋势相似性进行结合，得到最终的监测点间的相似性

基于

构造局部空间视图子模型。

5.根据权利要求2所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述采用基于物品的协同过滤算法和趋势相似性相结合的算法构造局部时间视图子模型，包括：

采用基于物品的协同过滤算法计算两个时间段(t₁,t₂)之间的皮尔逊相似性；

结合趋势相似性，选取最近的K个监测点，计算得到两监测点间的趋势相似性矩阵；

将皮尔逊相似性根据比重，与趋势相似性结合，得到最终的相似性

基于

构造局部时间视图子模型。

6.根据权利要求2所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述将所构建的时空多视图模型进行融合，生成时空多视图融合模型，包括：

采用lasso回归对四个子模型分别产生的四个维度的补全值进行融合，生成时空多视图融合模型：

v＝w₁*v₁+w₂*v₂+w₃*v₃+w₄*v₄+b，

其中，v是时空多视图融合模型计算的补全值，w_j，j＝1,2,3,4是j视图子模型对应的权重，b是偏置值。

7.根据权利要求6所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述采用时空多视图融合模型对大坝安全监测数据进行数据补全，包括：

获取大坝安全监测数据中所有缺失值的位置，判断是否存在块状缺失；

若不存在块状缺失，则对于每一个缺失位置，采用所述时空多视图融合模型对缺失值进行预测，得到最终的补全值；

若存在块状缺失，则，

利用反转距离加权插值算法与牛顿冷却定律算法根据数据分布为块状缺失的位置产生初始值，

根据补全后的数据构建局部空间视图子模型和局部时间视图子模型求解补全值，

将求解的局部时间视图维度补全值和局部空间视图维度补全值，与全局时间视图维度补全值和全局空间视图维度补全值输入至所述时空多视图融合模型，得到最终的补全值。

8.根据权利要求7所述的一种基于时空多视图融合的大坝安全监测数据补全方法，其特征在于，所述判断是否存在块状缺失为，

在连续的时间段内任意传感器读数都丢失的情况，称为块状缺失。

Images