CN112598130A - 基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种基于自编码器和奇异值阈值的土壤湿度数据重构方法，包括：从卫星遥感土壤湿度数据集中选择训练集训练自编码器；采用训练后的自编码器处理地面站点土壤湿度数据；对训练后的站点土壤湿度数据进行降秩处理以获得待重构数据；采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据。本发明还涉及一种计算机可读存储介质。实施本发明的基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质，可以精准地重构回完整的土壤湿度数据，并且可以很好的反映温度场数据的整体变化规律。

Description

基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算 机可读存储介质

技术领域

本发明涉及土壤湿度领域，更具体地说，涉及一种基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质。

背景技术

土壤湿度在全球陆地表面能量、水分和物质交换中起重要作用，是水文、生态等多学科领域的重点研究对象，是陆面过程中重要的一个物理量。通过建立高密度的气象观测站点，可以获取准确的土壤湿度地面观测数据，但由于经济水平、技术手段和地形条件的限制，很多地方的气象数据获取比较困难，为了获取气象观测站点外区域的气象数据，研究人员通常将统计学方法与地理信息系统相结合，基于已有气象观测站点的观测值进行估算，即气象要素数据空间插值。然而，采用现有的数据插值方法处理土壤湿度数据，精度不够，可以得到局部的变化而无法反映温度场数据整体的变化性。

矩阵填充理论是信息领域继压缩感知之后的又一引人注目的新研究热点，它针对部分缺失、污染、损毁的大规模数据，旨在将一个低秩不完整的矩阵，利用其元素间的相关性，恢复出矩阵的全部数据。当矩阵数据满足低秩性要求时，此方法只需要矩阵当中的少量数据，就能精确并高效的对数据不完整的矩阵进行恢复和处理，具有极高的现实意义。然而传统的矩阵填充算法运算时间过长且精度较低。

发明内容

本发明要解决的技术问题在于，针对现有技术中的数据插值法精度不且无法反映数据整体的变化性，而传统的矩阵填充算法运算时间过长且精度较低的问题，提供一种基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质，可以精准地重构回完整的土壤湿度数据，并且可以很好的反映温度场数据的整体变化规律。

本发明解决其技术问题采用的一个技术方案是，构造一种基于自编码器和奇异值阈值的土壤湿度数据重构方法，包括：

S1、从卫星遥感土壤湿度数据集中选择训练集训练自编码器；

S2、采用训练后的自编码器处理地面站点土壤湿度数据；

S3、对训练后的站点土壤湿度数据进行降秩处理以获得待重构数据；

S4、采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述步骤S1进一步包括：

S11、将所述卫星遥感土壤湿度数据集分成训练集、验证集和测试集；

S12、将所述训练集作为自编码器的输入，采用Sigmoid函数作为所述自编码器的激活函数以对所述自编码器进行训练。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述自编码器包括数据输入层、隐藏层和输出重构层，所述数据输入层的个数等于所述输出重构层的个数，所述隐藏层的个数小于所述数据输入层的个数。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述步骤S3进一步包括采用奇异值分解算法对所述训练后的站点土壤湿度数据进行降秩处理，且降秩处理后的所述待重构数据满足所述待重构数据的奇异值向量与所述待重构数据所在的欧氏空间的标准正交基不相关。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，将训练后的站点土壤湿度数据降秩为15或25。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，在所述步骤S4中，

δ_k为第k次的迭代步长，shrink()是采用软阈值门限的非线性函数，Y为待重构数据X迭代得到的重构数据，k为迭代次数，τ表示阈值，P_Ω表示正交投影算子，τ>0,X∈R^n1×n2，设初始迭代矩阵Y⁰＝0∈R^n1×n2，R^n1×n2表示n1行n2列的矩阵空间。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述步骤S4进一步包括：

S41、参数初始化，设置初始迭代次数k₀满足

初始迭代矩阵Y⁰＝k₀δP_Ω(M)，r₀＝1，k₀＝1，s₁＝1，其中P_Ω(M)表示待重构数据，Ω表示待重构数据的集合，δ表示步长，ε表示容差，τ表示阈值，k为迭代次数；

S42、对迭代矩阵Y^k进行奇异值分解，得出

其中

是迭代矩阵Y^k的前s个奇异值向量，∑^k是迭代矩阵Y^k的对角线上前s个值为奇异值

的对角矩阵，然后更新s_k，即s_k＝s_k+l，其中l表示增量；

S43、循环执行步骤S42直至满足第一循环结束标准，然后执行步骤S44；

S44、更新所述迭代矩阵Y^k并更新迭代条件：

令s_k＝r_k-1+1，并且k＝k+1；

其中r_k表示所述迭代矩阵Y^k的秩；X^k为待输出矩阵，i和j为正整数；

S45、循环执行步骤S44直至满足第二循环判断标准，然后执行步骤S46；

S46、输出所述完整的土壤湿度数据为X^k。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述第一循环判断标准为当奇异值

时，迭代停止。

在本发明所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法中，所述第二循环判断标准为当迭代次数k＝k_max时，迭代停止或当||P_Ω(X^k-M)||_F/||P_Ω(M)||_F≤ε，迭代停止，其中k_max表示最大迭代数，F表示Frobenius范数。

本发明解决其技术问题采用的另一技术方案是，构造一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法。

实施本发明的基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质，可以精准地重构回完整的土壤湿度数据，并且可以很好的反映温度场数据的整体变化规律。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的基于自编码器和奇异值阈值的土壤湿度数据重构方法的第一优选实施例的流程图；

图2是本发明的优选实施例的自编码器的网络框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明涉及一种基于自编码器和奇异值阈值的土壤湿度数据重构方法，包括：从卫星遥感土壤湿度数据集中选择训练集训练自编码器；采用训练后的自编码器处理地面站点土壤湿度数据；对训练后的站点土壤湿度数据进行降秩处理以获得待重构数据；采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据。本发明的基于自编码器和奇异值阈值的土壤湿度数据重构方法，可以对输入数据进行学习，实现数据降维或降噪、异常值检测，再利用奇异值阈值算法对实际中稀少的气象站点数据进行处理，可以精准地重构回完整的土壤湿度数据。它克服了地面站点土壤湿度数据稀少的问题，能够以很高的精度完整地重构回温度场数据，且其考虑了数据之间整体的相关性，因此可以很好的反映温度场数据的整体变化规律。

图1是本发明的基于自编码器和奇异值阈值的土壤湿度数据重构方法的第一优选实施例的流程图。如图1所示，从卫星遥感土壤湿度数据集中选择训练集训练自编码器。在本发明的优选实施例中，可以选择SMOPS土壤湿度数据作为所述卫星遥感土壤湿度数据集，然后将所述卫星遥感土壤湿度数据集分成训练集、验证集和测试集、随后将所述训练集作为自编码器的输入，采用Sigmoid函数作为所述自编码器的激活函数以对所述自编码器进行训练。

图2是本发明的优选实施例的自编码器的网络框架图。自编码器是一种数据的压缩算法，属于无监督学习。自编码器是一种三层的神经网络模型，包含数据输入层、隐藏层、输出重构层，所述数据输入层的个数等于所述输出重构层的个数，所述隐藏层的个数小于所述数据输入层的个数。从输入层到隐藏层称为编码过程，从隐藏层到输出层称为解码过程。自编码器就相当于自己生成标签，而且标签就是样本数据本身。

在步骤S2中，采用训练后的自编码器处理地面站点土壤湿度数据，从而取出无效值和异常值。在本发明的优选实施例中，本发明选择国家气象局中的20180101的2m土壤湿度数据作为地面站点土壤湿度数据。

在步骤S3中，对训练后的站点土壤湿度数据进行降秩处理以获得待重构数据。优选的，采用奇异值分解算法对所述训练后的站点土壤湿度数据进行降秩处理，且降秩处理后的所述待重构数据满足所述待重构数据的奇异值向量与所述待重构数据所在的欧氏空间的标准正交基不相关。优选的，将训练后的站点土壤湿度数据降秩为15或25。

本发明提出的算法是基于矩阵填充理论的，根据candes在2008年提出的理论证明，当缺失的处理数据满足低秩性时能够精准的重构回原始数据。因此需要对待重构的数据进行降秩处理，以达到更高的精准度。Candes于2008年提出矩阵填充理论，并给出了实际的证明以表达该理论的正确性。Candes提出的过完备字典，对信号进行稀疏表示，即

min||x||₁s.t.y＝φx＝φDa

当x满足低秩条件时，只要验证矩阵φ和D满足不相干条件即可。

Candes考虑如下问题：

注：其中P_Ω()表示矩阵在子集Ω上的投影。

对上述问题优化得：

其中F范数就是矩阵的2范数另一种表示方式。如果这个矩阵是稀疏的或在某个变换域下是稀疏的，即矩阵M的秩r≤min(m,n)那么可仿照向量的稀疏表示，利用矩阵的迹范数来代替矩阵的秩，可以用如下表示：

由于迹范数是凸的，上式同样也是一个凸优化的问题。如果上述近似是可以令人接受的，那么这个问题也就可以解决了。为解决这个问题Candes证明了从某个秩为r的真实矩阵M∈R^m×n中均匀抽取k个元素且满足:

则凸优化问题的唯一最优解M^*至少以概率1-cn^-3逼近原始矩阵M

P(M^*-M)≥1-cn^-3

通过candes的理论证明，矩阵填充方法能够得到有效的保证。

在步骤S4中、采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据。SVT算法是利用已知的拉格朗日乘子，优化无约束问题。SVT算法大概解决核范数最小化问题，可以表述成如下：

minimize ||X||_*

subject to P_Ω(X)＝P_Ω(M)

其中P_Ω表示正交投影算子，X为待重构数据，P_Ω(M)表示待重构数据，Ω表示待重构数据的集合，τ表示阈值。

定义τ>0,X∈R^n1×n2其中δ_k为第k次的迭代步长，设初始迭代矩Y⁰＝0∈R^n1×n2

其中δ_k为第k次的迭代步长，shrink()是采用软阈值门限的非线性函数，Y为待重构数据X迭代得到的重构数据，k为迭代次数，τ表示阈值，P_Ω表示正交投影算子，τ>0,X∈R^{n1 ×n2}，设初始迭代矩阵Y⁰＝0∈R^n1×n2，R^n1×n2表示n1行n2列的矩阵空间，n1和n2为正整数。

在本发明的优选实施例，采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据的具体步骤的描述如下：

输入：P_Ω(M)表示待重构数据，Ω表示待重构数据的集合，δ表示步长，ε表示容差，τ表示阈值，k为迭代次数，δ表示步长，ε表示容差，τ表示阈值，k为迭代次数

输出：矩阵X^opt。

参数初始化步骤：设初始迭代次数k₀满足

Y⁰＝k₀δP_Ω(M)；r₀＝1，k₀＝1，s₁＝1。

奇异值分解步骤：

(一)对迭代矩阵Y^k进行奇异值分解，得出

其中

是迭代矩阵Y^k的前s个奇异值向量，∑^k是迭代矩阵Y^k的对角线上前s个值为奇异值

的对角矩阵；

(二)进行迭代更新s_k，即

s_k＝s_k+l.

对上述步骤(一)和(二)进行循环直到满足循环判别标准a，停止；

迭代步骤：

(一)更新矩阵及其迭代条件，即

令s_k＝r_k-1+1，并且k＝k+1；

其中r_k表示所述迭代矩阵Y^k的秩；X^k为待输出矩阵，i和j为正整数；

对上述步骤(一)进行循环直到满足循环判别标准b或c，停止。

输出步骤：返回矩阵X^opt＝X^k。

其中，a为当奇异值

时，迭代停止；b为当迭代次数k＝k_max时，迭代停止；c为当||P_Ω(X^k-M)||_F/||P_Ω(M)||_F≤ε，迭代停止，其中k_max表示最大迭代数，F表示Frobenius范数。

在本发明的进一步的优选实施例，可以将完整的土壤湿度数据与原始土壤湿度数据进行比较。

本发明克服了传统插值方法精度低、整体相关性差等缺点。本发明只需要少量的温度场数据便可完整的重构整体的土壤湿度数据，符合实际土壤湿度站点稀少的现实情况，并可以根据具体的效果减少土壤湿度站点的数量，给国家带来可观的效益。本发明只需要少量的数据便可得到完整的结果，可以节省数据的存储空间，这对指数级的气象数据的存储无疑是巨大上的福音。本发明提出的新的算法相对于传统的矩阵填充算法有着更高的精度和速度，可以更好的处理大量的湿度数据。

因此，本发明可以通过硬件、软件或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现本发明方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按本发明方法运行。

本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。

实施本发明计算机可读存储介质，可以针对矿石样本中的不均衡数据集中占比较小的数据种类，生成大量逼真的矿石图片，以扩充训练集。进一步地，还可以通过加入高斯组件，利用正态分布来刻画样本，从而增加样本的多样性。更进一步地，将生成的矿石图像用于矿石分类器中，可以增加分类精度。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，包括：

S1、从卫星遥感土壤湿度数据集中选择训练集训练自编码器；

S2、采用训练后的自编码器处理地面站点土壤湿度数据；

S3、对训练后的站点土壤湿度数据进行降秩处理以获得待重构数据；

S4、采用奇异值阈值算法对所述待重构数据进行重构以获得完整的土壤湿度数据。

2.根据权利要求1所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述步骤S1进一步包括：

S11、将所述卫星遥感土壤湿度数据集分成训练集、验证集和测试集；

S12、将所述训练集作为自编码器的输入，采用Sigmoid函数作为所述自编码器的激活函数以对所述自编码器进行训练。

3.根据权利要求2所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述自编码器包括数据输入层、隐藏层和输出重构层，所述数据输入层的个数等于所述输出重构层的个数，所述隐藏层的个数小于所述数据输入层的个数。

4.根据权利要求2所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述步骤S3进一步包括采用奇异值分解算法对所述训练后的站点土壤湿度数据进行降秩处理，且降秩处理后的所述待重构数据满足所述待重构数据的奇异值向量与所述待重构数据所在的欧氏空间的标准正交基不相关。

5.根据权利要求4所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，将训练后的站点土壤湿度数据降秩为15或25。

6.根据权利要求1所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，在所述步骤S4中，

δ_k为第k次的迭代步长，shrink()是采用软阈值门限的非线性函数，Y为待重构数据X迭代得到的重构数据，k为迭代次数，τ表示阈值，P_Ω表示正交投影算子，τ>0,X∈R^n1×n2，设初始迭代矩阵Y⁰＝0∈R^n1×n2，R^n1×n2表示n1行n2列的矩阵空间。

7.根据权利要求6所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述步骤S4进一步包括：

S41、参数初始化，设置初始迭代次数k₀满足

初始迭代矩阵Y⁰＝k₀δP_Ω(M)，r₀＝1，k₀＝1，s₁＝1，其中P_Ω(M)表示待重构数据，Ω表示待重构数据的集合，δ表示步长，ε表示容差，τ表示阈值，k为迭代次数；

S42、对迭代矩阵Y^k进行奇异值分解，得出

其中

是迭代矩阵Y^k的前s个奇异值向量，∑^k是迭代矩阵Y^k的对角线上前s个值为奇异值

的对角矩阵，然后更新s_k，即s_k＝s_k+l，其中l表示增量；

S43、循环执行步骤S42直至满足第一循环结束标准，然后执行步骤S44；

S44、更新所述迭代矩阵Y^k并更新迭代条件：

令s_k＝r_k-1+1，并且k＝k+1；

其中r_k表示所述迭代矩阵Y^k的秩；X^k为待输出矩阵，i和j为正整数；

S45、循环执行步骤S44直至满足第二循环判断标准，然后执行步骤S46；

S46、输出所述完整的土壤湿度数据为X^k。

8.根据权利要求7所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述第一循环判断标准为当奇异值

时，迭代停止。

9.根据权利要求8所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法，其特征在于，所述第二循环判断标准为当迭代次数k＝k_max时，迭代停止或当||P_Ω(X^k-M)||_F/||P_Ω(M)||_F≤ε，迭代停止，其中k_max表示最大迭代数，F表示Frobenius范数。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-9中任意一项权利要求所述的基于自编码器和奇异值阈值的土壤湿度数据重构方法。

Images