CN110929559A - 一种时空序列数据存储与特征提取的方法及系统 - Google Patents

Abstract

本发明属于数据特征存储和提取技术领域，提供一种时空序列数据存储与特征提取的方法及系统，通过基于全局的读取、基于上下文的读取、写入、更新及输出，借助外部存储，处理时空序列数据并分析提取特征。所述时空序列数据存储与特征提取的方法及系统可以提高网络分析时空序列、提取特征的能力，外部存储器的引入使时间尺度更长、空间尺度更广的时空序列信息能更好地被提取出来，并且在保留信息完整性的同时保留细节信息；写操作与更新操作可以整合已有数据与新的输入数据，保证存储的稳定性与即时性，所有的操作都保留了长序列中的空间信息，同时不会丢失细节，从而保证时空序列特征提取的高效准确。

Description

一种时空序列数据存储与特征提取的方法及系统

技术领域

本发明属于数据特征存储和提取技术领域，涉及一种时空序列数据存储与特征提取的方法及系统。

背景技术

时空序列建模，处理的问题是有时序关联性的数据序列，数据类型以空间和时间语义为特征，并且相互之间存在联系，空间数据类型的示例是点，线和区域，而时间点和间隔是时间数据类型的样本，通过移动点和移动区域来统一时空数据类型的特征情况。

除了时空自相关性外，时空数据序列还具有时空异质性和时空尺度特性。其中，时空异质性描述时空变量的统计特征随空间和时间变化，是进行时空建模的前提条件；而时空尺度特性是指时空数据在不同时间粒度与空间尺度上所遵循的规律与体现的特征不尽相同，利用此性质可以研究时空信息在泛化与细化过程中所反映的特征渐变规律。

一般来说，数据在大尺度上体现的全局特征，反映区域性的总变化，受大范围的系统性因素影响；而在小尺度上，局部信息更为突出，受小范围的随机因素影响。在时空序列预测建模过程中，如果忽略了大尺度上的总体趋势，可能导致模型局部过拟合；而如果忽略小尺度的局部变异，则难以捕捉时空数据的细节信息；同时顾及时空数据在这两种尺度上体现出来的变化特征，方可更加全面地综合整体和局部两个层面来对数据中潜在的机理进行挖掘分析，并在此基础上进行特征提取。

现有的长时空序列特征提取方法，一种是名为ConvLSTM的循环神经网络模型，在文章“Convolutional LSTM Network:A Machine Learning Approach for PrecipitationNowcasting”被提出并使用。

ConvLSTM是对可以有效处理时空序列数据的FC-LSTM的一种改进扩展，在输入到状态和状态到状态的转换中都有卷积结构，减少对空间数据的冗余，通过堆叠多个ConvLSTM层并形成编码预测结构来建立网络模型，可以组合成更复杂的网络结构，用于各种时空序列的特征提取问题。

ConvLSTM在处理长时空序列时，如果遇到序列过长时间跨度过大的情况，可能会遗忘部分序列数据并且无法获取到所有需要的特征信息，在两个网络之间复制状态信息的时候也会遗漏部分原始信息影响特征提取的准确性。

另一种是名为Neural Map神经图的网络结构。在文章“Neural Map:StructuredMemory for Deep Reinforcement Learning”被提出并使用。

神经图是一种具有存储器的网络结构，具有读写更新等操作，可以在与时空数据序列交互的过程中，通过读写操作配合存储器中的历史数据进行时空序列的分析与特征提取，具体的操作有全局读取操作、基于上下文的读取操作、局部写操作、图更新操作，全局读取操作通过深度卷积网络传递当前神经图并生成特征向量，概括与整个图有关的信息；基于上下文的读取操作执行一个基于上下文的寻址动作检查一些特征是否被存储在图中；局部写操作根据全局与基于上下文的读取操作的结果生成候选向量用于更新图；图更新操作创建新的时间步中的神经图并将特定位置修改为候选向量的值。

神经图在处理时空序列数据时会将高维输入向量映射为1维存储向量并根据其位置进行存放，在降低维度时将会丢失大部分空间信息。同时，神经图只能处理单个智能体控制单个目标的这种情况，在单智能体控制多目标任务中则能力不足。

基于现有技术存在的上述技术问题，本发明提出一种时空序列数据存储与特征提取的方法及系统。

发明内容

本发明的目的是针对现有技术的不足，提供一种时空序列数据存储与特征提取的方法及系统，通过基于全局的读取、基于上下文的读取、写入、更新及输出，借助外部存储，处理时空序列数据并分析提取特征。

一种时空序列数据存储与特征提取的系统，包括：

基于时空序列数据的全局读取的全局读取模块；

基于时空序列数据的上下文读取的上下文读取模块；

执行时空序列数据写入操作的数据写入模块；

执行时空序列数据更新操作的数据更新模块；

执行时空序列数据输出操作的数据输出模块。

本发明另提供一种时空序列数据存储与特征提取的方法，包括：

步骤1：获取时空信息，通过卷积神经网络CNN提取时空序列数据中当前时间步的空间信息特征；

步骤2：获取历史信息，通过全局读取模块获取时空序列数据的历史信息；

步骤3：分析时空序列；

步骤3.1：将三维存储m_t的第三通道等分分割得到数据块：

其中，在式1中，b_t是分割m_t得到的数据块，L是数据块的个数，split(.)函数将输入的数据从第三通道进行等分；

步骤3.2：将可学习矩阵W^q与φ(o_t)和r_t进行卷积操作，提取一向量q_t：

q_t＝flatten(W^q*[φ(o_t)，r_t])……(2)，

其中，在式2中，φ(o_t)是输入o_t经过卷积层φ(.)特征提取后的三维向量，W^q是可学习矩阵，[.]操作将三维向量从第三维度进行连接，flatten(.)操作将矩阵变成一维向量，q_t为提取向量；rt表示全局信息；

步骤3.3：计算向量q_t与每一个展平的数据块的点乘得到一组分值：

其中，在式3中，

为权重，exp(.)表示e的指数函数；

步骤3.4：通过步骤3.3中所得组分值的概率分布，计算数据块的权值和，产生一个上下文向量c_t：：

在式4中，

是分割m_t得到的数据块；

步骤4：更新历史信息，通过数据写入模块和数据更新模块进行时空序列数据的更新历史信息；

步骤4.1：数据写入模块执行写入操作，生成一个具有与存储相同形状和相似组成成分的写入向量；

步骤4.2：数据更新模块执行更新操作，向外部储存添加写入向量信息；

步骤5：输出特征信息，数据输出模块生成历史信息向量和新信息的向量。

进一步地，全局读取模块将历史信息进行整体提取，使用CNN进行操作：

r_t＝φ^read(m_t)……(5)，

其中，在式5中，r_t表示全局信息，φ^read表示卷积操作，m_t表示三维存储。

进一步地，步骤4.1中，通过转置卷积运算将外部储存的信息概况r_t、详细信息c_t和输入的新信息φ(o_t)的映射到写入向量w_t，表示为：

w_t＝φ^T([c_t，r_t，φ(o_t)])……(6)，

其中，在式6中，φ^T(·)示一组转置卷积。

进一步地，步骤4.2中，更新操作包括第一更新和第二更新，其中，第一更新包括：生成写入向量w_t，用写入向量w_t直接替换外部储存信息m_t，并加入外部储存记为m_t+1，第二更新包括：生成写入向量w_t，并计算重置门i_t与更新门z_t的值，其中：

i_t＝σ(Wⁱ*w_t+Rⁱ*m_t)……(7)，

z_t＝σ(W^z*w_t+R^z*m_t)……(8)，

在上述式7和式8中Wⁱ，W^z，Rⁱ，R^z都是可学习矩阵，σ表示激活函数；

计算：

在上述式9中，W^m和R^m均为可学习矩阵，*是卷积，w_t是写入向量，m_t是三维存储，tanh(.)是激活函数，

是新的候选三维存储，⊙是元素积；

计算：

在上述式10中，m_t是三维存储，

是新的候选三维存储，z_t是更新门，m_t+1是下一时刻三维存储，⊙是元素积；并将其加入外部储存。

进一步地，步骤5中，将存储概况r_t、上下文信息c_t和输入的信息φ(o_t)直接连接，然后使用卷积层映射为所需要的形状：

h_t＝φ^output([r_t，c_t，φ(o_t)])……(11)，

其中φ^output(·)表示一组卷积操作，h_t表示输出向量。

本发明的有益效果是：

本发明所述时空序列数据存储与特征提取的方法可以提高网络分析时空序列、提取特征的能力，外部存储器的引入使时间尺度更长、空间尺度更广的时空序列信息能更好地被提取出来，并且在保留信息完整性的同时保留细节信息，通过全局读取和基于上下文的读取可以根据需要来获取全局时空信息以及局部细节信息；写操作与更新操作可以整合已有数据与新的输入数据，保证存储的稳定性与即时性。所有的操作都保留了长序列中的空间信息，同时不会丢失细节，从而保证时空序列特征提取的高效准确。

附图说明

图1为本发明实施例中ConvNTM的示意图；

图2为本发明实施例中ConvNTM中的基于上下文读取操作的示意图；

图3为本发明实施例中ConvNTM中的更新操作的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本发明提出了一种时空序列数据存储与特征提取方法，称作ConvNTM，通过基于全局的读取、基于上下文的读取、写入、更新、输出这5个操作，借助外部存储，处理时空序列数据并分析提取特征。

实施例

在本实施例中，如图1所示，ConvNTM作为一个DNN结构，其中的每一个部分都是可微分的，能够直接使用梯度下降法进行训练优化参数，外部存储器用于存储长时间运行中产生的有价值的信息，由一组三维块组成，形如：

其中[·]表示从第三维度上连接的三维向量，为了保证不丢失空间信息，模型中使用三维块作为存储单元，由

表示，其中X×Y是记忆大小，F是特征数，相应的三维存储块表示为

其中Z是存储高度，L＝Z/F是存储长度。

ConvNTM包含的操作有：基于全局的读取、基于上下文的读取、写入、更新、输出这5个操作，如下：

r_t＝read(m_t)，

c_t＝context(m_t，r_t，φ(o_t))，

w_t＝write(r_t，c_t，φ(o_t))，

m_t+1＝update(w_t，m_t)，

h_t＝output(φ(o_t)，c_t，r_t)，

所有操作都在保留长序列数据的空间信息的情况下进行，提取方法在处理序列的每一个时间步中具体实现流程为：获取时空信息；获取历史信息；分析时空序列；更新历史信息；输出特征信息。

本实施例提供一种时空序列数据存储与特征提取的方法，包括：

步骤1：获取时空信息，通过卷积神经网络CNN提取时空序列数据中当前时间步的空间信息特征。

步骤2：获取历史信息，通过全局读取模块获取时空序列数据的历史信息，其中，全局读取模块将历史信息进行整体提取，使用CNN进行操作：

r_t＝φ^read(m_t)，

其中，在上式中，r_t表示全局信息，φ^read表示卷积操作，m_t表示三维存储。

步骤3：在本实施例的步骤3中，用于分析时空序列，如图2所示；

步骤3.1：将三维存储m_t的第三通道等分分割得到数据块：

其中，在上式中，b_t是分割m_t得到的数据块，L是数据块的个数，split(.)函数将输入的数据从第三通道进行等分；

步骤3.2：将可学习矩阵W^q与φ(o_t)和r_t进行卷积操作，提取一向量q_t：

q_t＝flatten(W^q*[φ(o_t)，r_t])，

其中，在上式中，φ(o_t)是输入o_t经过卷积层φ(.)特征提取后的三维向量，W^q是可学习矩阵，[·]表示从第三维度上连接的三维向量，flatten(.)操作将矩阵变成一维向量，q_t为提取向量；

步骤3.3：计算向量q_t与每一个展平的数据块的点乘得到一组分值：

其中，在上式中，

为权重，exp(.)表示e的指数函数；

步骤3.4：通过步骤3.3中所得组分值的概率分布，计算数据块的权值和，产生一个上下文向量c_t：

在上式中，

表示是分割m_t得到的数据块。

步骤4：更新历史信息，通过数据写入模块和数据更新模块进行时空序列数据的更新历史信息；

步骤4.1：数据写入模块执行写入操作，生成一个具有与存储相同形状和相似组成成分的写入向量，具体的，通过转置卷积运算将外部储存的信息概况r_t、详细信息c_t和输入的新信息φ(o_t)的映射到写入向量w_t，表示为：

w_t＝φ^T([c_t，r_t，φ(o_t)])，

其中，在上式中，φ^T(·)示一组转置卷积；

步骤4.2：数据更新模块执行更新操作，向外部储存添加写入向量信息。

步骤5：输出特征信息，数据输出模块生成历史信息向量和新信息的向量。

如图3所示，在本实施例的步骤4.2中，更新操作包括第一更新(硬更新)和第二更新(软更新)，其中，第一更新包括：生成写入向量w_t，用写入向量w_t直接替换外部储存信息m_t，并加入外部储存记为m_t+1；

第二更新包括：生成写入向量w_t，并计算重置门i_t与更新门z_t的值，其中：

i_t＝σ(Wⁱ*w_t+Rⁱ*m_t)，

z_t＝σ(W^z*w_t+R^z*m_t)，

在上式中Wⁱ，W^z，Rⁱ，R^z都是可学习矩阵，σ表示激活函数；

计算：

在上式中，W^m和R^m均为可学习矩阵，*是卷积，w_t是写入向量，m_t是三维存储，tanh(.)是激活函数，

是新的候选三维存储，⊙是元素积；

计算：

在上式中，m_t是三维存储，

是新的候选三维存储，z_t是更新门，m_t+1是下一时刻三维存储，⊙是元素积；

在本实施例的步骤5中，将存储概况r_t、上下文信息c_t和输入的信息φ(o_t)直接连接，然后使用卷积层映射为所需要的形状：

h_t＝φ^output([r_t，c_t，φ(o_t)])，

其中φ^output(·)表示一组卷积操作，h_t表示输出向量。

一种时空序列数据存储与特征提取的系统，配合外部存储，用于执行上述时空序列数据存储与特征提取的方法的步骤，包括：

基于时空序列数据的全局读取的全局读取模块；

基于时空序列数据的上下文读取的上下文读取模块；

执行时空序列数据写入操作的数据写入模块；

执行时空序列数据更新操作的数据更新模块；

执行时空序列数据输出操作的数据输出模块。

在本实施例中：CNN：表示卷积神经网络；

Softmax：表示将输入的多个标量映射为一个概率分布，其输出的每个值范围在(0,1)；

Sigmoid：表示一种S形函数，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类；

ReLU：表示线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数；

Dropout：表示在每个训练批次的前向传播中，以概率p保留部分神经元，目的是简化神经网络的复杂度，降低过拟合风险；

ConvNTM：本申请，Convolution Neural Turing Machine，卷积神经图灵机。

本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。

Claims (6)

1.一种时空序列数据存储与特征提取的系统，其特征在于，包括：

基于时空序列数据的全局读取的全局读取模块；

基于时空序列数据的上下文读取的上下文读取模块；

执行时空序列数据写入操作的数据写入模块；

执行时空序列数据更新操作的数据更新模块；

执行时空序列数据输出操作的数据输出模块。

2.一种时空序列数据存储与特征提取的方法，其特征在于，包括：

步骤1：获取时空信息，通过卷积神经网络CNN提取时空序列数据中当前时间步的空间信息特征；

步骤2：获取历史信息，通过全局读取模块获取时空序列数据的历史信息；

步骤3：分析时空序列；

步骤3.1：将三维存储m_t的第三通道等分分割得到数据块：

其中，在式1中，b_t是分割m_t得到的数据块，L是数据块的个数，split(.)函数将输入的数据从第三通道进行等分；

步骤3.2：将可学习矩阵W^q与φ(o_t)和r_t进行卷积操作，提取一向量q_t：

q_t＝flatten(W^q*[φ(o_t)，r_t])…………………………(2)，

其中，在式2中，φ(o_t)是输入o_t经过卷积层φ(.)特征提取后的三维向量，W^q是可学习矩阵，[.]操作将三维向量从第三维度进行连接，flatten(.)操作将矩阵变成一维向量，q_t为提取向量；r_t表示全局信息；

步骤3.3：计算向量q_t与每一个展平的数据块的点乘得到一组分值：

其中，在式3中，

为权重，exp(.)表示e的指数函数；

步骤3.4：通过步骤3.3中所得组分值的概率分布，计算数据块的权值和，产生一个上下文向量c_t：

在式4中，

是分割m_t得到的数据块；

步骤4：更新历史信息，通过数据写入模块和数据更新模块进行时空序列数据的更新历史信息；

步骤4.1：数据写入模块执行写入操作，生成一个具有与存储相同形状和相似组成成分的写入向量；

步骤4.2：数据更新模块执行更新操作，向外部储存添加写入向量信息；

步骤5：输出特征信息，数据输出模块生成历史信息向量和新信息的向量。

3.根据权利要求2所述的时空序列数据存储与特征提取的方法，其特征在于，全局读取模块将历史信息进行整体提取，使用CNN进行操作：

r_t＝φ^read(m_t)………………………………(5)，

其中，在式5中，r_t表示全局信息，φ^read表示卷积操作，m_t表示三维存储。

4.根据权利要求2所述的时空序列数据存储与特征提取的方法，其特征在于，步骤4.1中，通过转置卷积运算将外部储存的信息概况r_t、详细信息c_t和输入的新信息φ(o_t)的映射到写入向量w_t，表示为：

w_t＝φ^T([c_t，r_t，φ(o_t)])……………………………(6)，

其中，在式6中，φ^T(·)示一组转置卷积。

5.根据权利要求2所述的时空序列数据存储与特征提取的方法，其特征在于，步骤4.2中，更新操作包括第一更新和第二更新，其中，第一更新包括：生成写入向量w_t，用写入向量w_t直接替换外部储存信息m_t，并加入外部储存记为m_t+1，第二更新包括：生成写入向量w_t，并计算重置门i_t与更新门z_t的值，其中：

i_t＝σ(Wⁱ*w_t+Rⁱ*m_t)………………………………(7)，

z_t＝σ(W^z*w_t+R^z*m_t)………………………………(8)，

在上述式7和式8中Wⁱ，W^z，Rⁱ，R^z都是可学习矩阵，σ表示激活函数；

计算：

在上述式9中，W^m和R^m均为可学习矩阵，*是卷积，w_t是写入向量，m_t是三维存储，tanh(.)是激活函数，

是新的候选三维存储，⊙是元素积；

计算：

在上述式10中，m_t是三维存储，

是新的候选三维存储，z_t是更新门，m_t+1是下一时刻三维存储，⊙是元素积；并将其加入外部储存。

6.根据权利要求2所述的时空序列数据存储与特征提取的方法，其特征在于，步骤5中，将存储概况r_t、上下文信息c_t和输入的信息φ(o_t)直接连接，然后使用卷积层映射为所需要的形状：

h_t＝φ^output([r_t，c_t，φ(o_t)])………………………(11)，

其中φ^output(·)表示一组卷积操作，h_t表示输出向量。

Images