CN106295703B - 一种对时间序列进行建模并识别的方法 - Google Patents

Abstract

本发明涉及一种对时间序列进行建模并识别的方法，属于机器学习领域。该方法包括将传感器采集的数据按采集时间先后顺序排列而成的动态数据构成L条时间序列，随机选择L条时间序列中的60％‑80％的N条时间序列作为训练集，剩下的时间序列作为测试集；对训练集中的每一条时间序列采用线性动态系统模型进行建模，并训练集每一条时间序列的特征表示；随机从训练集中抽取J条时间序列作为字典组成字典集，从得到的训练集每一条训练时间序列的特征表示，学习出字典集的每一条时间序列的最优特征表示，同时计算每一条训练时间序列在字典集下的编码系数；用训练集的编码系数训练支持向量机模型，实现对时间序列的识别。本方法大幅降低了数据表示的复杂度，同时显著提高识别精度。

Description

一种对时间序列进行建模并识别的方法

技术领域

本发明涉及一种对时间序列进行建模并识别的方法，属于机器学习领域。

背景技术

近年来，随着摄像机和力传感器等不同传感器感知技术的发展，数据产生和采集的速度越来越快，数据存储量也越来越大，且大部分数据是以时间序列的形态进行传输和存储。所谓时间序列，是指传感器采集的数据按采集时间先后顺序排列而成的动态数据。面对海量的时间序列数据，单纯的人力已经不能有效对其进行分析并提取有用的特征信息。因此，如何设计高效的数据分析算法，对不同传感器采集到的时间序列进行有机提炼，得到富含信息量的有效表征，以及利用有效表征实现目标识别任务，成为大数据环境下开展动态数据挖掘的关键问题。

一方面，传统的目标识别任务大多数是基于静态数据，如通过分析单张图片识别或者检测图片中的目标、基于单个时间节点的触觉力分布来识别机器人所抓取的物体。然而，通常情况下，传感器采集到的是具有特定时间长度的数据流。这需要通过分析一段视频(而不是单张图片)来识别视觉目标、通过分析整个抓取过程的触觉力的变化过程(而不是单个时间节点的力)来识别机器人的抓取目标。另一方面，针对动态数据，当前主流的方法是把输入数据截取(或采样)为时间维度等长的数据块，把这些数据块按时空展开作为高维的静态数据，然后采用传统基于静态数据的方法进行建模和识别。然而，该类方法存在两个主要的问题。首先，不同的识别目标对应于不同的物理过程，其动态数据的自然时间长度通常是不相等的，把所有数据进行等长处理会导致某些数据失真；其次，如果截取的时间长度过短，会丢失大量有用的信息，如果截取的时间长度过长，则导致数据块的维度过大，大幅降低后期识别算法的运行效率。因此，时间序列的识别亟需一种有效的建模工具来提取其有用且精炼的信息，提高识别精度并保证较快的运行效率。

以下为几个相关技术。

线性动态系统模型是对时间序列的每一帧数据以及相邻两帧数据的转化关系进行建模，如公式(1)所示：

其中，已知变量为：时间序列Y＝(y(0),y(1),…,y(t),…,y(τ))(τ为正整数，表示时间序列的时间长度)；未知变量是：序列状态X＝(x(0),x(1),…,x(t),…,x(τ))，测量矩阵C，转移矩阵A，模型的噪声项v(t)和w(t)。

求解式(1)表示的线性动态系统模型分别得到序列状态X、测量矩阵C和转移矩阵A。测量矩阵描述了空间纹理，转移矩阵描述了动态变化。

在机器学习领域中，实现目标识别需把数据分成两部分：训练集和测试集。训练集利用时间序列及其相应的类别标签训练识别模型；测试集用来测试识别模型的性能。常用的识别模型为线性支持向量机，已被广泛应用于图像、语音和文字等静态数据的目标识别任务。

发明内容

本发明的目的是为克服已有技术的不足之处，提出了一种对时间序列进行建模并识别的方法，该方法利用线性动态系统模型对时间序列进行建模得到数据的特征表示，继而引入稀疏编码和字典学习技术对所得的特征进一步编码，快速有效地实现基于时间序列的目标识别。

本发明提出的一种对时间序列进行建模并识别的方法，其特征在于，该方法包括以下步骤：

1)将传感器采集的数据按采集时间先后顺序排列而成的动态数据构成L条时间序列，随机选择L条时间序列中的60％-80％的N条时间序列作为训练集，剩下的时间序列作为测试集；

2)对训练集中的每一条时间序列采用线性动态系统模型进行建模：

其中，已知变量为：时间序列Y＝(y(0),y(1),…,y(t),…,y(τ))(τ为正整数，表示时间序列的时间长度)；未知变量是：序列状态X＝(x(0),x(1),…,x(t),…,x(τ))，描述空间纹理的测量矩阵C，描述动态变化的转移矩阵A，模型的噪声项v(t)和w(t)；根据已知变量Y求解未知变量X，C，A，得到训练集每一条时间序列的特征表示；

3)随机从训练集中抽取J条时间序列作为字典组成字典集，由步骤2)得到的训练集每一条训练时间序列的特征表示，学习出字典集的每一条时间序列的最优特征表示，同时计算得到每一条训练时间序列在字典集下的编码系数；

4)用步骤3)得到的训练集的编码系数α₁,α₂,…,α_N训练支持向量机模型，实现对时间序列的识别。

本发明的特点及有益效果：

本发明通过对时间序列建模，并利用模型的参数作为时间序列的初始特征表示，与传统基于截取时空数据块的方法相比，大幅降低了数据表示的复杂度。同时，通过稀疏编码和字典学习对初始特征表示进一步提炼，得到更加精炼的表征，显著提高识别精度。

具体实施方式

本发明提出了一种对时间序列进行建模并识别的方法，包括以下步骤：

1)将传感器采集的数据按采集时间先后顺序排列而成的动态数据构成L条(例如200条)时间序列，随机选择60％-80％的时间序列(设为N条)作为训练集，剩下的时间序列作为测试集(其中，训练集占全体时间序列的百分比越高，识别精度越高，可根据具体操作精度要求选定)；

2)对训练集中的每一条时间序列采用线性动态系统模型进行建模：

其中，已知变量为：时间序列Y＝(y(0),y(1),…,y(t),…,y(τ)(τ为正整数，表示时间序列的时间长度)；未知变量是：序列状态X＝(x(0),x(1),…,x(t),…,x(τ))，测量矩阵C(描述空间纹理)，转移矩阵A(描述动态变化)，模型的噪声项v(t)和w(t)；根据已知变量Y求解未知变量X，C，A，(根据Y，X，C，A，可求得模型的噪声项v(t)和w(t)，本发明方法不涉及该两项，不再做具体阐述)得到训练集每一条时间序列的特征表示；具体包括：

2-1)对时间序列Y进行矩阵分解，求解Y＝USV^T，即对Y进行奇异值分解，U为左奇异方向矩阵，S为奇异值矩阵，V为右奇异方向矩阵，奇异值分解可通过MATLAB软件内嵌的数值工具包求解，得到测量矩阵C＝U和序列状态X＝SV^T，其中V^T表示对矩阵V进行转置；

2-2)设临时矩阵变量X₀和X₁，令X₀＝(x(0),…,x(t),…,x(τ-1))，X₁＝(x(1),…,x(t),…,x(τ))；

2-3)计算出最优转移矩阵A，使得公式(1)尽可能拟合时间序列在时间维度上的变化规律，即通过最小化

得到最优转移矩阵A＝X₁X₀ ^T(X₀X₀ ^T)^-1，其中||·||_F ²计算输入矩阵的Frobenius范数，即计算矩阵所有元素的平方和；

2-4)对步骤2-3)得到的最优转移矩阵A进行平滑化处理(避免计算中出现数值不稳定的问题)，即对矩阵A进行奇异值分解，A＝U₁S₁V₁ ^T(对A奇异值分解，定义同2-1)，用

(其中

为自然指数函数，a为规整因子，经验取值2.5)替换矩阵S₁，得到新的转移矩阵A＝U₁S₁'V₁ ^T；

2-5)分别利用步骤2-1)和2-4)求解得到的测量矩阵C和最优转移矩阵A，得到观测矩阵O＝[C；CA；CA²；…；CA^k]，(其中，k为正整数，k＝1,2,……k；k根据经验取值，本实施例取值为5)；

2-6)对步骤2-5)得到的观测矩阵正交化，求解

(对O^TO进行奇异值分解，定义同2-1))，得到新的观测矩阵W＝OS₂ ^-1/2U₂(目的是使得观测矩阵正交化，使得数值计算更稳定)；

2-7)令R＝WW^T作为时间序列Y的特征表示，由W计算出WW^T；由此可计算出训练集每一条时间序列的特征表示，记为R₁,R₂,…,R_N；

3)随机从训练集中抽取J条时间序列作为字典组成字典集，由步骤2)得到的训练集每一条训练时间序列的特征表示，学习出字典集的每一条时间序列的最优特征表示，同时计算得到每一条训练时间序列在字典集下的编码系数；具体包括：

3-1)已知变量：记训练集中第i条时间序列的特征表示为R_i，需要求解变量：字典集的每条时间序列的观测矩阵为W₁,W₂,…,W_J(J为字典集时间序列的条数，按经验可为训练集时间序列条数的一半，观测矩阵定义见2-6))；字典集中每条时间序列的特征表示为D₁,D₂,…,D_J；训练集每条时间序列在字典集下的编码系数为α_i＝(α_1,i,α_2,i,…,α_J,i)(i为遍历训练集所有时间序列中任意一时间序列)，其中，α_j,i表示该训练时间序列在字典集的第j条时间序列下的编码系数；

3-2)字典特征表示的初始化：随机从训练集中抽取J条时间序列作为字典组成字典集，即将所随机选取的训练时间序列的观测矩阵和特征表示作为字典时间序列的观测矩阵和特征表示的初始值；

3-3)对3-2)所得的字典特征表示的初始值进行迭代优化，优化目标表达式如式(2)(目的是最小化字典集和编码系数对训练集的重构误差并保证编码系数的稀疏性)，同时计算每一条训练时间序列在字典集下的编码系数；

其中λ＝0.1为惩罚系数，λ的值根据识别精度要求选定，此处为经验值，

求解矩阵的Frobenius范数，|·|计算绝对值；公式(2)求解具体过程如下：

3-3-1)利用步骤3-2)字典集的特征表示的初始值,对训练集的每一条时间序列进行稀疏编码，即求解式(3)的目标函数表达式，得到训练集每一条时间序列在该字典集的编码系数α_i；

其中，i∈N遍历训练集的所有时间序列，公式(3)通过MATLAB软件内嵌的数值工具包求解；

3-3-2)得到训练集每一条时间序列的编码系数后，计算公式(2)对应于每个字典时间序列的特征表示D_r(r为遍历字典集的任一时间序列)的导数

3-3-3)由步骤3-3-2)所得

更新每个字典的观测矩阵W_r：

W_r＝M (6)

其中，I为单位矩阵；

3-3-4)由步骤3-3-3)所得W_r，更新每个字典的特征表示D_r＝W_rW_r ^T；

3-3-5)重复步骤3-3-1)至3-3-4)直到公式(2)中目标函数值的变化小于设定的阈值(阈值越小精度越高，但是需要的迭代次数就越多，按经验可取0.01)，得到了字典集的最优特征表示D₁,D₂,…,D_J，以及每一条训练时间序列在最优字典集下的编码系数α₁,α₂,…,α_N；

4)用步骤3)得到的训练集的编码系数α₁,α₂,…,α_N，训练支持向量机模型，实现对时间序列的识别；本实施所有时间序列的类别有两类：正样本和负样本；正样本即感兴趣的目标物，如人脸、行人等，负样本是除目标物外的类别，如背景等；该步骤具体包括：

4-1)设支持向量机的模型参数为w，b，则该模型参数通过以下式(7)表示的目标函数求得：

其中，l_i∈(-1,1)表示第i个训练时间序列的类别(-1代表负样本，1代表正样本)，α_i是第i个训练时间序列的编码系数，公式(7)的参数w，b可通过MATLAB软件内嵌的数值工具包求解；

4-2)对于测试集的每一条时间序列R_test，通过3-3-1)的方法求解出其在最优特征表示的字典集下的编码系数，设为α_test；

4-3)计算w^Tα_test-b的值，若大于0则为正样本，若小于零则为负样本。从而实现了测试时间序列的类别判断，完成了时间序列的识别。

Claims (3)

1.一种对时间序列进行建模并识别的方法，其特征在于，该方法包括以下步骤：

1)将传感器采集的目标识别数据按采集时间先后顺序排列而成的动态数据构成L条时间序列，随机选择L条时间序列中的60％-80％的N条时间序列作为训练集，剩下的时间序列作为测试集；

2)对训练集中的每一条时间序列采用线性动态系统模型进行建模：

其中，已知变量为：时间序列Y＝(y(0),y(1),…,y(t),…,y(τ))，τ为正整数，表示时间序列的时间长度；未知变量是：序列状态X＝(x(0),x(1),…,x(t),…,x(τ))，描述空间纹理的测量矩阵C，描述动态变化的转移矩阵A，模型的噪声项v(t)和w(t)；根据已知变量Y求解未知变量X，C，A，得到训练集每一条时间序列的特征表示；

3)随机从训练集中抽取J条时间序列作为字典组成字典集，由步骤2)得到的训练集每一条训练时间序列的特征表示，学习出字典集的每一条时间序列的最优特征表示，同时计算得到每一条训练时间序列在字典集下的编码系数；

4)用步骤3)得到的训练集的编码系数α₁,α₂,…,α_N训练支持向量机模型，实现对时间序列的识别，所述时间序列的类别有两类：正样本和负样本；正样本即感兴趣的目标物，具体是人脸、行人；负样本是除目标物外的类别，具体是背景；

所述步骤3)具体包括：

3-1)已知变量：记训练集中第i条时间序列的特征表示为R_i；需要求解变量：字典集的每条时间序列的观测矩阵为W₁,W₂,…,W_J，J为字典集时间序列的条数；字典集中每一条时间序列的特征表示为D₁,D₂,…,D_J；每条训练时间序列在字典集下的编码系数为α_i＝(α_1,i,α_2,i,…,α_J,i)，i为遍历训练集任意一时间序列，其中，α_j,i表示该训练时间序列在字典集的第j条时间序列下的编码系数；

3-2)字典特征表示的初始化：随机从训练集中抽取J条时间序列作为字典组成字典集，即将所随机选取的训练时间序列的观测矩阵和特征表示作为字典时间序列的观测矩阵和特征表示的初始值；

3-3)对步骤3-2)所得的字典特征表示的初始值进行迭代优化，同时计算每一条训练时间序列在字典集下的编码系数，优化目标表达式如式(2)以最小化字典集和编码系数对训练集的重构误差并保证编码系数的稀疏性：

其中λ＝0.1为惩罚系数，λ的值根据识别精度要求选定，此处为经验值，

求解矩阵的Frobenius范数，|·|计算绝对值；

所述步骤3)中公式(2)求解具体过程如下：

3-3-1)利用步骤3-2)字典集的特征表示的初始值,对训练集的每一条时间序列进行稀疏编码，即求解式(3)的目标函数表达式，得到训练集每一条时间序列在该字典集的编码系数：

i∈N遍历训练集的所有时间序列，公式(3)通过MATLAB软件内嵌的数值工具包求解；

3-3-2)得到训练集每一条时间序列的编码系数后，计算公式(2)对应于每个字典时间序列的特征表示D_r的导数

r为遍历字典集任意一时间序列：

3-3-3)由步骤3-3-2)所得

更新每个字典的观测矩阵W_r：

W_r＝M (6)

其中，I为单位矩阵；

3-3-4)由步骤3-3-3)所得W_r，更新每个字典的特征表示D_r＝W_rW_r ^T；

3-3-5)重复步骤3-3-1)至3-3-4)直到公式(2)中目标函数值的变化小于设定的阈值，得到字典集的最优特征表示D₁,D₂,…,D_J，以及每一条训练时间序列在最优字典集下的编码系数α₁,α₂,…,α_N。

2.如权利要求1所述方法，其特征在于，所述步骤2)计算训练集所有时间序列的特征表示R₁,R₂,…,R_N，其中每一个特征表示的具体计算过程包括：

2-1)对时间序列Y进行矩阵分解，求解Y＝USV^T，即对Y进行奇异值分解，U为左奇异方向矩阵，S为奇异值矩阵，V为右奇异方向矩阵，奇异值分解可通过MATLAB软件内嵌的数值工具包求解，得到测量矩阵C＝U和序列状态X＝SV^T，其中V^T表示对矩阵V进行转置；

2-2)设临时矩阵变量X₀和X₁，令X₀＝(x(0),…,x(t),…,x(τ-1))，X₁＝(x(1),…,x(t),…,x(τ))；

2-3)计算出最优转移矩阵A，使得公式(1)尽可能拟合时间序列在时间维度上的变化规律，通过最小化

得到最优转移矩阵A＝X₁X₀ ^T(X₀X₀ ^T)^-1，其中||·||_F ²计算输入矩阵的Frobenius范数，即计算矩阵所有元素的平方和；

2-4)对步骤2-3)得到的最优转移矩阵A进行平滑化处理：A＝U₁S₁V₁ ^T，用

替换矩阵S₁，其中

为自然指数函数，a为规整因子，得到新的转移矩阵A＝U₁S₁'V₁ ^T；

2-5)分别利用步骤2-1)和2-4)求解得到的测量矩阵C和最优转移矩阵A，得到观测矩阵O＝[C；CA；CA²；…；CA^k]，其中，k为正整数，k＝1,2,…,k；

2-6)对步骤2-5)得到的观测矩阵正交化，求解O^TO＝U₂S₂V₂ ^T，得到新的观测矩阵W＝OS₂ ^-1/2U₂，使得观测矩阵正交化，数值计算更稳定；

2-7)计算R＝WW^T作为时间序列Y的特征表示。

3.如权利要求1所述方法，其特征在于，所述步骤4)具体包括：

4-1)设支持向量机的模型参数为w，b，则该模型参数通过式(7)表示的目标函数求得：

其中，l_i∈(-1,1)表示第i个训练时间序列的类别，-1代表负样本，1代表正样本，α_i是训练集第i条时间序列的编码系数，公式(7)的参数w，b通过MATLAB软件内嵌的数值工具包求解；

4-2)对于测试集的每一条时间序列R_test，通过4-1)的方法求解出其在最优特征表示的字典集下的编码系数，设为α_test；

4-3)计算w^Tα_test-b的值，若大于0则为正样本，若小于零则为负样本，从而实现了测试时间序列的类别判断，完成了时间序列的识别。