CN112836582B - 基于动态稀疏子空间的高维流系统结构变点在线检测方法 - Google Patents

Abstract

本发明公布了一种基于动态稀疏子空间的高维流系统结构变点在线检测方法，高维流系统包括人体姿态动作系统、脑电波流系统、生产机器系统等；针对高维流系统中的传感器获取的高维流数据进行在线检测，相应得到人体姿态动作、脑电波、生产机器等高维流系统的结构变点。本发明实现了高维流数据系统的结构变点在线检测，降低了检测的时间成本，获得了优良的检测精度，可广泛应用于高维流系统状态、系统异常的实时检测。

Description

基于动态稀疏子空间的高维流系统结构变点在线检测方法

技术领域

本发明涉及结构变点的在线检测技术，具体涉及一种高维流系统数据在稀疏子空间模型下的结构变点在线检测方法。

背景技术

高维流系统产生的数据是指按照时间顺序不间断依次产生新的观测数据的高维时间序列数据，其广泛存在于生物系统、工程系统等诸多应用技术领域，高维流系统数据如：多个传感器返回的脑电波流数据、动作捕捉中人体姿态监测流数据、生产机器的生产过程流数据等。

高维流系统数据各个维度之间的相关关系可以反映深层次的高维流系统的状态信息。通常，高维流系统数据位于多个低维子空间中，维度之间相关关系或依赖结构是稀疏的。此外，由于一些外部事件、异常事件的发生或者人为操控因素的影响，低维子空间的结构、维度之间相关关系可能会随着时间的推移而发生变化，这种变化可以有效地反映高维流系统状态的演变，我们称这种变化为高维流系统的结构变化，该变点即为高维流系统的结构变点。比如，人体各个关节位置关系的变化可以反映人体动作的改变；TBM(隧道掘进机)工作期间，传感器数据之间关系的变化可以反映工作状态的变化或者外围岩层情况的变化。

2020年，张晨提出了一种动态多元函数数据建模方法，以检测高维流系统的结构变点。通过将问题构造为带有融合LASSO(Least Absolute Shrinkage and SelectionOperator)惩罚项的稀疏回归问题，利用快速迭代阈值收缩算法(FISTA)，可以有效地估计不同变量之间的相关结构和变化点。但是，该方法不是一种在线检测方法，不能依时间循序地估计出变量间相关结构和检测出结构变化点。

发明内容

本发明的目的是提供一种新的基于稀疏子空间模型的方法，可以在线检测高维流系统的结构变点。本发明可以应用在数据相关关系发生变化的诸多应用领域中，如：在人体姿态监测流数据中检测人体动作的改变、在生产机器的生产过程流数据中检测生产机器工作状态的变化等。

本发明基于一种稀疏子空间模型，该模型假设高维流系统数据的数据空间可以分为若干个低维数据子空间，同一子空间中的变量之间具有很强的相关性，而不同子空间中的变量之间不具有相关性。在低维数据子空间中，每一个变量的时间序列都是若干个基序列的线性组合，因此，当变量个数高于基序列的个数，同一个子空间的变量之间可以互相线性表出。所以，高维流数据的所有变量可以互相线性表出，表出系数是稀疏的，便可以通过检测表出系数的变化来检测出相关性结构变点。

本发明的技术方案是：

一种基于动态稀疏子空间的高维流系统结构变点在线检测方法，高维流系统包括人体姿态动作系统、脑电波流系统、生产机器系统等；针对高维流系统中的传感器获取的高维流数据进行在线检测，相应得到人体姿态动作、脑电波、生产机器等高维流系统的结构变点；在线检测方法包括如下步骤：

1)构建稀疏子空间模型，用于表示高维流系统的数据；

假设高维流系统的数据Y共有p个变量，Y＝[Y₁,…,Y_p]，每个变量有N个观测样本数据Y_i＝[Y_i1,…,Y_iN],i＝1,…,p。观测存在一定观测误差，Y_ij＝C_ij+∈_ij,i＝1,…,p,j＝1,…,N，其中，X_ij是观测数据对应的真实数值，X_i＝[X_i1,…,X_iN],i＝1,…,p，∈_ij是观测误差，服从均值为0，未知方差的高斯分布N(0,σ²)。

在稀疏子空间模型中，获取的高维流系统数据的数据空间可以被分为多个低维数据子空间{S₁,…,S_L}，其中L为子空间的个数，X₁,…,X_p分别属于其中某一个低维数据子空间；同一个子空间中的不同变量的时间序列之间具有强相关性，不同子空间中的不同变量的时间序列之间不具有相关性；在低维数据子空间中，每一个变量的时间序列都是多个未知基序列 的线性组合，若/>其中Φ_l代表子空间S_l的基序列，d_l为子空间S_l基序列的个数，φ_lq为子空间S_l中第q个基序列，/>为基序列的组合系数；当子空间中的变量个数高于基序列的个数，根据线性代数的性质，同一个子空间的变量的时间序列之间可以互相线性表出，若/>其中β_ij为线性表出的组合系数。因此，将线性表出拓展到整个数据空间，在稀疏子空间线性模型中，高维流数据的所有变量可以互相线性表出，表出系数是稀疏的，X_i＝∑_j≠iX_jβ_ij，若X_i与X_j属于不同子空间，则β_ij＝0。

根据上述的稀疏子空间模型，我们有X＝XB，其中，X代表高维流数据变量的真实值；B代表一个稀疏的线性表出系数矩阵，其中，元素β_ii＝0，若X_i与X_j属于不同子空间，则β_ij＝0。

2)根据稀疏子空间线性模型构建变点检测优化模型，用于检测高维流系统的相关性结构变点；

根据稀疏子空间线性模型，本发明构建了一个变点检测优化模型，以检测线性表出系数矩阵B何时出现了变化、如何变化。在高维流系统中，矩阵B变化即意味着子空间的结构发生变化。变点检测优化模型表示如下：

其中，C是变点总个数，τ₁,…,τ_C分别是各个变点的具体位置，因此流数据被划分为C+1个时间段，B^(c)代表第c个时间段对应的线性表出系数矩阵，元素为λ₁,λ₂是优化模型的两个参数，分别对系数矩阵B的稀疏性和变点个数进行限制。λ₁越大，优化得到的B的稀疏性越高；λ₂越大，检测得到的变点数量越少，检测延迟也越长。p为系统数据的维度个数，Y_it是系统在t时刻下第i个变量的观测数据。在进行在线检测之前，本发明必须首先进行λ₁,λ₂的参数选择。

3)变点检测优化模型中的参数选择：基于高维流系统历史数据，通过最大化AMDL(Approximate Minimum Description Length)准则，利用二维网格搜索，搜索出最优的模型参数。

基于AMDL准则，本发明提出通过最大化以下的目标函数来选择参数λ₁,λ₂：

其中，是回归的平均残差，/>是模型的自由度，具体来说，就是B^(c),c＝1,…,C+1中的非零元素个数和。

本发明利用历史数据，通过二维网格搜索技术，进行λ₁,λ₂的最优值搜索。首先，基于历史数据，通过LASSO回归(带有融合LASSO惩罚项的稀疏回归)，找到无变点情况下，使得B完全稀疏的最小的λ₁值，记为固定λ₁，通过运行在线检测算法，找到使得变点个数为0的最小的λ₂值，记为/>在/>上进行二维网格搜索，以最大化AMDL(λ₁,λ₂)。

4)变点在线检测：通过在每个时间点求最优解来实现在线检测，每当系统产生一个新的观测数据，利用系统的历史计算信息和PELT(Pruned Exact Linear Time)算法，找到当前时刻下，最近的变点位置(最近邻变点位置)。包括如下步骤：

40)在系统产生观测数据前，对算法需要存储的历史计算信息进行初始化，F(0)＝-λ₂,cp(0)＝NULL,R(1)＝{0}，其中F(t)为t时刻下最优的目标函数值，为了方便计算，设定0时刻下最优的目标函数值为-λ₂；cp(t)为t时刻下最优的变点位置；R(t)为t时刻下最近邻变点可能的备选集。

41)当系统产生一个新的观测数据，将该时间点的结构变点最优解表示为式1表示的目标函数；

将式1转化为：

其中，

是通过带有融合LASSO惩罚项的稀疏回归方法(LASSO算法)求解以下优化问题的最优解；

42)通过PELT算法迭代求解目标函数，得到某时刻目标函数的最优值，即获得该时刻的最近邻变点位置；

可以通过PELT算法迭代求解，该算法试图在每个时间点找到该时间点的最近邻变点位置。设在n时刻目标函数最优值为F(n)，表示为：

其中，τ_n为n时刻下，所有可能的变点个数、变点位置情况的集合，τ代表集合中的一种情况；t代表该时间点的最近邻变点位置。当系统在n时刻产生新的观测数据，利用之前的历史计算信息F(t),t<n，只需要对t进行优化，即可求得n时刻目标函数最优值F(n)。

在对t进行优化的过程中，PELT算法通过一个判断算法，减少了最近邻变点的备选点个数，从而进一步降低了计算成本。具体来说，优化算法由 变为/>其中R(t)为有可能成为t时刻最近邻变点的时间点集合。

本发明依据PELT算法理论来进行R(t)的计算和更新，

R(n+1)＝{τ|τ∈R(n)∪{n},F(τ)+Cost(Y_τ+1:n)+K<F(n)},

其中，K是另一个模型参数，无特殊情况下选择K＝0。

43)在获得当前时刻的最近邻变点位置后，通过不断查询变点的最近邻变点位置，便可以得到当前时刻之前的所有的变点位置。

通过上述步骤，即实现基于动态稀疏子空间的高维流系统的结构变点在线检测。

与现有技术相比，本发明的有益效果是：

本发明提供的基于动态稀疏子空间的高维流系统结构变点在线检测技术方案，首创性地实现了高维流数据系统的结构变点的在线检测，降低了检测的时间成本，获得了优良的检测精度，为实时检测系统异常提供了一种新的手段，可广泛应用于高维流系统状态、系统异常的实时检测。

附图说明

图1为本发明提供方法的参数选择流程框图。

图2为本发明提供的在线检测方法的流程框图。

图3为本发明的人体姿态高维流数据实施例中传感器位置布局与姿态示意图；

其中，(a)为传感器位置布局图，(b)、(c)分别展示射击姿态和抛掷姿态的多个时刻下的人体姿态。

图4为本发明人体姿态数据实施例中进行变点检测的结果示意图。

图5为本发明人体姿态数据实施例中计算时间示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种新的基于稀疏子空间模型的方法，可以在线检测高维流系统的相关性结构变点。本发明具体分为两个步骤，首先通过历史数据，进行参数选择；然后进行变点的在线检测。图1为本发明的参数选择流程示意图；图2为本发明的在线检测流程示意图。

本发明提供的基于动态稀疏子空间的高维流系统结构变点在线检测方法包括如下步骤：

1)构建稀疏子空间模型，用于表示高维流系统数据；

将高维流系统数据的数据空间分为多个低维数据子空间；同一个子空间中的变量之间具有强相关性，不同子空间中的变量之间不具有相关性；在低维数据子空间中，每一个变量的时间序列都是多个基序列的线性组合；当变量个数高于基序列的个数，同一个子空间的变量之间可以互相线性表出。稀疏子空间线性模型中，高维流数据的所有变量可以互相线性表出，表出系数是稀疏的。

假设高维流数据Y共有p个变量，Y＝[Y₁,…,Y_p]，每个变量有N个观测样本数据Y_i＝[Y_i1,…,Y_iN],i＝1,…,p。观测存在一定观测误差，Y_ij＝X_ij+∈_ij,i＝1,…,p,j＝1,…,N，其中，X_ij是观测数据对应的真实数值，∈_ij是观测误差，服从均值为0，未知方差的高斯分布N(0,σ²)。

根据上述的稀疏子空间模型，我们有X＝XB，其中，X代表高维流数据变量的真实值；B代表一个稀疏的线性表出系数矩阵，其中，元素β_ii＝0，若X_i与X_j属于不同子空间，则β_ij＝0。

2)根据稀疏子空间线性模型构建变点检测优化模型，用于检测高维流系统的相关性结构变点；

根据稀疏子空间线性模型，本发明构建了一个变点检测优化模型，以检测线性表出系数矩阵B何时出现了变化、如何变化。变点检测优化模型表示如下：

其中，C是变点总个数，τ₁,…,τ_C分别是各个变点的具体位置，因此流数据被划分为C+1个时间段，B^(c)代表第c个时间段对应的线性表出系数矩阵，元素为λ₁,λ₂是优化模型的两个参数，分别对系数矩阵B的稀疏性和变点个数进行限制。λ₁越大，优化得到的B的稀疏性越高；λ₂越大，检测得到的变点数量越少，检测延迟也越长。在进行在线检测之前，本发明必须首先进行λ₁,λ₂的参数选择。

3)变点检测优化模型中的参数选择：基于高维流系统历史数据，通过最大化AMDL(Approximate Minimum Description Length)准则，利用二维网格搜索，搜索出最优的模型参数。

基于AMDL准则，本发明提出通过最大化以下的目标函数来选择参数λ₁,λ₂：

其中，是回归的平均残差，/>是模型的自由度，具体来说，就是B^(c),c＝1,…,C+1中的非零元素个数和。

本发明利用历史数据，通过二维网格搜索技术，进行λ₁,λ₂的最优值搜索。首先，基于历史数据，通过LASSO回归(带有融合LASSO惩罚项的稀疏回归)，找到无变点情况下，使得B完全稀疏的最小的λ₁值，记为固定λ₁，通过运行在线检测算法，找到使得变点个数为0的最小的λ₂值，记为/>在/>上进行二维网格搜索，以最大化AMDL(λ₁,λ₂)。

4)变点在线检测：每当一个新的观测数据产生，利用历史计算信息和PELT(PrunedExact Linear Time)算法，找到当前时刻下，最近的变点位置。包括如下步骤：

40)在系统产生观测数据前，对算法需要存储的历史计算信息进行初始化，F(0)＝-λ₂,cp(0)＝NULL,R(1)＝{0}。

41)当系统产生一个新的观测数据，将该时间点的结构变点最优解表示为如下的目标函数：

式中，p为系统数据的维度个数，Y_it是系统在t时刻下第i个变量的观测数据。C是变点总个数，τ₁,…,τ_C分别是各个变点的具体位置，B^(c)代表第c个时间段对应的线性表出系数矩阵，元素为λ₁,λ₂是优化模型的两个参数，分别对系数矩阵B的稀疏性和变点个数进行限制。

将上式转化为：

其中，

是通过带有融合LASSO惩罚项的稀疏回归方法(LASSO算法)求解以下优化问题的最优解；

42)通过PELT算法迭代求解目标函数，得到某时刻目标函数的最优值，即获得该时刻的最近邻变点位置；

可以通过PELT算法迭代求解，该算法试图在每个时间点找到该时间点的最近邻变点位置。设在n时刻目标函数最优值为F(n)，表示为：

其中，τ_n为n时刻下，所有可能的变点个数、变点位置情况的集合，τ代表集合中的一种情况；t代表该时间点的最近邻变点位置。当系统在n时刻产生新的观测数据，利用之前的历史计算信息F(t),t<n，只需要对t进行优化，即可求得n时刻目标函数最优值F(n)。

在对t进行优化的过程中，PELT算法通过一个判断算法，减少了最近邻变点的备选点个数，从而进一步降低了计算成本。具体来说，优化算法由 变为/>其中R(t)为有可能成为t时刻最近邻变点的时间点集合。

本发明依据PELT算法理论来进行R(t)的计算和更新，

R(n+1)＝{τ|τ∈R(n)∪{n},F(τ)+Cost(Y_τ+1:n)+K<F(n)},

其中，K是另一个模型参数，无特殊情况下选择K＝0。

43)在获得当前时刻的最近邻变点位置后，通过不断查询变点的最近邻变点位置，便可以得到当前时刻之前的所有的变点位置。

以下详细叙述将本发明提供的模型方法应用人体姿态监测数据的实施方式。

在人体姿态监测数据实施例中，本发明可以动态检测人体动作的变化。在本实施例中，人体姿态监测数据为微软公开的MSRC-12数据集，数据通过20个人体关节位置传感器记录得到，每个传感器返回3个该传感器的三维坐标，因此数据维度为60维，传感器在人体上的布局如图3(a)所示。图3(b)、3(c)展示了某个观测个体的两个动作：射击和抛掷，该观测个体重复射击、抛掷两个动作两次，本实施例的目标在于，正确检测三个动作的转换时刻。具体实施方式如下：

(0)变量筛选和数据预处理：

将每个传感器的三维坐标整合为一个距离变量该数据预处理过程减少了数据维度，丰富了变量的物理意义，每个变量代表一个传感器或一个人体关节。

(1)通过历史数据，进行参数选择：

在本实施例中，历史数据为其他观测个体在相同姿态下的人体姿态监测数据。通过最大化AMDL(Approximate Minimum Description Length)准则，利用二维网格搜索，搜索出最优的模型参数。

在本实施例中，最终选取₁＝0.0004，₂＝0.27作为模型参数。

(2)对目标观测个体的观测数据进行相关性结构变点在线检测：

每当一个新的观测数据产生，利用历史计算信息和PELT(Pruned Exact LinearTime)算法，找到当前时刻下，最近的变点位置。在获得当前时刻的最近邻变点位置后，通过不断查询变点的最近邻变点位置，便可以得到当前时刻之前的所有的变点位置。

在本实施例中，选取＝0为模型参数。

图4展示了在线检测结果，动作变化发生后5个时刻内就可以及时检测到该变点。图5显示，通过减少最近邻变点的备选点个数，每个时刻计算时间小于0.15秒，可以实时在线检测变点。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于动态稀疏子空间的高维流系统结构变点在线检测方法，所述高维流系统包括人体姿态动作系统、脑电波流系统和生产机器系统；针对高维流系统中传感器获取的高维流数据进行在线检测，得到高维流系统的结构变点；包括如下步骤：

1)构建稀疏子空间模型，用于表示高维流系统的数据；

将获取的高维流系统数据的数据空间分为多个低维数据子空间；同一个子空间中的变量之间具有强相关性，不同子空间中的变量之间不具有相关性；在低维数据子空间中，每一个变量的时间序列都是多个未知基序列的线性组合；当子空间中的变量个数高于基序列的个数，同一个子空间的变量的时间序列之间可互相线性表出；稀疏子空间线性模型中，高维流数据的所有变量互相线性表出，表出系数是稀疏的；

设高维流系统的数据Y共有p个变量，Y＝[Y₁，...，Y_p]，每个变量有N个观测样本数据Y_i＝[Y_i1，...，Y_iN]，i＝1，...，p；Y_ij＝X_ij+∈_ij，i＝1，…，p，j＝1，…，N，其中，X_ij是观测数据对应的真实数值，∈_ij是观测误差，服从均值为0，未知方差的高斯分布N(0，σ²)；有X＝XB，其中，X代表高维流数据变量的真实值；B代表一个稀疏的线性表出系数矩阵，元素β_ii＝0，若X_i与X_j属于不同子空间，则β_ij＝0；

2)根据稀疏子空间线性模型构建变点检测优化模型，用于检测高维流系统的结构变点；

变点检测优化模型表示为式1：

其中，C是结构变点总个数，流数据被划分为C+1个时间段，τ₁，...，τ_C分别是各个结构变点的具体位置；B^(c)代表第c个时间段对应的线性表出系数矩阵，元素为λ₁，λ₂是分别对系数矩阵B的稀疏性和变点个数进行限制的优化模型的参数，λ₁越大，优化得到的B的稀疏性越高；λ₂越大，检测得到的变点数量越少，检测延迟越长；p为系统数据的维度个数；Y_it是系统在t时刻下第i个变量的观测数据；

3)变点检测优化模型中的参数选择：基于高维流系统历史数据，通过最大化AMDL准则，利用二维网格搜索得到最优的模型参数；

31)通过最大化以下的目标函数来选择参数λ₁，λ₂：

其中，是回归的平均残差；/>是模型的自由度，即B^(c)，c＝1，...，C+1中的非零元素个数和；

32)通过二维网格搜索技术，进行λ₁，λ₂的最优值搜索：

首先，基于历史数据，通过LASSO回归找到无变点情况下，使得B完全稀疏的最小的λ₁值，记为

固定λ₁，通过在线检测算法找到使得变点个数为0的最小的λ₂值，记为

在上进行二维网格搜索，以最大化AMDL(λ₁，λ₂)；

4)变点在线检测：通过在每个时间点求最优解来实现在线检测；

在系统产生观测数据前，对历史计算信息进行初始化，F(0)＝-λ₂，cp(0)＝NULL，R(1)＝{0}，其中F(t)为t时刻下最优的目标函数值；设定0时刻下最优的目标函数值为-λ₂；cp(t)为t时刻下最优的变点位置；R(t)为t时刻下最近邻变点可能的备选集；每当系统产生一个新的观测数据，利用系统的历史计算信息和PELT算法，找到当前时刻下的最近邻变点位置；包括如下步骤：

41)当系统产生一个新的观测数据，将该时间点的结构变点最优解表示为式1表示的目标函数，并转化为：

其中，

式中，是通过LASSO算法求解以下式子得到的最优解：

42)通过PELT算法迭代求解目标函数，得到某时刻目标函数的最优值，即获得该时刻的最近邻变点位置；

设在n时刻目标函数最优值为F(n)，表示为：

其中，τ_n为n时刻下，所有可能的变点个数、变点位置情况的集合；τ代表集合中的一种情况；t代表该时间点的最近邻变点位置；当系统在n时刻产生新的观测数据，利用历史数据计算信息F(t)，t＜n，只需要对t进行优化，即可求得n时刻目标函数最优值F(n)；

43)在获得当前时刻的最近邻变点位置后，通过不断查询变点的最近邻变点位置，即可得到当前时刻之前的所有的变点位置；

通过上述步骤，即实现基于动态稀疏子空间的高维流系统的结构变点在线检测。

2.如权利要求1所述的高维流系统结构变点在线检测方法，其特征是，步骤42)在对t进行优化的过程中，通过判断算法减少最近邻变点的备选点个数，从而进一步降低了计算成本。

3.如权利要求2所述的高维流系统结构变点在线检测方法，其特征是，具体将优化算法由变换为/>其中R(t)为有可能成为t时刻最近邻变点的时间点集合；再进行R(t)的计算和更新：

R(n+1)＝{τ|τ∈R(n)∪{n}，F(τ)+Cost(Y_τ+1：n)+K＜F(n)}，

其中，K是模型参数。

4.如权利要求1所述的高维流系统结构变点在线检测方法，其特征是，所述高维流系统包括人体动作系统，所述高维流系统结构变点在线检测方法用于动态检测人体动作的变化。

5.如权利要求4所述的高维流系统结构变点在线检测方法，其特征是，高维流数据采用通过20个人体关节位置传感器记录得到的MSRC-12人体姿态监测数据集；每个传感器返回3个三维坐标，数据维度为60维；将每个传感器的三维坐标整合为一个距离变量 每个变量代表一个传感器或一个人体关节。

6.如权利要求5所述的高维流系统结构变点在线检测方法，其特征是，最优模型参数取值为λ₁＝0.0004，λ₂＝0.27。