CN1894856A

CN1894856A - 时序数据维压缩装置

Info

Publication number: CN1894856A
Application number: CNA2004800372032A
Authority: CN
Inventors: 高山茂伸; 东辰辅; 佐藤重雄
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-02-26
Filing date: 2004-02-26
Publication date: 2007-01-10
Also published as: US7433527B2; CA2548461C; WO2005083890A1; CA2548461A1; US20070147519A1; JP4298749B2; JPWO2005083890A1

Abstract

本发明涉及时序数据维压缩装置，其目的在于不丢失数据的特征地进行提高时序数据的检索效率的维压缩。另外，能够压缩为决定的维数并抽出其中更多的信息。部分时序作成部件(112)针对由时序数据作成部件(110)生成的多个时序数据，作成分割为指定段宽度的部分时序。奇值分解执行部件(113)将全部的部分时序作为对象进行奇值分解，维压缩时序数据生成部件(114)将上述奇值分解的成分作为部分时序的代表值，生成维压缩时序数据。

Description

时序数据维压缩装置

技术领域

本发明的目的在于：为了更有效地进行时序数据的检索，而不丢失数据的特征地进行维压缩。另外，不只是以高压缩效率为目的，其目的还在于：压缩为规定的维数，抽出其中更多的信息。

背景技术

作为减少时序数据的维数的现有技术，例如有E.Keogh，K.Chakrabarti，M.Pazzani，Mehrotra“Dimensionality Reduction forFast Similarity Search in Large Time Series Databases.”Jounal ofKnowledge and Information Systems，2000所揭示的PAA(PiesewiseAggregate Approximation)。

在PAA中，将时序数据分割为段(segment)，通过将段的平均值作为各段的代表值，来压缩时序数据。

与傅立叶变换、奇值分解(singular value decomposition)相比能够简单地执行平均值的计算，能够更高速地生成维压缩时序数据。

作为减少时序数据的维数的其他现有技术，例如还有F.Korn，H.V.Jagadish，C.Faloutsos“Efficienty Supporting Ad Hoc Queries inLarge Datasets of Time Sequences”Proceedings of SIGMOD’97pp289～300所示的奇值分解的方法。在奇值分解的方法中，不使用奇值分解后的全部成分，只采用主要的奇值(奇值大的部分)，从而压缩时序数据。

如果通过奇值分解来压缩维，则能够比其他方法更好地抽出数据的形状，因此有检索效率高的优点。

另外，作为减少图像数据的维数的现有技术，例如有特开昭61-285870的“变换编码方式”。将图像数据分割为块并压缩为块。在分割了的块的压缩中，使用DCT(Discrete Cosine Transform)和表示数组的纵、横的倾斜角度的变换的组合。

通过这样组合2个变换，对每个块抽出其特征并选择最优的变换，从而能够实现更高的压缩率。

PAA通过以各段的平均值为代表值，能够更高速地进行维压缩，但在时序数据的检索时或类似检索时，有以下这样的问题。时序数据的检索步骤首先在压缩空间中查找解的候选，在实空间中对各解的候选检索最终的解。因此，在压缩空间中，如果作为解的候选选择出的但在实空间中不是真的解的有很多，则检索效率变差。在PAA的情况下，将平均值作为各段的代表值，由于时序的形状消失所以缺乏压缩后的信息，有在上述所述的检索效率差的问题。例如，如果平滑的时序、向右上的时序、向右下的时序的平均值都相同，则压缩后的值也相同。

SVD能够通过奇值分解很好地抽出数据的形状，上述的检索效率高，但如果数据量多则奇值分解的时间变多，有在现实的时间中无法进行奇值分解的问题。

特开昭61-285870的“变换编码方式”的目的在于提高压缩率，但在用于时序数据的检索的情况下，有以下的问题。在时序数据的检索中，首先为了在压缩空间中检索解的候选，而必须以相同的压缩率对全部段(块)进行压缩，但在上述方式中对于每个块都是不同的压缩率。

发明内容

本发明的时序数据维压缩装置的特征在于具有以下的要素：

(1)针对作为沿着时间轴以一定间隔测量的一连串数据的时序原始数据，在时间轴上每规定间隔地使开始位置错开，作成多个指定长度的时序数据的时序数据作成部件；

(2)针对多个上述时序数据的各个，作成分割为指定的段宽度的部分时序的部分时序作成部件；

(3)将上述分割了的全部部分时序作为对象进行奇值分解的奇值分解执行部件；

(4)将指定个数的高位的奇值分解的成分作为分解为上述各段宽度的部分时序的代表值，生成维压缩时序数据的维压缩时序数据生成部件。

附图说明

图1是表示本发明的实施例1的结构图。

图2是表示时序原始数据150的图。

图3是时序数据151的作成方法的图。

图4是用于进行时序数据151的作成的流程图。

图5是时序数据151的图。

图6是表示将时序数据分割为段的样子的图。

图7是表示开始位置t＝k+2N的部分时序152的图。

图8是表示从k开始的时序151和从k+2N开始的时序251的图。

图9是用SVD执行结果存储部件的内容表示奇值分解的结果的图。

图10是对代表值进行作图后的维压缩时序数据153的图的例子。

图11是压缩数据作成的流程图。

图12是表示本发明的实施例2的结构图。

图13是实施例2的流程图。

图14是设段宽度为16的情况和32的情况的模式图。

图15是到SVD的结果的第2成分为止使用的情况下的SVD执行结果。

图16是表示本发明的实施例3的结构图。

图17是模式地重新表示平均值计算执行部件182的计算结果的图。

图18是中间时序的图。

图19是设压缩后的维数为8维的情况下的SVD执行结果。

图20是硬件结构图。

具体实施方式

实施例1

图1是表示本发明的实施例的结构图。在图中，120是二维存储装置或一维存储装置，是存储了时序原始数据150的时序原始数据存储部件。时序数据作成部件110从时序原始数据存储部件120读入时序原始数据150，作成时序数据151。121是在二维存储装置或一维存储装置中存储由110生成的多个时序数据151的时序数据存储部件。部分时序作成部件112从时序数据存储部件121顺序地读入时序数据151，作成部分时序152，存储在部分时序存储部件122中。部分时序存储部件122是一维存储装置或二维存储装置。SVD执行部件113从部分时序存储部件122读入部分时序152，执行奇值分解，并存储在SVD执行结果存储部件124中。SVD执行结果存储部件124是一维存储装置或二维存储装置。维压缩时序数据生成部件114从SVD执行结果存储部件124读SVD的结果，作成维压缩时序数据153，并存储在维压缩时序数据存储部件123中。维压缩时序数据存储部件123是二维存储装置或一维存储装置。

图2是表示时序原始数据150的图。x轴是时刻t，y轴是时序的值。时刻t的可取的值是从1到m之间的自然数，有m个数据点。最初的数据点用t＝1表示，最后的数据点为t＝m。另外，将数据点的个数称为长度，该情况下的长度是m(时序长度160)。

图3是时序数据151的作成方法的图。时序数据作成部件110从时序原始数据存储部件120读入时序原始数据150，对于长度n的时序一个一个地使时序原始数据的开始点的时刻t错开，由此作成m-n+1个。在此，预先决定长度n。从t＝1开始的时序是时序1，从t＝2开始的时序是时序2，另外从t＝m-n+1开始的时序是时序m-n+1。从t＝m-n+1开始的时序的终点为t＝m，如果从以后的t的值开始，则长度小于n。

进而，考虑部分时序的作成，以后追加n-N个长度小于n并大于等于N的时序。将其称为填补时序。开始时刻t的值是从m-n+2到m-N+1的时序，终点的t的值全部是m。

从m-n+2开始的时序的长度是n-1，

从m-n+3开始的时序的长度是n-2，

从m-N+1开始的时序的长度是N。

图4是用于进行时序数据151的作成的流程图。在S301中，在时序原始数据中设置为时序数据的开始时刻t＝1。在S302中，设置为时序长度＝n。在S303中，读入时序原始数据。在S304中，根据时序开始时刻和时序长度计算时序结束点，调查是否是小于等于m。如果时序结束点小于等于m，则能够作成时序数据，因此前进到S305。在S305中，根据时序开始时刻和时序长度，根据时序原始数据作成时序数据。在S306中，为了作成下一个时序数据，将开始点t增加(increment)，再次返回到S303。在S304中，在时序的结束点超过了m的情况下，无法继续作成时序长度n的时序数据，因此为了作成填补时序数据而前进到S308。在S308中，将时序长度减少。在S309中，调查减少后时序长度是否大于等于N。如果大于等于N，则前进到S310，作成填补时序数据。在S311中，将开始点增加，进行用于作成下一个填补时序数据的准备，前进到S307。在S307中，读入时序原始数据。接着，再次前进到S308。在S309中，如果时序长度变得比N小，则时序数据作成结束。

图5是时序数据151的图。开始位置为k，结束位置为k+n-1，由n个数据点构成。时序数据151是长度为n(检索时序长度161)的时序。

图6是表示将时序数据分割为段的样子的图。将各时序数据151分割为长度N(段宽度162)的段。一个时序数据151被分割为n/N个段。将各个长度N的段作为部分时序152。

图7表示开始位置t＝k+2N的部分时序152。部分时序152由N个数据点构成，长度为N。

部分时序作成部件112通过只选择各个时序数据151的最初的N数据，来作成部分时序数据152。通过对全部时序执行，能够作成开始位置从t＝1到t＝m-n+1的长度N的部分时序。进而，对于时序数据作成部件110作成了的填补时序，也读入最初的N个数据，将其也作成为填补部分时序数据，一起存储在部分时序存储部件122中。在此，预先决定段宽度N。通过如上述那样，能够针对时序原始数据作成开始位置从t＝1到t＝m-N+1的长度N的全部部分时序。

由于全部的时序数据原来都是一个时序原始数据150，所以各时序数据的任意一个段都与上述部分时序的任意一个一致。

如图8所示，从k开始的时序151的第3个段的部分时序与从k+2N开始的时序251的最初的段相同。即，与根据时序251作成的部分时序一致。

SVD执行部件113从部分时序作成部件112读入部分时序数据152，作为行数为m-N+1、列数为N的矩阵执行奇值分解。

奇值分解是如下那样用U、S、V的3个矩阵的积表示任意的m×n矩阵Y，一般是公知的以下公式。

其中，r＝rank(Y)，s₁，s₂，……，s_r是Y^TY的正的固有值的平方根(称为奇值)，s₁≥s₂≥……≥s_r，v₁，v₂，……，v_r是n次的向量，是与Y^TY的固有值s₁ ²，s₂ ²，……，s_r ²对应的固有向量。v₁，v₂，……，v_r其大小为1，并且相互正交。u₁，u₂，……，u_r是m次的向量，用

u_{j} = \frac{1}{s_{j}} Y v_{j}, (j = 1,2, \cdot \cdot \cdot, r)

定义。

U是列中具有u₁，u₂，……，u_r的m×r矩阵，V是列中具有v₁，v₂，……，v_r的n×r矩阵，S是对角要素具有s₁，s₂，……，s_r的r次对角矩阵。

图9用SVD执行结果存储部件的内容表示奇值分解的结果。通过奇值分解，作为各行的代表值抽出上述u₁s₁。即，针对成为奇值分解的对象的行数m-N+1、列数N的矩阵，在行方向上看的情况下，对于第r行，将u1向量的第r个成分与s1的积作为代表值。

第r行是在开始位置的t＝r开始的部分时序，其代表值是u1向量的第r个成分与s1的积。SVD执行部件作成全部段(全部的部分时序)的代表值。

接着，维压缩时序数据生成部件114将上述奇值分解的第一成分作为各段的代表值，生成维压缩时序数据。在开始位置t＝k开始的部分时序151由以下的部分时序构成。

开始位置t＝k、k+N、k+2N、……。

因此，对于该维压缩时序数据，最初的代表值是u1向量的第k个成分与s1的积，下一个代表值是u1向量的第k+N个成分与s1的积。

维压缩时序数据153由n/N个点构成。对于将时序数据151分割为段后的各个部分时序数据执行SVD，对其第一成分进行作图。

图11是压缩数据作成的流程图。时序数据作成部件110从时序原始数据存储部件120读入时序原始数据150，作成时序数据151，并存储在时序数据存储部件121中。接着，部分时序作成部件112从时序数据存储部件121顺序地读入时序数据151，作成部分时序152，并存储在部分时序存储部件122中。接着，SVD执行部件113从部分时序存储部件122读入部分时序，执行奇值分解，并存储在SVD执行结果存储部件124中。维压缩时序数据生成部件114使用SVD执行结果存储部件124的数据，作成维压缩时序数据153，并存储在维压缩时序数据存储部件123中。

说明了其特征是具备以下部件的时序数据维压缩方式：针对如上述那样沿着时间轴以一定间隔测量的一连串数据，在时间轴上使开始位置错开，而作成多个指定长度的时序数据的装置；作成将上述指定长度的各时序数据分割为指定的段宽度的部分时序的装置；将上述分割了的全部部分时序作为对象进行奇值分解的装置；将指定个数的高位的奇值分解的成分(在该情况下为到第一成分为止)作为分解为上述各段宽度的部分时序的代表值的装置；通过组合上述代表值，来压缩上述指定长度的时序数据的维数的装置。

实施例2

图12是表示本发明的实施例的结构图。110、112、113、114、120、121、122、123、124与图1一样。数据分析部件117从时序数据存储部件121读入时序数据151进行分析，决定段宽度和到奇值分解的结果的哪个成分为止有效。

图13是实施例2的流程图。时序数据作成部件110从时序原始数据存储部件120读入时序原始数据150，作成时序数据151并存储在时序数据存储部件121中。

接着，数据分析部件117从时序数据存储部件121读入时序数据进行分析。作为分析的结果，决定段宽度和到奇值分解的结果的哪个成分为止有效，使得检索时命中率最高。在该情况下，到第二成分为止使用。

部分时序作成部件112从时序数据存储部件121中顺序地读入时序数据151，作成部分时序152并存储在部分时序存储部件122中。这时，部分时序的段宽度是数据分析部件117所决定了的值。接着，SVD执行部件113从部分时序存储部件122读入部分时序，执行奇值分解。作为执行的结果，将到由数据分析部件117决定了采用到SVD结果的哪个成分为止的值为止存储在SVD执行结果存储部件中。在该情况下，将到第二成分为止存储在SVD执行结果存储部件中。维压缩时序数据生成部件114使用SVD执行结果存储部件的内容，作成维压缩时序数据153，并存储在维压缩时序数据存储部件123中。

图14是设段宽度为16的情况和32的情况的模式图。通过以下这样求出在将段宽度设为16并到SVD的第一成分为止进行使用的情况下的压缩后的维数。

段数128÷16＝8，段代表值＝1

段数×段代表值＝8

即压缩为8维。

另一方面，通过以下这样求出设段宽度为32并到SVD的第二成分为止进行使用的情况下的压缩后的维数。

段数128÷32＝4，段代表值＝2

段数×段代表值＝8

即压缩为8维。

在设压缩后的维数相同的情况下，段宽度和段代表值的取得方法也有若干个选择分支，其中，决定段宽度和段代表值的个数使得命中率变得最高是数据分析部件117的功能。

图15是到SVD的结果的第2成分为止使用的情况下的SVD执行结果存储部件的内容。在段的第一成分在所有段中是几乎相同的值的情况下，通过延长段宽度并到SVD的第二成分为止进行利用，能够更详细地抽出时序数据的特征，提高检索时的命中率。

说明了具备以下装置的第一方面的时序数据维压缩方式：分析时序数据，判断分割上述时序数据的段宽度和到奇值分解的哪个成分为止进行利用而作为上述部分时序的代表值的装置。

如上所述，根据本发明，通过进行段分割执行SVD，能够抽出与全部数据进行了比较的各段的特征，因此能够作成检索效率高的压缩数据。另外，与单纯执行SVD的情况相比，由于成为对象的矩阵的行数相同但列数为N/n，所以能够更高速地执行。

实施例3

图16是表示本发明的实施例的结构图。在图中，110、114、120、121、123、124与图1一样。中间维数决定部件181决定用于计算平均值的宽度。平均值计算执行部件182以中间维决定部件所指定的平均值宽度计算时序数据的平均值，并将结果存储在平均值计算结果存储部件191中。中间时序作成部件183将平均值宽度的代表值作为其平均值，从而作成中间时序155，并存储在中间时序存储部件192中。SVD执行部件113针对中间时序存储部件192执行奇值分解。

中间维数决定部件181读入时序原始数据进行分析，决定中间维p和取得平均的段宽度。取得平均的宽度为时序数据单调增加或减少的范围内。

图17是模式地重新表示平均值计算执行部件182的计算结果的图。如果设时序151的长度为n，中间维数为p，则取得平均的段宽度为n/p。例如在时序长度是128，中间维是32的情况下，取得平均的段宽度为128/32＝4。平均值计算执行部件182针对时序原始数据150，一边一个一个地错开开始时刻t，一边对每个数据点计算平均值，并将结果存储在平均值计算结果存储部件191中。

图18是中间时序的图。中间时序作成部件183将各时序151分解为取得平均的段宽度，从平均值计算结果存储部件191的内容中取出各个代表值，作成中间时序155，存储在中间时序存储部件192中。

图19是设压缩后的维数为8维的情况下的SVD执行结果存储部件124的内容。SVD执行部件113从中间时序存储部件192读入中间时序155，作为行数m-n+1、列数p的矩阵执行奇值分解，将结果存储在SVD执行结果存储部件124中。为了使压缩后的维数为8维，存储到第8成分的值为止。

接着，维压缩时序数据生成部件114对到上述奇值分解的第8成分为止进行使用，生成维压缩时序数据。即，用以下的8个数据近似地表示各时序151，生成维压缩时序数据。

(s₁u₁，s₂u₂，s₃u₃，s₄u₄，s₅u₅，s₆u₆，s₇u₇，s₈u₈)

说明了其特征为具备以下装置的时序数据维压缩方式：针对指定长度的多个时序数据，决定取得平均的段宽度的装置；针对上述各时序对每个取得平均的段宽度计算平均值的装置；将平均值作为段代表值作成中间时序的装置；将各个中间时序作为对象进行奇值分解的装置；将指定个数的高位的奇值分解的成分作为上述中间时序的压缩数据的装置。

如上所述，根据本发明，通过以时序数据单调变化的宽度取得平均值，能够不丢失数据的特征地削减数据量。进而，通过对削减了的数据量执行SVD，能够高速地进行奇值分解，另外还能够抽出数据的特征。

时序数据维压缩装置可以是计算机，各要素可以通过程序执行处理。另外，可以将程序存储在存储介质中，由计算机从存储介质进行读取。

图20是表示时序数据维压缩装置的硬件结构例子的图。在该例子中，在总线上连接有计算装置2001、存储器2002、硬盘2003、显示装置2004。程序例如被存储在硬盘2003中，在被装载到存储器2002中的状态下，被顺序地读入到计算装置2001中进行处理。

本发明能够不丢失数据的特征地进行提高时序数据的检索效率的维压缩。另外，能够压缩为决定的维数，抽出其中更多的信息。

Claims

1.一种时序数据维压缩装置，其特征在于包括：

2.根据权利要求1所述的时序数据维压缩装置，其特征在于：

时序数据维压缩装置通过组合上述代表值，来压缩上述指定长度的时序数据的维数。

3.根据权利要求1所述的时序数据维压缩装置，其特征在于还包括：

数据分析部件，它分析上述时序数据，针对分割该时序数据的段宽度和奇值分解，判断对到哪个成分为止进行利用而作为上述部分时序的代表值。

4.一种时序数据维压缩装置，其特征在于包括：

(2)针对多个上述时序数据的各个，对上述指定长度的多个时序数据，决定用于取得平均的段宽度的中间维数决定部件；

(3)针对上述各时序，对用于取得上述平均的每个段宽度计算平均值的平均值计算执行部件；

(4)作成将计算出的上述平均值作为段代表值的中间时序的中间时序作成部件；

(5)将各个中间时序作为对象，进行奇值分解的奇值分解执行部件；

(6)将指定个数的高位的奇值分解的成分作为上述中间时序的压缩数据的维压缩时序数据生成部件。