CN116049684A

CN116049684A - 一种基于动态时间规整的时序数据相似度度量方法及系统

Info

Publication number: CN116049684A
Application number: CN202211576824.4A
Authority: CN
Inventors: 罗俊超
Original assignee: Sichuan XW Bank Co Ltd
Current assignee: Sichuan XW Bank Co Ltd
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2023-05-02

Abstract

本发明公开一种基于动态时间规整的时序数据相似度度量方法及系统，涉及计算机技术领域，现有技术存在时序数据来源于同一设备或相似设备不适合针对非同源时序数据判别相似度并且不是每一个时序数据样本判别具体的相似程度的问题，本发明将收集到的有效时序数据和备选时序数据先利用归一化处理初步筛查，筛查中无法直接判断的则利用动态时间规整计算相似度，找出与备选时序数据相似度最高的部分有效时序数据逐一对比，分别寻找最大相似子集并返回相应结果；本发明利用共性集合初步筛选在数据量较大时提高效率，筛选中无法直接判断的则利用动态时间规整方法进行相似度计算可提高准确率并且返回数据不仅包括相似度和相似子集还包括相似原始数据子集。

Description

一种基于动态时间规整的时序数据相似度度量方法及系统

技术领域

本发明涉及计算机技术领域，具体涉及一种基于动态时间规整的时序数据相似度度量方法及系统。

背景技术

随着计算机技术的发展，很多线下记录的数据会转到线上进行管理，而随着数据越来越多，管理起来也比较困难，有时候接收到在真实数据的基础上稍加修改的虚假数据难以识别，而人工逐一识别在面对大量数据时则有些捉襟见肘，因此需要对待转入线上保存的数据进行自动验证管理，判断数据的真伪。比如来自于供应商的数据，在实际操作中发现有将某一企业的订单数据进行处理后移植给其他企业，因此将数据植入名单库前，需要判别将植入的数据是可信的数据，对其进行相似性校验，以期挖掘出存疑数据。时间序列是数据的一种常见表示形式，对于时间序列处理来说，一个普遍的任务就是比较两个序列的相似性，在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，而动态时间规整方法通过把未知量伸长或缩短(压扩)，直到与参考模板的长度一致，在这一过程中，未知量的时间轴会产生扭曲或弯折，以便其特征量与标准模式对应。

现有方法中最接近的是以匹配数据模式为目标，通过时序数据集与模式数据库中的数据集间的相似度来判断数据模式是否重现；以此判断时序数据是否发生概念偏移，如果发生偏移则将新模型添加如模式数据库中，详见申请公开号为CN114357037A的发明专利。

现有技术和方法，时序数据来源于同一设备或相似设备，其数据具有在固定均值和方差波动的特性，而不适合针对非同源数据判别相似度；此外，现有技术和方法以模式数据库为依据寻找近似匹配模式，而非针对每一个时序数据样本判别具体的相似程度。

发明内容

为了解决上述现有技术中存在的问题，本发明拟提供了一种基于动态时间规整的时序数据相似度度量方法及系统，拟解决现有时序数据相似性度量方法不适合针对非同源数据判别相似度且并非针对每一个时序数据样本判别具体的相似程度的问题。

一种基于动态时间规整的时序数据相似度度量方法，包括如下步骤：

步骤1：获取待处理的时序数据，时序数据分为有效时序数据和备选时序数据，然后对获取到的所有时序数据进行归一化处理；

步骤2：选取步骤1归一化处理后的部分有效时序数据和部分备选时序数据进行组合并计算共性集合，再进行对比筛选判断；若根据共性集合可直接得出判定结果则无需进行步骤3处理；

步骤3：若步骤2选取的有效时序数据和备选时序数据计算共性集合无法直接判定结果则利用动态时间规整方法进行进一步的相似性度量得到相似度；

步骤4：循环步骤2到3直到一条备选时序数据和所有有效时序数据之间进行筛选计算，依据相似度选取部分有效时序数据与备选时序数据进行逐一对比，寻找出该备选时序数据与各有效时序数据相似的最大子集，同时还原原始时序数据相似最大子集，并返回选取的有效时序数据与该备选时序数据的之间的相似度、相似的最大子集和最大子集对应的原始数据；

步骤5：循环步骤2到步骤4直到所有备选时序数据与所有有效时序数据之间均完成筛选计算。

优选的，所述有效时序数据和所述备选时序数据的关系为，部分备选时序数据可能涵盖有虚假时序数据，而虚假时序数据为增加真实性是依据有效时序数据编造的，部分虚假时序数据较有效时序数据仅存在着简单的振幅平移和振幅伸缩。

优选的，所述归一化处理包括每一条时序数据中的相邻元素进行一阶差分处理消除振幅平移，再进行求商消除振幅伸缩。

优选的，基于步骤1处理过的时序数据，选取一条有效时序数据和一条备选时序数据组合计算共性集合进行对比筛选。

优选的，筛选有三种筛选结果，筛选结果1所选有效时序数据与备选时序数据之间的共性集合完全不同，则判定所选有效时序数据与备选时序数据毫不相关，忽略该组合；筛选结果2所选有效时序数据与备选时序数据共性集合完全相同，则判定所选有效时序数据和备选时序数据完全相关即判定该备选时序数据为异常时序数据；筛选结果3所选有效时序数据与备选时序数据共性集合有部分相同，则此时无法直接判定，需进行进一步相似性度量。

优选的，所述异常时序数据在被发现时则直接还原原始时序数据并返回相应原始时序数据和异常判定结果。

优选的，所述步骤3中的动态时间规整方法为计算两个序列各个点之间的距离矩阵，寻找一条从矩阵左上角到右下角的路径，使得路径上的元素和最小。

优选的，所述步骤4中，所述依据相似度选取部分有效时序数据的选取办法有两种：第一种是依据相似度排序选取排名靠前的n条有效时序数据；第二种是依据相似度情况确定一个阈值，选取大于阈值的有效时序数据，其中1≤n≤10。

优选的，所述步骤2中，选取数据规则为先选取一条备选时序数据与轮流所有有效时序数据进行组合，筛选判定和可能的动态时间规整完毕后，再选取下一条备选时序数据直到所有有效时序数据判断完成。

一种基于动态时间规整的时序数据相似度度量系统，包括数据采集处理模块，判定模块；其中数据采集处理模块用于采集有效时序数据和备选时序数据并进行归一化处理传输到判定模块；所述判定模块包括筛选模块和动态时间规整模块，经过归一化处理的数据先交由筛选模块，筛选模块利用共性集合进行筛选判定，判定数据是否为异常数据或者安全数据然后返回结果，若筛选模块遇到无法直接判定的数据则交由动态时间规整模块进行相似度度量再返回结果。

本发明的有益效果包括：

采用共性集合初步筛选加快计算，在实际数据量较大时，可以将其中不符合对比标准的先排除，再在剩余数据中寻找；采用动态时间规整方法不仅可以找到处理后的最高相似度的时间序列，还可以找到对应的处理前的原始数据的时间序列，因此返回值中不仅包括相似度，还包含相似子集以及相似原数据子集。

附图说明

图1为实施例1一种基于动态时间规整的时序数据相似度度量方法流程示意图。

图2为实施例1处理数据经过动态时间规整算法的流程示意图。

图3为实施例2一种基于动态时间规整的时序数据相似度度量方法系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

下面结合附图1对本发明的具体实施例做详细的说明；

对应上述步骤1：

从已载入电脑的数据库中获取数据，数据主要分为两部分，一部分为已在名单库中的有效时序数据，另一部分为预植入名单库待校验的备选时序数据。备选时序数据来自于供应商，在实际操作中发现有将某一企业的订单数据进行处理后移植给其他企业，因此将备选时序数据植入名单库前，需要判别将植入的时序数据是否为可信的数据，对其进行相似性校验，以期挖掘出存疑时序数据，有些存疑时序数据针对有效时序数据仅存在着简单的振幅平移和振幅压缩，数据整理主要是将原始时序数据归一化，消除振幅平移和振幅压缩的效应获取与时序数据相对应的数据集，其归一化操作原理如下：

首先，假设分别有两组备选时序数据y₁和y₂,其分别是由x₁和x₂两组有效原始时序数据而来，其中x₁和x₂为相同的有效原始时序数据，则y₁和y₂只在金额轴上平移或伸缩固定单位的距离：

y₁＝x₁

y₂＝βx₂+μ

对原始数据进行一阶差分处理，消除金额轴上的振幅平移：

z₁₁＝y₁₂-y₁₁＝x₁₂-x₁₁

z₂₁＝y₂₂-y₂₁＝(βx₂₂+μ)-(βx₂₁+μ)＝β(x₂₂-x₂₁)

对上述数据结果，再通过相邻两个金额元素做除，消除金额轴上的振幅伸缩效应：

w₁₁＝z₁₂/z₁₁＝(x₁₃-x₁₂)/(x₁₂-x₁₁)

以此类推，可计算至w_1n，w_2n。

对应上述步骤2：

在进行归一化处理后的数据集中选取有效数据集y₁和备选数据集y₂利用共性集合进行初步筛选，筛选过程如下：

1、备选数据集y₁与有效数据集y₂之间只存在振幅平移和振幅伸缩效应，则原始数据经过变换后的数据集将完全一致，即：

w₁₁＝w₂₁,w₁₂＝w₂₂,w₁₃＝w₂₃,…,w_1n＝w_2n；

此时则可直接判定归一化处理之前的备选时序数据为异常数据，将备选数据集和有效数据集还原为变换前的备选时序数据和有效时序数据，然后将变换后的数据集和变换前的时序数据一起输出；

2、若备选时序数据y₁和y₂经过归一化处理后的数据集并非完全一致则计算对比的两个时间序列变换后的数据集中是否存在相同元素，来判别数据是否满足最基本的相似性定义，如果不满足，则将该部分数据提前筛选丢弃，即早弃。

W₁＝{w₁₁,w₁₂,w₁₃,…,w_1n}

W₂＝{w₂₁,w₂₂,w₂₃,…,w_2n}

W′₁＝list(W₁)；W′₂＝list(W₂)；W′＝list(W₁+W₂)

L₁＝len(W′₁)；L₂＝len(W′₂)；L＝len(W′)

其中，W′₁、W′₂和W′为去重后的数据集合，L₁、L₂和L为集合元素个数。若L₁+L2＝L则表名两个时间序列间不存在相同元素，故将满足该条件的预对比时间序列筛除；

3、若L₁+L2<L则表明两个时间序列间存在相同元素，则需进入步骤3利用动态时间规整算法将满足条件的预对比时间序列进行相似性度量。

对应上述步骤3：

经过步骤2共性集合能直接判定筛除的数据即为早弃的数据，步骤3主要针对步骤2无法早弃的数据即无法直接判断的有效数据集和备选数据集组合利用动态时间规整方法计算相似度，具体示意图参考附图2，动态时间规整方法计算相似度具体步骤如下：

两个数据集作为时间序列Q和C，他们的长度分别是n和m：

Q＝[q₁,q₂,…,q_n]

C＝[c₁,c₂,…,c_m]

若n＝m，可直接计算两个序列的距离，得到两个序列之间的相似度；n≠m，则需要线性缩放，即把短的序列线性放大到和长序列一样的长度，或者把长的线性缩短到和短序列一样的长度，再进行比较。

为对齐两个序列，构造一个n×m的矩阵网格，矩阵(i,j)处的元素为q_i和c_j两个点的距离d(q_i,c_j)，即序列Q的每一个点和C的每一个点之间的相似度，距离越小则相似度越高，一般采用欧式距离，即d(q_i,c_j)＝(q_i-c_j)²。该方法可以归结为寻找一条通过此网格中若干格点的路径，路径通过的格点即为两个序列进行计算的对齐的点。

我们把这条路径定义为规整路径，并用W来表示，w的第k个元素定义为w_k＝(i,j)_k，

W＝w₁,w₂,…,w_k,…,w_K max(m,n)≤K<m+n-1

这条路径需要满足以下几个约束：

(1)边界条件——所选的路径必定是从左下角出发，在右上角结束：

w₁＝(1,1)

w_K＝(m,n)

(2)连续性——只能和相邻的点对齐：

若w_k-1＝(a′,b′)，则路径的下一个点w_k＝(a,b)需要满足

(a-a′)≤1

(b-b′)≤1

(3)单调性——限制W上面的点必须是随着时间单调进行的：

如果w_k-1＝(a′,b′)，那么对于路径的下一个点w_k＝(a,b)需要满足：

0≤(a-a′)

0≤(b-b′)

综合连续性和单调性约束，每一个格点的路径只有三个方向，满足以上约束条件的路径可以有指数个，使得规整代价最小的路径可通过动态规划算法得到。

对应上述步骤4：

判断该备选数据集是否与所有有效数据集组合完成筛选和相似度计算，如若没有则循环步骤2到步骤3直到该备选数据集与所有有效数据集组合完成筛选和相似度计算，然后选取其中相似度排序前10的有效数据集逐一与备选数据集对比，找出各自最大的相似子集并还原最大相似子集的原始数据并返回选取的有效时序数据与该备选时序数据的之间的相似度、相似的最大子集和最大子集对应的原始数据。

对应上述步骤5：

判断是否所有备选数据集都与所有有效数据集完成组合判断，如若没有则继续选取下一条备选数据集，然后循环步骤2到步骤4直到所有备选数据集与所有有效数据集之间完成筛选和相似度计算。

本发明采用共性集合初步筛选加快计算，在实际数据量较大时，可以将其中大量不符合对比标准的先排除，再在剩余数据中寻找；采用动态时间规整方法不仅可以找到处理后的最高相似度的时间序列，还可以找到对应的处理前的原始数据的时间序列，因此返回值中不仅包括相似度，还包含相似子集以及相似原数据子集。

实施例2

参照附图3，附图3所示一种基于动态时间规整的时序数据相似度度量系统的结构示意图。应理解，该系统与上述附图2方法实施例对应，能够执行附图2方法实施例涉及的各个步骤，该系统具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。如附图3所示该系统包括数据采集处理模块，判定模块；其中数据采集处理模块用于采集有效时序数据和备选时序数据并进行一阶差分求商处理，将处理过的数据传输到判定模块；所述判定模块包括筛选模块和动态时间规整模块，先从数据采集处理模块传输给判定模块的数据中选取一条有效数据集和一条备选数据集作为组合交由筛选模块，筛选模块计算二者间的共性集合，若所得共性集合完全相同则判定该备选数据集为异常数据，将该组合包含的两条数据集还原为原始数据并返回相应结果；若所得共性集合完全不同，则判定该备选数据集针对该有效数据集不是异常数据，则对该组合进行忽略；若所得共性集合部分相同，则无法直接判定组合中该备选数据的情况，则将该组合交由动态时间规整模块计算相似度并存储，直到一条备选数据集与所有有效数据集筛选判断完毕后，找出与该备选数据集相似度最高的部分有效数据集，分别计算该备选数据集与它们之间的最大相似子集，针对最大相似子集还原原始数据并返回相应结果。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims

1.一种基于动态时间规整的时序数据相似度度量方法，其特征在于，包括如下步骤：

步骤4：循环步骤2到3直到一条备选时序数据和所有有效时序数据之间进行筛选计算，依据相似度选取部分有效时序数据与备选时序数据进行逐一对比，寻找出该备选时序数据与选取的各有效时序数据相似的最大子集，同时还原原始时序数据相似最大子集，并返回选取的有效时序数据与该备选时序数据的之间的相似度、相似的最大子集和最大子集对应的原始数据；

2.根据权利要求1所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，在所述步骤1中，所述有效时序数据和所述备选时序数据的关系为，部分备选时序数据可能涵盖有虚假时序数据，而虚假时序数据为增加真实性是依据有效时序数据编造的，部分虚假时序数据较有效时序数据仅存在着简单的振幅平移和振幅伸缩。

3.根据权利要求2所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述归一化处理包括每一条时序数据中的相邻元素进行一阶差分处理消除振幅平移，再进行求商消除振幅伸缩。

4.根据权利要求1所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述步骤2中，基于步骤1处理过的时序数据，选取一条有效时序数据和一条备选时序数据组合计算共性集合进行对比筛选。

5.根据权利要求4所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述步骤2中，筛选有三种筛选结果，筛选结果1所选有效时序数据与备选时序数据之间的共性集合完全不同，则判定所选有效时序数据与备选时序数据毫不相关，忽略该组合；筛选结果2所选有效时序数据与备选时序数据共性集合完全相同，则判定所选有效时序数据和备选时序数据完全相关即判定该备选时序数据为异常时序数据；筛选结果3所选有效时序数据与备选时序数据共性集合有部分相同，则此时无法直接判定，需进行进一步相似性度量。

6.根据权利要求5所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述异常时序数据在被发现时则直接还原原始时序数据并返回相应原始时序数据和异常判定结果。

7.根据权利要求1所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述步骤3中的动态时间规整方法为计算两个序列各个点之间的距离矩阵，寻找一条从矩阵左上角到右下角的路径，使得路径上的元素和最小。

8.根据权利要求1所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述步骤4中，所述依据相似度选取部分有效时序数据的选取办法有两种：第一种是依据相似度排序选取排名靠前的n条有效时序数据；第二种是依据相似度情况确定一个阈值，选取大于阈值的有效时序数据。

9.根据权利要求1所述的一种基于动态时间规整的时序数据相似度度量方法，其特征在于，所述步骤2中，选取数据规则为先选取一条备选时序数据轮流与所有有效时序数据进行组合，筛选判定和可能的动态时间规整完毕后，再选取下一条备选时序数据直到所有有效时序数据判断完成。

10.一种基于动态时间规整的时序数据相似度度量系统，其特征在于，包括数据采集处理模块，判定模块；其中数据采集处理模块用于采集有效时序数据和备选时序数据并进行归一化处理传输到判定模块；所述判定模块包括筛选模块和动态时间规整模块，经过归一化处理的数据先交由筛选模块，筛选模块利用共性集合进行筛选判定，判定数据是否为异常数据或者安全数据然后返回结果，若筛选模块遇到无法直接判定的数据则交由动态时间规整模块进行相似度度量再返回结果。