CN109587350A - 一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法 - Google Patents

Abstract

本发明公开了一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，属于数据挖掘与机器学习和商务智能领域。首先构造训练用户数据集，回溯被叫用户全部通话记录，形成各被叫用户通话序列。利用cos相似度函数，计算序列结构相似度和统计特征相似度并进行线性组合，得到加和相似度。然后通过K‑Means聚类模型得到K类用户，构成独立的序列训练数据集，通过滑动时间窗口，形成K个训练集。最后在每个训练集上训练iForest模型，得到K个异常检测模型。每个被叫用户通过对应的异常检测模型识别异常，当最大值高于阈值h时，该被叫用户是高风险的被叫用户。每过固定时间段更新K‑Means模型和异常检测模型。本发明缓解了数据稀疏性问题，发现基于群组的异常特征。

Description

一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测 方法

技术领域

本发明涉及一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，属于数据挖掘与机器学习和商务智能领域。

背景技术

近年来我国电信诈骗案件时有发生，威胁到了人民的财产安全和社会的稳定。因此如何利用数据挖掘中的分类和异常检测等方法实现高风险被叫的识别和检测，对监管部门和整个社会来说都具有着重要的现实意义。

由于这类异常难以从静态截面数据中进行捕获，只能从序列的角度进行考虑。但是，针对电信通话序列的异常检测问题，首先需要面临数据稀疏的问题：尤其在国际通话端，大部分被叫一个月内的平均通话次数小于5次。如此短的通话序列难以使用传统方法直接进行处理。另一方面，诈骗团伙的诈骗行为存在一定的演化和时变模式，不同时间段的诈骗行为可能表现出不同的特征，算法需要能够检测出各子时间段的不同异常，且需要能够适应异常的时间变化。

实际上，这种现象在实际应用场景中广泛存在，如网络入侵检测等。因此需要一种能够在大规模稀疏数据中进行时变演化的序列异常检测的方法。

发明内容

有鉴于序列异常行为的动态性以及在大规模稀疏数据中进行序列异常检测的难度和挑战，同时考虑到用户行为的相似性，本发明构建了一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法。

具体步骤如下：

步骤一、收集电信网络中的呼叫详细数据，从中提取某时间段内的所有被叫用户，构造训练用户数据集。

步骤二、针对用户数据集中每个被叫用户，设定历史时长X，回溯在过去X时长中的全部通话记录，形成各被叫用户的通话序列。

X为正数；每个被叫用户下分别对应一条通话序列，该通话序列包括该被叫用户的所有通话记录。

步骤三、对各被叫用户的通话序列，分别提取静态统计特征；同时利用DTW转换算法抽取序列结构特征。

所述的静态统计特征包括通话次数、平均通话时长、平均通话间隔、呼叫地域离散度以及呼叫时间离散度。

步骤四、针对任意被叫用户i和j的通话序列，基于这两个被叫用户抽取的序列结构特征，利用cos相似度函数，定义该两条通话序列之间的距离，作为序列基于结构上的相似度；同时基于这两个被叫用户提取的静态统计特征，利用cos相似度函数，计算序列基于统计特征的相似度。

cos相似度函数公式为：

similarity(i,j)＝A_i·A_j/‖A_i‖·‖A_j‖’

其中，A_i表示第i条通话序列的特征向量；A_j表示第j条通话序列的特征向量。

步骤五、设定线性加权系数，对序列基于结构上的相似度以及序列基于统计特征的相似度进行线性组合，得到加和相似度作为衡量被叫用户i和j的相似度的指标。

计算公式为：

加和相似度＝α·结构相似度+(1-α)·静态特征相似度,0≤α≤1

步骤六、基于所有被叫用户之间的加和相似度，在训练用户数据集上训练K-Means聚类模型，得到K类用户。

K值由分析精度和数据稀疏程度共同决定；每类用户的行为之间具有很强的相似性。

步骤七、提取每类用户在过去固定时长中的全部通话记录，构成独立的序列训练数据集；

固定时长为任意选取的一段时间，用户按照需求自定义。

独立的序列训练数据集共K个。

步骤八、设定窗口长度为k，步长为s，分别在每个独立的序列数据训练集上滑动时间窗口，计算每一个时间窗口内的多维统计特征，作为一个数据点，最终形成K个独立的关于时间窗口特征的训练集。

多维统计特征主要包括呼叫时间间隔均值、离散化之后的熵、极低呼叫时间间隔比例、极高呼叫时间间隔比例、呼叫等待间隔均值、呼叫等待间隔方差、通话时长均值、离散化之后的熵、极低通话时长比例、极高通话时长比例、呼叫成功比例、呼叫成功次数、平均每天通话次数等。

步骤九、分别在每个独立的关于时间窗口特征的训练集上训练iForest模型，得到K个不同的异常检测模型。

步骤十、针对每个被叫用户，使用该用户所属类别对应的异常检测模型识别异常，输出各时间窗口上的异常得分，取最大值作为该用户的异常得分，当异常得分高于阈值h时，即认为该被叫用户在近期是一个高风险的被叫用户。

步骤十一、每过固定时间段重新收集被叫用户，构造训练用户数据集，重复上述步骤，训练新的K-Means模型和新的异常检测模型，发现高风险的被叫用户，以适应诈骗行为和诈骗模式的动态演化。

本发明的优点在于：

1、本发明基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，对于两个用户的通话序列的相似性度量使用线性加权，同时考虑了统计和序列结构上的两种相似度。

2、本发明基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，利用K-Means模型对用户进行组上的建模，有效缓解了数据的稀疏性问题，且能够发现一些基于群组的异常特征。

3、本发明基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，采用滑动时间窗口对子序列的异常进行建模，能更好的应用于时变异常的检测。

附图说明

图1是本发明基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法的原理图；

图2是本发明基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法的流程图。

具体的实施方式

下面结合附图对本发明进行进一步说明。

本发明提供的一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，其原理如图1所示，首先，输入一个被叫用户，判断是否为测试被叫，如果是，则回溯在过去X时长中的全部通话记录，形成各被叫用户的通话序列；对各被叫用户的通话序列，分别提取静态统计特征和利用DTW转换算法抽取序列结构特征。针对任意两个被叫用户的通话序列，利用cos相似度函数分别计算序列基于结构上的相似度和序列基于统计特征的相似度。设定线性加权系数进行线性组合，训练K-Means聚类模型，完成对用户的分类；利用滑动时间窗口，计算每类用户独立的关于时间窗口特征的训练集。最后，对不同类别的用户训练个性化的异常检测模型识别异常；如果输入的被叫用户不是测试被叫，则加入训练数据集，并回溯在过去X时长中的全部通话记录，形成各被叫用户的通话序列；重复上述步骤。

通过对用户的通话序列进行统计和结构上的相似性分析完成聚类，形成在用户组级别上的建模，有助于缓解原始CDR数据的稀疏性。同时对用户的通话序列使用滑动时间窗口算法切分为更短的子序列，提取具有代表性的统计特征和通联关系特征，对不同类别的用户训练个性化的异常检测模型，通过对序列的切分，可以有效的处理序列异常行为的动态性。上述模型每隔一段时间应当重新训练，以更好的适应异常行为和异常模式的动态演化。

通过以下实施例，对本申请一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，进一步进行说明，如图2所示，具体步骤如下：

步骤一：收集电信网络中某段时间内的呼叫详细数据(Call Detail Record，简称CDR数据)，提取第t刻至第t+T时刻的所有被叫用户，构造训练用户数据集。

T值的选取需要保证训练集中任意一个用户的通话次数不能小于2。

本实施例中选取最近3天的所有被叫用户，构造训练用户数据集。

步骤二：针对用户数据集中每个被叫用户，设定历史时长X，回溯在过去X时长中的全部通话记录，形成各被叫用户的通话序列。

本实施例中设定X为10天，回溯训练用户数据集中每个被叫用户在过去10天中的全部通话记录，形成被叫用户在这10天的通话序列。

步骤三：对各被叫用户的通话序列，提取包括通话次数、平均通话时长、平均通话间隔、呼叫地域离散度、呼叫时间离散度等静态统计特征，同时利用DTW转换算法抽取序列结构特征。

步骤四：针对任意被叫用户i和j的通话序列，基于这两个被叫用户抽取的序列结构特征，利用cos相似度函数，定义该两条通话序列之间的距离，作为序列基于结构上的相似度；同时基于这两个被叫用户提取的静态统计特征，利用cos相似度函数，计算序列基于统计特征的相似度。

cos相似度函数公式为：

similarity(i,j)＝A_i·A_j/‖A_i‖·‖A_j‖,

其中，A_i表示第i条通话序列的特征向量；A_j表示第j条通话序列的特征向量。

利用cos相似度函数得到两条通话序列之间的距离在0～1之间时，可直接作为两条通话序列之间的相似度。

步骤五、设定线性加权系数α，对序列基于结构上的相似度以及序列基于统计特征的相似度进行线性组合，得到加和相似度作为衡量被叫用户i和j的相似度的指标。

计算公式为：

加和相似度＝α·结构相似度+(1-α)·静态特征相似度,0≤α≤1

在本实施例中设定线性加权系数α为0.8。

步骤六、基于所有被叫用户之间的加和相似度，在训练用户数据集上训练K-Means聚类模型，得到K类用户。

K值由分析精度和数据稀疏程度共同决定，本实施例中K取5，得到5类用户；每类用户的行为之间具有很强的相似性。

步骤七、提取每类用户在过去10天中的全部通话记录，构成5个独立的序列训练数据集；

步骤八、设定窗口长度为5，步长为1，分别在5个独立的序列数据训练集上滑动时间窗口，计算每一个时间窗口内的30维统计特征，作为一个数据点，最终形成5个独立的关于时间窗口特征的训练集。

多维统计特征主要包括呼叫时间间隔均值、离散化之后的熵、极低呼叫时间间隔比例、极高呼叫时间间隔比例、呼叫等待间隔均值、呼叫等待间隔方差、通话时长均值、离散化之后的熵、极低通话时长比例、极高通话时长比例、呼叫成功比例、呼叫成功次数、平均每天通话次数等。

步骤九、分别在每个独立的关于时间窗口特征的训练集上训练iForest模型，得到5个不同的异常检测模型。

步骤十、针对每个被叫用户，使用该用户所属类别对应的异常检测模型识别异常，输出各时间窗口上的异常得分，取最大值作为该用户的异常得分，当异常得分高于阈值h时，即认为该被叫用户在近期是一个高风险的被叫用户。

h是一个领域和用户自适应的超参，当要求识别准确率比较高时可以设置一个较大的h值，当要求识别召回率比较高时可以设置一个较小的h值，默认值可以取最为常用的0.5。

步骤十一、每过固定时间段重新收集被叫用户，构造训练用户数据集，重复上述步骤，训练新的K-Means模型和新的异常检测模型，发现高风险的被叫用户，以适应诈骗行为和诈骗模式的动态演化。

通常情况下，可以选择一周的时间间隔进行异常检测模型的更新。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (4)

1.一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，其特征在于，具体步骤如下：

步骤一、收集电信网络中的呼叫详细数据，从中提取某时间段内的所有被叫用户，构造训练用户数据集；

步骤二、针对用户数据集中每个被叫用户，设定历史时长X，回溯在过去X时长中的全部通话记录，形成各被叫用户的通话序列；

X为正数；每个被叫用户下分别对应一条通话序列，该通话序列包括该被叫用户的所有通话记录；

步骤三、对各被叫用户的通话序列，分别提取静态统计特征；同时利用DTW转换算法抽取序列结构特征；

步骤四、针对任意被叫用户i和j的通话序列，基于这两个被叫用户抽取的序列结构特征，利用cos相似度函数，定义该两条通话序列之间的距离，作为序列基于结构上的相似度；同时基于这两个被叫用户提取的静态统计特征，利用cos相似度函数，计算序列基于统计特征的相似度；

cos相似度函数公式为：

similarity(i,j)＝A_i·A_j/‖A_i‖·‖A_j‖’

其中，A_i表示第i条通话序列的特征向量；A_j表示第j条通话序列的特征向量；

步骤五、设定线性加权系数，对序列基于结构上的相似度以及序列基于统计特征的相似度进行线性组合，得到加和相似度作为衡量被叫用户i和j的相似度的指标；

计算公式为：

加和相似度＝α·结构相似度+(1-α)·静态特征相似度,0≤α≤1

步骤六、基于所有被叫用户之间的加和相似度，在训练用户数据集上训练K-Means聚类模型，得到K类用户；

步骤七、提取每类用户在过去固定时长中的全部通话记录，构成独立的序列训练数据集；

固定时长为任意选取的一段时间，用户按照需求自定义；

独立的序列训练数据集共K个；

步骤八、设定窗口长度为k，步长为s，分别在每个独立的序列数据训练集上滑动时间窗口，计算每一个时间窗口内的多维统计特征，作为一个数据点，最终形成K个独立的关于时间窗口特征的训练集；

步骤九、分别在每个独立的关于时间窗口特征的训练集上训练iForest模型，得到K个不同的异常检测模型；

步骤十、针对每个被叫用户，使用该用户所属类别对应的异常检测模型识别异常，输出各时间窗口上的异常得分，取最大值作为该用户的异常得分，当异常得分高于阈值h时，即认为该被叫用户在近期是一个高风险的被叫用户；

步骤十一、每过固定时间段重新收集被叫用户，构造训练用户数据集，重复上述步骤，训练新的K-Means模型和新的异常检测模型，发现高风险的被叫用户，以适应诈骗行为和诈骗模式的动态演化。

2.如权利要求1所述的一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，其特征在于，步骤三中所述的静态统计特征包括通话次数、平均通话时长、平均通话间隔、呼叫地域离散度以及呼叫时间离散度。

3.如权利要求1所述的一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，其特征在于，所述的K值由分析精度和数据稀疏程度共同决定。

4.如权利要求1所述的一种基于滑动时间窗口聚合的电信诈骗电话的序列异常检测方法，其特征在于，步骤八中所述的多维统计特征包括呼叫时间间隔均值、离散化之后的熵、极低呼叫时间间隔比例、极高呼叫时间间隔比例、呼叫等待间隔均值、呼叫等待间隔方差、通话时长均值、离散化之后的熵、极低通话时长比例、极高通话时长比例、呼叫成功比例、呼叫成功次数和平均每天通话次数。