CN111210343B - 一种基于不平衡流数据分类的信用卡欺诈检测方法 - Google Patents

Abstract

本发明公开了一种基于不平衡流数据分类的信用卡欺诈检测方法。本发明信用卡流数据分类模型中包含了基于袋装的信用卡流数据过采样机制，信用卡流数据多类型概念漂移处理机制、信用卡流数据基础分类器加权机制、信用卡流数据集成剪枝机制以及分类预测机制。本发明无需保留任意过去时刻的信用卡流数据小样本，可以对类别分布不平衡的信用卡动态流数据进行有效地分类预测，以检测到信用卡欺诈交易数据。

Description

一种基于不平衡流数据分类的信用卡欺诈检测方法

技术领域

本发明涉及一种基于不平衡流数据分类的信用卡欺诈检测方法。

背景技术

信用卡的广泛使用，在为商家和用户交易带来极大方便的同时，也面临大量的信用卡欺诈，我国金融机构每年因信用卡欺诈损失数十亿元。信用卡欺诈是当前大数据金融时代国家与社会特别是银行业面临的一个金融风险，如何实现信用卡流数据欺诈检测是金融机构需要解决的一个重要技术问题和社会问题，具有重大的金融价值和社会意义。

在信用卡离线刷卡或在线购物应用背景下，产生了一种海量、实时、动态的数据形式，被称为信用卡流数据。信用卡流数据的动态变化称为概念漂移，是信用卡流数据最重要的特点之一，它描述着信用卡流数据分布随着环境而不断变化的过程。通常地，信用卡流数据分布的变化是不可事先预知的，这为信用卡动态流数据的分类提出了重大挑战。

传统的信用卡流数据分类技术假定数据分布是稳定的，然而在信用卡动态数据流场景中，信用卡流数据分布在不断变化。信用卡真实应用场景中的流数据往往包含了多种类型的概念漂移，然而，目前已存在的信用卡流数据分类方法通常只能处理某一特定类型的概念漂移，这并不能够满足信用卡欺诈检测的应用需求。

信用卡流数据分类过程中数据类别不平衡问题是信用卡欺诈检测的另一个重要问题。在信用卡流数据类别不平衡学习中，信用卡流数据块小样本的数量往往远远小于大样本的数量，因此传统的信用卡流数据分类技术，即仅考虑平衡数据流的分类技术对信用卡流数据小样本的识别能力很差。

传统分类器的训练通常是基于信用卡消费数据中类别分布是大致平衡这一假设，而该假设在信用卡流数据应用中并不成立。在信用卡不平衡流数据分类中，概念漂移和类别不平衡问题会共同降低信用卡流数据分类模型的性能，并且类别不平衡问题会加大概念漂移学习的难度。例如，信用卡流数据欺诈检测中基于分类性能的概念漂移检测机制会对不平衡率非常敏感，从而不能及时识别出数据分布的变化；类别不平衡处理技术需要随着信用卡流数据类别不平衡率的变化而适应性地调整。

在信用卡流数据欺诈检测分类研究中，现有的技术在概念漂移和类别不平衡处理机制方面虽然已分别取得了一定的成效，但处理二者联合问题的技术还比较缺乏。基于每次处理的信用卡流数据样本数量，处理概念漂移和类别不平衡联合问题的信用卡流数据欺诈检测技术可以分为在线算法和基于数据块的算法。在线算法每次只处理一个样本，因此算法的稳定性较差。基于数据块的算法每次都需要一定量的信用卡流数据样本去建立模型，因此这类算法的稳定性较好。然而，检测的性能往往对数据块的大小十分敏感，若信用卡流数据块过大，则用于训练基础分类器的训练集中很容易包含概念漂移。相反地，若信用卡流数据块过小，则基础分类器的信用卡流数据训练样本数量不足，很容易造成过拟合即信用卡流数据欺诈检测中造成欺诈数据被分为非欺诈样本。

为了处理信用卡流数据类别不平衡问题，块集成分类方法往往需要保留先前信用卡流数据块中的小样本，进而用以平衡信用卡流数据最新数据块中样本的类别分布。由于需要保留一部分先前时刻的信用卡流数据项，基于数据块的信用卡流数据欺诈检测分类方法不严格满足在线学习的需求。因此，若某时刻信用卡流数据样本的类别发生对调，则基于块的集成分类信用卡欺诈检测方法往往不能及时适应信用卡流数据新的数据流环境。

发明内容

为了弥补现有信用卡流数据欺诈检测方法的不足，本发明旨在提供一种基于不平衡流数据分类的信用卡欺诈检测方法，该方法可以快速、有效地提高对不平衡动态信用卡流数据的欺诈检测性能。

本发明解决技术问题所采取的技术方案为：

一种基于不平衡流数据分类的信用卡欺诈检测方法，包括以下步骤：

1）在当前时刻输入信用卡流数据块，该流数据块中某一类别样本即信用卡使用的一类数据的数量少于另一类别的数量，即每个信用卡流数据块中样本的类别分布是不平衡的。

2）把该信用卡流数据块中的样本划分成两部分，即信用卡流数据训练块和信用卡流数据测试块，其中的信用卡流数据训练块作为训练集用于训练新的基础分类器，信用卡流数据测试块作为测试集用于评估检测方法的性能。

3）在当前的信用卡流数据训练块中，基于袋装算法获取若干类别分布平衡的子块，用来训练候选分类器。每个子块中包含了当前信用卡流数据训练块中的小样本以及一部分随机采样的大样本，并且随机采样大样本的数量取决于当前的信用卡流数据训练块中小样本的总量。

4）每个信用卡流数据子块训练得到一个基础分类器，每个基础分类器中的信用卡流数据训练块样本的类别分布是平衡的。

5）计算最新信用卡流数据训练块中样本的权重，其中易分错的信用卡流数据样本被赋予较高的更新权重。

6）使用最新的信用卡流数据块中样本更新分类模型中先前的基础分类器。

7）计算每个基础分类器的权重。去除分类模型中权重最小的基础分类器。同时去除性能较差的基础分类器，使得分类模型较快地适应新的信用卡流数据检测环境。

8）基于信用卡流数据基础分类器的权重，综合分类模型中所有基础分类器的性能，完成对信用卡流数据测试样本的欺诈检测。

本发明与现有技术相比，本发明产生的有益效果是：

本发明在处理信用卡流数据欺诈检测中类别不平衡问题时，无需保留和访问任何先前时刻的信用卡流数据小样本，可以避免在当前环境中引入概念漂移和复杂类型的信用卡流数据样本。通过使用袋装算法在信用卡流数据当前数据块中进行过采样可以平衡当前信用卡流数据环境的类别数据分布，提高基础分类器对信用卡流数据小样本，即欺诈样本的识别率。若某时刻信用卡流数据环境中发生类别型的概念漂移，即信用卡流数据小样本变成大样本，则基于袋装的采样机制可以较快地调整算法以适应信用卡流数据动态环境。

在处理信用卡流数据欺诈检测中的概念漂移问题时，本发明提出了一个信用卡流数据多类型漂移处理机制，周期性地更新先前的信用卡流数据基础分类器，可以使得分类模型快速适应信用卡流数据新的数据环境。同时，由于信用卡流数据最近数据块中样本的数据分布最为接近未来不久的信用卡流数据环境，则更新机制可以使得分类模型同时应对多种类型的信用卡流数据概念漂移。周期性更新机制始终赋予易分错样本较高的更新代价，从而提高对信用卡流数据难处理样本的识别率。

在对信用卡流数据测试样本进行分类检测时，欺诈预测结果需同时考虑集成分类模型中所有基础分类器的预测结果。为了降低检测方法的时间和存储开销，分类模型中只保留了性能最好一定量的基础分类器，从而可以提高对信用卡流数据漂移应对的效率。因为信用卡流数据欺诈检测中需要被高速处理，信用卡流数据基础分类器的权重设置可使用分段加权机制，直接赋予候选分类器最高的权重，从而可以避免使用交叉验证机制，进一步节省信用卡流数据欺诈检测的时间开销。

具体实施方式

本发明提出一种基于不平衡流数据分类的信用卡欺诈检测方法，该方法无需保留任意过去时刻的信用卡流数据小样本，可以对类别分布不平衡的信用卡动态流数据进行有效地分类预测，以检测到信用卡欺诈交易数据。首先，该方法在每个时刻只需要学习信用卡流数据一个数据块，并且不需要访问过去的信用卡流数据块样本。其次，该方法在更新过程中始终强调信用卡流数据错分类的样本。再次，该方法可以同时应对多种类型的信用卡流数据概念漂移。同时，当发生大小类别标签对调时，该方法可以快速适应新的信用卡流数据环境。最后，该方法使用了一种基于性能的集成剪枝技术，及时去除性能较差的基础分类器以适应新的信用卡流数据环境，同时可以降低方法的时间和存储开销。

本发明提出的用于处理含有多类型概念漂移的不平衡信用卡流数据欺诈检测方法主要包含以下步骤：

1）在当前时刻输入信用卡流数据块，该流数据块中某一类别样本即信用卡使用的一类数据的数量少于另一类别的数量，即每个信用卡流数据块中样本的类别分布是不平衡的。

2）把该信用卡流数据块中的样本划分成两部分即信用卡流数据训练块和信用卡流数据测试块，其中的信用卡流数据训练块作为训练集用于训练新的基础分类器，另一部分样本，即信用卡流数据测试块作为测试集用于该检测方法的性能。

3）在当前的信用卡流数据训练块中，基于袋装算法获取若干类别分布平衡的子块，用于训练候选分类器。每个子块中包含了当前信用卡流数据训练块中的小样本以及一部分随机采样的大样本，并且随机采样大样本的数量取决于当前的信用卡流数据训练块中小样本的总量。

4）每个信用卡流数据子块训练得到一个基础分类器，每个基础分类器中的信用卡流数据训练块样本的类别分布是平衡的，从而可以提高分类模型对信用卡流数据块中小样本的识别能力。分类模型无需使用过去信用卡流数据块中的小样本，因此该方法严格满足在线学习的要求。

5）计算最新信用卡流数据训练块中样本的权重，其中易分错的信用卡流数据样本被赋予较高的更新权重。

6）使用最新的信用卡流数据块中样本更新分类模型中先前的基础分类器，使得分类模型可以较快地适应新的信用卡流数据环境，可以同时处理多种类型的概念漂移即信用卡流数据分布的动态变化。

7）计算每个基础分类器的权重。为了提高该基于不平衡流数据分类的信用卡欺诈检测方法的运行和存储效率，保留性能最好的若干基础分类器，去除分类模型中权重最小的基础分类器。同时，及时去除性能较差的基础分类器，可以使得分类模型较快地适应新的信用卡流数据检测环境。

8）基于信用卡流数据基础分类器的权重，综合分类模型中所有基础分类器的性能，完成对信用卡流数据测试样本的欺诈检测。

优选地，步骤1）中，每个数据块中样本的类别分布是不平衡的。

优选地，步骤2）中，信用卡流数据块中的样本划分成两部分即信用卡流数据训练块和信用卡流数据测试块。

优选地，步骤3）中，若信用卡流数据块中小样本的数量不足以建立一定数量的候选分类器，则使用SMOTE算法生成一个新的小类集，该小类集中数据项的数量取决于信用卡流数据训练块中大样本的数量和小样本的数量。进而，使用新生成的小类集过采样候选信用卡流数据训练块中的小样本。

优选地，步骤4）中，分类模型无需使用先前的信用卡流数据块中的小样本。

优选地，步骤5）中，计算出的权重可衡量该样本更新以前某个信用卡流数据训练块的概率，其中易分错的信用卡流数据样本被赋予较高的更新权重。为解决候选分类器权重评估过程中交叉验证耗费大量时间的问题，本发明使用一个分段函数机制评估信用卡流数据块基础分类器的权重。为了避免使用交叉验证，可直接赋予信用卡流数据块候选分类器最高的权重，信用卡流数据候选分类器被视作性能最好的基础分类器，这种机制适合应对突变型的信用卡流数据概念漂移，更易进行信用卡欺诈检测。

优选地，步骤6）中，更新后的信用卡流数据块基础分类器使得分类模型可较快地适应新的信用卡流数据环境，进而能够同时处理多种类型的信用卡流数据概念漂移。

优选地，还包括步骤7）中，去除分类模型中权重最小的信用卡流数据块基础分类器和性能较差的信用卡流数据块基础分类器，一方面可以节约信用卡流数据欺诈检测方法的存储和时间开销，另一方面可使得检测方法较快地适应新的信用卡不平衡流数据环境。

优选地，还包括步骤8）中，为了节约算法存储和时间开销，本发明使用基于性能的剪枝技术：若分类模型中信用卡流数据分类器的数量超过设定的阈值，则使用一个基于性能的剪枝技术去除信用卡流数据分类模型中性能最差的信用卡流数据块基础分类器。通过这种集成剪枝策略，可以有效去除信用卡流数据分类模型中过时的信用卡流数据块基础分类器，既能提高算法的效率，还可以保证算法对信用卡流数据概念漂移处理的实时性，即提高信用卡欺诈检测效率和实时性。

针对信用卡流数据的海量性、实时性、动态性、类别不平衡性等特点，本发明提出了一种基于不平衡流数据分类的信用卡欺诈检测方法。信用卡流数据分类模型中包含了基于袋装的信用卡流数据过采样机制，信用卡流数据多类型概念漂移处理机制、信用卡流数据基础分类器加权机制、信用卡流数据集成剪枝机制以及分类预测机制。

信用卡流数据流基于时间戳首先被划分成等大小的数据块，然后在连续的信用卡流数据块上建立一系列的基础分类器。本发明采用信用卡流数据在线学习的方式训练得到的基础分类器，使用基于袋装算法平衡信用卡流数据训练块的类别分布，从而提高模型对信用卡流数据小样本即欺诈数据的识别能力，并且不显著降低其对大样本的分类性能。在基于信用卡流数据块的框架下，大部分已存在的信用卡流数据流分类即检测方法通过保留并使用先前的信用卡流数据小样本以重采样当前的小类集。相比于这些已有的方法，本发明提出的方法无需使用任何先前时刻的信用卡流数据样本，满足信用卡流数据欺诈在线检测的需求，可以降低内存开销。

为了提高信用卡流数据欺诈检测方法的性能，信用卡流数据候选分类器的训练过程如下：

1）首先，评估当前信用卡训练数据块中数据集的不平衡率，即小样本的数量与大数量的比率。

2）若信用卡流数据块中小样本的数量不足以建立一定数量的候选分类器，则使用SMOTE算法生成一个新的小类集，该小类集中信用卡流数据项的数量取决于信用卡流数据训练数据块中大样本的数量和小样本的数量。进而，使用新生成的小类集过采样候选信用卡流数据训练数据块中的小样本。

3）若信用卡流数据小样本的数量足够建立一定数量的候选分类器，则将大类集划分成若干子集，每个子集中信用卡流数据样本的数量等于候选训练数据块中小样本的数量。进而使用信用卡流数据训练块中所有的小样本以及每个划分得到的大类子集建立候选分类器，因此候选分类器的训练集是类别平衡的。大类集合之间是无交集的，从而可以保证集成分类器的多样性。所有的小样本都用于训练候选分类器，从而提高了小样本的利用率，即信用卡流数据中欺诈类型的利用率。

通常地，假定信用卡流数据候选数据块中的样本可以较好地代表当前和未来不久的信用卡流数据分布。在获取到最新的信用卡流数据块后，若使用候选块中的信用卡流数据样本更新先前保留的基础分类器，可使得分类模型较快地适应新的信用卡流数据流环境。当前信用卡流数据块中的样本被赋予一个更新权重，用来衡量该样本被选择用以更新某一先前基础分类器的概率，错分类的信用卡流数据样本被赋予较高的更新权重。

在赋予每个最新实例一个更新权重后，信用卡流数据的候选数据块中的数据分布已经被修改，进而用来更新先前的信用卡流数据基础分类器。因此，错分类的信用卡流数据样本在周期性更新过程中始终被强调。基于块的分类模型的性能对预定义的信用卡流数据块大小比较敏感，分类模型容易陷入准确性预测以及动态环境快速适应的权衡之中。然而，基础分类器的更新机制在周期性地扩大先前基础分类器对应的信用卡流数据块，因此，预定义的信用卡流数据块大小应不会对最终的欺诈检测分类产生显著影响。

在对信用卡流数据测试样本进行欺诈检测时，需要评估分类模型中每个基础分类器的权重。信用卡流数据块分类器通常通过连续调节基础分类器的权重以适应信用卡流数据新的环境，其中每个基础分类器的权重取决于其对信用卡流数据最新样本的分类性能。因此，候选分类器权重的评估需要交叉验证的过程，会降低信用卡流数据欺诈检测方法的效率。为了解决该问题，本发明使用一个分段函数机制计算基础分类器的权重；为了避免使用交叉验证，赋予候选分类器最高的权重，因此候选分类器被视作性能最好的基础分类器。对于先前的基础分类器，权重取决于其对信用卡流数据最新样本的分类性能。基于信用卡流数据的动态性而不断地调节基础分类器的权重，使得信用卡欺诈检测集成模型可以应对缓慢变化的概念漂移。

为了节约算法的时间和空间开销，本发明使用基于性能的剪枝技术。若分类模型中信用卡流数据基础分离器的数量超过一个预定义的阈值时，则使用一个基于性能的剪枝技术去除分类模型中性能最差的信用卡流数据基础分类器。通过这种集成剪枝策略，可以有效地去除分类模型中过时的信用卡流数据基础分类器，因此不仅可以提高欺诈检测算法的效率还可以保证该算法对信用卡流数据概念漂移处理的实时性。

Claims (4)

1.一种基于不平衡流数据分类的信用卡欺诈检测方法，其特征在于：包括以下步骤：

1）在当前时刻输入信用卡流数据块，该流数据块中某一类别样本即信用卡使用的一类数据的数量少于另一类别的数量，即每个信用卡流数据块中样本的类别分布是不平衡的；

2）把该信用卡流数据块中的样本划分成两部分，即信用卡流数据训练块和信用卡流数据测试块，其中的信用卡流数据训练块作为训练集用于训练新的基础分类器，信用卡流数据测试块作为测试集用于评估检测方法的性能；

3）在当前的信用卡流数据训练块中，基于袋装算法获取若干类别分布平衡的子块，用于训练候选分类器；每个子块中包含了当前信用卡流数据训练块中的小样本以及一部分随机采样的大样本，并且随机采样大样本的数量取决于当前的信用卡流数据训练块中小样本的总量；

4）每个信用卡流数据子块训练得到一个基础分类器，每个基础分类器中的信用卡流数据训练块样本的类别分布是平衡的；

5）计算最新信用卡流数据训练块中样本的权重，其中易分错的信用卡流数据样本被赋予较高的更新权重；

6）使用最新的信用卡流数据块中样本更新分类模型中先前的基础分类器；

7）计算每个基础分类器的权重，去除分类模型中权重最小的基础分类器；同时去除性能较差的基础分类器，使得分类模型较快地适应新的信用卡流数据检测环境；

8）基于信用卡流数据基础分类器的权重，综合分类模型中所有基础分类器的性能，完成对信用卡流数据测试样本的欺诈检测。

2.根据权利要求1所述的一种基于不平衡流数据分类的信用卡欺诈检测方法：

步骤3）中训练候选分类器具体过程为：

1）评估当前信用卡训练数据块中数据集的不平衡率，即小样本的数量与大数量的比率；

2）若信用卡流数据小样本的数量不足以建立一定数量的候选分类器，则使用SMOTE算法生成一个新的小类集，该小类集中信用卡数据项的数量取决于信用卡流数据训练数据块中大样本的数量和小样本的数量；进而，使用新生成的小类集过采样候选信用卡流数据训练数据块中的小样本；

3）若信用卡流数据小样本的数量足够建立一定数量的候选分类器，则将大类集划分成若干子集，每个子集中信用卡流数据样本的数量等于候选训练数据块中小样本的数量；进而使用信用卡流数据训练块中所有的小样本以及每个划分得到的大类子集建立候选分类器。

3.根据权利要求1所述的一种基于不平衡流数据分类的信用卡欺诈检测方法：

步骤5）还包括使用分段函数机制评估基础分类器的权重，直接赋予信用卡流数据块候选分类器最高的权重。

4.根据权利要求1所述的基于不平衡流数据分类的信用卡欺诈检测方法，其特征在于：

步骤8）中若分类模型中基础分类器的数量超过设定的阈值，则使用一个基于性能的剪枝技术去除信用卡流数据分类模型中性能最差的信用卡流数据基础分类器。