CN113570044A

CN113570044A - 客户流失分析模型训练方法及装置

Info

Publication number: CN113570044A
Application number: CN202110869231.6A
Authority: CN
Inventors: 张延�
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2021-10-29

Abstract

本发明提供了一种客户流失分析模型训练方法及装置，涉及人工智能技术领域，该方法包括：获取客户业务交易数据和客户自身数据；根据客户业务交易数据和客户自身数据生成注意力特征数据；利用注意力特征数据训练目标神经网络，得到客户流失分析模型。本发明可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

Description

客户流失分析模型训练方法及装置

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种客户流失分析模型训练方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

现有的银行客户流失预测模型只是单纯使用客户在银行的业务交易数据进行客户数据分析，其预测精度有待提升。

发明内容

本发明提供了一种客户流失分析模型训练方法及装置，可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

第一方面，本发明实施例提供了一种客户流失分析模型训练方法，该方法包括：

获取客户业务交易数据和客户自身数据；

根据所述客户业务交易数据和所述客户自身数据生成注意力特征数据；

利用所述注意力特征数据训练目标神经网络，得到客户流失分析模型。

第二方面，本发明实施例还提供一种客户流失分析模型训练装置，该装置包括：

获取模块，用于获取客户业务交易数据和客户自身数据；

特征模块，用于根据所述客户业务交易数据和所述客户自身数据生成注意力特征数据；

训练模块，用于利用所述注意力特征数据训练目标神经网络，得到客户流失分析模型。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述客户流失分析模型训练方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述客户流失分析模型训练方法的计算机程序。

本发明实施例带来了以下有益效果：本发明实施例提供了一种客户流失分析模型训练方案，该方案包括：获取客户业务交易数据和客户自身数据；根据客户业务交易数据和客户自身数据生成注意力特征数据；利用注意力特征数据训练目标神经网络，得到客户流失分析模型。本发明实施例可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的客户流失分析模型训练方法流程图；

图2为本发明实施例提供的注意力特征数据生成过程示意图；

图3为本发明实施例提供的注意力特征数据处理过程示意图；

图4为本发明实施例提供的另一种客户流失分析模型训练方法流程图；

图5为本发明实施例提供的一种客户流失分析模型训练装置结构框图；

图6为本发明实施例提供的另一种客户流失分析模型训练装置结构框图；

图7为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，银行客户自身信息是影响客户流失的重要因素。传统银行客户流失模型只使用客户在该银行的金融交易相关信息，忽略了客户自身数据信息。

基于此，本发明实施例提供的一种客户流失分析模型训练方法及装置，在银行客户预测模型中引入注意力机制，加强银行客户自身数据信息与客户在银行的交易信息的关联，进一步构建客户流失预测模型。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种客户流失分析模型训练方法进行详细介绍。

首先，对涉及的术语进行解释说明。

FNN：前馈神经网络(FEEDFORWARD NEURAL NETWORK)，一类神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出并输入下一层的神经网络。

ANN：人工神经网络(ARTIFICIAL NEURAL NETWORK)，一类从信息处理角度对人脑神经元网络进行抽象，简历简单模型，按不同的连接方式组成不同的网络。

递归神经网络：“RECURSIVE NEURAL NETWORK”，一类具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的神经网络。

RNN：循环神经网络(RECURRENT NEURAL NETWORK)，一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。

注意力机制：运用了人类的注意力思维方式，从接收的大量信息中快速筛选出关键信息的选择机制。注意力机制是信息输入后计算注意力分布值，并基于注意力分布值来计算输入信息加权平均的过程。

GRU：门控循环单元(GATED RECURRENT UNIT)，是循环神经网络中的一种本控机制，仅含有一个重置门(RESET GATE)和一个更新门(UPDATE GATE)，其旨在解决标准循环神经网络中梯度消失的问题，也可以很好的处理时间间隔和延迟较长的序列问题，并能同时保留序列的长期信息。

重置门：“RESET GATE”，在门控循环单元中用于决定遗忘前一时刻的状态信息的程度，重置门的值越小说明遗忘的信息越多。

更新门：“UPDATE GATE”，在门控循环单元中用于控制前一时刻的状态信息保存到当前状态的程度，更新门的值越大代表前一时刻引入的状态信息越多。

本发明实施例提供了一种客户流失分析模型训练方法，参见图1所示的一种客户流失分析模型训练方法流程图，该方法包括以下步骤：

S102，获取客户业务交易数据和客户自身数据。

在本发明实施例中，客户业务交易数据可以是客户在银行的业务交易数据，可以用卷积神经网络自动获取客户银行业务交易数据抽象特征。客户自身数据可以包括客户的年龄、职业等自身信息数据。

S104，根据客户业务交易数据和客户自身数据生成注意力特征数据。

在本发明实施例中，对客户业务交易数据和客户自身数据进行分析处理，进行关联后得到注意力特征数据。

S106，利用注意力特征数据训练目标神经网络，得到客户流失分析模型。

在本发明实施例中，目标神经网络模型可以根据实际需求进行选取，利用注意力特征数据对该模型进行训练，得到客户流失分析模型。

需要说明的是，在本发明实施例中，可以用python语言对银行客户流失分析模型进行建模。

本发明实施例提供了一种客户流失分析模型训练方案，该方案包括：获取客户业务交易数据和客户自身数据；根据客户业务交易数据和客户自身数据生成注意力特征数据；利用注意力特征数据训练目标神经网络，得到客户流失分析模型。本发明实施例可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

在一个实施例中，根据客户业务交易数据和客户自身数据生成注意力特征数据，可以按照如下步骤执行：

根据客户自身数据确定注意力权重信息；对客户业务交易数据和注意力权重信息进行点积处理，得到注意力特征数据。

在本发明实施例中，在得到客户自身数据之后，计算客户自身信息的注意力分布情况，根据包含客户自身信息的上下文信息确定注意力权重信息。之后，对客户业务交易数据和注意力权重信息进行点积处理，得到注意力特征数据。

本发明实施例在银行客户预测模型中引入注意力机制，加强银行客户自身数据信息与客户在银行的交易信息的关联，计算客户自身信息权重，进一步构建客户流失预测模型，提高模型预测精度。

在一个实施例中，目标神经网络为GRU神经网络。

在本发明实施例中，除了GRU神经网络也可选取其他神经网络作为目标神经网络，例如，可以选取FNN神经网络、ANN神经网络、递归神经网络或RNN神经网络等，可以根据实际需求进行选取，本发明实施例对此不作具体限定。

在一个实施例中，参见图4所示的另一种客户流失分析模型训练方法流程图，该方法还可以执行如下步骤：

S108，利用客户流失分析模型生成银行客户流失预测结果。

在本发明实施例中，可以使用GRU网络对注意力特征进行综合学习，最后输出客户流失概率预测结果。

下面以一个具体实施例对该方案的实施过程进行说明。

参见图2所示的注意力特征数据生成过程示意图，假设当前Docoder要输出的是Y_t，已知Decoder上一时刻的隐层输出S_t-1，用它与Encoder的各时刻隐层输出h_j做某种操作fatt，计算出来的相应用softmax转化为概率，就是我们所需的权重a,对输入加权求和，计算出输入序列的表达C，作为Decoder当前的部分输入，从而生成Y_t。以上就是注意力的工作机制。Attention的核心就是C的计算，不同的Attention变体主要体现在fatt上，常见的计算方法有相乘(dot)与拼接(concat)。

参见图3所示的注意力特征数据处理过程示意图，该方案可以利用卷积神经网络模块、“软性”注意力机制层模块和门控循环单元模块实现。

图3中，对于模型的输入信息可用集合X＝[X⁽¹⁾,…,X^(T)]表示，集合中的每一个元素X表示某一时刻的输入信息。被选择的信息的索引位置可用注意力变量z∈[1,T]表示，当z＝t时则表示在输入信息集合X中选择了第t个信息。在给定一个与任务相关的查询向量q和输入信息X后，首先计算代表第t个输入信息的注意力分布(概率分布)α_t：

其中，s(X_t,q)为注意力打分机制，

d为输入信息的维度。

卷积神经网络自动获取客户银行业务交易数据抽象特征，再将这些特征和包含客户自身信息的上下文信息进行点积处理后得到注意力特征，然后使用GRU网络对注意力特征进行综合学习，最后输出客户流失概率预测结果。该模型网络结构的主要优势是优化客户银行交易数据的特征提取，同时有效利用客户自身信息与客户银行交易数据间的联系，提高模型训练效率，从而获得更好的预测性能。

本发明提供了一种客户流失分析模型训练方法及装置，该方法增加了注意力机制，在银行客户流失预测模型中更好的利用银行客户的自身数据信息，可以优化客户银行交易数据的特征提取，同时引入注意力机制，注意力机制是信息输入后计算注意力分布值，并基于注意力分布值来计算输入信息加权平均的过程。注意力机制可以帮助预测模型对输入的每个部分赋予不同的权重，抽取出更加重要的信息，使预测模型做出更加准确的判断。本发明实施例可有效利用客户自身信息与客户银行交易数据间的联系，提高模型训练效率，从而获得更好的预测性能。

本发明实施例中还提供了一种客户流失分析模型训练装置，如下面的实施例所述。由于该装置解决问题的原理与客户流失分析模型训练方法相似，因此该装置的实施可以参见客户流失分析模型训练方法的实施，重复之处不再赘述。参见图5所示的一种客户流失分析模型训练装置结构框图，该装置包括：

获取模块51，用于获取客户业务交易数据和客户自身数据；特征模块52，用于根据客户业务交易数据和客户自身数据生成注意力特征数据；训练模块53，用于利用注意力特征数据训练目标神经网络，得到客户流失分析模型。

在一个实施例中，特征模块，具体用于：根据客户自身数据确定注意力权重信息；对客户业务交易数据和所述注意力权重信息进行点积处理，得到注意力特征数据。

在一个实施例中，目标神经网络为GRU神经网络。

在一个实施例中，参见图6所示的另一种客户流失分析模型训练装置结构框图，该装置还包括预测模块54，用于：利用客户流失分析模型生成银行客户流失预测结果。

基于同一发明构思，本发明实施例中还提供了一种用于实现上述客户流失分析模型训练方法中的全部或部分内容的电子设备实施例。该电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现上述客户流失分析模型训练方法的实施例及用于实现上述客户流失分析模型训练装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图7为本发明实施例中提供的一种电子设备的系统组成结构示意图。如图7所示，该电子设备70可以包括处理器701和存储器702；存储器702耦合到处理器701。值得注意的是，该图7是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在一个实施例中，客户流失分析模型训练方法实现的功能可以被集成到处理器701中。其中，处理器701可以被配置为进行如下控制：

获取客户业务交易数据和客户自身数据；根据客户业务交易数据和客户自身数据生成注意力特征数据；利用注意力特征数据训练目标神经网络，得到客户流失分析模型。

由上可知，本发明的实施例中提供的电子设备，可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

在另一个实施例中，客户流失分析模型训练装置可以与处理器701分开配置，例如可以将客户流失分析模型训练装置配置为与处理器701连接的芯片，通过处理器的控制来实现客户流失分析模型训练方法的功能。

如图7所示，该电子设备70还可以包括：通信模块703、输入单元704、音频处理单元705、显示器706、电源707。值得注意的是，电子设备70也并不是必须要包括图7中所示的所有部件；此外，电子设备70还可以包括图7中没有示出的部件，可以参考现有技术。

如图7所示，处理器701有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器701接收输入并控制电子设备70的各个部件的操作。

其中，存储器702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且处理器701可执行该存储器702存储的该程序，以实现信息存储或处理等。

输入单元704向处理器701提供输入。该输入单元704例如为按键或触摸输入装置。电源707用于向电子设备70提供电力。显示器706用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器702可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器702还可以是某种其它类型的装置。存储器702包括缓冲存储器7021(有时被称为缓冲器)。存储器702可以包括应用/功能存储部7022，该应用/功能存储部7022用于存储应用程序和功能程序或用于通过处理器701执行电子设备70的操作的流程。

存储器702还可以包括数据存储部7023，该数据存储部7023用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器702的驱动程序存储部7024可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块703即为经由天线708发送和接收信号的发送机/接收机。通信模块(发送机/接收机)703耦合到处理器701，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块703，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)703还经由音频处理单元705耦合到扬声器709和麦克风710，以经由扬声器709提供音频输出，并接收来自麦克风710的音频输入，从而实现通常的电信功能。音频处理单元705可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理单元705还耦合到处理器701，从而使得可以通过麦克风710能够在本机上录音，且使得可以通过扬声器709来播放本机上存储的声音。

本发明的实施例中还提供了一种用于实现上述实施例中客户流失分析模型训练方法中全部步骤的一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的客户流失分析模型训练方法的全部步骤，例如，该处理器执行该计算机程序时实现下述步骤：

由上可知，本发明的实施例中提供的计算机可读存储介质，可以加强银行客户自身数据信息与客户在银行的交易信息的关联，进而构建客户流失分析模型，提升客户流失预测的精度。

虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。可单独使用本发明的每个方面和/或实施例，或者与一个或更多其他方面和/或其他实施例结合使用。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种客户流失分析模型训练方法，其特征在于，包括：

获取客户业务交易数据和客户自身数据；

2.根据权利要求1所述的方法，其特征在于，根据所述客户业务交易数据和所述客户自身数据生成注意力特征数据，包括：

根据所述客户自身数据确定注意力权重信息；

对所述客户业务交易数据和所述注意力权重信息进行点积处理，得到注意力特征数据。

3.根据权利要求1所述的方法，其特征在于，

所述目标神经网络为GRU神经网络。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

利用所述客户流失分析模型生成银行客户流失预测结果。

5.一种客户流失分析模型训练装置，其特征在于，包括：

获取模块，用于获取客户业务交易数据和客户自身数据；

6.根据权利要求5所述的装置，其特征在于，所述特征模块，具体用于：

根据所述客户自身数据确定注意力权重信息；

7.根据权利要求5所述的装置，其特征在于，

所述目标神经网络为GRU神经网络。

8.根据权利要求5-7任一项所述的装置，其特征在于，还包括预测模块，用于：

利用所述客户流失分析模型生成银行客户流失预测结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述客户流失分析模型训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述客户流失分析模型训练方法的计算机程序。