CN116228400A - 基于属性重构与注意力机制的信用卡用户行为预测方法 - Google Patents

基于属性重构与注意力机制的信用卡用户行为预测方法 Download PDF

Info

Publication number
CN116228400A
CN116228400A CN202310190601.2A CN202310190601A CN116228400A CN 116228400 A CN116228400 A CN 116228400A CN 202310190601 A CN202310190601 A CN 202310190601A CN 116228400 A CN116228400 A CN 116228400A
Authority
CN
China
Prior art keywords
node
credit card
graph
matrix
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310190601.2A
Other languages
English (en)
Inventor
杨亮
刘嘉瑶
张秋亮
牛炳鑫
贾永娜
张亚娟
顾军华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202310190601.2A priority Critical patent/CN116228400A/zh
Publication of CN116228400A publication Critical patent/CN116228400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明为一种基于属性重构与注意力机制的信用卡用户行为预测方法，首先获取银行系统某一时期信用卡用户的历史数据，将历史数据转换为图数据；图数据的节点代表信用卡用户，边表示用户间的联系；获取图拓扑信息和节点属性矩阵；然后，基于图卷积神经网络构建节点属性重构模型，节点属性重构模型包括编码器和解码器，编码器将图拓扑信息和节点属性信息编码为潜在分布矩阵，解码器将潜在分布矩阵解码为重构的节点属性矩阵；最后，构建信用卡用户行为预测模型，将图拓扑信息和重构的节点属性矩阵输入到模型中，得到各个节点的预测标签；将训练后的信用卡用户行为预测模型用于新用户的行为预测。通过节点属性重构可以补全缺失的属性信息，同时缓解了节点敏感属性对预测结果公平性的影响。

Description

基于属性重构与注意力机制的信用卡用户行为预测方法
技术领域
本发明属于信用卡用户行为预测技术领域，具体是一种基于属性重构与注意力机制的信用卡用户行为预测方法。
背景技术
信用卡是指由金融机构发行的具有消费支付、信用贷款等功能的电子支付卡，为用户提供便利的同时也透支消费。为了防止潜在损失，银行系统在向用户发行信用卡时都需要评估是否会出现拖欠信用卡支付的行为。银行系统中大量的信用卡用户数据构成了一个大的图数据，信用卡用户作为图数据的节点，用户间的联系构成了图数据的边，图卷积神经网络利用图数据的拓扑信息和节点属性信息即可预测用户行为。
信用卡用户拥有如性别、年龄、账单金额、历史信用记录等多种属性信息，在使用银行系统信用卡用户的历史数据训练模型时，如果历史数据呈现的特点是年轻人由于购买欲强、工资低等诸多因素，很大一部分年轻人趋向于拖欠信用卡支付，使得模型认为年轻人有更大概率属于拖欠信用卡支付的一类，致使利用训练后的模型预测其他信用卡用户时，一旦识别到用户是年轻人，就有更大概率将此用户预测为拖欠信用卡支付的一类，造成预测结果不公平，而产生这种不公平结果的主要原因是模型根据“年龄”属性而定义了“年轻人”，因此“年龄”就是一种敏感属性。
现有的图卷积神经网络重点关注的是节点分类、链接预测等下游任务的性能，即预测结果的准确率，但是忽略了节点敏感属性对结果公平性的影响。现有的一些操作缓解了敏感属性对结果不公平的影响，一种是在利用节点属性训练图神经网络模型时，屏蔽敏感属性，即敏感属性不参与模型训练；另一种是修改敏感属性，例如以性别作为敏感属性时，将男性改为女性，女性改为男性，进而影响预测结果。这些操作通常是以牺牲预测结果的准确性为代价，对于信用卡用户行为预测而言，预测结果的准确率和公平性同等重要，因此现有的以牺牲准确率为代价的公平性处理方法并不可取。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于属性重构与注意力机制的信用卡用户行为预测方法。
本发明解决所述技术问题采用的技术方案如下：
一种基于属性重构与注意力机制的信用卡用户行为预测方法，其特征在于，该方法包括如下步骤：
步骤1、获取银行系统某一时期信用卡用户的历史数据，将历史数据转换为图数据；图数据的节点代表信用卡用户，边表示用户间的联系；获取图拓扑信息和节点属性矩阵，图拓扑信息用邻接矩阵A表示；
步骤2、基于图卷积神经网络构建节点属性重构模型，节点属性重构模型包括编码器和解码器，编码器将图拓扑信息和节点属性信息编码为潜在分布矩阵，解码器将潜在分布矩阵解码为重构的节点属性矩阵；
编码器由两个图卷积层堆叠而成，传播过程表示为：
Figure SMS_1
式中，Z表示图数据信息的潜在分布矩阵，
Figure SMS_2
表示归一化的邻接矩阵，σ表示ReLU激活函数，I表示单位矩阵，W(1)、W(2)分别表示第一、二个图卷积层的参数矩阵；
利用解码器对图数据信息的潜在分布进行解码，第i个节点重构的属性向量
Figure SMS_3
表示为：
Figure SMS_4
式中，gx(·)表示解码器，
Figure SMS_5
表示归一化的潜在分布向量，Wx表示可学习的参数矩阵，bx表示可学习的偏差；
步骤3、构建信用卡用户行为预测模型，信用卡用户行为预测模型由两个图卷积层堆叠而成，两个图卷积层的传播过程表示为：
Figure SMS_6
Figure SMS_7
式中，H(1)、H(2)分别表示第一、二个图卷积层的节点表征，
Figure SMS_8
表示重构的节点属性矩阵；
通过循环神经网络获得每个图卷积层的节点度参数矩阵，表达式如下：
Figure SMS_9
式中，l＝1，2表示图卷积层编号，k＝0，1，2，...dmax表示节点度，dmax表示节点度的最大值，
Figure SMS_10
分别表示第l个图卷积层节点度k、k+1的参数矩阵；
通过注意力机制优化传播过程，即将每个图卷积层的节点度参数矩阵分别代入各自的传播公式中，得到：
Figure SMS_11
Figure SMS_12
式中，
Figure SMS_13
分别表示第一、二个图卷积层的节点度参数矩阵；
将信用卡用户行为预测模型的输出压缩为各个节点预测标签纵向堆叠而成的一维列向量，即预测结果；
随机选取图数据的部分节点和边，将边信息和对应节点重构的属性输入到信用卡用户行为预测模型中进行训练，得到训练后的信用卡用户行为预测模型；
步骤4、用于与步骤1中历史数据来源相同的银行系统时，将待预测的所有用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为；
用于与步骤1中历史数据来源不同的银行系统时，需要获取该银行系统信用卡用户的历史数据，并执行步骤1～3，得到训练后的信用卡用户行为预测模型；再将待预测的所有新用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为。
进一步的，计算节点属性重构损失的目标函数为：
Figure SMS_14
式中，Vx表示已知属性的节点集合，xi为已知的节点属性向量，
Figure SMS_15
表示节点i的属性重构损失，/>
Figure SMS_16
表示约束图数据信息的潜在分布矩阵与图拓扑信息的正则项，λ表示超参数。
与现有技术相比，本发明的有益效果是：
1、本发明构建了节点属性重构模型，对节点属性进行重构；一方面由于用户隐私保护意识或数据存储的失误，导致节点的原始属性信息部分丢失，因此通过属性重构可以将缺失的属性信息进行补全，解决了节点属性缺失导致预测难度增大的问题；另一方面，将重构的节点属性用于信用卡用户行为预测模型的训练，可以缓解节点敏感属性对预测结果公平性的影响，这是由于在属性重构过程中，每个节点都会通过聚合邻居节点的属性信息来更新自身的属性信息；例如，节点A的年龄为20岁，直接利用这个属性信息，则模型会判定该用户为年轻人，从而更偏向于预测用户A会拖欠信用卡支付；但是节点A的消费模式使得它与年龄为18岁、25岁、28岁、36岁的四个节点相连，进行属性重构后，节点A的年龄被更改为26岁，这样就减小了模型将用户A判定为年轻人的概率。
2、在信用卡用户行为预测模型中，以减小图数据的拓扑信息对预测结果的影响。本发明有效提高了信用卡用户行为预测结果的公平性，同时实现了不以牺牲结果准确率为代价的目标。
3、本发明从目标函数优化角度入手，解释并优化了节点属性重构模型，使得模型更具可解释性、通用性及可扩展性。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图详细解释本发明的具体实施例，具体实施例仅用于进一步详细说明本发明的技术方案，不限制本申请的保护范围。
本发明为一种基于属性重构与注意力机制的信用卡用户行为预测方法(简称方法，参见图1)，具体步骤如下：
步骤1、获取银行系统某一时期信用卡用户的历史数据，将历史数据转换为图数据；图数据表示为G＝(V，W)，V表示节点集合，E表示边集合；图数据的节点代表信用卡用户，图数据的边反映了组成对象间的联系，图拓扑信息用邻接矩阵
Figure SMS_17
表示，/>
Figure SMS_18
表示矩阵空间，n表示节点个数，若信用卡用户i与j的消费模式相近，则图数据中节点i与j之间存在边相连，则邻接矩阵中的元素Aij＝1，反之Aij＝0；节点属性信息包括年龄、历史信用记录、工作状态等，年龄作为敏感属性，所有节点属性信息构成的节点属性矩阵记为/>
Figure SMS_19
T表示节点属性的维度；节点标签为用户行为，以0、1表示，0表示不拖欠信用卡支付，1表示拖欠信用卡支付。
步骤2、基于经典图卷积神经网络构建节点属性重构模型，利用节点属性重构模型对节点属性进行重构，节点属性重构缓解了训练模型所用的历史数据的属性偏差对结果公平性的影响；节点属性重构模型包括编码器和解码器，利用编码器将图数据信息编码为潜在分布，解码器对图数据信息的潜在分布进行解码，得到重构的节点属性矩阵
Figure SMS_20
编码器采用经典图卷积神经网络，经典图神经网络(GCN)的传播过程表示为：
Figure SMS_21
式中，
Figure SMS_22
表示归一化的邻接矩阵，/>
Figure SMS_23
表示归一化的度矩阵，σ表示ReLU激活函数，W(1)、W(2)分别表示第一、二个图卷积层的参数矩阵；
将单位矩阵I和归一化的邻接矩阵
Figure SMS_24
作为编码器的输入，编码器的传播过程表达式为：
Figure SMS_25
式中，Z＝{z1，z2，...，zi，...，zn}表示图数据信息的潜在分布矩阵，zi表示节点i对应的潜在分布向量；
将潜在分布矩阵Z投射到单位域中，即通过式(3)对潜在分布矩阵Z进行归一化处理；归一化处理不会改变潜在分布矩阵的主要功能，反而可以通过限制输出空间来提高训练的稳定性；
Figure SMS_26
式中，
Figure SMS_27
表示归一化的潜在分布向量，||zi||2表示潜在分布向量zi的二范数；
利用解码器对图数据信息的潜在分布进行解码，得到重构的节点属性矩阵
Figure SMS_28
其中，/>
Figure SMS_29
Figure SMS_30
表示重构的节点属性向量，表示为：
Figure SMS_31
式中，gx(·)表示解码器，Wx表示可学习的参数矩阵，bx表示可学习的偏差；
节点属性矩阵X和节点标签矩阵Y的对数边际似然表示为：
log pθ(X，Y)＝log∫pθ(X，Y，Z)dz (5)
式中，θ表示节点属性重构模型的参数；pθ(X，Y)表示节点属性矩阵X和节点标签矩阵Y之间的似然值；
由于式(5)中的积分部分不容易计算，计算复杂度高，因此利用变分推断近似求解；根据变分推断，式(5)转化为以下公式：
Figure SMS_32
式中，pθ(X，Y|A)表示节点属性矩阵X和节点标签矩阵Y的先验分布，qφ(Z|X，Y，A)、pθ(Z|A)分别表示图数据信息的潜在分布矩阵Z的参数化分布和先验分布，pθ(X，Y|Z，A)表示节点属性矩阵X和节点标签矩阵Y的参数化分布，
Figure SMS_33
表示图数据信息的潜在分布矩阵Z的观测变量，DKL(qφ(Z|X，Y，A)||pθ(Z|A))表示KL散度，也是约束qφ(Z|X，Y，A)与pθ(Z|A)之间距离的正则项；
令
Figure SMS_34
则/>
Figure SMS_35
重写为以下的目标函数：
Figure SMS_36
式中，Vx表示已知属性的节点集合，xi为已知的节点属性向量，
Figure SMS_37
表示节点i的属性重构损失，/>
Figure SMS_38
表示约束图数据信息的潜在分布矩阵Z与邻接矩阵A的正则项，λ表示超参数。
式(7)中的
Figure SMS_39
可以写为：
Figure SMS_40
式中，T表示矩阵转置，α、β均为超参数；
重复执行节点属性重构操作，通过式(7)的目标函数计算重构损失，直至目标函数收敛，得到重构的节点属性矩阵
Figure SMS_41
步骤3、构建信用卡用户行为预测模型，并对模型进行训练；信用卡用户行为预测模型由两个图卷积层堆叠而成，第一、二个图卷积层的传播过程表示为：
Figure SMS_42
Figure SMS_43
式中，H(1)、H(2)分别表示第一、二个图卷积层的节点表征；
通过循环神经网络(RNN)获得每个图卷积层的节点度参数矩阵，其表达式如下：
Figure SMS_44
式中，l＝1，2表示图卷积层编号，k＝0，1，2，...dmax表示节点度，dmax表示节点度的最大值，
Figure SMS_45
分别表示第l个图卷积层节点度k、k+1的参数矩阵；k＝0时，/>
Figure SMS_46
为RNN的初始化输入，人为设置；
通过注意力机制优化传播过程，以减小图数据的拓扑信息对预测结果的影响；即将每个图卷积层的节点度参数矩阵分别代入各自的传播公式中，得到：
Figure SMS_47
Figure SMS_48
式中，
Figure SMS_49
分别表示第一、二个图卷积层的节点度参数矩阵；
将信用卡用户行为预测模型的输出压缩为各个节点预测标签纵向堆叠而成的一维列向量，即预测结果。
采用半监督学习方式对信用卡用户行为预测模型进行训练，随机选取图数据的部分节点和边，将边信息和对应节点重构的属性输入到模型中进行训练，每种标签对应的40％节点作为训练集，10％节点作为验证集，50％节点作为测试集；根据式(14)的损失函数计算训练损失，直至损失函数收敛，得到训练后的信用卡用户行为预测模型；
Figure SMS_50
其中，c表示用户行为，C表示用户行为类别数，此处C取2，包括拖欠信用卡支付和不拖欠信用卡支付；N表示样本数量，
Figure SMS_51
表示将用户i的行为预测为行为c的概率，/>
Figure SMS_52
表示由各个节点的预测标签纵向堆叠而成的一维列向量，yic表示用户i的真实标签，即真实的用户行为。
步骤4、用于与步骤1中历史数据来源相同的银行系统时，将待预测的所有用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为；此处的新用户是指其数据未参与模型训练的用户；
用于与步骤1中历史数据来源不同的银行系统时，需要获取该银行系统信用卡用户的历史数据，并执行步骤1～3，得到训练后的信用卡用户行为预测模型；再将待预测的所有新用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为。
本发明所用的系统包括处理器、存储器和计算机程序；处理器与存储器连接，计算机程序被存储在存储器中，当系统运行时，该处理器执行存储器中的计算机程序，使系统执行上述方法。处理器可以是中央处理单元CPU，还可以是其他通用处理器、数字信号处理器DSP、可编程门阵列FPGA等；存储器可以为只读存储器或者随机存取存储器，并向处理器提供计算机指令和数据，在实现过程中，上述方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。计算机指令存储在计算机可读存储介质中，计算机指令被处理器执行时即可完成信用卡用户的行为预测。
仿真试验：
信用卡用户行为预测实质上是一种节点分类任务，其预测结果为用户是否会拖欠信用卡支付。为了验证本发明方法的有效性，在三个真实数据集上，分别利用本发明方法和现有技术中常见的图神经网络模型进行节点分类任务。
表1为各个模型在三个真实数据集上进行节点分类任务的准确率统计结果，其中，German Credit(German)数据集的节点是一家德国银行的客户，节点属性包括性别、贷款金额和其他细节，如果客户的信用账户相似，则在节点之间形成边连接，任务是预测客户的信用风险是高还是低，性别是敏感属性。Credit Defaulter(Credit)数据集中的节点是信用卡用户，如果他们在购买或支付时具有相似模式，则在节点之间形成边，任务是预测用户是否会拖欠信用卡的支付，年龄是敏感属性。
表1各个模型在真实数据集上进行节点分类任务的准确率统计
Figure SMS_53
采用总样本的40％、10％、50％分别作为训练集、验证集与测试集，将本发明方法与5种现有的图神经网络模型分别进行节点分类任务，节点分类的准确率如表1所示。从表1可知，本发明方法相较于现有模型，在真实数据集上取得了不错的效果；GCN是不考虑节点属性对结果公平性的影响情况下的实验结果，因此在三个数据集上均取得了不错的分类准确率；而四种考虑公平性的方法，即NIFTY、EDITS、FairGNN、FairVGNN，这几种方法的准确率均下降较为严重，这是由于现有的考虑公平性的预测方法取得公平预测的结果是以牺牲准确率为代价的；而本发明方法的预测结果准确率相较于这四种方法是有提升的，这是由于本发明方法通过属性重构克服了敏感属性对结果公平性的影响，而且在Bail数据集上的预测准确率超过了经典图神经网络的准确率较多，这是由于该数据集具有较多的边和节点数，从而在属性重构过程中获得了更好的节点属性，从而有利于下游节点分类任务的进行。
在相同的试验条件下，将本发明方法与现有技术中常见的公平性处理方法进行比较，分别在三个数据集上进行了验证，数据集与节点分类任务的数据集一致，分别是German、Credit、Bail。表2为各个模型在三个真实数据集上进行节点分类任务的公平性统计结果。
表2各个模型在真实数据集上进行节点分类任务的公平性统计
Figure SMS_54
对每个数据集来说，均是将Δsp、Δeo作为衡量预测结果对节点属性独立程度标准，两个指标的值越小，证明预测结果越公平。从实验结果可知，本发明方法相较于其他方法而言，在几个数据集上均取得了较好的实验结果，这验证了本发明方法可以有效避免节点属性对结果公平性的影响，同时也能够高效准确地完成节点分类任务。
各个模型的出处为：
[1]Thomas N Kipf and Max Welling.Semi-supervised classification withgraph convolutional net-works[C]//International Conference on LearningRepresentations(ICLR),2017.
[2]Agarwal C,Lakkaraju H,Zitnik M.Towards a unified framework forfair and stable graph representation learning[C]//Uncertainty in ArtificialIntelligence.PMLR,2021:2114-2124.
[3]Dong Y,Liu N,Jalaian B,et al.Edits:Modeling and mitigating databias for graph neural networks[C]//Proceedings of the ACM Web Conference2022.2022:1259-1269.
[4]Dai E,Wang S.Say no to the discrimination:Learning fair graphneural networks with limited sensitive attribute information[C]//Proceedingsof the 14th ACM International Conference on Web Search and Data Mining.2021:680-688.
[5]Wang Y,Zhao Y,Dong Y,et al.Improving fairness in graph neuralnetworks via mitigating sensitive attribute leakage[C]//Proceedings of the28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.2022:1938-1948.
本发明未述及之处适用于现有技术。

Claims (4)

1.一种基于属性重构与注意力机制的信用卡用户行为预测方法，其特征在于，该方法包括如下步骤：
步骤1、获取银行系统某一时期信用卡用户的历史数据，将历史数据转换为图数据；图数据的节点代表信用卡用户，边表示用户间的联系；获取图拓扑信息和节点属性矩阵，图拓扑信息用邻接矩阵A表示；
步骤2、基于图卷积神经网络构建节点属性重构模型，节点属性重构模型包括编码器和解码器，编码器将图拓扑信息和节点属性信息编码为潜在分布矩阵，解码器将潜在分布矩阵解码为重构的节点属性矩阵；
编码器由两个图卷积层堆叠而成，传播过程表示为：
Figure FDA0004105279380000011
式中，Z表示图数据信息的潜在分布矩阵，
Figure FDA0004105279380000012
表示归一化的邻接矩阵，σ表示ReLU激活函数，I表示单位矩阵，W(1)、W(2)分别表示第一、二个图卷积层的参数矩阵；
利用解码器对图数据信息的潜在分布进行解码，第i个节点重构的属性向量
Figure FDA0004105279380000013
表示为：
Figure FDA0004105279380000014
式中，gx(·)表示解码器，
Figure FDA0004105279380000015
表示归一化的潜在分布向量，Wx表示可学习的参数矩阵，bx表示可学习的偏差；
步骤3、构建信用卡用户行为预测模型，信用卡用户行为预测模型由两个图卷积层堆叠而成，两个图卷积层的传播过程表示为：
Figure FDA0004105279380000016
Figure FDA0004105279380000017
式中，H(1)、H(2)分别表示第一、二个图卷积层的节点表征，
Figure FDA0004105279380000018
表示重构的节点属性矩阵；
通过循环神经网络获得每个图卷积层的节点度参数矩阵，表达式如下：
Figure FDA0004105279380000019
式中，l＝1，2表示图卷积层编号，k＝0，1，2，...dmax表示节点度，dmax表示节点度的最大值，
Figure FDA00041052793800000110
分别表示第l个图卷积层节点度k、k+1的参数矩阵；
通过注意力机制优化传播过程，即将每个图卷积层的节点度参数矩阵分别代入各自的传播公式中，得到：
Figure FDA00041052793800000111
Figure FDA00041052793800000112
式中，
Figure FDA00041052793800000113
分别表示第一、二个图卷积层的节点度参数矩阵；
将信用卡用户行为预测模型的输出压缩为各个节点预测标签纵向堆叠而成的一维列向量，即预测结果；
随机选取图数据的部分节点和边，将边信息和对应节点重构的属性输入到信用卡用户行为预测模型中进行训练，得到训练后的信用卡用户行为预测模型；
步骤4、用于与步骤1中历史数据来源相同的银行系统时，将待预测的所有用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为；
用于与步骤1中历史数据来源不同的银行系统时，需要获取该银行系统信用卡用户的历史数据，并执行步骤1～3，得到训练后的信用卡用户行为预测模型；再将待预测的所有新用户数据转换为图数据，提取图数据的邻接矩阵，将该邻接矩阵和重构的节点属性矩阵输入到训练后的信用卡用户行为预测模型中，得到所有新用户的行为。
2.根据权利要求1所述的基于属性重构与注意力机制的信用卡用户行为预测方法，其特征在于，计算节点属性重构损失的目标函数为：
Figure FDA0004105279380000021
式中，Vx表示已知属性的节点集合，xi为v知的节点属性向量，
Figure FDA0004105279380000022
表示节点i的属性重构损失，/>
Figure FDA0004105279380000023
表示约束图数据信息的潜在分布矩阵与图拓扑信息的正则项，λ表示超参数。
3.一种信用卡用户行为预测系统，其特征在于，该系统包括处理器、存储器和计算机程序；处理器与存储器连接，计算机程序被存储在存储器中，当系统运行时，该处理器执行存储器中的计算机程序，使系统执行权利要求1或2所述的方法。
4.一种计算机可读存储介质，用于存储计算机指令；其特征在于，所述计算机指令被处理器执行时，完成权利要求1或2所述的方法。
CN202310190601.2A 2023-03-02 2023-03-02 基于属性重构与注意力机制的信用卡用户行为预测方法 Pending CN116228400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310190601.2A CN116228400A (zh) 2023-03-02 2023-03-02 基于属性重构与注意力机制的信用卡用户行为预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310190601.2A CN116228400A (zh) 2023-03-02 2023-03-02 基于属性重构与注意力机制的信用卡用户行为预测方法

Publications (1)

Publication Number Publication Date
CN116228400A true CN116228400A (zh) 2023-06-06

Family

ID=86574651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310190601.2A Pending CN116228400A (zh) 2023-03-02 2023-03-02 基于属性重构与注意力机制的信用卡用户行为预测方法

Country Status (1)

Country Link
CN (1) CN116228400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273241A (zh) * 2023-11-17 2023-12-22 北京京东乾石科技有限公司 一种处理数据的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273241A (zh) * 2023-11-17 2023-12-22 北京京东乾石科技有限公司 一种处理数据的方法和装置
CN117273241B (zh) * 2023-11-17 2024-04-05 北京京东乾石科技有限公司 一种处理数据的方法和装置

Similar Documents

Publication Publication Date Title
Dumitrescu et al. Machine learning for credit scoring: Improving logistic regression with non-linear decision-tree effects
Yoon et al. Semi-supervised learning with deep generative models for asset failure prediction
US11631032B2 (en) Failure feedback system for enhancing machine learning accuracy by synthetic data generation
TW201946013A (zh) 基於ｌｓｔｍ模型的信用風險預測方法及裝置
Häggström Data‐driven confounder selection via Markov and Bayesian networks
Ma et al. Fuzzy hypergraph network for recommending top-K profitable stocks
CN111612041A (zh) 异常用户识别方法及装置、存储介质、电子设备
CN114187112A (zh) 账户风险模型的训练方法和风险用户群体的确定方法
Li et al. Stock trading strategies based on deep reinforcement learning
Kang et al. A CWGAN-GP-based multi-task learning model for consumer credit scoring
CN111695938A (zh) 产品推送方法及系统
US20220076157A1 (en) Data analysis system using artificial intelligence
US20190139144A1 (en) System, method and computer-accessible medium for efficient simulation of financial stress testing scenarios with suppes-bayes causal networks
CN116228400A (zh) 基于属性重构与注意力机制的信用卡用户行为预测方法
Zhou et al. Personal credit default prediction model based on convolution neural network
Zhang et al. An attention‐based Logistic‐CNN‐BiLSTM hybrid neural network for credit risk prediction of listed real estate enterprises
Huang et al. Partitioned hybrid learning of Bayesian network structures
Jin et al. A novel multi-stage ensemble model with multiple K-means-based selective undersampling: An application in credit scoring
CN117313160B (zh) 一种隐私增强的结构化数据仿真生成方法及系统
Zhou Explainable ai in request-for-quote
Kadam et al. Loan approval prediction system using logistic regression and CIBIL score
CN117725901A (zh) 交易分析报告的生成方法、装置和计算机设备
Sharrock et al. Tuning-free maximum likelihood training of latent variable models via coin betting
CN115688923A (zh) 应对互联网金融安全的数据处理方法及系统
Yang et al. Automatic Feature Engineering‐Based Optimization Method for Car Loan Fraud Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination