CN113537297B - 一种行为数据预测方法及装置 - Google Patents

一种行为数据预测方法及装置 Download PDF

Info

Publication number
CN113537297B
CN113537297B CN202110695116.1A CN202110695116A CN113537297B CN 113537297 B CN113537297 B CN 113537297B CN 202110695116 A CN202110695116 A CN 202110695116A CN 113537297 B CN113537297 B CN 113537297B
Authority
CN
China
Prior art keywords
vector
code
sequence
user behavior
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110695116.1A
Other languages
English (en)
Other versions
CN113537297A (zh
Inventor
林智明
潘华引
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongdun Technology Co ltd
Tongdun Holdings Co Ltd
Original Assignee
Tongdun Technology Co ltd
Tongdun Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongdun Technology Co ltd, Tongdun Holdings Co Ltd filed Critical Tongdun Technology Co ltd
Priority to CN202110695116.1A priority Critical patent/CN113537297B/zh
Publication of CN113537297A publication Critical patent/CN113537297A/zh
Application granted granted Critical
Publication of CN113537297B publication Critical patent/CN113537297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种行为数据预测方法及装置，属于数据处理领域，本发明提供的方法可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中获取预置预测模型输出的预测结果，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中无需进行特征工程，从而能够有效提高数据预测效率、降低成本，还能对各历史用户行为实现注意力加权的效果，提高模型对当前用户行为预测的准确率。

Description

一种行为数据预测方法及装置
技术领域
本发明涉及数据处理领域，更具体地，涉及一种行为数据预测方法及装置。
背景技术
随着网络信息技术的发展，用户的消费、借贷、收支等发生时序性数据逐渐累积丰富，为用户行为的风险预测提供了可能。
用户行为的风险预测与广告点击率预测、营销响应预测、文本分类等均可抽象为二分类建模问题，通常先对用户进行用户画像，根据用户的静态属性、动态行为等进行数据预处理和特征工程，综合运用统计学和业务领域知识提炼用于建模的特征，再利用逻辑回归、决策树、梯度提升树等集成学习算法或者深度学习算法构建模型，并根据使用场景对模型进行离线或者在线部署，进行用户行为的风险预测。
其中，特征工程通常需要先对用户行为进行分类，再根据需求对不同种类的行为分时段统计，获得次数、频率、变化率、变化趋势等方面对用户进行表征从而获取用户的特征数据，可以看出，上述过程使得数据预处理较为复杂，且特征质量对数据质量、提取方式要求较高，导致数据预测效率较低、成本较高。
发明内容
本发明提供了一种行为数据预测方法与装置，以解决在构建数据预测模型时进行数据预处理、特征工程等过程导致数据预测效率较低、成本较高的问题。
本发明第一方面提供了一种行为数据预测方法，该方法可以包括：
获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
可选地，所述获取当前用户行为对应的第一机构编码之前，还包括：
分别获取至少两个历史用户行为对应的第二机构编码以及发生时序；
根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量；
采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量；
采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
可选地，所述采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量，包括：
对所述序列编码向量进行Transformer处理，获得第一向量；
对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量；
根据所述第一向量与所述第二向量获得所述目标特征向量。
可选地，所述对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量，包括：
将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
可选地，所述根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量之后，还包括：
对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
本发明第二方面提供了一种数据预测装置，该装置可以包括：
第一编码获取模块，用于获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
行为数据预测模块，用于将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
可选地，所述装置还包括：
第二编码获取模块，用于分别获取至少两个历史用户行为对应的第二机构编码以及发生时序；
序列向量构建模块，用于根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量；
特征向量获取模块，用于采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量；
预测模型训练模块，用于采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
可选地，所述特征向量获取模块，包括：
第一向量获取子模块，用于对所述序列编码向量进行Transformer处理，获得第一向量；
第二向量获取子模块，用于对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量；
特征向量获取子模块，用于根据所述第一向量与所述第二向量获得所述目标特征向量。
可选地，所述第二向量获取子模块，具体用于将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
可选地，所述装置还包括：
向量嵌入处理模块，用于对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
与相关技术相比，本发明具有以下优点：
本发明实施例中，可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中，获取预置预测模型针对当前用户行为输出的预测结果，第一机构编码用于标识所述当前用户行为发生的机构，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，可以看出，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中无需进行冗杂的特征工程，从而能够有效提高数据预测效率、降低成本，另外，采用注意力机制的池化方法能够对各历史用户行为实现注意力加权的效果，即针对不同的当前用户行为能够根据当前用户行为分别与历史用户行为的相关程度对历史用户行为进行注意加权，通过对当前用户行为的实时计算有效提高了模型对当前用户行为预测的准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种行为数据预测方法的步骤流程图；
图2是本发明实施例提供的另一种行为数据预测方法的步骤流程图；
图3是本发明实施例提供的一种注意力机制的池化方法示意图；
图4是本发明实施例提供的一种深度神经网络的部分结构示意图；
图5是本发明实施例提供的一种行为数据预测装置的结构框图；
图6是本发明实施例提供的另一种行为数据预测装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图1是本发明实施例提供的一种行为数据预测方法的步骤流程图，该方法可以包括：
步骤101、获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构。
本发明实施例中，可以应用于信贷场景下用户行为预测的场景中，如应用于针对用户逾期概率的预测、针对用户按时还款概率的预测等等，此时，当前用户行为可以是实时检测到的用户申贷行为，第一机构编码可以是当前用户行为发生的机构对应的编码，机构指记录的可支持用户行为的合作方，如机构可以指银行机构、金融机构、购物机构、餐饮机构等等，可选地，可以预先记录不同机构对应的机构编码，在检测到当前用户行为发生时将当前用户行为对应的机构编码作为第一机构编码。在应用中，可以通过行为日志记录用户在机构的生态内发生的申贷行为，如记录申贷行为发起的机构编码、申请时间戳等。
步骤102、将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
本发明实施例中，注意力机制(Attention)是一种可动态关注与输入相关度更高的因素，从而提升模型分辨效果的方法，采用注意力机制可以通过输入元素与序列中每个元素之间的相关程度，并根据该相关程度分配权重的方式，实现注意力加权的效果，从而使得输出结果更关注相关度较为理想的元素，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化(AttentionPooling)处理获得的目标特征向量训练得到，而第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及第二机构编码构建得到，即预置预测模型通过注意力机制对第二机构编码与序列编码向量进行池化获得目标特征向量，再通过目标特征向量对发生在对应机构的用户历史用户行为进行预测训练，以达到对预置预测模型输入任意第二机构编码，预置预测模型可以确定第二机构编码与序列编码向量中除第二机构编码外各向量之间的相关程度以进行权重分配获得目标特征向量，再根据目标特征向量获得对应预测结果，且该预测结果符合第二机构编码对应用户行为的实际结果。
本发明实施例中，在获得第一机构编码后，可以将其输入预置预测模型中，从而获取预置预测模型针对当前用户行为输出的预测结果，其中，预置预测模型可以基于注意力机制确定第一机构编码与序列编码向量中各向量的相关程度，并根据该相关程度确定目标特征向量，再根据目标特征向量进行预测获得预测结果，可选地，根据预置预测模型的种类不同，预测结果可以是用户逾期概率、用户按时还款概率等，本发明实施例对此不做具体限制。
本发明实施例中，可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中，获取预置预测模型针对当前用户行为输出的预测结果，第一机构编码用于标识所述当前用户行为发生的机构，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，可以看出，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中无需进行冗杂的特征工程，从而能够有效提高数据预测效率、降低成本，另外，采用注意力机制的池化方法能够对各历史用户行为实现注意力加权的效果，即针对不同的当前用户行为能够根据当前用户行为分别与历史用户行为的相关程度对历史用户行为进行注意加权，通过对当前用户行为的实时计算有效提高了模型对当前用户行为预测的准确率。
图2是本发明实施例提供的另一种行为数据预测方法的步骤流程图，如图2所示，该方法可以包括：
步骤201、分别获取至少两个历史用户行为对应的第二机构编码以及发生时序。
本发明实施例中，历史用户行为可以是历史检测到的用户申贷行为，发生时序可以指发生历史用户行为的时间顺序，其中，可以已知各历史用户行为的是否预期、是否按时还款等结果，第二机构编码可以采用固定长度的向量(vector)进行表征，具体的，参照前述步骤101～102的相关内容，为避免重复，在此不再赘述。
如，记录的机构包括bank1、xiaojin2、bank3、creadit_card4、bank5等，分别对应机构编码1、2、3、4、5，此时，检测到用户历史用户行为按照发生时序对应的机构为bank1、xiaojin2、bank3，此时，可以确定第二机构编码包括1、2、3。
步骤202、根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量。
本发明实施例中，根据历史用户行为的时序性，可以构建历史用户行为的序列编码向量，可选地，可以采用one-hot(独热)编码构建序列编码向量。
如，根据第二机构编码1、2、3构建序列编码向量[1、2、3]。
步骤203、对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
本发明实施例中，由于用户行为的相关数据不足、较少的情况下编码得到的向量为高维稀疏，因此，为了降低模型训练的复杂程度，便于模型后期处理，可以对序列编码向量与第二机构编码分别进行嵌入(Embedding)处理，获得低维稠密的向量以便于后续处理，其中，嵌入处理指将高维数据映射到低维流形从而使其可分的过程，如词嵌入(WordEmbedding)就是把单词组成的句子映射到一个表征向量的过程，本发明实施例中可以将每一机构编码作为一个单词，从而通过嵌入处理进行降维。
步骤204、采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量。
本发明实施例中，无需通过特征工程对数据采用统计学、业务领域知识进行处理，在获得第二机构编码与序列编码向量后，可以直接采用注意力机制对其进行池化处理以获得经注意力加权的目标特征向量，以使得该目标特征向量能够更好地表征该历史用户行为。
可选地，图3是本发明实施例提供的一种注意力机制的池化方法示意图，如图3所示，在获得序列编码向量后，可以分别对序列编码向量采用不同注意力机制的算法，此时，所述步骤203可以包括：
步骤S11、对所述序列编码向量进行Transformer处理，获得第一向量。
本发明实施例中，如图3中301所示，在获得序列编码向量后，可以对序列编码向量进行Transformer处理，可选地，可以是将序列编码向量依次经过multi head self_attention(多头自注意力机制)、Add&Layer_Normalization(层归一化)、Feed Forward(前馈)、Add&Layer_Normalization后，再经过全局最大池化等处理，从而获得第一向量。
步骤S12、对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量。
本发明实施例中，如图3中302所示，在获得序列编码向量后，可以对序列编码向量与第二机构编码进行注意力池化处理，由于在模型训练过程中通常采用历史用户行为的数据进行训练，因此，可以选择任一历史用户行为作为输入进行训练，可选地，可以是确定任一历史用户行为对应的第二机构编码分别与除第二机构编码外的序列编码向量之间的相关程度，即考虑局部历史用户行为与全局历史用户行为之间的相关程度，并根据该相关程度进行加权分配确定第二向量，从而使得根据输入的机构编码不同，可以动态考虑其特征，如输入的第二机构编码为银行机构，则前述注意力池化处理中会分配给银行机构对应的其他历史用户行为更多的权重，或者如输入的第三机构编码为金融机构，则前述注意力池化处理中会分配给金融机构对应的其他历史用户行为更多的权重，从而都能更好捕捉到预测需求的信息，增强预测模型的泛化能力。
可选地，所述步骤S12，具体包括将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
本发明实施例中，可以将第二机构编码作为第一矩阵，序列编码向量作为第二矩阵，依次经过Attention(注意力)、Layer_Normalization(层归一化)等处理，可先对第一矩阵与第二矩阵进行相关程度的量化，并对该量化结果进行归一化，再根据归一化的结果进行加权分配，从而获得根据各第二机构编码不同，动态表征对应历史用户行为的第二向量。
步骤S13、根据所述第一向量与所述第二向量获得所述目标特征向量。
本发明实施例中，在获得第一向量和第二向量后，可以根据第一向量与第二向量获得目标特征向量，以使得目标特征向量可以综合表征第一向量与第二向量表征的特征，可选地，可以是对第一向量与第二向量进行拼接，也可以是对第一向量与第二向量进行求和、求积等等，本发明实施例对此不作具体限制。
步骤205、采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
本发明实施例中，可以根据目标特征向量对用户行为进行表征并进行深度神经网络(DNN，Deep Neural Networks)模型的训练，图4是本发明实施例提供的一种深度神经网络的部分结构示意图，如图4所示，深度神经模块的部分结构可以包括多个MLP(Muti－Layer Perception，多层感知器)和Dropout(丢弃法)算法，并最后采用sigmoid(S型生长曲线)函数进行激活，输出形式为概率值的预测结果。
步骤206、获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构。
本发明实施例中，步骤207可对应参照前述步骤102的相关描述，为避免重复在此不再赘述。
如，当前用户行为发生的机构为xiaojin2，确定其对应的编码为第一机构编码[0]。
步骤207、将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果。
本发明实施例中，步骤207可对应参照前述步骤102的相关描述，为避免重复在此不再赘述。
如，将第一机构编码[0]输入预置预测模型中，获取预置预测模型输出的预测结果0.6，确定当前用户的申贷行为逾期概率为0.8，确定该用户风险较高。
本发明实施例中，获得预测结果后，进一步的，可以根据预测结果进行申贷资格确定、金融产品营销推荐、投保行为预测等，从而应用至各业务场景中。
本发明实施例中，可以进一步获取该当前用户行为后续的实际结果，即该用户的还贷、还款行为等，从而在该当前用户行为的实际结果不符合所述预置预测模型的预测结果，或该当前用户行为的实际结果不符合所述预置预测模型的预测结果的次数达到预设阈值时，根据该当前用户行为与实际结果对该预置预测模型进行迭代更新。
综上所述，本发明实施例中，可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中，获取预置预测模型针对当前用户行为输出的预测结果，第一机构编码用于标识所述当前用户行为发生的机构，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，可以看出，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中取消了耗时的数据预处理以及依赖业务领域知识的特征工程，将数据处理、模型构建统一纳入一个transformer+attentionpooling的深度学习网络当中，通过基于self_attention的transformer对序列编码向量进行处理获得第一向量，从而获得序列内不同向量之间的联系，通过attentionpooling对所述序列编码向量与所述第二机构编码获得第二向量，从而获得局部历史用户联系与全局历史用户行为之间的联系，基于第一向量与第二向量便于模型学习局部历史用户行为、全局历史用户行为序列与待预测行为之间的关系，以有效提高数据预测效率、降低成本，另外，采用注意力机制的池化方法能够对各历史用户行为实现注意力加权的效果，即针对不同的当前用户行为能够根据当前用户行为分别与历史用户行为的相关程度对历史用户行为进行注意加权，通过对当前用户行为的实时计算有效提高了模型对当前用户行为预测的准确率。
图5是本发明实施例提供的一种行为数据预测装置40的结构框图，如图5所示，该装置40可以包括:
第一编码获取模块401，用于获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
行为数据预测模块402，用于将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
本发明实施例中，可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中，获取预置预测模型针对当前用户行为输出的预测结果，第一机构编码用于标识所述当前用户行为发生的机构，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，可以看出，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中无需进行冗杂的特征工程，从而能够有效提高数据预测效率、降低成本，另外，采用注意力机制的池化方法能够对各历史用户行为实现注意力加权的效果，即针对不同的当前用户行为能够根据当前用户行为分别与历史用户行为的相关程度对历史用户行为进行注意加权，通过对当前用户行为的实时计算有效提高了模型对当前用户行为预测的准确率。
图6是本发明实施例提供的另一种行为数据预测装置50的结构框图，如图6所示，该装置50可以包括:
第二编码获取模块501，用于分别获取至少两个历史用户行为对应的第二机构编码以及发生时序；
序列向量构建模块502，用于根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量；
特征向量获取模块503，用于采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量；
预测模型训练模块504，用于采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
第一编码获取模块505，用于获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
行为数据预测模块506，用于将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果。
可选地，所述特征向量获取模块503，包括：
第一向量获取子模块，用于对所述序列编码向量进行Transformer处理，获得第一向量；
第二向量获取子模块，用于对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量；
特征向量获取子模块，用于根据所述第一向量与所述第二向量获得所述目标特征向量。
可选地，所述第二向量获取子模块，具体用于将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
可选地，所述装置还包括：
向量嵌入处理模块，用于对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
综上所述，本发明实施例中，可以获取当前用户行为对应的第一机构编码，并将第一机构编码输入预置预测模型中，获取预置预测模型针对当前用户行为输出的预测结果，第一机构编码用于标识所述当前用户行为发生的机构，其中，预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，第二机构编码用于标识历史用户行为发生的机构，序列编码向量根据历史用户行为的发生时序以及所述第二机构编码构建得到，可以看出，通过注意力机制的池化方法进行特征提取，预置预测模型的训练过程中无需进行冗杂的特征工程，从而能够有效提高数据预测效率、降低成本，另外，采用注意力机制的池化方法能够对各历史用户行为实现注意力加权的效果，即针对不同的当前用户行为能够根据当前用户行为分别与历史用户行为的相关程度对历史用户行为进行注意加权，通过对当前用户行为的实时计算有效提高了模型对当前用户行为预测的准确率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种行为数据预测方法，其特征在于，所述方法包括：
获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
2.根据权利要求1所述的方法，其特征在于，所述获取当前用户行为对应的第一机构编码之前，还包括：
分别获取至少两个历史用户行为对应的第二机构编码以及发生时序；
根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量；
采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量；
采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
3.根据权利要求2所述的方法，其特征在于，所述采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量，包括：
对所述序列编码向量进行Transformer处理，获得第一向量；
对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量；
根据所述第一向量与所述第二向量获得所述目标特征向量。
4.根据权利要求3所述的方法，其特征在于，所述对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量，包括：
将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
5.根据权利要求2所述的方法，其特征在于，所述根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量之后，还包括：
对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
6.一种行为数据预测装置，其特征在于，所述装置包括：
第一编码获取模块，用于获取当前用户行为对应的第一机构编码，所述第一机构编码用于标识所述当前用户行为发生的机构；
行为数据预测模块，用于将所述第一机构编码输入预置预测模型中，获取所述预置预测模型针对所述当前用户行为输出的预测结果，所述预置预测模型通过采用注意力机制对第二机构编码以及序列编码向量进行池化处理获得的目标特征向量训练得到，所述第二机构编码用于标识历史用户行为发生的机构，所述序列编码向量根据所述历史用户行为的发生时序以及所述第二机构编码构建得到。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二编码获取模块，用于分别获取至少两个历史用户行为对应的第二机构编码以及发生时序；
序列向量构建模块，用于根据所述发生时序与所述第二机构编码构建至少两个所述历史用户行为对应的序列编码向量；
特征向量获取模块，用于采用注意力机制对所述序列编码向量与所述第二机构编码进行池化处理获得目标特征向量；
预测模型训练模块，用于采用所述目标特征向量进行深度神经网络模型训练，获得所述预置预测模型。
8.根据权利要求7所述的装置，其特征在于，所述特征向量获取模块，包括：
第一向量获取子模块，用于对所述序列编码向量进行Transformer处理，获得第一向量；
第二向量获取子模块，用于对所述序列编码向量与所述第二机构编码进行注意力池化处理，获得第二向量；
特征向量获取子模块，用于根据所述第一向量与所述第二向量获得所述目标特征向量。
9.根据权利要求8所述的装置，其特征在于，所述第二向量获取子模块，具体用于将所述第二机构编码作为第一矩阵，所述序列编码向量作为第二矩阵进行注意力池化处理，获得所述第二向量。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
向量嵌入处理模块，用于对所述序列编码向量与所述第二机构编码分别进行嵌入处理。
CN202110695116.1A 2021-06-22 2021-06-22 一种行为数据预测方法及装置 Active CN113537297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695116.1A CN113537297B (zh) 2021-06-22 2021-06-22 一种行为数据预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695116.1A CN113537297B (zh) 2021-06-22 2021-06-22 一种行为数据预测方法及装置

Publications (2)

Publication Number Publication Date
CN113537297A CN113537297A (zh) 2021-10-22
CN113537297B true CN113537297B (zh) 2023-07-28

Family

ID=78125584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695116.1A Active CN113537297B (zh) 2021-06-22 2021-06-22 一种行为数据预测方法及装置

Country Status (1)

Country Link
CN (1) CN113537297B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818904A (zh) * 2021-02-22 2021-05-18 复旦大学 一种基于注意力机制的人群密度估计方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346745B (zh) * 2010-08-02 2014-04-02 阿里巴巴集团控股有限公司 单词的用户行为数的预测方法和装置
CN108280757B (zh) * 2017-02-13 2021-08-17 腾讯科技（深圳）有限公司 用户信用评估方法及装置
CN108734338A (zh) * 2018-04-24 2018-11-02 阿里巴巴集团控股有限公司 基于lstm模型的信用风险预测方法及装置
US11257481B2 (en) * 2018-10-24 2022-02-22 Tencent America LLC Multi-task training architecture and strategy for attention-based speech recognition system
CN109977199B (zh) * 2019-01-14 2021-06-29 浙江大学 一种基于注意力池化机制的阅读理解方法
US11604994B2 (en) * 2019-06-28 2023-03-14 International Business Machines Corporation Explainable machine learning based on heterogeneous data
CN110555749B (zh) * 2019-07-26 2021-10-29 创新先进技术有限公司 基于神经网络的信用行为预测方法以及装置
CN110727856A (zh) * 2019-09-04 2020-01-24 福州智永信息科技有限公司 一种基于低龄用户的优化协同推荐方法及系统
CN111191791B (zh) * 2019-12-02 2023-09-29 腾讯云计算（北京）有限责任公司 基于机器学习模型的图片分类方法、装置及设备
CN110929869B (zh) * 2019-12-05 2021-09-07 同盾控股有限公司 序列数据处理方法、装置、设备及存储介质
CN111325572B (zh) * 2020-01-21 2024-05-03 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN111382930B (zh) * 2020-02-27 2022-08-16 西安交通大学 一种面向时序数据的风险预测方法及系统
CN111401041A (zh) * 2020-03-23 2020-07-10 北京奇艺世纪科技有限公司 一种问题预测方法、装置、电子设备及存储介质
CN112270547A (zh) * 2020-10-27 2021-01-26 上海淇馥信息技术有限公司 基于特征构造的金融风险评估方法、装置和电子设备
CN112184431A (zh) * 2020-11-09 2021-01-05 上海优扬新媒信息技术有限公司 用户风险确定方法和装置
CN112766561B (zh) * 2021-01-15 2023-11-17 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN112819604A (zh) * 2021-01-19 2021-05-18 浙江省农村信用社联合社 基于融合神经网络特征挖掘的个人信用评估方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818904A (zh) * 2021-02-22 2021-05-18 复旦大学 一种基于注意力机制的人群密度估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于社会注意力机制的行人轨迹预测方法研究;李琳辉;周彬;连静;周雅夫;;通信学报(第06期);全文 *

Also Published As

Publication number Publication date
CN113537297A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111538912B (zh) 内容推荐方法、装置、设备及可读存储介质
JP7276757B2 (ja) モデル公平性のためのシステムおよび方法
CN110503531B (zh) 时序感知的动态社交场景推荐方法
CN109783730A (zh) 产品推荐方法、装置、计算机设备和存储介质
CN110781409B (zh) 一种基于协同过滤的物品推荐方法
CN111626832B (zh) 产品推荐方法、装置及计算机设备
CN111737578B (zh) 一种推荐方法及系统
Soui et al. Bankruptcy prediction using stacked auto-encoders
CN113011889B (zh) 账号异常识别方法、系统、装置、设备及介质
CN116128461B (zh) 一种用于在线招聘的双向推荐系统及方法
CN109189922B (zh) 评论评估模型的训练方法和装置
CN112487284A (zh) 银行客户画像生成方法、设备、存储介质及装置
CN111709225A (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
CN111310462A (zh) 用户属性的确定方法、装置、设备及存储介质
CN113656699B (zh) 用户特征向量确定方法、相关设备及介质
CN114693409A (zh) 产品匹配方法、装置、计算机设备、存储介质和程序产品
CN114022202A (zh) 基于深度学习的用户流失预测方法及系统
Lukita et al. Predictive and Analytics using Data Mining and Machine Learning for Customer Churn Prediction
CN113034193A (zh) 一种app2vec在风控系统中建模的工作方法
CN112330442A (zh) 基于超长行为序列的建模方法及装置、终端、存储介质
CN113537297B (zh) 一种行为数据预测方法及装置
CN111709766A (zh) 一种用户行为预测方法、装置、存储介质及电子设备
KR102365308B1 (ko) 인공 신경망을 이용하여 기업 내부 문서의 리스크를 예측하는 방법 및 장치
CN114880575A (zh) 用户行为预测方法、装置、设备、介质及产品
Weterings et al. Explaining customer activation with deep attention models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant