CN116800831A - 一种业务数据推送方法、装置、存储介质及处理器 - Google Patents

一种业务数据推送方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN116800831A
CN116800831A CN202310752848.9A CN202310752848A CN116800831A CN 116800831 A CN116800831 A CN 116800831A CN 202310752848 A CN202310752848 A CN 202310752848A CN 116800831 A CN116800831 A CN 116800831A
Authority
CN
China
Prior art keywords
user
data
training
characteristic data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310752848.9A
Other languages
English (en)
Inventor
汪皓
程雅斌
方盈淑
路施泽
张清洁
涂茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank Of China Ltd Beijing Branch
Original Assignee
Agricultural Bank Of China Ltd Beijing Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank Of China Ltd Beijing Branch filed Critical Agricultural Bank Of China Ltd Beijing Branch
Priority to CN202310752848.9A priority Critical patent/CN116800831A/zh
Publication of CN116800831A publication Critical patent/CN116800831A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种业务数据的推送方法、装置、存储介质及处理器,包括:预先训练行为状态确定模型,将待推送用户的用户特征数据输入至训练完的行为状态确定模型,得到预测状态标签,在预测状态标签满足预设推送条件的情况下,将待推送用户作为目标用户,将业务数据推送给目标用户。上述过程,目标用户是基于待推送用户的用户特征数据和训练完的行为意图确定模型筛选出的对业务数据感兴趣的用户,由于目标用户对业务数据感兴趣,因此,对于目标用户来说,接收业务数据不会对其造成困扰,并且业务数据的推送具有了针对性,推送只针对业务数据感兴趣的目标用户,减少了推送过程中的通信数据量,降低了通信信道在短时间内需要发送大量数据的压力。

Description

一种业务数据推送方法、装置、存储介质及处理器
技术领域
本发明涉及数据处理技术领域,尤其涉及一种业务数据推送方法、装置、存储介质及处理器。
背景技术
随着互联网技术的飞速发展,越来越多商家、企业、银行、医院和学校等机构会通过业务数据推送的方式增加知名度,让越来越多的用户了解自己,其中,业务数据可以为促销页面、机构简介、优惠券或者活动通知等形式。
现有的业务数据推送过程中,机构为了扩大业务推送数据的影响,通常将业务数据推送给指定区域的全部用户,但是,并不是指定区域的每个用户均会对推送的业务数据感兴趣,并且全部推送的方式会对不感兴趣的用户造成干扰。
进一步的,由于待推送的用户较多,通信数据量较大,需要占用较多的通信信道进行业务数据的推送,导致通信信道在短时间内需要发送大量业务数据,通信压力大。
发明内容
有鉴于此,本发明提供了一种业务数据推送方法、装置、存储介质及处理器,用以实现业务数据精准推送,降低通信压力的问题。具体方案如下:
一种业务数据推送方法,包括:
获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
上述的方法,可选的,获取训练数据集,包括:
遍历原始数据集,在所述原始数据集中选取包含每个训练用户预设特征的用户特征数据,其中,所述原始数据集包括:第一预设时长内每个训练用户的原始特征数据和对应的状态标签,其中,所述每个训练用户的原始特征数据包括:属性数据、用户资产数据、交易数据、行为信息数据、资产信息数据和风险评估数据;
将每个训练用户的用户特征数划分为基础特征数据和统计特征数据,其中,所述基础特征数据用于标识训练用户,所述统计特征数据用于标识对预设行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。
上述的方法,可选的,将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,包括:
预先设置所述行为状态确定模型为基于树的模型结构,损失函数为logistic损失函数,随机采样比例为85%,评价模型指标为AUC值,树最大深度为4,学习率为0.02,处理不平衡数值为12;
设置完成后,获取所述行为状态确定模型中决策树的当前数量;
依次将每个用户的用户特征数据输入至行为状态确定模型中的首个决策树;
遍历所述行为状态确定模型中的各个决策树,依次将上一个决策树的输出作为下一个决策树的输入,直至遍历完所述当前数量的决策树,将所述行为状态确定模型中最后一个决策树的输出作为所述预测状态标签。
上述的方法,可选的,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型,包括:
将所述训练数据集划分为测试集和验证集;
将所述测试集中每个训练用户对应的损失值与预设损失值阈值进行比较;
在所述损失值大于所述预设损失值阈值的情况下,调整所述行为状态确定模型中的参数;
在所述损失值小于所述预设损失值阈值的情况下,将所述验证集中每个训练用户的损失值与所述预设损失值阈值进行比较,在所述验证集中每个训练用户损失值小于所述预设损失值阈值的情况下,得到所述训练后的行为状态确定模型。
上述的方法,可选的,将每个训练用户的用户特征数据输入至行为意图确定模型进行训练之前,还包括:
对每个训练用户的用户特征数据进行预处理,其中,预处理过程包括:
删除每个用户特征数据中第一预设字符对应的用户特征数据和空值用户特征数据,或,将每个用户特征数据中的第二预设字符样本数据的进行one-hot编码,或,将每个用户特征数据中的预设标识替换为NaN,或,将每个用户特征数据中的样本数据转换为预设类型,或,对每个用户特征数据中第三预设字符样本数据进行随机填充中的至少一种处理。
上述的方法,可选的,还包括:
每间隔第二预设时长,统计每个用户特征数据与所述预测意图标签的关联度,选取关联度高于预设关联度阈值的目标用户特征数据;
基于所述目标用户特征数据对每个用户特征数据进行修正,得到调整后的用户特征数据;
基于所述调整后的用户特征数据对所述训练后的行为状态确定模型进行更新。
上述的方法,可选的,将业务数据推送给所述目标用户,包括:
获取所述目标用户的推送标识,基于所述推送标识确定目标推送方式,
将所述业务数据基于所述目标推送方式推送给所述目标用户。
上述的方法,可选的,所述用户特征数据为消费行为数据,所述状态标签为消费意图标签,所述行为状态确定模型为消费意图确定模型的,所述业务数据为营销业务数据。
一种业务数据推送装置,包括:
获取模块,用于获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
训练模块,用于将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
调整模块,用于基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
预测模块,用于获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
推送模块,用于所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
上述的装置,可选的,所述获取模块包括:
选取单元,用于遍历原始数据集,在所述原始数据集中选取包含每个训练用户预设特征的用户特征数据,其中,所述原始数据集包括:第一预设时长内每个训练用户的原始特征数据和对应的状态标签,其中,所述每个训练用户的原始特征数据包括:属性数据、用户资产数据、交易数据、行为信息数据、资产信息数据和风险评估数据;
划分单元,用于将每个训练用户的用户特征数划分为基础特征数据和统计特征数据,其中,所述基础特征数据用于标识训练用户,所述统计特征数据用于标识对预设行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。
一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述的业务数据推送方法。
一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的业务数据推送方法。
与现有技术相比,本发明包括以下优点:
本发明公开了一种业务数据的推送方法、装置、存储介质及处理器,包括:预先训练行为状态确定模型,将待推送用户的用户特征数据输入至训练完的行为状态确定模型,得到预测状态标签,在预测状态标签满足预设推送条件的情况下,将待推送用户作为目标用户,将业务数据推送给目标用户。上述过程,目标用户是基于待推送用户的用户特征数据和训练完的行为意图确定模型筛选出的对业务数据感兴趣的用户,由于目标用户对业务数据感兴趣,因此,对于目标用户来说,接收业务数据不会对其造成困扰,并且业务数据的推送具有了针对性,推送只针对业务数据感兴趣的目标用户,减少了推送过程中的通信数据量,降低了通信信道在短时间内需要发送大量数据的压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种业务数据的推送方法流程图;
图2为本发明实施例公开的一种业务数据的推送装置结构框图;
图3为本发明实施例公开的一种设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种业务数据的推送方法、装置、存储介质及终端,应用与对业务数据的推送过程中,现有技术中采用对全部用户均推送业务数据的方式,现有的推送方式不仅会对不感兴趣的用户造成干扰,而且还会导致通信信道在短时间内需要发送大量业务数据,通信压力大,为了解决上述问题,本发明提供了一种业务数据推送方法,所述推送方法中以对营销业务数据推送为例进行说明,所述营销业务数据可以为促销链接、打折券或者优惠券等,在所述业务数据为营销业务数据的情况下,所述训练数据集中的训练样本为每个训练用户的消费行为数据和消费意图标签,所述行为状态确定模型为消费意图确定模型,优选的,所述消费行为数据可以现金消费行为数据、储蓄卡消费行为数据或者信用卡消费行为数据等其它形式的消费行为数据,本发明实施例中,以每个用户的消费行为数据为基于信用卡的消费行为数据为例进行说明。
所述方法的执行流程如图1所示,包括步骤:
S101、获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
本发明实施了中,所述训练数据集基于原始数据集获取,所述原始数据集包括:第一预设时长内每个训练用户的原始特征数据和对应的消费意图标签,该原始特征数据包括:属性数据、用户资产数据、交易数据、行为信息数据、资产信息数据、风险评估数据以及其它衍生数据等。其中,所述属性数据包括:客户ID、掌银注册日期、年龄、性别等,所述用户资产数据包括:金融资产、存款、贷款、基金、保险、三方存管、贵金属等指标,所述交易数据包括:网银、掌银、柜台和快捷支付等指标,所述行为信息数据包括:贷款、支付、忘记密码、转账、信用卡还款、取现金额、消费金额、消费天数等指标,所述资产信息数据包括:信用卡卡片数量、信用卡积分月、信用卡账户余额等指标,所述风险评估数据包括:客户信用卡申请评分和客户行内风险评分等指标,其中,所述第一预设时长可以基于经验或者具体情况进行确定,本发明实施例中不进行具体限定,优选的,所述第一预设时长可以为三个月或者半年等,所述原始数据集中共设计470个特征,行数在40万左右。进一步的,所述原始数据集中选取包含每个训练用户预设特征的消费行为数据,其中,所述预设特征基于具体场景选定,本发明实施例中对所述预设特征的选取不进行限定。
进一步的,为后续基于消费意图确定模型确定消费意图,可以将所述消费行为数据进行划分,将所述消费行为数据划分为基础特征数据和统计特征数据,其中,所述基础特征数据用于标识训练用户,所述统计特征数据用于标识对预设行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。
所述消费行为数据的具体划分过程包括:
基础特征数据是可以从原始数据集中直接获取的,比如性别、年龄段、职业等,基础特征数据是可以供决策使用的知识,也等价于信息和数据。统计特征数据是通过原始数据汇总得到的,比如用户的流失风险值、用户的潜在价值以及对营销业务数据的兴趣度等。
将每个用户的统计特征数据输入预先构建的数值归一化分析模型中,得到每个用户的多个客户流失判断系数,其中,所述数值归一化分析模型基于具体的应用场景进行构建,可以为批量归一化模型、赫布归一化模型或者其它优选归一化模型等。
根据每个用户的多个客户流失判断系数计算每个用户的客户流失风险值;其中,
客户流失风险值的计算公式为:
其中,nopen为当前时刻针对预先构建的数值归一化分析模型的动态归一化因子,Vi为多个客户流失判断系数中任意一个值,ρ和ε1是常量系数;
将每个用户的信用卡消费信息、信用卡资产信息、信用卡风险信息进行加权求和取平均值,得到每个用户的客户潜在价值权重值;
将每个用户的客户身份资料数据输入预先训练的营销业务数据兴趣度评估模型中,输出每个用户对营销业务数据的兴趣度,其中,所述营销业务数据兴趣度评估模型基于神经网络进行构建,本发明实施例中对所述营销业务数据评估模型的具体存在形式不进行限定。
进一步的,所述基础特征数据用于标识训练用户,所述统计特征数据,用于标识对消费以行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。优选的,将训练样本中每个用户的消费行为数据和消费意图标签存储到特征宽表中。
S102、将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
本发明实施例中,基于XGBoost对消费意图确定模型的具体训练过程包括:预先设置所述消费意图确定模型为基于树的模型结构,损失函数为logistic损失函数,随机采样比例为85%,评价模型指标为ROC曲线下与坐标轴围成的面积AUC值(Area Under Curve),树最大深度为4,学习率为0.02,处理不平衡数值为12,优选的,迭代次数为5000。上述指标的确定是通过对多条训练样本进行分析、总结和提炼后得到,经由该方式得到的训练后的行为状态确定模型通用性较强,适用于各种场景的行为状态确定过程。
所述消费意图确定模型的创建过程如下:初始化并定位原始神经网络的第一损失函数,构建针对所述消费行为数据特征向量大小的向量约束损失,基于所述向量约束损失建立消费行为预测模型的第二损失函数,将原始神经网络的第一损失函数替换为第二损失函数,得到消费意图确定模型。
可选的,消费意图确定模型中的第二损失函数为:
其中,是消费行为预测的交叉熵损失函数,a是自然常数,W是全连接层参数,T是转置处理,bi为第i个用户的消费意图标签,λk(i)||zi||2表示当用户的消费行为预测错误时对向量的约束,zi表示网络对输入消费行为数据提取的特征,(i)是一个消费行为类型的标识函数,当用户的消费行为预测错误时,k(i)=1,用户的消费行为预测正确时k(i)=0,λ是约束的权重,/>是用户的消费行为预测正确时对用户信息的特征向量大小的向量约束损失,γ是约束的权重,ε2是针对消费行为预测模型的第二损失函数输入的动态参数。
设置完成后,获取消费意图确定模型中决策树的当前数量,依次将每个用户的用户特征数据输入至消费意图确定模型中的首个决策树,遍历所述消费意图模型中的各个决策树,依次将上一个决策树的输出作为下一个决策树的输入,直至遍历完所述当前数量的决策树,将所述行为状态确定模型中最后一个决策树的输出作为所述预测状态标签。
S103、基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
本发明实施例中,针对每个训练用户分别获取其对应的消费意图和预测消费意图,基于logistic损失函数计算损失值,基于所述损失值对所述消费意图确定模型中的参数进行调整,优选的,调整的原则为损失值小于预设的损失值阈值,其中,所述预设的损失值阈值可以基于经验或者具体情况进行设定,本发明实施例中不进行具体限定,在所述损失值小于所述预设损失值阈值的情况下,得到训练后的消费意图确定模型。
具体的处理过程如下:
将所述训练数据集划分为测试集和验证集,将所述测试集中每个训练用户对应的损失值与预设损失值阈值进行比较;在所述损失值大于所述预设损失值阈值的情况下,调整所述行为意图确定模型中的参数;在所述损失值小于所述预设损失值阈值的情况下,将所述验证集中每个训练用户的损失值与所述预设损失值阈值进行比较,在所述验证集中每个训练用户损失值小于所述预设损失值阈值的情况下,得到所述训练后的行为确定模型。
进一步的,即使多次对所述消费意图确定模型中的参数进行调整,所述损失值依旧不收敛,导致所述损失值大于所述预设的损失值阈值,这种情况下,可以利用损失值和迭代次数进行综合考量,例如:迭代次数达到设定迭代次数且所述损失值与所述预设损失值阈值的差值处于预设区间范围,在满足上述要求的情况下,得到训练后的消费意图确定模型。
S104、获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
本发明实施例中,在得到训练后的消费意图确定模型后,在预设数据库中或者指定存储位置获取所述推送用户的消费行为数据,将所述待推送用户的消费行为数据输入至所述训练后的消费意图确定模型中,得到所述待推送用户的预测消费意图标签,其中,所述消费意图标签可以具备信用卡消费意图的概率、是否具有信用卡消费的可能性等标签。
S105、所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
本发明实施例中,所述预设推送条件可以为具备信用卡消费意图的概率大于预设消费概率阈值或者是否具有信用卡消费可能性等,在所述预测意图标签为具备信用卡消费意图的概率,所述预设推送条件为具备信用卡消费意图的概率大于预设消费概率阈值,将具备信用卡消费意图的概率与预设消费概率阈值进行比较,在信用卡消费意图概率大于预设消费概率阈值的情况下,将所述待推送用户作为目标用户,将所述营销业务数据推送给所述目标用户,其中,所述推送方式为通过微信、短信、APP或者其它终端进行推送,在信用卡消费意图概率小于预设消费概率阈值的情况下,不对所述营销业务数据进行推送。
本发明公开了一种业务数据的推送方法,包括:预先训练行为状态确定模型,将待推送用户的用户特征数据输入至训练完的行为状态确定模型,得到预测状态标签,在预测状态标签满足预设推送条件的情况下,将待推送用户作为目标用户,将业务数据推送给目标用户。上述过程,目标用户是基于待推送用户的用户特征数据和训练完的行为意图确定模型筛选出的对业务数据感兴趣的用户,由于目标用户对业务数据感兴趣,因此,对于目标用户来说,接收业务数据不会对其造成困扰,并且业务数据的推送具有了针对性,推送只针对业务数据感兴趣的目标用户,减少了推送过程中的通信数据量,降低了通信信道在短时间内需要发送大量数据的压力。
本发明实施例中,将每个训练用户的用户特征数据输入至行为意图确定模型进行训练之前,还包括:
对每个训练用户的用户特征数据进行预处理,
其中,预处理过程包括:
删除每个用户特征数据中第一预设字符对应的用户特征数据和空值用户特征数据,或,将每个用户特征数据中的第二预设字符样本数据的进行one-hot编码,或,将每个用户特征数据中的预设标识替换为NaN,或,将每个用户特征数据中的样本数据转换为预设类型,或,对每个用户特征数据中第三预设字符样本数据进行随机填充中的至少一种处理,其中,所述第一预设字符、所述第二预设字符和所述第三预设字符可以基于具体情况进行设定,本发明实施例中不进行具体限定。
对预处理过程进行举例说明,例如,删除每个用户特征数据中不需要的客户号等字段,或,通过pd.to_numeric函数和自定义的null_eraser函数处理每个用户特征数据中的特殊类型用户特征数和空值用户特征数据,或,将每个用户特征数据中存储有字符数据的列进行one-hot编码,或,将每个用户特征数据中存储有“#”,将其替换为NaN,或,将每个用户特征数据整体转化为float类型,或,若每个用户特征数据中age字段存在较为严重的离群数据,将其转化为19到84岁的随机值填充中的至少一项预处理。
进一步的,对用户特征数据进行预处理减少了行为状态确定模型训练和应用过程中对用户特征数据处理的工作量,提高了处理效率。
本发明实施例中,每间隔第二预设时长,统计每个用户特征数据与所述预测意图标签的关联度,选取关联度高于预设关联度阈值的目标用户特征数据,其中,所述第二预设时长和所述预设关联度阈值可以基于经验或者具体情况进行设定,本发明实施例中不进行具体限定,每个用户特征数据与预测意图标签的关联度可以通过对大数据进行统计分析,统计出关联度高于所述预设关联度阈值的目标用户特征,基于所述目标用户特征数据对每个用户特征数据进行修正,得到调整后的用户特征数据,其中,修正包括:修改、添加或者删除等操作,优选的,所述目标用户特征数据包括:账户最高余额、账户最大消费透支余额、账户入行天数,账户最新一张卡开卡天数,账户最大一般授信贷款本金,12月份内贷款金额、最新一张卡开卡日期、账户最大当前拖欠期数、12月内借款金额、最近三个月平均信用卡应还款金额、6月内贷款金额、客户风险评分、掌银注册日期、客户征信评分、客户行为评分。6月内借款金额、3月内借款金额,最大当前账户净余额和客户当前信用卡额度。基于所述调整后的用户特征数据对所述训练后的行为状态确定模型进行更新。
进一步的,上述的更新过程进一步保证了预测意图标签的准确性,由于预测意图标签的准确性提高,目标用户确定的准确性也会随之提高,则营销业务数据推送的准确性也进一步提高。
本发明实施例中,所述消费意图确定模型能够更加精准地识别具有信用卡消费倾向的客户,模型识别客户的转化率是传统经验筛选客户的33倍。并在信用卡营销活动中进行了实际应用,带来了实际的业务价值。目前已定期为信用卡中心提供客户清单,后续将建立系统实现自动运行与闭环营销。
在模型构建方面,模型KS值达0.673,泛化效果良好,运行稳定。特征宽表整合了200个以上的信用卡、掌银、借记卡等特征,模型具有可解释性,也可迁移训练后用在其它营销场景。
本发明实施例中,不仅利用机器学习方法进行建模识别挖掘潜在客户,而且打造了一个包括:客户洞察、产品与用户匹配、渠道触达、AB测试、评估监测结果的完整闭环营销框架。
基于上述的一种业务数据的推送方法,本发明实施例中还提供了一种业务数据的推送装置,所述推送装置的结构框图如图2所示,包括:
获取模块201、训练模块202、调整模块203、预测模块204和推送模块205。
其中,
所述获取模块201,用于获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
所述训练模块202,用于将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用XGBoost包进行训练;
所述调整模块203,用于基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
所述预测模块204,用于获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
所述推送模块205,用于所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
本发明公开了一种业务数据的推送装置,包括:预先训练行为状态确定模型,将待推送用户的用户特征数据输入至训练完的行为状态确定模型,得到预测状态标签,在预测状态标签满足预设推送条件的情况下,将待推送用户作为目标用户,将业务数据推送给目标用户。上述过程,目标用户是基于待推送用户的用户特征数据和训练完的行为意图确定模型筛选出的对业务数据感兴趣的用户,由于目标用户对业务数据感兴趣,因此,对于目标用户来说,接收业务数据不会对其造成困扰,并且业务数据的推送具有了针对性,推送只针对业务数据感兴趣的目标用户,减少了推送过程中的通信数据量,降低了通信信道在短时间内需要发送大量数据的压力。
所述分配装置包括处理器和存储器,上述获取模块、训练模块、调整模块、预测模块和推送模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来降低通信信道在短时间内需要发送大量数据的压力。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机存储介质,其上存储有程序,该程序被处理器执行时实现所述业务数据推送方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述业务数据推送方法。
本发明实施例提供了一种设备,所述设备的结构框图如图3所示,所述设备包括:处理器301、存储介质302及存储在存储介质302上并可在处理器302上运行的程序,处理器301执行程序时实现以下步骤:
获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种业务数据推送方法,其特征在于,包括:
获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
2.根据权利要求1所述的方法,其特征在于,获取训练数据集,包括:
遍历原始数据集,在所述原始数据集中选取包含每个训练用户预设特征的用户特征数据,其中,所述原始数据集包括:第一预设时长内每个训练用户的原始特征数据和对应的状态标签,其中,所述每个训练用户的原始特征数据包括:属性数据、用户资产数据、交易数据、行为信息数据、资产信息数据和风险评估数据;
将每个训练用户的用户特征数划分为基础特征数据和统计特征数据,其中,所述基础特征数据用于标识训练用户,所述统计特征数据用于标识对预设行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。
3.根据权利要求1所述的方法,其特征在于,将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,包括:
预先设置所述行为状态确定模型为基于树的模型结构,损失函数为logistic损失函数,随机采样比例为85%,评价模型指标为AUC值,树最大深度为4,学习率为0.02,处理不平衡数值为12;
设置完成后,获取所述行为状态确定模型中决策树的当前数量;
依次将每个用户的用户特征数据输入至行为状态确定模型中的首个决策树;
遍历所述行为状态确定模型中的各个决策树,依次将上一个决策树的输出作为下一个决策树的输入,直至遍历完所述当前数量的决策树,将所述行为状态确定模型中最后一个决策树的输出作为所述预测状态标签。
4.根据权利要求1所述的方法,其特征在于,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型,包括:
将所述训练数据集划分为测试集和验证集;
将所述测试集中每个训练用户对应的损失值与预设损失值阈值进行比较;
在所述损失值大于所述预设损失值阈值的情况下,调整所述行为状态确定模型中的参数;
在所述损失值小于所述预设损失值阈值的情况下,将所述验证集中每个训练用户的损失值与所述预设损失值阈值进行比较,在所述验证集中每个训练用户损失值小于所述预设损失值阈值的情况下,得到所述训练后的行为状态确定模型。
5.根据权利要求1所述的方法,其特征在于,将每个训练用户的用户特征数据输入至行为意图确定模型进行训练之前,还包括:
对每个训练用户的用户特征数据进行预处理,其中,预处理过程包括:
删除每个用户特征数据中第一预设字符对应的用户特征数据和空值用户特征数据,或,将每个用户特征数据中的第二预设字符样本数据的进行one-hot编码,或,将每个用户特征数据中的预设标识替换为NaN,或,将每个用户特征数据中的样本数据转换为预设类型,或,对每个用户特征数据中第三预设字符样本数据进行随机填充中的至少一种处理。
6.根据权利要求1所述的方法,其特征在于,还包括:
每间隔第二预设时长,统计每个用户特征数据与所述预测意图标签的关联度,选取关联度高于预设关联度阈值的目标用户特征数据;
基于所述目标用户特征数据对每个用户特征数据进行修正,得到调整后的用户特征数据;
基于所述调整后的用户特征数据对所述训练后的行为状态确定模型进行更新。
7.根据权利要求1所述的方法,其特征在于,将业务数据推送给所述目标用户,包括:
获取所述目标用户的推送标识,基于所述推送标识确定目标推送方式,
将所述业务数据基于所述目标推送方式推送给所述目标用户。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述用户特征数据为消费行为数据,所述状态标签为消费意图标签,所述行为状态确定模型为消费意图确定模型的,所述业务数据为营销业务数据。
9.一种业务数据推送装置,其特征在于,包括:
获取模块,用于获取训练数据集,其中,所述训练数据集包括:多条训练样本,每条训练样本包括:每个训练用户的用户特征数据和状态标签,所述每个训练用户的用户特征数据用于标识训练用户对预设行为的活跃度,所述状态标签用于标识训练用户的对于预设行为的行为状态;
训练模块,用于将每个训练用户的用户特征数据输入至行为状态确定模型进行训练,得到预测状态标签,其中,所述行为状态确定模型采用分布式梯度增强库XGBoost进行训练;
调整模块,用于基于每个训练用户的状态标签和与其对应的预测状态标签计算损失值,基于所述损失值对所述行为状态确定模型中的参数进行调整,得到训练后的行为状态确定模型;
预测模块,用于获取待推送用户的用户特征数据,将所述待推送用户的用户特征数据输入至训练后的行为状态确定模型,得到所述待推送用户的预测状态标签;
推送模块,用于所述待推送用户的预测状态标签满足预设推送条件的情况下,将所述待推送用户作为目标用户,将业务数据推送给所述目标用户。
10.根据权利要求9所述的装置,其特征在于,所述获取模块包括:
选取单元,用于遍历原始数据集,在所述原始数据集中选取包含每个训练用户预设特征的用户特征数据,其中,所述原始数据集包括:第一预设时长内每个训练用户的原始特征数据和对应的状态标签,其中,所述每个训练用户的原始特征数据包括:属性数据、用户资产数据、交易数据、行为信息数据、资产信息数据和风险评估数据;
划分单元,用于将每个训练用户的用户特征数划分为基础特征数据和统计特征数据,其中,所述基础特征数据用于标识训练用户,所述统计特征数据用于标识对预设行为的活跃度,每个用户的用户特征数据和对应的状态标签组成训练样本,多条训练样本组成所述训练数据集。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1-8所述的业务数据推送方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1-8所述的业务数据推送方法。
CN202310752848.9A 2023-06-25 2023-06-25 一种业务数据推送方法、装置、存储介质及处理器 Pending CN116800831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310752848.9A CN116800831A (zh) 2023-06-25 2023-06-25 一种业务数据推送方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310752848.9A CN116800831A (zh) 2023-06-25 2023-06-25 一种业务数据推送方法、装置、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN116800831A true CN116800831A (zh) 2023-09-22

Family

ID=88046482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310752848.9A Pending CN116800831A (zh) 2023-06-25 2023-06-25 一种业务数据推送方法、装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN116800831A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876079A (zh) * 2024-03-08 2024-04-12 花瓣支付(深圳)有限公司 一种信息提醒方法、信息提醒系统及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597940A (zh) * 2018-12-06 2019-04-09 上海哔哩哔哩科技有限公司 基于商业兴趣的目标人群确定及信息推送方法和系统
CN111582932A (zh) * 2020-03-25 2020-08-25 平安壹钱包电子商务有限公司 场景间信息推送方法、装置、计算机设备及存储介质
CN112148994A (zh) * 2020-10-23 2020-12-29 腾讯科技(深圳)有限公司 信息推送效果评估方法、装置、电子设备及存储介质
CN112329874A (zh) * 2020-11-12 2021-02-05 京东数字科技控股股份有限公司 数据业务的决策方法、装置、电子设备和存储介质
CN112966186A (zh) * 2021-03-30 2021-06-15 北京三快在线科技有限公司 一种模型训练和信息推荐的方法及装置
CN113706151A (zh) * 2021-04-07 2021-11-26 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597940A (zh) * 2018-12-06 2019-04-09 上海哔哩哔哩科技有限公司 基于商业兴趣的目标人群确定及信息推送方法和系统
CN111582932A (zh) * 2020-03-25 2020-08-25 平安壹钱包电子商务有限公司 场景间信息推送方法、装置、计算机设备及存储介质
CN112148994A (zh) * 2020-10-23 2020-12-29 腾讯科技(深圳)有限公司 信息推送效果评估方法、装置、电子设备及存储介质
CN112329874A (zh) * 2020-11-12 2021-02-05 京东数字科技控股股份有限公司 数据业务的决策方法、装置、电子设备和存储介质
CN112966186A (zh) * 2021-03-30 2021-06-15 北京三快在线科技有限公司 一种模型训练和信息推荐的方法及装置
CN113706151A (zh) * 2021-04-07 2021-11-26 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876079A (zh) * 2024-03-08 2024-04-12 花瓣支付(深圳)有限公司 一种信息提醒方法、信息提醒系统及相关设备

Similar Documents

Publication Publication Date Title
US20090276368A1 (en) Systems and methods for providing personalized recommendations of products and services based on explicit and implicit user data and feedback
US20210303970A1 (en) Processing data using multiple neural networks
CN110599336B (zh) 一种金融产品购买预测方法及系统
WO2021167858A1 (en) Transaction card system having overdraft capability
Bijak et al. Modelling LGD for unsecured retail loans using Bayesian methods
CN112381154A (zh) 预测用户概率的方法、装置和计算机设备
US10984446B1 (en) Method and system for predicting relevant offerings for users of data management systems using machine learning processes
CN113095408A (zh) 风险的确定方法、装置和服务器
Ruiz et al. Credit scoring in microfinance using non-traditional data
Murugan Large-scale data-driven financial risk management & analysis using machine learning strategies
CN116450951A (zh) 业务推荐方法、装置、存储介质及电子设备
CN116800831A (zh) 一种业务数据推送方法、装置、存储介质及处理器
CN115271886A (zh) 金融产品的推荐方法及装置、存储介质、电子设备
CN115545886A (zh) 逾期风险识别方法、装置、设备及存储介质
CN112836742A (zh) 系统资源调整方法、装置及设备
Zand Towards intelligent risk-based customer segmentation in banking
Lee et al. Application of machine learning in credit risk scorecard
Sen et al. Supervised Learning
US20230419098A1 (en) Utilizing selective transformation and replacement with high-dimensionality projection layers to implement neural networks in tabular data environments
CN112561678A (zh) 一种预测应收账款未来新增规模的方法及系统
Antony et al. Predicting of Credit Risk Using Machine Learning Algorithms
CN115186101A (zh) 一种投资管理后端系统、方法、设备及存储介质
CN118154326A (zh) 目标金融产品的筛选方法、装置、存储介质和电子设备
CN117078238A (zh) 电子票据组合方法、装置、存储介质及电子设备
Pyda Feature Engineering and Machine Learning Methodologies using Customer Debit and Credit Transactions for Predicting Savings Account and Home Equity Line of Credit Acquisition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination