CN116450951A - 业务推荐方法、装置、存储介质及电子设备 - Google Patents
业务推荐方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116450951A CN116450951A CN202310501347.3A CN202310501347A CN116450951A CN 116450951 A CN116450951 A CN 116450951A CN 202310501347 A CN202310501347 A CN 202310501347A CN 116450951 A CN116450951 A CN 116450951A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- service
- recommended
- recommendation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 16
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000007812 deficiency Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种业务推荐方法、装置、存储介质及电子设备。涉及人工智能领域。该方法包括:获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。通过本申请,解决了相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。
Description
技术领域
本申请涉及人工智能领域,具体而言,涉及一种业务推荐方法、装置、存储介质及电子设备。
背景技术
随着金融业务种类和金融机构用户的不断增多,当前开展产品营销、提升某个产品的客户活跃度时,只能通过用户使用某产品的使用情况人工确定用户的使用意愿,例如登录次数,登录时间,未登录时长等信息,并根据用户意愿对用户进行产品推荐,例如推荐用户开通某产品中的某个功能。
但是,通过上述方法确定用户意愿需要耗费大量时间,并且无法准确确定用户意愿,影响业务推广效率和成功率。
针对相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种业务推荐方法、装置、存储介质及电子设备,以解决相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。
根据本申请的一个方面,提供了一种业务推荐方法。该方法包括:获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。
可选地,获取目标用户的用户信息,并将用户信息输入掩码语言模型中包括:获取掩码语言模型的信息输入要求,得并判断用户信息是否满足信息输入要求;在用户信息不满足信息输入要求的情况下,识别用户信息不满足信息输入要求的原因;在原因为信息缺失的情况下,确定与缺失的信息相关联的信息,得到关联信息,并根据关联信息计算缺失的信息,得到填充信息,并将填充信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中;在原因为信息错误的情况下,根据信息输入要求将错误的信息进行变更,得到错误的信息对应的修改信息,并将修改信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中。
可选地,根据历史业务办理信息计算目标用户的失败推荐率包括:从历史业务办理信息中获取目标用户的业务推荐次数和业务办理次数;将业务推荐次数与业务办理次数相减,得到推荐失败次数;将推荐失败次数与业务推荐次数相除,得到失败推荐率。
可选地,根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务包括:获取每个候选推荐业务的推荐等级,并获取每个候选推荐业务和历史办理业务的相似度;将推荐等级和相似度加权求和,得到每个候选推荐业务的推荐分数;根据失败推荐率在预设表中确定目标用户的业务推荐数量N,其中,预设表中包括多个失败推荐率区间值,以及每个失败推荐率区间值对应的业务推荐数量;从M个候选推荐业务中按照推荐分数由大至小的顺序筛选出N个候选推荐业务,并将N个候选推荐业务确定为目标用户的待推荐业务。
可选地,计算历史办理业务与每个候选推荐业务之间的相似度包括:获取办理历史办理业务所需的用户条件,得到第一办理条件;获取办理候选推荐业务所需的用户条件,得到第二办理条件;获取第一办理条件和第二办理条件中的相同条件,得到公共办理条件,并确定公共办理条件的数量,得到目标数量;将目标数量与第一办理条件相除,得到历史办理业务与候选推荐业务之间的相似度。
可选地,在将用户信息输入掩码语言模型中之前,该方法还包括:获取多个第一用户样本信息,并获取多个第二用户样本信息,其中,第一用户样本信息的数量小于第二用户样本信息的数量,第一用户样本信息为营销失败的用户的信息,第二用户样本信息为营销成功的用户的信息,第一用户样本信息中包括用户信息和成功营销的业务内容,第二用户样本信息中包括用户信息和失败营销的业务内容;将多个第一用户样本信息和多个第二用户样本信息输入初始模型中进行训练,得到掩码语言模型。
可选地,在得到目标用户的待推荐业务之后,该方法还包括:向目标用户推荐待推荐业务,并确定目标用户发送的反馈结果;在反馈结果表征目标用户办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息;在反馈结果表征目标用户未办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息,并将目标用户的用户信息和待推荐业务添加至第一用户样本信息中,得到更新后的第一用户样本信息,并根据更新后的第一用户样本信息训练掩码语言模型。
根据本申请的另一方面,提供了一种业务推荐装置。该装置包括:第一获取单元,用于获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;第二获取单元,用于获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算单元,用于计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。
根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种业务推荐方法。
根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种业务推荐方法。
通过本申请,采用以下步骤:获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。解决了相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。通过掩码语言模型准确确定候选推荐业务,并在模型得到的结果的基础上根据用户历史信息对候选推荐业务进行筛选,从而准确的确定目标用户对应的业务推荐情况,进而达到了准确确定向每个用户进行推荐的推荐业务的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的业务推荐方法的流程图;
图2是根据本申请实施例提供的可选的待推荐业务确定方法的流程图;
图3是根据本申请实施例提供的业务推荐装置的示意图;
图4为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的业务推荐方法、装置、存储介质及电子设备可用于人工智能领域,也可用于除人工智能领域之外的任意领域,本公开所确定的业务推荐方法、装置、存储介质及电子设备的应用领域不做限定。
根据本申请的实施例,提供了一种业务推荐方法。
图1是根据本申请实施例提供的业务推荐方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务。
具体的,目标用户的用户信息可以为用户的基础信息、用户的产品办理信息以及用户的风险信息。表1是根据本申请实施例提供的一种可选的用户信息表。
表1
基础信息 | 客户等级 |
基础信息 | 营销级别 |
基础信息 | 所属行业 |
基础信息 | 开户日期 |
基础信息 | 工商注册日期 |
基础信息 | 注册资本(万元) |
基础信息 | 经营范围 |
基础信息 | 客户状态 |
基础信息 | 最高授信额度(万元) |
产品办理信息 | 对公存款余额 |
产品办理信息 | 金融资产余额 |
产品办理信息 | 资金交易金额 |
产品办理信息 | 资金交易笔数 |
产品办理信息 | 累计欠费金额(当月) |
产品办理信息 | 累计欠费金额(当年) |
风险信息 | 逾期记录 |
风险信息 | 个贷不良情况 |
风险信息 | 信用卡逾期情况 |
风险信息 | 工商注册信息注销吊销情况 |
在得到表1中的用户信息后,即可将表中的信息输入掩码语言模型中,从而根据掩码语言模型预测适合向该用户推荐的业务,得到M个候选推荐业务。
需要说明的是,掩码语言模型为MLM模型(masked language-model掩码语言模型),通过掩码语言模型可以实现一个有监督的机器学习二分类模型,从而根据掩码语言模型预测适合向用户推荐的业务。MLM模型的建模流程可分为数据集构建、数据探索、指标体系构建、训练和测试数据集划分、特征工程、模型训练和预测、模型评估等七大步骤,通过上述步骤可以完成对模型的创建,使得可以通过该模型确定适合用户的推荐业务。
步骤S102,获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定。
具体的,在通过模型确定了用户的候选推荐业务后,可以通过该用户的历史业务办理信息确定用户的失败推荐率,其中,失败推荐率可以为该用户拒绝业务推荐的概率,例如,用户在过去半年中接收到的业务推荐信息的数量为10个,用户办理了其中的4个业务,则用户的失败推荐率为(10-4)/10=60%。
步骤S103,计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。
进一步的,还可以确定用户的历史办理业务,并确定历史办理业务与每个候选推荐业务之间的相似度,从而可以根据用户的业务办理喜好对候选推荐业务进行筛选,在得到了相似度和失败率后,即可根据相似度和失败率对模型预测的多个候选推荐业务进行再次筛选,从而提高了业务推荐的准确性。
本申请实施例提供的业务推荐方法,通过获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。解决了相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。通过掩码语言模型准确确定候选推荐业务,并在模型得到的结果的基础上根据用户历史信息对候选推荐业务进行筛选,从而准确的确定目标用户对应的业务推荐情况,进而达到了准确确定向每个用户进行推荐的推荐业务的效果。
可选地,在本申请实施例提供的业务推荐方法中,获取目标用户的用户信息,并将用户信息输入掩码语言模型中包括:获取掩码语言模型的信息输入要求,得并判断用户信息是否满足信息输入要求;在用户信息不满足信息输入要求的情况下,识别用户信息不满足信息输入要求的原因;在原因为信息缺失的情况下,确定与缺失的信息相关联的信息,得到关联信息,并根据关联信息计算缺失的信息,得到填充信息,并将填充信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中;在原因为信息错误的情况下,根据信息输入要求将错误的信息进行变更,得到错误的信息对应的修改信息,并将修改信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中。
具体的,在将用户信息输入模型进行推荐业务预测的时候,可以先将信息进行处理,从而提高模型预测的准确性。在进行信息处理的时候,信息中可能存在不满足预设输入要求的异常信息,例如缺失信息、错误信息等,在缺失信息的情况下,可以确定与该信息相关联的信息,例如,用户性别信息缺失,但是可以通过身份证号确定用户性别,也即,根据关联的信息确定缺失信息,并将得到的填充信息添加至缺失信息的位置,从而将缺失的信息进行填补。
进一步的,在信息错误的情况下,需要根据信息输入要求将错误信息进行修改,例如,A位置应输入11位数据,但是用户信息中仅有10位,则需要向用户获取修改信息,并将该修改信息替换错误信息,从而完成数据的处理,进而可以将处理后的数据添加至模型中,进而提高模型的预测准确度。
可选地,在本申请实施例提供的业务推荐方法中,根据历史业务办理信息计算目标用户的失败推荐率包括:从历史业务办理信息中获取目标用户的业务推荐次数和业务办理次数;将业务推荐次数与业务办理次数相减,得到推荐失败次数;将推荐失败次数与业务推荐次数相除,得到失败推荐率。
具体的,在计算失败推荐率的时候,可以先从历史业务办理信息中获取目标用户的业务推荐次数和业务办理次数,例如,某时间段内向用户推荐了10个业务,用户办理了其中的2个,则推荐失败次数为8次,进而计算得到的失败推荐率为80%,从而可以根据失败推荐率确定该用户对业务推荐行为的接收程度,并根据失败率确定向用户进行推荐的业务的数量和频率,达到提高业务推广效率的效果。
可选地,图2是根据本申请实施例提供的可选的待推荐业务确定方法的流程图,如图2所示,在本申请实施例提供的业务推荐方法中,步骤S103中,根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务包括:
步骤S201,获取每个候选推荐业务的推荐等级,并获取每个候选推荐业务和历史办理业务的相似度。
步骤S202,将推荐等级和相似度加权求和,得到每个候选推荐业务的推荐分数。
步骤S203,根据失败推荐率在预设表中确定目标用户的业务推荐数量N,其中,预设表中包括多个失败推荐率区间值,以及每个失败推荐率区间值对应的业务推荐数量。
步骤S204,从M个候选推荐业务中按照推荐分数由大至小的顺序筛选出N个候选推荐业务,并将N个候选推荐业务确定为目标用户的待推荐业务。
具体的,通过掩码语言模型预测得到的每个候选推荐业务会对应一个推荐等级,例如,将某用户的用户信息输入掩码语言模型后,得到了4个候选推荐业务,A候选推荐业务的推荐等级可以为1级,B候选推荐业务的推荐等级可以为2级,C候选推荐业务的推荐等级可以为2级,D候选推荐业务的推荐等级可以为3级,其中,等级越高,向该用户的推荐成功率越高。在得到每个业务的推荐等级后,可以确定每个候选推荐业务与历史办理业务的相似度,例如,A候选推荐业务为用户进行大额存款,用户的历史办理业务为多笔小额存款,则A候选推荐业务与历史办理业务的相似度较高,同时可以根据业务内容、办理条件等信息之间的相似度确定候选推荐业务与历史办理业务的相似度,得到多个相似度信息。
进一步的,在确定了相似度值和推荐等级后,即可根据推荐等级和相似度值进行加权求和,例如,A业务推荐等级为3级,对应的分数为80分,B业务推荐等级为2级,对应的分数为50分,A业务相似度为80%,B业务相似度为30%,则加权求和后可以为:A业务:80*0.6+80*0.4=80,B业务:50*0.6+30*0.4=42,则A业务比B业务的推荐分数更高。
在确定了每个候选推荐业务的推荐分数之后,可以根据失败率确定该用户对推荐操作的接受程度,失败率越高,表征用户越无法接受业务推荐操作,因此,可以根据失败推荐率在预设表中确定目标用户的业务推荐数量N,并根据上述计算得到的推荐分数由大到小的选取候选推荐业务,得到N个候选推荐业务,从而完成向目标用户推荐的待推荐业务,进而从多个维度对候选推荐业务进行筛选,达到了提高业务推广效率的效果。
可选地,在本申请实施例提供的业务推荐方法中,计算历史办理业务与每个候选推荐业务之间的相似度包括:获取办理历史办理业务所需的用户条件,得到第一办理条件;获取办理候选推荐业务所需的用户条件,得到第二办理条件;获取第一办理条件和第二办理条件中的相同条件,得到公共办理条件,并确定公共办理条件的数量,得到目标数量;将目标数量与第一办理条件相除,得到历史办理业务与候选推荐业务之间的相似度。
具体的,在计算历史办理业务与每个候选推荐业务之间的相似度的时候,可以根据历史办理业务与候选推荐业务之间的办理条件的重复程度确定,例如,历史办理业务需要满足10个条件,办理候选推荐业务需要10个条件,历史办理业务和候选推荐业务之间的重复条件为5个,则相似度可以为50%,从而通过上述方法准确确定业务间的办理难度的相似度。
可选地,在本申请实施例提供的业务推荐方法中,在将用户信息输入掩码语言模型中之前,该方法还包括:获取多个第一用户样本信息,并获取多个第二用户样本信息,其中,第一用户样本信息的数量小于第二用户样本信息的数量,第一用户样本信息为营销失败的用户的信息,第二用户样本信息为营销成功的用户的信息,第一用户样本信息中包括用户信息和成功营销的业务内容,第二用户样本信息中包括用户信息和失败营销的业务内容;将多个第一用户样本信息和多个第二用户样本信息输入初始模型中进行训练,得到掩码语言模型。
具体的,在进行模型的训练时,需要先构建数据集,也即获取大量的用户样本信息,此时,需要考虑样本正负标签及样本特征的构建,从而保证模型训练的准确性。其中,样本正负标签可以为:接收推荐的用户的信息,不接收推荐的用户的信息。
例如,为了减少数据干扰,选取每月登录并使用企业手机银行的客户数据作为正样本,对近一年未登录企业手机银行的客群进行随机分层采样作为负样本(保持模型中正样本数和负样本数比例为1:4),并划分训练集和测试集,从而保证样本选取的合理性。
进一步的,在确定了用户样本信息后,可以采用共线性诊断、随机森林Embedded嵌入法、IV值计算三个步骤进一步对特征进行筛选和过滤,得到最终的入模特征。并根据特征信息和数据集对模型进行训练,从而得到掩码语言模型,其中,用户样本信息中不仅包括用户信息,还包括向用户推荐的业务的信息。
可选地,在本申请实施例提供的业务推荐方法中,在得到目标用户的待推荐业务之后,该方法还包括:向目标用户推荐待推荐业务,并确定目标用户发送的反馈结果;在反馈结果表征目标用户办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息;在反馈结果表征目标用户未办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息,并将目标用户的用户信息和待推荐业务添加至第一用户样本信息中,得到更新后的第一用户样本信息,并根据更新后的第一用户样本信息训练掩码语言模型。
具体的,在得到待推荐业务后,可以向用户进行业务推荐,并确定推荐结果,在推荐结果为用户进行业务办理的情况下,表征上述待推荐业务的选取流程无问题,可以继续使用,在推荐结果为用户未进行业务办理的情况下,需要根据反馈结果更新目标用户的历史业务办理信息,并将目标用户的用户信息和待推荐业务添加至第一用户样本信息中,从而使用更新后的推荐结果重新对模型进行训练,进而提高后续预测的准确度。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种业务推荐装置,需要说明的是,本申请实施例的业务推荐装置可以用于执行本申请实施例所提供的用于业务推荐方法。以下对本申请实施例提供的业务推荐装置进行介绍。
图3是根据本申请实施例提供的业务推荐装置的示意图。如图3所示,该装置包括:第一获取单元31,第二获取单元32,计算单元33。
第一获取单元31,用于获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务。
第二获取单元32,用于获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定。
计算单元33,用于计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。
本申请实施例提供的业务推荐装置,通过第一获取单元31获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;第二获取单元32获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算单元33计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。解决了相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。通过掩码语言模型准确确定候选推荐业务,并在模型得到的结果的基础上根据用户历史信息对候选推荐业务进行筛选,从而准确的确定目标用户对应的业务推荐情况,进而达到了准确确定向每个用户进行推荐的推荐业务的效果。
可选地,在本申请实施例提供的业务推荐装置中,第一获取单元31包括:判断模块,用于获取掩码语言模型的信息输入要求,得并判断用户信息是否满足信息输入要求;识别模块,用于在用户信息不满足信息输入要求的情况下,识别用户信息不满足信息输入要求的原因;第一确定模块,用于在原因为信息缺失的情况下,确定与缺失的信息相关联的信息,得到关联信息,并根据关联信息计算缺失的信息,得到填充信息,并将填充信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中;修改模块,用于在原因为信息错误的情况下,根据信息输入要求将错误的信息进行变更,得到错误的信息对应的修改信息,并将修改信息添加至用户信息中,得到更新的用户信息,并将更新的用户信息输入掩码语言模型中。
可选地,在本申请实施例提供的业务推荐装置中,第二获取单元32包括:第一获取模块,用于从历史业务办理信息中获取目标用户的业务推荐次数和业务办理次数;第一计算模块,用于将业务推荐次数与业务办理次数相减,得到推荐失败次数;第二计算模块,用于将推荐失败次数与业务推荐次数相除,得到失败推荐率。
可选地,在本申请实施例提供的业务推荐装置中,计算单元33包括:第二获取模块,用于获取每个候选推荐业务的推荐等级,并获取每个候选推荐业务和历史办理业务的相似度;第三计算模块,用于将推荐等级和相似度加权求和,得到每个候选推荐业务的推荐分数;第二确定模块,用于根据失败推荐率在预设表中确定目标用户的业务推荐数量N,其中,预设表中包括多个失败推荐率区间值,以及每个失败推荐率区间值对应的业务推荐数量;筛选模块,用于从M个候选推荐业务中按照推荐分数由大至小的顺序筛选出N个候选推荐业务,并将N个候选推荐业务确定为目标用户的待推荐业务。
可选地,在本申请实施例提供的业务推荐装置中,计算单元33包括:第三获取模块,用于获取办理历史办理业务所需的用户条件,得到第一办理条件;第四获取模块,用于获取办理候选推荐业务所需的用户条件,得到第二办理条件;第五获取模块,用于获取第一办理条件和第二办理条件中的相同条件,得到公共办理条件,并确定公共办理条件的数量,得到目标数量;第四计算模块,用于将目标数量与第一办理条件相除,得到历史办理业务与候选推荐业务之间的相似度。
可选地,在本申请实施例提供的业务推荐装置中,该装置还包括:第三获取单元,用于获取多个第一用户样本信息,并获取多个第二用户样本信息,其中,第一用户样本信息的数量小于第二用户样本信息的数量,第一用户样本信息为营销失败的用户的信息,第二用户样本信息为营销成功的用户的信息,第一用户样本信息中包括用户信息和成功营销的业务内容,第二用户样本信息中包括用户信息和失败营销的业务内容;训练单元,用于将多个第一用户样本信息和多个第二用户样本信息输入初始模型中进行训练,得到掩码语言模型。
可选地,在本申请实施例提供的业务推荐装置中,该装置还包括:确定单元,用于向目标用户推荐待推荐业务,并确定目标用户发送的反馈结果;第一更新单元,用于在反馈结果表征目标用户办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息;第二更新单元,用于在反馈结果表征目标用户未办理待推荐业务的情况下,根据反馈结果更新目标用户的历史业务办理信息,并将目标用户的用户信息和待推荐业务添加至第一用户样本信息中,得到更新后的第一用户样本信息,并根据更新后的第一用户样本信息训练掩码语言模型。
上述业务推荐装置包括处理器和存储器,上述第一获取单元31,第二获取单元32,计算单元33等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中通过人工筛选的方式确定向用户推广的业务的准确性较低的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述业务推荐方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述业务推荐方法。
如图4所示,本发明实施例提供了一种电子设备,电子设备40包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取目标用户的用户信息,并将用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,掩码语言模型用于根据用户信息确定向目标用户推荐的候选推荐业务;获取目标用户的历史业务办理信息,并根据历史业务办理信息计算目标用户的失败推荐率,其中,历史业务办理信息中包括历史办理业务,失败推荐率由推荐至目标用户的业务的被采纳情况确定;计算历史办理业务与每个候选推荐业务之间的相似度,并根据相似度和失败推荐率对M个候选推荐业务进行筛选,得到目标用户的待推荐业务。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种业务推荐方法,其特征在于,包括:
获取目标用户的用户信息,并将所述用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,所述掩码语言模型用于根据所述用户信息确定向所述目标用户推荐的候选推荐业务;
获取所述目标用户的历史业务办理信息,并根据所述历史业务办理信息计算所述目标用户的失败推荐率,其中,所述历史业务办理信息中包括历史办理业务,所述失败推荐率由推荐至所述目标用户的业务的被采纳情况确定;
计算历史办理业务与每个候选推荐业务之间的相似度,并根据所述相似度和所述失败推荐率对所述M个候选推荐业务进行筛选,得到所述目标用户的待推荐业务。
2.根据权利要求1所述的方法,其特征在于,获取目标用户的用户信息,并将所述用户信息输入掩码语言模型中包括:
获取所述掩码语言模型的信息输入要求,得并判断所述用户信息是否满足所述信息输入要求;
在所述用户信息不满足所述信息输入要求的情况下,识别所述用户信息不满足所述信息输入要求的原因;
在所述原因为信息缺失的情况下,确定与缺失的信息相关联的信息,得到关联信息,并根据所述关联信息计算所述缺失的信息,得到填充信息,并将所述填充信息添加至所述用户信息中,得到更新的用户信息,并将所述更新的用户信息输入掩码语言模型中;
在所述原因为信息错误的情况下,根据所述信息输入要求将错误的信息进行变更,得到所述错误的信息对应的修改信息,并将所述修改信息添加至所述用户信息中,得到更新的用户信息,并将所述更新的用户信息输入掩码语言模型中。
3.根据权利要求1所述的方法,其特征在于,根据所述历史业务办理信息计算所述目标用户的失败推荐率包括:
从所述历史业务办理信息中获取所述目标用户的业务推荐次数和业务办理次数;
将所述业务推荐次数与所述业务办理次数相减,得到推荐失败次数;
将所述推荐失败次数与所述业务推荐次数相除,得到所述失败推荐率。
4.根据权利要求1所述的方法,其特征在于,根据所述相似度和所述失败推荐率对所述M个候选推荐业务进行筛选,得到所述目标用户的待推荐业务包括:
获取每个候选推荐业务的推荐等级,并获取每个候选推荐业务和所述历史办理业务的相似度;
将所述推荐等级和所述相似度加权求和,得到每个候选推荐业务的推荐分数;
根据所述失败推荐率在预设表中确定所述目标用户的业务推荐数量N,其中,所述预设表中包括多个失败推荐率区间值,以及每个失败推荐率区间值对应的业务推荐数量;
从所述M个候选推荐业务中按照推荐分数由大至小的顺序筛选出N个候选推荐业务,并将所述N个候选推荐业务确定为所述目标用户的待推荐业务。
5.根据权利要求1所述的方法,其特征在于,计算历史办理业务与每个候选推荐业务之间的相似度包括:
获取办理所述历史办理业务所需的用户条件,得到第一办理条件;
获取办理所述候选推荐业务所需的用户条件,得到第二办理条件;
获取所述第一办理条件和第二办理条件中的相同条件,得到公共办理条件,并确定所述公共办理条件的数量,得到目标数量;
将所述目标数量与所述第一办理条件相除,得到所述历史办理业务与所述候选推荐业务之间的相似度。
6.根据权利要求1所述的方法,其特征在于,在将所述用户信息输入掩码语言模型中之前,所述方法还包括:
获取多个第一用户样本信息,并获取多个第二用户样本信息,其中,所述第一用户样本信息的数量小于所述第二用户样本信息的数量,第一用户样本信息为营销失败的用户的信息,第二用户样本信息为营销成功的用户的信息,所述第一用户样本信息中包括用户信息和成功营销的业务内容,所述第二用户样本信息中包括用户信息和失败营销的业务内容;
将所述多个第一用户样本信息和所述多个第二用户样本信息输入初始模型中进行训练,得到所述掩码语言模型。
7.根据权利要求6所述的方法,其特征在于,在得到所述目标用户的待推荐业务之后,所述方法还包括:
向所述目标用户推荐所述待推荐业务,并确定所述目标用户发送的反馈结果;
在所述反馈结果表征所述目标用户办理所述待推荐业务的情况下,根据所述反馈结果更新所述目标用户的历史业务办理信息;
在所述反馈结果表征所述目标用户未办理所述待推荐业务的情况下,根据所述反馈结果更新所述目标用户的历史业务办理信息,并将所述目标用户的用户信息和所述待推荐业务添加至所述第一用户样本信息中,得到更新后的第一用户样本信息,并根据所述更新后的第一用户样本信息训练所述掩码语言模型。
8.一种业务推荐装置,其特征在于,包括:
第一获取单元,用于获取目标用户的用户信息,并将所述用户信息输入掩码语言模型中,得到M个候选推荐业务,其中,所述掩码语言模型用于根据所述用户信息确定向所述目标用户推荐的候选推荐业务;
第二获取单元,用于获取所述目标用户的历史业务办理信息,并根据所述历史业务办理信息计算所述目标用户的失败推荐率,其中,所述历史业务办理信息中包括历史办理业务,所述失败推荐率由推荐至所述目标用户的业务的被采纳情况确定;
计算单元,用于计算历史办理业务与每个候选推荐业务之间的相似度,并根据所述相似度和所述失败推荐率对所述M个候选推荐业务进行筛选,得到所述目标用户的待推荐业务。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的业务推荐方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的业务推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310501347.3A CN116450951A (zh) | 2023-05-05 | 2023-05-05 | 业务推荐方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310501347.3A CN116450951A (zh) | 2023-05-05 | 2023-05-05 | 业务推荐方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116450951A true CN116450951A (zh) | 2023-07-18 |
Family
ID=87132086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310501347.3A Pending CN116450951A (zh) | 2023-05-05 | 2023-05-05 | 业务推荐方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116450951A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191812A (zh) * | 2021-05-12 | 2021-07-30 | 深圳索信达数据技术有限公司 | 业务推荐方法、计算机设备及计算机可读存储介质 |
CN117033801A (zh) * | 2023-10-08 | 2023-11-10 | 太平金融科技服务(上海)有限公司 | 一种业务推荐方法、装置、设备和存储介质 |
-
2023
- 2023-05-05 CN CN202310501347.3A patent/CN116450951A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191812A (zh) * | 2021-05-12 | 2021-07-30 | 深圳索信达数据技术有限公司 | 业务推荐方法、计算机设备及计算机可读存储介质 |
CN113191812B (zh) * | 2021-05-12 | 2024-02-02 | 深圳索信达数据技术有限公司 | 业务推荐方法、计算机设备及计算机可读存储介质 |
CN117033801A (zh) * | 2023-10-08 | 2023-11-10 | 太平金融科技服务(上海)有限公司 | 一种业务推荐方法、装置、设备和存储介质 |
CN117033801B (zh) * | 2023-10-08 | 2023-12-22 | 太平金融科技服务(上海)有限公司 | 一种业务推荐方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116450951A (zh) | 业务推荐方法、装置、存储介质及电子设备 | |
US10984446B1 (en) | Method and system for predicting relevant offerings for users of data management systems using machine learning processes | |
CN110796539A (zh) | 一种征信评估方法及装置 | |
US20220277323A1 (en) | Predicting future occurrences of targeted events using trained artificial-intelligence processes | |
CN114529400A (zh) | 一种消费贷款预授信评估方法、设备及介质 | |
CN115809837B (zh) | 基于数字化模拟场景的金融企业管理方法、设备及介质 | |
CN116630020A (zh) | 风险评估方法、装置、存储介质及电子设备 | |
CN113849618A (zh) | 基于知识图谱的策略确定方法、装置、电子设备及介质 | |
CN114581130A (zh) | 基于客户画像的银行网点派号方法及装置、存储介质 | |
CN114049202A (zh) | 操作风险识别方法、装置、存储介质及电子设备 | |
Lee et al. | Application of machine learning in credit risk scorecard | |
CN111079992A (zh) | 数据处理方法、装置和存储介质 | |
Kang | Fraud Detection in Mobile Money Transactions Using Machine Learning | |
CN113537666B (zh) | 评测模型训练方法、评测和业务审核方法、装置及设备 | |
CN117217527A (zh) | 企业违约概率确定方法、装置、处理器及电子设备 | |
US20230065948A1 (en) | Methods and systems for facilitating incorporation of data types when assessing credit | |
CN110163662B (zh) | 一种业务模型训练方法、装置及设备 | |
CN116485446A (zh) | 业务数据的处理方法、装置、处理器以及电子设备 | |
CN116362895A (zh) | 理财产品推荐方法、装置及存储介质 | |
CN115631023A (zh) | 一种信贷审核方法和相关装置 | |
CN116596312A (zh) | 风险预测方法、装置、存储介质及电子设备 | |
CN116862613A (zh) | 产品推荐方法、装置、存储介质及电子设备 | |
CN114881658A (zh) | 交易风险的确定方法、装置、存储介质以及电子设备 | |
CN116720094A (zh) | 客户信息的聚类方法、装置、处理器及电子设备 | |
CN116485526A (zh) | 业务处理方法、装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |