CN117171562A - 意向预测模型的训练方法、装置、电子设备和存储介质 - Google Patents
意向预测模型的训练方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117171562A CN117171562A CN202311069208.4A CN202311069208A CN117171562A CN 117171562 A CN117171562 A CN 117171562A CN 202311069208 A CN202311069208 A CN 202311069208A CN 117171562 A CN117171562 A CN 117171562A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- training
- sample
- object features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 331
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000009826 distribution Methods 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims description 77
- 230000015654 memory Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 34
- 125000004122 cyclic group Chemical group 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000644 propagated effect Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- RPNUMPOLZDHAAY-UHFFFAOYSA-N Diethylenetriamine Chemical compound NCCNCCN RPNUMPOLZDHAAY-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及计算机技术领域,尤其涉及人工智能技术领域,提供一种意向预测模型的训练方法、装置、电子设备和存储介质。方法包括:基于训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;在一次循环迭代中:在提取的N个样本对象的对象特征中选取M个对象特征;基于M个对象特征,结合各对象特征的空间分布规律,获得M个重构特征;基于N‑M个对象特征及M个重构特征,分别对相应样本对象进行意向预测,基于预测结果对初始意向预测模型进行参数调整。除训练样本对应的对象特征外,本申请还使用大量重构特征来进行模型的训练,提高模型意向预测的准确度。该意向预测模型可以应用于对象的广告、视频、音乐等信息意向预测。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及人工智能技术领域,提供一种意向预测模型的训练方法、装置、电子设备和存储介质。
背景技术
随着经济的不断发展和生活水平的提升,人们可以根据自身需求自由选择各种产品,相应地,目标产品推荐也成了一项日益成熟的技术。在实际的目标产品推荐场景下,为了提高推荐的成功率,通常会预先针对各对象对目标产品的选取意向值进行预测,再根据预测结果,为拥有不同选取意向值的对象,确定不同的推荐方式。在该过程中,由于选取意向值的预测结果直接影响着推荐的成功率,因此,生成预测结果所需要的预测模型的准确度十分重要。
相关技术下,预测模型在真正应用之前需要利用充足的样本进行训练,以此来调整预测模型的参数,提高预测模型的准确度,但由于某些对象的数字化程度较低,留存于网络上的信息较少,或者网络传输大小存在限制,无法一次性传输太多样本等原因,能够用于上述预测模型训练的样本数据非常少,限制了预测模型的准确度的提升,进一步影响意向值的预测结果,最终导致目标产品推荐的成功率较低。
综上,如何提高预测模型的准确度是亟待解决的。
发明内容
本申请实施例提供一种意向预测模型的训练方法、装置、电子设备和存储介质,用以提高预测模型的准确度。
本申请实施例提供的一种意向预测模型的训练方法,包括:
获取训练样本集;其中,每个训练样本包含一个样本对象和样本标签,所述样本标签表征相应样本对象是否对目标产品有意向;
基于所述训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;其中,在一次循环迭代过程中,执行以下操作:
分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征;
基于所述M个对象特征,结合所述训练样本集表征的对象特征的空间分布规律,分别获得所述M个对象特征各自的重构特征;
基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对所述初始意向预测模型进行参数调整。
本申请实施例提供的一种意向预测模型的训练装置,包括:
获取单元,用于获取训练样本集;其中,每个训练样本包含一个样本对象和样本标签,所述样本标签表征相应样本对象是否对目标产品有意向;
训练单元,用于基于所述训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;其中,在一次循环迭代过程中,执行以下操作:
分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征;
基于所述M个对象特征,结合所述训练样本集表征的对象特征的空间分布规律,分别获得所述M个对象特征各自的重构特征;
基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对所述初始意向预测模型进行参数调整。
可选的,所述初始意向预测模型是基于所述训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第一次循环迭代过程中,所述训练单元还用于执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征;
基于所述X个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述X个对象特征各自的重构特征;
对所述X个重构特征进行特征类型的判别,所述特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对所述特征生成模型进行参数调整。
可选的,所述初始意向预测模型是基于所述训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第二次循环迭代过程中,所述训练单元还用于执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征,并在获得的X个对象特征中选取Y个对象特征;
基于所述Y个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述Y个对象特征各自的重构特征;
对所述X-Y个对象特征,以及Y个重构特征进行特征类型的判别;所述特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对所述特征生成模型进行参数调整。
可选的,所述训练单元具体用于通过如下方式提取样本对象的对象特征:
分别获取各个训练样本包含的样本对象各自的对象属性;
对获得的各个对象属性分别进行特征提取,获得相应的对象特征。
可选的,所述训练单元具体用于:
将所述X个对象特征分别输入所述特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出所述X个对象特征各自的重构特征;
所述训练单元具体用于:
基于所述特征生成模型中的判别子网络,分别对所述X个重构特征进行特征类型的判别,得到所述X个重构特征各自对应的第一判别值,每个第一判别值表征:所述判别子网络所预测的相应的重构特征的特征类型为对象特征类型与重构特征类型的概率。
可选的,所述训练单元具体用于:
基于各个第一判别值构建生成损失函数;
向所述生成损失函数收敛的方向,对所述生成子网络进行参数调整,以及对所述生成损失函数的梯度进行反向传播,以对所述特征生成模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
可选的,所述训练单元具体用于:
将所述Y个对象特征分别输入所述特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出所述Y个对象特征各自的重构特征;
所述训练单元具体用于:
基于所述特征生成模型中的判别子网络,分别对所述X-Y个对象特征,以及Y个重构特征进行特征类型的判别,得到所述X-Y个对象特征,以及Y个重构特征各自对应的第二判别值,每个第二判别值表征:所述判别子网络所预测的相应的对象特征或重构特征的特征类型为对象特征类型与重构特征类型的概率。
可选的,所述训练单元具体用于:
基于各个第二判别值构建判别损失函数;
向所述判别损失函数收敛的方向,对所述判别子网络进行参数调整,以及对所述判别损失函数的梯度进行反向传播,以对所述特征生成模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
可选的,所述训练单元具体用于:
将所述M个对象特征分别输入所述初始意向预测模型中的生成子网络,基于所述训练样本集表征的对象特征的空间分布规律,输出所述M个对象特征各自的重构特征;
所述训练单元具体用于:
将所述N-M个对象特征以及M个重构特征分别输入所述初始意向预测模型中的预测子网络,以对相应样本对象进行意向预测,获得相应的意向预测值。
可选的,所述训练单元具体用于:
基于各意向预测值与相应的样本标签构建意向损失函数;
向所述意向损失函数收敛的方向,对所述预测子网络进行参数调整,以及对所述意向损失函数的梯度进行反向传播,以对所述初始意向预测模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
本申请实施例提供的一种电子设备,包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述任意一种意向预测模型的训练方法的步骤。
本申请实施例提供一种计算机可读存储介质,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行上述任意一种意向预测模型的训练方法的步骤。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行上述任意一种意向预测模型的训练方法的步骤。
本申请有益效果如下:
本申请实施例提供了一种意向预测模型的训练方法、装置、电子设备和存储介质,由于本申请在每次迭代训练的过程中,初始意向预测模型可以从选取的N个训练样本对应的对象特征中,根据训练样本集中各个训练样本对应的对象特征的空间分布规律,随机选取M个对象特征进行重构,得到M个重构特征,之后,初始意向预测模型通过对没有重构的N-M个对象特征,以及重构后的M个重构特征进行意向预测的方式进行模型的训练;即,初始意向预测模型在多次循环迭代训练的过程中,不仅使用了训练样本集中,各样本对象所对应的真实的对象特征来进行模型的训练,还用到了大量的重构特征来进行模型的训练,可以使模型学习到更多知识,提高模型的训练效果,最终提高模型意向预测的准确度。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种相关技术中意向预测的过程的逻辑示意图;
图2为本申请实施例提供的一种意向预测模型的训练方法的应用场景示意图;
图3为本申请实施例提供的一种意向预测模型的训练方法的整体流程图;
图4为本申请实施例提供的一种特征生成模型的结构示意图;
图5为本申请实施例提供的一种初始意向预测模型的结构示意图;
图6为本申请实施例提供的一种模型效果对比示意图;
图7A和图7B为本申请实施例提供的另一种意向预测模型的训练方法的整体流程图;
图8为本申请实施例提供的一种目标意向预测模型的应用过程的实施流程图;
图9为本申请实施例提供的一种目标意向预测模型实际应用时的逻辑示意图;
图10为本申请实施例提供的一种意向预测应用的操作界面示意图;
图11为本申请实施例提供的一种属性数据库、目标意向预测模型与服务器分离时意向预测的逻辑示意图;
图12为本申请实施例提供的一种意向预测模型的训练装置的组成结构示意图;
图13为本申请实施例提供的一种电子设备的一个硬件组成结构示意图;
图14为应用本申请实施例提供的另一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
特征:将属性使用数值表示出来的结果,其形式通常可以为向量、矩阵等;本申请中包括对象特征和重构特征,其中,对象特征是嵌入子网络将对象属性使用数值表示出来的结果;重构特征则是生成子网络基于输入到生成子网络中的对象特征,以及根据学习到的各对象特征在特征空间的空间分布规律,生成的与输入的对象特征相对应的重构特征。
判别值:判别子网络所预测的相应特征的特征类型为对象特征类型与重构特征类型的概率,其为0-1之间的数值,若判别值为0,表示判别子网络判断相应的特征的特征类型为重构特征类型,若判别值为1表示判别子网络判断相应特征的特征类型为对象特征类型,若判别值为0.9,表示判别子网络判断相应特征的特征类型为对象特征类型的概率为0.9,为重构特征类型的概率为0.1。
本申请实施例涉及人工智能(Artificial Intelligence,AI)和机器学习技术(Machine Learning,ML),基于人工智能中的深度学习而设计。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本申请实施例中的意向预测模型的训练方法可应用到智能客服、虚拟助理、机器人等领域,将人工智能与这些领域中的推荐服务、喜好预测相结合,可以高效准确地针对不同对象选择不同的推荐方式,为不同对象推荐不同的产品。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
此外,本申请实施例中的目标意向预测模型就是采用机器学习或深度学习技术训练得到的。基于上述技术训练得到目标意向预测模型后,即可应用该目标意向预测模型,对有不同意向度的对象选择不同的推荐方式。
下面对本申请实施例的设计思想进行简要介绍:
在目标产品推荐场景下,为了提高推荐的成功率,通常会预先针对各对象对目标产品的选取意向值进行预测,再根据预测结果,为拥有不同意向值的对象确定不同的推荐方式。在该过程中,意向预测往往可以通过相应的预测模型来完成,因此,预测模型的准确度十分重要。
如图1所示,为本申请实施例提供的一种相关技术中意向预测的过程的逻辑示意图,首先,获取需要预测的对象的对象属性,之后将对象属性输入预测模型的嵌入子网络,嵌入子网络输出与对象属性相对应的对象特征,之后,由预测模型的预测子网络基于对象特征输出相应对象的意向预测结果。
相关技术中,还有各种其他类型的预测模型,例如在上述预测模型的基础上,对其中的嵌入子网络或预测子网络进行结构等方面的调整,得到新的预测模型,以此提高预测模型的准确度。
而上述几种预测模型在真正应用之前都需要大量样本进行训练,样本不足会严重影响模型的效果,因此,样本的数量需要足够多。但由于某些对象的数字化程度较低,其身份、爱好等信息并未记录在网络中,以及当前人们对网络数据安全、个人信息保护的重视,使得样本的获取存在困难,且即便存在大量可充当样本的数据,在调用大量数据时还会受到网络等方面的限制,最终导致训练样本集中的训练样本数量较少,模型只能在训练样本十分有限的情况下进行训练任务,该情况被称为“小样本训练”,若直接依靠小样本进行训练,会导致训练出的模型效果较差。
有基于此,本申请实施例提供了一种意向预测模型的训练方法、装置、电子设备和存储介质,本申请在获取到样本对象对应的对象特征后,可以在多个对象特征中随机选取一定数量的对象特征,并基于选取出的对象特征,生成与其相对应的重构特征,之后,模型会基于对象特征与重构特征,对相应的样本对象进行意向预测,并根据预测结果调整模型。在训练过程中,模型不仅可以应用到真正的样本对象对应的对象特征来进行模型训练,还可以应用到基于对象特征构建的重构特征来进行模型训练,相当于增加了特征的数量,增加了模型有效训练的次数,能够提高模型预测的准确度。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图2所示,其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备210和一个服务器220。
在本申请实施例中,终端设备210包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备;终端设备上可以安装有意向预测模训练相关的客户端,该客户端可以是软件(例如浏览器、意向预测软件等),也可以是网页、小程序等,服务器220则是与软件或是网页、小程序等相对应的后台服务器,或者是专门用于进行意向预测模训练的服务器,本申请不做具体限定。服务器220可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是,本申请各实施例中的意向预测模型的训练方法可以由电子设备执行,该电子设备可以为终端设备210或者服务器220,即,该方法可以由终端设备210或者服务器220单独执行,也可以由终端设备210和服务器220共同执行。比如由服务器220执行时,服务器220获取训练样本集,在初始意向预测模型的每次迭代训练中,服务器220在训练样本集中获取N个训练样本,并获取N个训练样本各自对应的对象特征;之后,服务器220在N个对象特征中随机选取M个对象特征,结合训练样本集表征的对象特征的空间分布规律,构建出M个对象特征各自的重构特征;最后,服务器220基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,得到各样本对象各自对应的意向预测值,服务器220基于各意向预测值与相应的样本标签构建意向损失函数,以对初始意向预测模型进行参数调整。
在模型应用阶段,通过终端设备210获取需要预测意向值的待预测对象,并将待预测对象发送给服务器220,服务器接收到后,获取待预测对象对应的对象特征,并基于对象特征获取待预测对象的意向预测值,意向预测值可以为一个数字,该数字表征模型预测的,待预测对象对目标产品的意向程度。最终,服务器220可根据待预测对象的意向预测值,确定是否为待预测对象推荐目标产品;具体地,可以预置一个预设意向值,对于超过预设意向值的待预测对象,服务器220为其进行目标产品的推荐;或者根据不同待预测对象对应的不同意向预测值,将待预测对象进行分类,将意向预测值高的待预测对象作为目标产品的优先推荐对象,将意向预测值中等的待预测对象作为目标产品的次选推荐对象等,最终将分类结果传回终端设备210,由终端设备210进行展示,本文不做具体限定。
在一种可选的实施方式中,终端设备210与服务器220之间可以通过通信网络进行通信。
在一种可选的实施方式中,通信网络是有线网络或无线网络。
需要说明的是,图2所示只是举例说明,实际上终端设备和服务器的数量不受限制,在本申请实施例中不做具体限定。
本申请实施例中,当服务器的数量为多个时,多个服务器可组成为一区块链,而服务器为区块链上的节点;如本申请实施例所公开的意向预测模型的训练方法,其中所涉及的训练数据可保存于区块链上,例如,训练样本、训练样本所对应的对象属性、对象特征等。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的意向预测模型的训练方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
参阅图3所示,为本申请实施例提供的一种意向预测模型的训练方法的实施流程图,该方法的具体实施流程如下S301-S3023:
S301:服务器获取训练样本集。
上述中,训练样本集中包含数量较少的训练样本,每个训练样本包含一个样本对象和样本标签,样本标签表征相应样本对象是否对目标产品有意向;样本标签具体可以使用数字、符号等形式来表示。例如,用数字表示时,可以使用1表示样本对象对目标产品有意向,使用数字0表示样本对象对目标产品无意向。样本对象也可以采用各样本对象各自的唯一标识来代替,唯一标识可以为样本对象的电话号码、证件编号等,本申请不做具体限定。
而有无意向的具体判定方法则可以根据预测模型的具体应用场景设定;假设应用场景为,需要确定对象是否有在网络或线下到店查看目标产品的意向,则训练样本中,若样本对象到店查看过,则其对应的样本标签为1,表征样本对象对目标产品有意向,若样本对象未到店查看过,则其对应的样本标签为0,表征样本对象对目标产品无意向;若应用场景为需要确定对象是否有购买目标产品的意向,若样本对象购买过目标产品,则样本对象对应的样本标签为1,表征样本对象对目标产品有意向,反之则样本对象对应的样本标签为0,表征样本对象对目标产品无意向。
需要说明的是,上述中样本标签的具体表现形式只是举例说明,任何可以用于表示样本标签的方法都适用于本申请,本申请不做具体限定。
训练样本集中的训练样本用于对初始意向预测模型进行训练,而初始意向预测模型则是对特征生成模型中的部分子网络进行多组循环迭代训练得到的;其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练。
上述中,每组循环迭代训练所使用的训练样本同样是在训练样本集中选取的;一种可选的训练样本的选取方式为,训练样本集中的训练样本可以拆分为多个训练样本子集,每组循环迭代训练使用同一个训练样本子集进行两次训练,下一组循环迭代训练再使用下一个训练样本子集进行训练,以此类推;此外,直至所有训练样本子集都参与过一组循环迭代训练后,依旧可以根据实际训练需求,继续从第一个训练样本子集开始,对特征生成模型进行循环迭代训练。
例如,假设将训练样本集中的训练样本拆分为Z个训练样本子集Z1、Z2、Z3、……、Zz,每个训练样本子集中包含了X个训练样本,第1组循环迭代训练使用训练样本子集Z1进行两次训练,第2组循环迭代训练使用训练样本子集Z2进行两次训练,第3组循环迭代训练使用训练样本子集Z3进行两次训练,……,第Z组循环迭代训练使用训练样本子集Zz进行两次训练,第Z+1组循环迭代训练使用训练样本子集Z1进行两次训练,第Z+2组循环迭代训练使用训练样本子集Z2进行两次训练……以此类推。
在介绍了训练样本的选取之后,接下来对特征生成模型的具体训练过程展开说明。
如图4所示,为本申请实施例提供的一种特征生成模型的结构示意图,特征生成模型主要包括嵌入子网络、预测子网络、生成子网络与判别子网络,其中,嵌入子网络与预测子网络为特征生成模型的基础部分。对象属性为嵌入子网络的输入,嵌入子网络与生成子网络、判别子网络和预测子网络连接,生成子网络与判别子网络、预测子网络连接,预测子网络的输出为意向预测结果。
特征生成模型的训练过程实际上是对生成子网络与判别子网络的交替训练,具体地,每组循环迭代训练中的第一次循环迭代训练主要是对生成子网络进行参数调整,判别子网络则不参与参数调整;而每组循环迭代训练中的第二次循环迭代训练主要是对判别子网络进行参数调整,而生成子网络不参与参数调整。每组循环迭代训练中的两次循环迭代训练过程如下。
(1)每组循环迭代训练中的第一次循环迭代训练过程可以为,分别提取X个训练样本各自包含的样本对象的对象特征;基于X个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得X个对象特征各自的重构特征;对X个重构特征进行特征类型的判别,特征类型包括对象特征类型与重构特征类型;基于各判别结果,对特征生成模型进行参数调整。
上述过程需要先获取各个样本对象各自对应的对象特征,样本对象的对象特征的获取方式为:分别获取各个训练样本包含的样本对象各自的对象属性;对获得的各个对象属性分别进行特征提取,获得相应的对象特征。
具体地,每个样本对象都各自对应有相应的对象属性,样本对象的对象属性可以包含样本对象的年龄、性别等身份信息、爱好信息以及地理位置信息等,根据具体场景的不同,对象属性还可以包括其他信息,例如,若目标产品曾开展过调查问卷、宣传展会等活动,则样本对象的对象属性还可以包括根据问卷、展会等获取到的样本对象的意向信息,以目标产品为车辆为例,样本对象的意向信息可以为样本对象的意向车型等;若应用场景是为了预测已经购买过目标产品的对象再次购买的意向,则相应的,样本对象的对象属性还可以包括第一次购买的目标产品的型号等。
可以理解的是,在本申请的具体实施方式中,涉及到样本对象的身份信息、爱好信息、地理位置信息、意向信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
可选的,对象属性可以统一存储在属性数据库中,每次循环迭代训练中,服务器可以在属性数据库中获取到X个样本对象各自对应的对象属性。之后,将X个对象属性输入至特征生成模型,由特征生成模型中的嵌入子网络对各对象属性进行特征提取,获取对应的对象特征,也即,对象特征是嵌入子网络将对象属性使用数值表示出来的结果,其形式可以为向量、矩阵等,本申请不做具体限定。
嵌入子网络输出X个对象特征之后,服务器将X个对象特征分别输入特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出X个对象特征各自的重构特征;之后,服务器将X个重构特征输入特征生成模型中的判别子网络,判别子网络分别对X个重构特征进行特征类型的判别,得到X个重构特征各自对应的第一判别值。
上述中,特征类型包括对象特征类型与重构特征类型,也即,判别子网络对X个重构特征分别进行判断,判断其是由生成子网络构建出的重构特征,还是真实的对象特征,其判断结果以第一判别值表示。
第一判别值的范围为[0,1],其表征判别子网络所预测的相应的重构特征的特征类型为对象特征类型与重构特征类型的概率,若第一判别值为0,表示判别子网络判断该重构特征的特征类型为重构特征类型,也即,判别子网络的判断正确;若第一判别值为1,表示判别子网络判断相应重构特征的特征类型为对象特征类型,也即,判别子网络的判断错误;若判别值为0.9,表示判别子网络判断相应重构特征的特征类型为对象特征类型的概率为0.9,为重构特征类型的概率为0.1。
最后,服务器基于各个第一判别值构建生成损失函数;并向生成损失函数收敛的方向,对生成子网络进行参数调整,以及对生成损失函数的梯度进行反向传播,以对特征生成模型中的嵌入子网络进行参数调整。
具体地,生成损失函数的具体公式可以如下:
上述公式中,E为均值,a为重构特征,p(a)为重构特征集合,其中包含了本次循环迭代训练中生成子网络所构建的X个重构特征,S为生成子网络,D为判别子网络,D(S(a))表征第一判别值,当第一判别值越接近1,表明生成子网络输出的重构特征越接近于真实的对象特征,此时,生成损失函数JS趋近于负无穷大;因此,应向JS减小的方向对生成子网络进行参数调整,即,对JS做最小化优化,以使生成子网络更好的模拟真实的对象特征来输出重构特征;同时,结合误差反向传播,对嵌入子网络的参数进行调整。
(2)每组循环迭代训练中的第二次循环迭代训练过程可以为,分别提取X个训练样本各自包含的样本对象的对象特征,并在获得的X个对象特征中选取Y个对象特征;基于Y个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得Y个对象特征各自的重构特征;对X-Y个对象特征,以及Y个重构特征进行特征类型的判别;特征类型包括对象特征类型与重构特征类型;基于各判别结果,对特征生成模型进行参数调整。
上述过程同样需要先获取各个样本对象各自对应的对象属性,之后基于特征生成模型中的嵌入子网络,对获得的各个对象属性分别进行特征提取,获得相应的对象特征。其具体过程与每组循环迭代训练中,第一次循环迭代训练中的对象特征的获取方式相同,因此不再赘述。
嵌入子网络输出X个对象特征之后,随机在其中选取Y个对象特征,并将Y个对象特征输入特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出Y个对象特征各自的重构特征;之后,将X-Y个对象特征,以及Y个重构特征输入特征生成模型中的判别子网络,判别子网络分别对X-Y个对象特征,以及Y个重构特征进行特征类型的判别,得到X-Y个对象特征,以及Y个重构特征各自对应的第二判别值。
上述中,Y为不小于零且不大于X的整数,每个第二判别值表征:判别子网络所预测的相应的对象特征或重构特征的特征类型为对象特征类型与重构特征类型的概率;第二判别值的范围同样为[0,1],若第二判别值为0,表示判别子网络判断该对象特征或重构特征的特征类型为重构特征类型;若第二判别值为1,表示判别子网络判断该对象特征或重构特征的特征类型为对象特征类型;若判别值为0.7,表示判别子网络判断该对象特征或重构特征的特征类型为对象特征类型的概率为0.7,为重构特征类型的概率为0.3。
最后,服务器基于各个第二判别值构建判别损失函数;并向判别损失函数收敛的方向,对判别子网络进行参数调整,以及对判别损失函数的梯度进行反向传播,以对特征生成模型中的嵌入子网络进行参数调整。
具体地,判别损失函数的具体公式可以如下:
上述公式中,E为均值,a为重构特征,p(a)为重构特征集合,其中包含了本次循环迭代训练中的X-Y个对象特征;b为对象特征,pdata(b)为对象特征集合,其中包含了本次循环迭代训练中生成子网络所构建的Y个重构特征;S为生成子网络,D为判别子网络,D(b)表示对象特征对应的第二判别值,D(S(a))表示重构特征对应的第二判别值。
对于判别子网络来说,若某个特征为对象特征,则其对应的第二判别值越接近1,也即D(b)越接近1,越接近0,表征判别子网络的判断越准确,因此,当第一判别值越接近1,表明生成子网络输出的重构特征越接近于真实的对象特征;若某个特征为重构特征,则其对应的第二判别值越接近0,也即D(S(a))越接近0,/>越接近0,表征判别子网络的判断越准确;进一步的,由于/>与 均不小于0,因此,应向判别损失函数JD减小的方向对判别子网络进行参数调整,即,对JD做最小化优化,以使判别子网络更好的分辨对象特征与重构特征;同时,结合误差反向传播,对嵌入子网络的参数进行调整。
以具体场景为例,假设目标产品为某车辆,现在需要训练出一个能够根据对象的年龄、性别等基本身份信息,预测出相应对象的意向预测值,也即对该车辆的购买意向值的模型,则服务器首先获取训练样本集,之后对特征生成模型进行多组循环迭代训练,得到初始意向预测模型。假设每组迭代训练中,服务器在训练样本集中获取10个训练样本,并在对应的属性数据库中,分别获取10个训练样本中的样本对象各自对应的对象属性,例如,样本对象1对应的对象属性1为:年龄18岁,性别男;样本对象2对应的对象属性2为:年龄24岁,性别男等等。
之后,服务器将10个对象属性输入特征生成模型,特征生成模型中的嵌入子网络分别输出10个对象属性各自对应的对象特征,生成子网络则基于10个对象特征,以及基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的10个对象特征的空间分布规律,输出10个对象特征各自的重构特征。
将10个重构特征输入判别子网络,判别子网络输出10个重构特征各自对应的第一判别值,服务器根据10个第一判别值构建生成损失函数,基于生成损失函数对生成子网络和嵌入子网络进行参数调整。
调整后,服务器再次将10个样本对象对应的对象属性分别输入特征生成模型,嵌入子网络输出10个对象特征,在10个对象特征中进行随机选取,假设选取出了对象特征1、对象特征5、对象特征6、对象特征8、对象特征9共五个对象特征,则将这五个对象特征输入生成子网络,生成子网络输出对应的重构特征1、重构特征5、重构特征6、重构特征8、重构特征9。
将重构特征1、重构特征5、重构特征6、重构特征8、重构特征9、对象特征2、对象特征3、对象特征4、对象特征7、对象特征10输入判别子网络,判别子网络输出10个特征各自对应的第二判别值,服务器根据10个第二判别值构建判别损失函数,基于判别损失函数对判别子网络和嵌入子网络进行参数调整。
S302:服务器基于训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型。
初始意向预测模型的循环迭代训练同样基于训练样本集进行,且在每次训练中获取训练样本的方式与特征生成模型相似,例如,将训练样本集中的训练样本拆分为H个训练样本子集,每个训练样本子集中包含了N个训练样本,第1次循环迭代训练使用训练样本子集H1进行训练,第2次循环迭代训练使用训练样本子集H2进行训练,第3次循环迭代训练使用训练样本子集H3进行训练,……,第H次循环迭代训练使用训练样本子集Hh进行训练;同样的,当所有训练样本都参与过一次初始意向预测模型的训练后,依旧可以根据实际需求,继续从第一个训练样本子集H1开始,对初始意向预测模型进行循环迭代训练,也即,第H+1次循环迭代训练使用训练样本子集H1进行训练,第H+2次循环迭代训练使用训练样本子集H2进行训练……以此类推。
初始意向预测模型的训练目的是对模型参数进行进一步的微调,且是针对初始意向预测模型中的基础部分进行参数调整;如图5所示,为本申请实施例提供的一种初始意向预测模型的结构示意图,初始意向预测模型与特征生成模型的结构基本相同,区别在于,初始意向预测模型中的判别子网络不再参与训练过程,因此,可以将判别子网络进行屏蔽处理,或直接将判别子网络去除;对象属性依旧为嵌入子网络的输入,嵌入子网络与生成子网络和预测子网络连接,生成子网络与预测子网络连接,预测子网络的输出为意向预测结果。此外,生成子网络虽然参与意向预测模型的训练过程,但不再进行参数的调整。
在初始意向预测模型的一次循环迭代中,服务器具体执行S3021-S3023:
S3021:服务器分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征。
初始意向预测模型的训练过程中,各对象特征是通过初始意向预测模型的嵌入子网络对相应的对象属性进行特征提取得到的,对象属性的获取方式则与特征生成模型在训练过程中获取对象属性的方式相同,在此不再赘述。
在获取到N个对象特征后,服务器在N个对象特征中随机选取M个对象特征。M为不小于0且不大于N的整数。
沿用S301中的假设,在获得初始意向预测模型之后,服务器基于训练样本集对初始意向预测模型进行多次循环迭代训练,每次循环迭代训练中,假设服务器在训练样本集中选取8个训练样本,并在属性数据库中获取各训练样本中的样本对象各自对应的样本属性。之后,服务器将8个样本属性输入初始意向预测模型中的嵌入子网络,嵌入子网络分别输出8个样本对象各自对应的样本特征。
服务器在8个对象特征中进行随机选取,假设选取出了对象特征1、对象特征2、对象特征3、对象特征5、对象特征6、对象特征8共6个对象特征。
S3022:服务器基于M个对象特征,结合训练样本集表征的对象特征的空间分布规律,分别获得M个对象特征各自的重构特征。
选取出M个对象特征后,服务器将M个对象特征分别输入初始意向预测模型中的生成子网络,基于训练样本集表征的对象特征的空间分布规律,输出M个对象特征各自的重构特征。
上述中,初始意向预测模型中的生成子网络在特征生成模型的训练过程中,已经获取到了训练样本集中各训练样本对应的对象特征的空间分布规律,因此其可以基于训练样本集表征的对象特征的空间分布规律,构建重构特征。
沿用S3021中的假设,服务器在8个对象特征中选取出对象特征1、对象特征2、对象特征3、对象特征5、对象特征6、对象特征8,并将上述6个对象特征输入生成子网络,生成子网络输出对应的重构特征1、重构特征2、重构特征3、重构特征5、重构特征6、重构特征8。
S3023:服务器基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对初始意向预测模型进行参数调整。
上述中,意向预测由初始意向预测模型中的预测子网络完成。
一种可选的实施方式为,服务器将N-M个对象特征以及M个重构特征分别输入初始意向预测模型中的预测子网络,预测子网络对相应样本对象进行意向预测,获得相应的意向预测值。意向预测值表征初始意向预测模型所预测的相应的样本对象对目标产品的意向程度,取值范围可以为[0,1],假设应用场景为确定对象是否有购买目标产品的意向,则相应的,在初始意向预测模型的训练过程中,意向预测值可以表征相应的样本对象购买目标产品的概率,若意向预测值为0,则表示初始意向预测模型预测相应的样本对象购买目标产品的概率为0;若意向预测值为1,则表示初始意向预测模型预测相应的样本对象购买目标产品的概率为100%。
最后,服务器基于各意向预测值与相应的样本标签构建意向损失函数;并向意向损失函数收敛的方向,对预测子网络进行参数调整,以及对意向损失函数的梯度进行反向传播,以对初始意向预测模型中的嵌入子网络进行参数调整。
具体地,意向损失函数的具体公式可以如下:
上述中,N为一次循环迭代训练中训练样本的个数,i为样本对象,di为样本对象i对应的样本标签,ei为样本对象i对应的对象特征或者重构特征;具体地,若本次循环迭代中,样本对象i对应的对象特征被选中并输入到生成子网络中,生成子网络基于该对象特征构建出相应的重构特征,则ei为样本对象i对应的重构特征;若本次循环迭代中,样本对象i对应的对象特征未被选中,则ei为样本对象i对应的对象特征。fθ(ei)为ei对应的意向预测值。
此外,假设ei为样本对象i对应的重构特征,且di表征该训练样本为正样本,样本对象i对应的对象特征所反映的为正样本所具有的特征,相应的,重构特征ei所反映的也应为正样本所具有的特征;反之,若di表征该训练样本为负样本,样本对象i对应的对象特征所反映的为负样本所具有的特征,则重构特征ei所反映的也应为负样本所具有的特征。
当训练样本为正样本时,样本标签di为1,意向损失函数LG中,(1-di)log(1-fθ(ei))的值为0,则意向预测值fθ(ei)越接近1,dilogfθ(ei)越接近0,表明初始意向预测模型预测的准确度越高;当训练样本为正样本时,样本标签di为0,意向损失函数LG中,dilogfθ(ei)的值为0,则意向预测值fθ(ei)越接近0,(1-di)log(1-fθ(ei))越接近0,表明初始意向预测模型预测的准确度越高,且由于-dilogfθ(ei)与-(1-di)log(1-fθ(ei))均不小于0,因此,应向LG减小的方向对预测子网络进行参数调整,即,对LG做最小化优化,以提高预测子网络预测的准确度,同时,结合误差反向传播,对嵌入子网络的参数进行调整。
沿用S3022中的假设,服务器将重构特征1、重构特征2、重构特征3、重构特征5、重构特征6、重构特征8、对象特征4、对象特征7输入初始意向预测模型的预测子网络,得到初始意向预测模型所预测的8个样本对象各自对应的意向预测值。服务器基于8个意向预测值构建意向损失函数,基于意向损失函数对嵌入子网络和预测子网络进行参数调整。
综上,本申请提出了一种新的预测模型,即特征增强网络(英文:FeatureStrengthen Network,FSN),也即上述中的目标意向预测模型,并提出了相应的模型训练方法。FSN模型在原有的预测模型的框架的基础上,增加了生成子网络与判别子网络参与到特征生成模型的训练,并在后续初始意向预测模型的训练过程中,通过原有的训练样本对应的对象特征,以及在初始意向预测模型的多次循环迭代训练中,生成子网络构建的大量的重构特征,对初始意向预测模型进行训练,也即,随着循环迭代训练的次数增加,若循环迭代训练的次数足够多,模型不仅可以充分利用训练样本集中的训练样本对应的对象特征进行训练,还可以利用在循环迭代期间产生的大量重构特征进行训练,使得初始意向预测模型得到充分的学习,最终得到的目标意向预测模型的准确度大大提升。
此外,本申请所提出的FSN兼容性强,也即,本申请中的FSN的基础部分采用的是嵌入子网络与预测子网络的组合,但该部分还可以替换其他的常见预测模型,包括但不限于深度神经网络模型(英文:Deep Neural Networks,DNN)、深度因子分解机模型(英文:DeepFactorization Machine,Deep FM)、深度兴趣进化网络模型(英文:Deep Interest Evolu-tion Network,DIEN)等,且基础部分无论替换为上述中的哪一种常见预测模型,FSN预测的准确度对比各常见预测模型都有所提升。
如图6所示,为本申请实施例提供的一种模型效果对比示意图,图中分别采用DNN、Deep FM、DIEN的原始模型进行意向值的预测,并计算模型的准确度,此外,再将DNN、DeepFM、DIEN三种模型分别作为FSN模型的基础部分,再次进行意向值的预测并计算模型的准确度;图6中,模型的准确度采用曲线下面积(英文:Area Under the Curve,AUC)来表示,AUC值越大,准确度越高。通过横向对比可以看出,三种模型对应的FSN模型相较于三种原始模型,在准确度上均有所提升。
生成子网络和判别子网络的具体类型也可以有多种选择,且网络层数、参数量也可结合实际应用场景进行调整,例如生成子网络可以为基于长短期记忆网络(英文:LongShort-Term Memory,LSTM)构建的序列到序列模型(英文Sequence to sequence,Seq2Seq),判别子网络可以基于全连接神经网络进行搭建等,本申请不做具体限定。
FSN模型在冷启动场景下也有着较高的预测准确度,假设目标产品R没有可以用于训练意向预测模型的样本数据,但与目标产品R相似的产品T有可以用于训练模型的样本数据,则可以应用产品T的样本数据构建训练样本集,对意向预测模型进行训练,并将训练好的目标意向预测模型应用于目标产品A。此外,相关技术中还有使用模型直接生成新的训练样本的方法,但由于样本是高维稀疏的,能够直接生成训练样本的模型一定包含有较多数量的参数,因此依旧该模型在应用前依旧需要足够多的样本进行充足的训练,所有该方式也无法很好地解决小样本训练存在的问题,而本申请生成的是新的特征,特征是低维稠密的,不需要模型有较多参数,对训练样本数量要求较低,因而本申请的提出的方法更具优势。
此外,一种可选的实施方式为,图7A和图7B为本申请实施例提供的另一种意向预测模型的训练方法的整体流程图,可以按照如图7A和图7B所示的流程图实施S301-S3023,具体地,图7A包括以下步骤:
S701A:服务器获取训练样本集。
S702A:服务器在训练样本集中选取X个训练样本,并在属性数据库中获取各训练样本对应的样本属性。
S703A:服务器将各样本属性分别输入特征生成模型,并基于特征生成模型中的嵌入子网络,获取各对象属性对应的对象特征。
S704A:服务器基于特征生成模型中的生成子网络,获取各对象特征对应的重构特征。
具体地,服务器将X个对象特征分别输入特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出X个对象特征各自的重构特征。
S705A:服务器基于特征生成模型中的判别子网络,对各重构特征的特征类型进行判别,得到各重构特征对应的第一判别值。
服务器将X个重构特征输入特征生成模型中的判别子网络,判别子网络分别对X个重构特征进行特征类型的判别,得到X个重构特征各自对应的第一判别值,其中,特征类型包括对象特征类型与重构特征类型,第一判别值的范围为[0,1],其表征判别子网络所预测的相应的重构特征的特征类型为对象特征类型与重构特征类型的概率。
S706A:服务器基于第一判别值对特征生成模型进行参数调整。
服务器基于各个第一判别值构建生成损失函数;并向生成损失函数减小的方向对生成子网络进行参数调整,以使生成子网络更好的模拟真实的对象特征来输出重构特征;同时,结合误差反向传播,对嵌入子网络的参数进行调整。
S707A:服务器将相同的X个训练样本各自对应的对象属性的再次输入特征生成模型,并基于特征生成模型中的嵌入子网络,获取各对象属性对应的对象特征。
S708A:服务器选取Y个对象特征并输入生成子网络,获取Y个对象特征对应的重构特征。
具体地,服务器在获得的X个对象特征中随机选取Y个对象特征,并将Y个对象特征输入特征生成模型中的生成子网络,生成子网络基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出Y个对象特征各自的重构特征。
S709A:服务器基于特征生成模型中的判别子网络,对X-Y个对象特征与Y个重构特征的特征类型进行判别,得到各特征对应的第二判别值。
服务器将X-Y个对象特征,以及Y个重构特征输入特征生成模型中的判别子网络,判别子网络分别对X-Y个对象特征,以及Y个重构特征进行特征类型的判别,得到X-Y个对象特征,以及Y个重构特征各自对应的第二判别值。
S710A:服务器基于第二判别值对特征生成模型进行参数调整。
服务器基于各个第二判别值构建判别损失函数;并向判别损失函数减小的方向对判别子网络进行参数调整,以使判别子网络更好的分辨对象特征与重构特征;同时,结合误差反向传播,对嵌入子网络的参数进行调整。
S711A:服务器判断特征生成模型的循环迭代训练次数是否达到预设值,若是,则执行S712A,否则返回S702A。
S712A:服务器将参数调整后的特征生成模型作为初始意向预测模型。
图7B包括以下步骤:
S701B:服务器在训练样本集中选取N个训练样本,并在属性数据库中获取各训练样本对应的样本属性。
S702B:服务器将各样本属性分别输入初始意向预测模型,并基于初始意向预测模型中的嵌入子网络,获取各对象属性对应的对象特征。
S703B:服务器选取M个对象特征并输入生成子网络,获取M个对象特征对应的重构特征。
S704B:服务器基于初始意向预测模型中的预测子网络,分别对N-M个对象特征与M个重构特征各自对应的样本对象进行意向预测,得到相应的意向预测值。
服务器将N-M个对象特征以及M个重构特征分别输入初始意向预测模型中的预测子网络,预测子网络对相应样本对象进行意向预测,获得相应的意向预测值。
S705B:服务器基于各意向预测值与相应的样本标签,对初始意向预测模型进行参数调整。
最后,服务器基于各意向预测值与相应的样本标签构建意向损失函数;并向意向损失函数减小的方向对预测子网络进行参数调整,以提高预测子网络预测的准确度,同时,结合误差反向传播,对嵌入子网络的参数进行调整。
S706B:服务器判断初始意向预测模型的循环迭代训练次数是否达到预设值,若是,则执行S707B,否则返回S701B。
S707B:服务器将参数调整后的初始意向预测模型作为目标意向预测模型。
下面从模型应用的角度,对本申请实施例中的意向预测模型的训练方法进一步介绍:
参阅图8所示,为本申请实施例中的一种目标意向预测模型的应用过程的实施流程图,假设应用场景为预测各对象对目标产品购买意向,以服务器为执行主体为例,该方法的具体实施流程如下:
S801:服务器在属性数据库中获取各待预测对象各自对应的对象属性。
S802:服务器将各个对象属性输入目标意向预测模型。
S803:服务器基于目标意向预测模型,对各个对象属性进行特征提取,得到对应的各个对象特征。
特征提取由目标意向预测模型中的嵌入子网络完成。嵌入子网络的输入为对象属性,输出为对象特征。
S804:服务器基于目标意向预测模型以及各个对象特征,预测各个待预测对象对目标产品的购买意向值。
购买意向值的预测目标意向预测模型中的预测子网络完成。预测子网络的输入为对象特征,输出为相应的购买意向值。
上述中的购买意向值即是该应用场景下的意向预测值。
需要说明的是,在目标意向预测模型的应用阶段,生成子网络与判别子网络均不再参与预测过程,可以对生成子网络与判别子网络采取屏蔽处理,或直接将生成子网络与判别子网络去除。
训练好的目标意向预测模型在经过测试部署后,能够在不同应用场景下,根据不同的对象属性预测对象针对目标产品的购买意向值、到店查看意向值等;具体地,应用场景可以分为线索评级、私域留资、沉默保客等,其中,线索评级是指利用对象的年龄、性别等基本身份信息来预测对象的意向;私域留资是指针对参加过与目标产品相关的问卷、宣传等活动的对象,根据对象在活动中留下的信息来预测对象的意向;沉默保客是指针对已经购买过相关产品的对象,根据其上次购买的相关信息,预测其再次购买的意向。
基于目标意向预测模型所预测出的意向预测值,可以为拥有不同意向预测值的对象指定不同的推荐方式,例如,对高意向预测值的对象指定人工电话推荐的方式,对低意向预测值的对象指定人工智能电话推荐的方式等,或者根据意向预测值的高低筛选出高意向预测值对象,进行目标产品的推荐,以提高推荐的成功率。
如图9所示,为本申请实施例提供的一种目标意向预测模型实际应用时的逻辑示意图,假设应用场景为沉默保客,且获取购买意向值的目的是为了筛选出购买意向值大于预设意向值的对象,则具体执行过程如下:服务器获取到相关人员输入到终端设备中的待预测对象1、待预测对象2、待预测对象3……各自的标识,并根据各个标识,在相应的属性数据库中,获取待预测对象1的对象属性1,待预测对象2的对象属性2,待预测对象3的对象属性3……也即各待预测对象在上次购买目标产品时的相关信息,例如上次购买目标产品的时间,目标产品的颜色等。
之后,服务器将各个待预测对象的对象属性分别输入目标意向预测模型,目标意向预测模型首先各个待预测对象的对象属性,输出各个待预测对象对应的对象特征,之后基于各个待预测对象对应的对象特征,分别预测各个待预测对象再次购买目标产品的购买意向值,其中,待预测对象1的购买意向值为0.1,待预测对象2的购买意向值为0.7,待预测对象3的购买意向值为0.88……;最后,服务器将各个待预测对象对应的购买意向值与预设意向值比较,假设仅有待预测对象2与待预测对象3对应的购买意向值大于预设意向值,则服务器将待预测对象2与待预测对象3作为筛选结果传回终端设备,由终端设备进行展示。
获得意向预测值后,相关人员可以为拥有不同意向预测值的对象指定不同的推荐方式,例如,对高意向预测值的对象指定人工电话推荐的方式,对低意向预测值的对象指定人工智能电话推荐的方式等,或者根据意向预测值的高低筛选出拥有高意向预测值的对象,进行目标产品的推荐,以提高推荐的成功率。
此外,如图10所示,本申请还提供了一种意向预测应用的操作界面示意图;界面中提供了线索评级、私域留资、沉默保客三种应用场景,如图10所示的界面中选择了沉默保客的应用场景,并输入了对象1、对象2、对象3、……、对象Q各自的标识,点击开始预测后,界面中展示对象1的购买意向值,也即购买概率为0.3,对象2的购买意向值为0.8,对象3的购买意向值为0.69,……,对象Q的购买意向值为0.14,此时各个对象的购买意向值代表各对象第二次购买目标产品的概率。
可选的,还可以根据需求在操作界面中直接展示出购买意向值超过预设意向值的对象的标识,或者将各个对象的购买意向值转换为评级分数并在操作界面中展示,本申请不做具体限定。
上述示例中,属性数据库与目标意向预测模型都置于服务器中,除此之外,属性数据库与目标意向预测模型还可以部署在虚拟环境中,部署在虚拟环境中时,目标意向预测模型与服务器分离,模型更新时更便捷。如图11所示,为本申请实施例提供的一种属性数据库、目标意向预测模型与服务器分离时意向预测的逻辑示意图。相关人员将待预测对象各自的标识输入终端设备,终端设备再将其传输给服务器,进一步的,服务器将待预测对象各自的标识传输给属性数据库,获得各待预测对象各自对应的对象属性,之后,将获得的各对象属性输入到目标意向预测模型,目标意向预测模型输出各待预测对象各自对应的意向预测值,并将意向预测值传输给服务器,由服务器再将各意向预测值传输至终端设备,终端设备将各个待预测对象对应的意向预测值展示给相关人员。
图11中的示例是直接展示意向预测值,除此之外,服务器还可以将各个意向预测值与预设意向值进行对比,最后只将超过预设意向值的对象的标识传输给终端设备进行展示,或根据意向预测值对对象的标识进行分类再传输给终端设备,或将各意向预测值转换为评级分数再传输给终端设备进行展示等等,本申请不做具体限定。
基于相同的发明构思,本申请实施例还提供一种意向预测模型的训练装置。如图12所示,其为意向预测模型的训练装置的结构示意图,可以包括:
获取单元1201,用于获取训练样本集;其中,每个训练样本包含一个样本对象和样本标签,样本标签表征相应样本对象是否对目标产品有意向;
训练单元1202,用于基于训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;其中,在一次循环迭代过程中,执行以下操作:
分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征;
基于M个对象特征,结合训练样本集表征的对象特征的空间分布规律,分别获得M个对象特征各自的重构特征;
基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对初始意向预测模型进行参数调整。
可选的,初始意向预测模型是基于训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第一次循环迭代过程中,训练单元1202还用于执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征;
基于X个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得X个对象特征各自的重构特征;
对X个重构特征进行特征类型的判别,特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对特征生成模型进行参数调整。
可选的,初始意向预测模型是基于训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第二次循环迭代过程中,训练单元1202还用于执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征,并在获得的X个对象特征中选取Y个对象特征;
基于Y个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得Y个对象特征各自的重构特征;
对X-Y个对象特征,以及Y个重构特征进行特征类型的判别;特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对特征生成模型进行参数调整。
可选的,训练单元1202具体用于通过如下方式提取样本对象的对象特征:
分别获取各个训练样本包含的样本对象各自的对象属性;
对获得的各个对象属性分别进行特征提取,获得相应的对象特征。
可选的,训练单元1202具体用于:
将X个对象特征分别输入特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出X个对象特征各自的重构特征;
训练单元1202具体用于:
基于特征生成模型中的判别子网络,分别对X个重构特征进行特征类型的判别,得到X个重构特征各自对应的第一判别值,每个第一判别值表征:判别子网络所预测的相应的重构特征的特征类型为对象特征类型与重构特征类型的概率。
可选的,训练单元1202具体用于:
基于各个第一判别值构建生成损失函数;
向生成损失函数收敛的方向,对生成子网络进行参数调整,以及对生成损失函数的梯度进行反向传播,以对特征生成模型中的嵌入子网络进行参数调整;嵌入子网络用于特征提取。
可选的,训练单元1202具体用于:
将Y个对象特征分别输入特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出Y个对象特征各自的重构特征;
训练单元1202具体用于:
基于特征生成模型中的判别子网络,分别对X-Y个对象特征,以及Y个重构特征进行特征类型的判别,得到X-Y个对象特征,以及Y个重构特征各自对应的第二判别值,每个第二判别值表征:判别子网络所预测的相应的对象特征或重构特征的特征类型为对象特征类型与重构特征类型的概率。
可选的,训练单元1202具体用于:
基于各个第二判别值构建判别损失函数;
向判别损失函数收敛的方向,对判别子网络进行参数调整,以及对判别损失函数的梯度进行反向传播,以对特征生成模型中的嵌入子网络进行参数调整;嵌入子网络用于特征提取。
可选的,训练单元1202具体用于:
将M个对象特征分别输入初始意向预测模型中的生成子网络,基于训练样本集表征的对象特征的空间分布规律,输出M个对象特征各自的重构特征;
训练单元1202具体用于:
将N-M个对象特征以及M个重构特征分别输入初始意向预测模型中的预测子网络,以对相应样本对象进行意向预测,获得相应的意向预测值。
可选的,训练单元1202具体用于:
基于各意向预测值与相应的样本标签构建意向损失函数;
向意向损失函数收敛的方向,对预测子网络进行参数调整,以及对意向损失函数的梯度进行反向传播,以对初始意向预测模型中的嵌入子网络进行参数调整;嵌入子网络用于特征提取。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的意向预测模型的训练方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思,本申请实施例中还提供了一种电子设备。在一种实施例中,该电子设备可以是服务器,如图2所示的服务器220。在该实施例中,电子设备的结构可以如图13所示,包括存储器1301,通讯模块1303以及一个或多个处理器1302。
存储器1301,用于存储处理器1302执行的计算机程序。存储器1301可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1301可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1301也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者存储器1301是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。存储器1301可以是上述存储器的组合。
处理器1302,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器1302,用于调用存储器1301中存储的计算机程序时实现上述意向预测模型的训练方法。
通讯模块1303用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1301、通讯模块1303和处理器1302之间的具体连接介质。本申请实施例在图13中以存储器1301和处理器1302之间通过总线1304连接,总线1304在图13中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1304可以分为地址总线、数据总线、控制总线等。为便于描述,图13中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。
存储器1301中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的意向预测模型的训练方法。处理器1302用于执行上述的意向预测模型的训练方法,如图3所示。
在另一种实施例中,电子设备也可以是其他电子设备,如图2所示的终端设备210。在该实施例中,电子设备的结构可以如图14所示,包括:通信组件1410、存储器1420、显示单元1430、摄像头1440、传感器1450、音频电路1460、蓝牙模块1470、处理器1480等部件。
通信组件1410用于与服务器进行通信。在一些实施例中,可以包括电路无线保真(Wireless Fidelity,WiFi)模块,WiFi模块属于短距离无线传输技术,电子设备通过WiFi模块可以帮助对象(如用户)收发信息。
存储器1420可用于存储软件程序及数据。处理器1480通过运行存储在存储器1420的软件程序或数据,从而执行终端设备210的各种功能以及数据处理。存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1420存储有使得终端设备210能运行的操作系统。本申请中存储器1420可以存储操作系统及各种应用程序,还可以存储执行本申请实施例意向预测模型的训练方法的计算机程序。
显示单元1430还可用于显示由对象输入的信息或提供给对象的信息以及终端设备210的各种菜单的图形对象界面(graphical user interface,GUI)。具体地,显示单元1430可以包括设置在终端设备210正面的显示屏1432。其中,显示屏1432可以采用液晶显示器、发光二极管等形式来配置。显示单元1430可以用于显示本申请实施例中的意向预测界面等。
显示单元1430还可用于接收输入的数字或字符信息,产生与终端设备210的对象设置以及功能控制有关的信号输入,具体地,显示单元1430可以包括设置在终端设备210正面的触控屏1431,可收集对象在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
其中,触控屏1431可以覆盖在显示屏1432之上,也可以将触控屏1431与显示屏1432集成而实现终端设备210的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元1430可以显示应用程序以及对应的操作步骤。
摄像头1440可用于捕获静态图像,对象可以将摄像头1440拍摄的图像通过应用发布。摄像头1440可以是一个,也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1480转换成数字图像信号。
终端设备还可以包括至少一种传感器1450,比如加速度传感器1451、距离传感器1452、指纹传感器1453、温度传感器1454。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1460、扬声器1461、传声器1462可提供对象与终端设备210之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号,传输到扬声器1461,由扬声器1461转换为声音信号输出。终端设备210还可配置音量按钮,用于调节声音信号的音量。另一方面,传声器1462将收集的声音信号转换为电信号,由音频电路1460接收后转换为音频数据,再将音频数据输出至通信组件1410以发送给比如另一终端设备210,或者将音频数据输出至存储器1420以便进一步处理。
蓝牙模块1470用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,终端设备可以通过蓝牙模块1470与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
处理器1480是终端设备的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1420内的软件程序,以及调用存储在存储器1420内的数据,执行终端设备的各种功能和处理数据。在一些实施例中,处理器1480可包括一个或多个处理单元;处理器1480还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、对象界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1480中。本申请中处理器1480可以运行操作系统、应用程序、对象界面显示及触控响应,以及本申请实施例的意向预测模型的训练方法。另外,处理器1480与显示单元1430耦接。
在一些可能的实施方式中,本申请提供的意向预测模型的训练方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在电子设备上运行时,计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的意向预测模型的训练方法中的步骤,例如,电子设备可以执行如图3中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在对象电子设备上执行、部分地在对象电子设备上执行、作为一个独立的软件包执行、部分在对象电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到对象电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品,该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (14)
1.一种意向预测模型的训练方法,其特征在于,所述方法包括:
获取训练样本集;其中,每个训练样本包含一个样本对象和样本标签,所述样本标签表征相应样本对象是否对目标产品有意向;
基于所述训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;其中,在一次循环迭代过程中,执行以下操作:
分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征;
基于所述M个对象特征,结合所述训练样本集表征的对象特征的空间分布规律,分别获得所述M个对象特征各自的重构特征;
基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对所述初始意向预测模型进行参数调整。
2.如权利要求1所述的方法,其特征在于,所述初始意向预测模型是基于所述训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第一次循环迭代过程中,执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征;
基于所述X个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述X个对象特征各自的重构特征;
对所述X个重构特征进行特征类型的判别,所述特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对所述特征生成模型进行参数调整。
3.如权利要求1所述的方法,其特征在于,所述初始意向预测模型是基于所述训练样本集,对特征生成模型中的部分子网络进行多组循环迭代训练得到的,其中,每组循环迭代训练包含使用相同训练样本进行的两次循环迭代训练,在每组循环迭代训练的第二次循环迭代过程中,执行以下操作:
分别提取X个训练样本各自包含的样本对象的对象特征,并在获得的X个对象特征中选取Y个对象特征;
基于所述Y个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述Y个对象特征各自的重构特征;
对所述X-Y个对象特征,以及Y个重构特征进行特征类型的判别;所述特征类型包括对象特征类型与重构特征类型;
基于各判别结果,对所述特征生成模型进行参数调整。
4.如权利要求1~3任一项所述的方法,其特征在于,样本对象的对象特征是通过如下方式提取的:
分别获取各个训练样本包含的样本对象各自的对象属性;
对获得的各个对象属性分别进行特征提取,获得相应的对象特征。
5.如权利要求2所述的方法,其特征在于,所述基于所述X个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述X个对象特征各自的重构特征,包括:
将所述X个对象特征分别输入所述特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出所述X个对象特征各自的重构特征;
所述对所述X个重构特征进行特征类型的判别,包括:
基于所述特征生成模型中的判别子网络,分别对所述X个重构特征进行特征类型的判别,得到所述X个重构特征各自对应的第一判别值,每个第一判别值表征:所述判别子网络所预测的相应的重构特征的特征类型为对象特征类型与重构特征类型的概率。
6.如权利要求5所述的方法,其特征在于,所述基于各判别结果,对所述特征生成模型进行参数调整,包括:
基于各个第一判别值构建生成损失函数;
向所述生成损失函数收敛的方向,对所述生成子网络进行参数调整,以及对所述生成损失函数的梯度进行反向传播,以对所述特征生成模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
7.如权利要求3所述的方法,其特征在于,所述基于所述Y个对象特征,结合在历史循环迭代中获得的各对象特征的空间分布规律,以及结合在本组循环迭代中获得的X个对象特征的空间分布规律,分别获得所述Y个对象特征各自的重构特征,包括:
将所述Y个对象特征分别输入所述特征生成模型中的生成子网络,基于在历史循环迭代中获得的各对象特征的空间分布规律,以及在本组循环迭代中获得的X个对象特征的空间分布规律,输出所述Y个对象特征各自的重构特征;
所述对所述X-Y个对象特征,以及Y个重构特征进行特征类型的判别,包括:
基于所述特征生成模型中的判别子网络,分别对所述X-Y个对象特征,以及Y个重构特征进行特征类型的判别,得到所述X-Y个对象特征,以及Y个重构特征各自对应的第二判别值,每个第二判别值表征:所述判别子网络所预测的相应的对象特征或重构特征的特征类型为对象特征类型与重构特征类型的概率。
8.如权利要求7所述的方法,其特征在于,所述基于各判别结果,对所述特征生成模型进行参数调整,包括:
基于各个第二判别值构建判别损失函数;
向所述判别损失函数收敛的方向,对所述判别子网络进行参数调整,以及对所述判别损失函数的梯度进行反向传播,以对所述特征生成模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
9.如权利要求1~3、5~8任一项所述的方法,其特征在于,所述基于所述M个对象特征,结合所述训练样本集表征的对象特征的空间分布规律,分别获得所述M个对象特征各自的重构特征,包括:
将所述M个对象特征分别输入所述初始意向预测模型中的生成子网络,基于所述训练样本集表征的对象特征的空间分布规律,输出所述M个对象特征各自的重构特征;
所述基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,包括:
将所述N-M个对象特征以及M个重构特征分别输入所述初始意向预测模型中的预测子网络,以对相应样本对象进行意向预测,获得相应的意向预测值。
10.如权利要求9所述的方法,其特征在于,所述基于各意向预测值与相应的样本标签构建意向损失函数,以对所述初始意向预测模型进行参数调整,包括:
基于各意向预测值与相应的样本标签构建意向损失函数;
向所述意向损失函数收敛的方向,对所述预测子网络进行参数调整,以及对所述意向损失函数的梯度进行反向传播,以对所述初始意向预测模型中的嵌入子网络进行参数调整;所述嵌入子网络用于特征提取。
11.一种意向预测模型的训练装置,其特征在于,包括:
获取单元,用于获取训练样本集;其中,每个训练样本包含一个样本对象和样本标签,所述样本标签表征相应样本对象是否对目标产品有意向;
训练单元,用于基于所述训练样本集对初始意向预测模型进行循环迭代训练,获得目标意向预测模型;其中,在一次循环迭代过程中,执行以下操作:
分别提取N个训练样本各自包含的样本对象的对象特征,并在获得的N个对象特征中选取M个对象特征;
基于所述M个对象特征,结合所述训练样本集表征的对象特征的空间分布规律,分别获得所述M个对象特征各自的重构特征;
基于获得的N-M个对象特征,以及M个重构特征,分别对相应样本对象进行意向预测,获得相应的意向预测值,以及,基于各意向预测值与相应的样本标签构建意向损失函数,以对所述初始意向预测模型进行参数调整。
12.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~10中任一所述方法的步骤。
13.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~10中任一所述方法的步骤。
14.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行权利要求1~10中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069208.4A CN117171562A (zh) | 2023-08-23 | 2023-08-23 | 意向预测模型的训练方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311069208.4A CN117171562A (zh) | 2023-08-23 | 2023-08-23 | 意向预测模型的训练方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117171562A true CN117171562A (zh) | 2023-12-05 |
Family
ID=88938694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311069208.4A Pending CN117171562A (zh) | 2023-08-23 | 2023-08-23 | 意向预测模型的训练方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117171562A (zh) |
-
2023
- 2023-08-23 CN CN202311069208.4A patent/CN117171562A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107688823B (zh) | 一种图像特征获取方法及装置,电子设备 | |
CN111353392A (zh) | 换脸检测方法、装置、设备及存储介质 | |
CN114238690A (zh) | 视频分类的方法、装置及存储介质 | |
WO2024083121A1 (zh) | 一种数据处理方法及其装置 | |
CN114417174B (zh) | 内容推荐方法、装置、设备及计算机存储介质 | |
CN111539903A (zh) | 训练人脸图像合成模型的方法和装置 | |
CN115237732A (zh) | 一种操作预测方法及相关装置 | |
CN116152938A (zh) | 身份识别模型训练和电子资源转移方法、装置及设备 | |
CN112269943A (zh) | 一种信息推荐系统及方法 | |
CN116204709A (zh) | 一种数据处理方法及相关装置 | |
CN117011859A (zh) | 一种图片处理的方法以及相关装置 | |
CN115482019A (zh) | 一种活动关注度预测方法、装置、电子设备和存储介质 | |
CN115129975A (zh) | 推荐模型训练方法、推荐方法、装置、设备及存储介质 | |
CN117171562A (zh) | 意向预测模型的训练方法、装置、电子设备和存储介质 | |
CN113255819A (zh) | 用于识别信息的方法和装置 | |
CN114417944B (zh) | 识别模型训练方法及装置、用户异常行为识别方法及装置 | |
CN116628236B (zh) | 多媒体信息的投放方法、装置、电子设备及存储介质 | |
CN117034019B (zh) | 一种业务处理方法、装置、电子设备和存储介质 | |
CN113762148B (zh) | 图像识别模型训练方法和装置、图像识别方法和装置 | |
WO2023051678A1 (zh) | 一种推荐方法及相关装置 | |
CN116977756A (zh) | 对象识别模型训练方法、装置、设备及存储介质 | |
CN117576245A (zh) | 一种图像的风格转换方法、装置、电子设备及存储介质 | |
CN117216361A (zh) | 推荐方法、装置、电子设备及计算机可读存储介质 | |
CN116978079A (zh) | 一种图像识别方法、装置、电子设备和存储介质 | |
CN117523445A (zh) | 一种资源推荐方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |