CN116955805A - 业务目标预测模型的训练方法、信息推荐方法及相关装置 - Google Patents

业务目标预测模型的训练方法、信息推荐方法及相关装置 Download PDF

Info

Publication number
CN116955805A
CN116955805A CN202310821328.9A CN202310821328A CN116955805A CN 116955805 A CN116955805 A CN 116955805A CN 202310821328 A CN202310821328 A CN 202310821328A CN 116955805 A CN116955805 A CN 116955805A
Authority
CN
China
Prior art keywords
business
target
information
training
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310821328.9A
Other languages
English (en)
Inventor
赵光耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310821328.9A priority Critical patent/CN116955805A/zh
Publication of CN116955805A publication Critical patent/CN116955805A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种业务目标预测模型的训练方法、信息推荐方法及相关装置,先获取原始样本数据以及原始样本数据对应的业务目标统计信息;然后根据业务目标统计信息中包括的业务目标类型得到提示信息,根据业务目标统计信息包括的业务目标参数得到业务目标标签信息;再将提示信息和原始样本数据作为训练样本,将业务目标标签信息作为训练标签,对业务目标预测模型进行训练,得到训练后的业务目标预测模型。本申请实施例能够在模型训练过程中,提高业务目标预测模型对不同业务目标的感知能力以及对不同业务目标预测结果的准确性。本申请实施例可以应用于智能推荐的各种应用场景中。

Description

业务目标预测模型的训练方法、信息推荐方法及相关装置
技术领域
本申请涉及人工智能技术领域,尤其涉及一种业务目标预测模型的训练方法、信息推荐方法及相关装置。
背景技术
信息推荐系统是人工智能技术的一个重要应用。在面向具有不同兴趣爱好或使用习惯的用户时,为了提高信息推荐的精细度与准确度,推荐系统往往需要利用业务目标预测模型对多个业务目标的执行情况进行预测,并根据预测结果判断是否进行推荐,从而实现为用户提供定制化的推荐内容。
然而,现有的业务目标预测模型对不同的业务目标之间的差异性和关联性的感知能力较弱,导致模型对业务目标的执行可能性的预测准确度不佳。因此,如何在模型训练阶段提高对模型对业务目标的感知能力,进而提高对不同业务目标执行情况的预测准确度是亟待解决的技术问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种业务目标预测模型的训练方法、信息推荐方法及相关装置,能够在模型训练过程中提高业务目标预测模型对不同业务目标的感知能力以及对不同业务目标预测结果的准确性。
一方面,本申请实施例提供了一种业务目标预测模型的训练方法,包括以下步骤:
获取原始样本数据;
获取所述原始样本数据对应的业务目标统计信息,所述业务目标统计信息包括至少一个业务子目标统计信息,所述业务子目标统计信息包括业务目标类型和业务目标参数,不同的所述业务子目标统计信息具有不同的所述业务目标类型;
根据所述业务目标类型得到用于作为提示模板的提示信息,根据所述业务目标参数得到业务目标标签信息;
将所述提示信息和所述原始样本数据作为训练样本,并将所述业务目标标签信息作为训练标签,对所述业务目标预测模型进行训练,得到训练后的所述业务目标预测模型。
另一方面,本申请实施例提供了一种信息推荐方法,包括以下步骤:
获取待处理信息与候选业务目标类型,其中,所述待处理信息包括待推荐信息;
将所述待处理信息与所述候选业务目标类型作为待预测数据,调用业务目标预测模型对所述待预测数据进行针对所述候选业务目标类型的概率预测,得到所述待推荐信息针对所述候选业务目标类型的业务目标概率,其中,所述业务目标预测模型根据前面所述的业务目标预测模型的训练方法训练得到;
对所述业务目标概率大于预设概率阈值的所述待推荐信息进行推荐。
另一方面,本申请实施例提供了一种业务目标预测模型的训练装置,包括:
样本数据获取单元,用于获取原始样本数据;
业务目标统计信息获取单元,用于获取所述原始样本数据对应的业务目标统计信息,所述业务目标统计信息包括至少一个业务子目标统计信息,所述业务子目标统计信息包括业务目标类型和业务目标参数,不同的所述业务子目标统计信息具有不同的所述业务目标类型;
训练样本处理单元,用于根据所述业务目标类型得到用于提示所述业务目标类型的提示信息,并根据所述业务目标参数得到业务目标标签信息;
模型训练单元,用于将所述提示信息和所述原始样本数据作为训练样本,并将所述业务目标标签信息作为训练标签,对所述业务目标预测模型进行训练,得到训练后的所述业务目标预测模型。
可选地,所述业务目标统计信息获取单元还用于:
获取预设的业务目标集合,所述业务目标集合包括至少一个业务子目标;
根据所述原始样本数据,对所述业务目标集合中的每个所述业务子目标的执行情况进行统计,得到所述原始样本数据对应的业务目标统计信息。
可选地,所述训练样本处理单元还用于:
将所述业务目标类型确定为用于作为提示模板的提示信息;
或者,
为所述业务目标类型添加引导指示信息,得到用于作为提示模板的提示信息。
可选地,所述训练样本处理单元还用于:
将所述业务目标参数作为业务目标标签信息;
或者,
对所述业务目标参数进行归一化处理得到归一化值,并根据所述归一化值得到业务目标标签信息。
可选地,所述模型训练单元还用于:
调用所述业务目标预测模型对所述训练样本进行针对所述业务目标类型的概率预测,得到概率预测结果;
根据所述概率预测结果和所述业务目标标签信息对所述业务目标预测模型的参数进行调整。
可选地,所述模型训练单元还用于:
利用向量嵌入层对应的参数表,将所述训练样本映射为对应的目标向量;
根据所述目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果。
可选地,所述模型训练单元还用于:
利用向量嵌入层对应的参数表,将所述原始样本数据中的每个原始特征映射为对应的原始向量;
利用所述参数表将所述提示信息映射为提示向量;
将所述提示向量与所有所述原始向量进行向量拼接,得到所述训练样本的目标向量。
可选地,所述模型训练单元还用于:
利用向量嵌入层对应的参数表,将所述序列特征中的每个元素映射为中间向量;
对所有所述中间向量进行池化处理,得到所述序列特征的原始向量。
可选地,所述模型训练单元还用于:
将所述提示向量与所有所述原始向量依次进行首尾拼接,得到所述训练样本的目标向量,其中,所述目标向量的维度等于所述提示向量与所有所述原始向量的维度的总和。
可选地,所述模型训练单元还用于:
根据损失函数计算所述业务目标标签信息与所述概率预测结果之间的损失函数值;
根据所述损失函数值对所述业务目标预测模型的参数进行调整。
另一方面,本申请实施例提供了一种信息推荐装置,包括:
待预测数据获取单元,用于获取待处理信息与候选业务目标类型,其中,所述待处理信息包括待推荐信息;
业务目标预测单元,用于将所述待处理信息与所述候选业务目标类型作为待预测数据,调用业务目标预测模型对所述待预测数据进行针对所述候选业务目标类型的概率预测,得到所述待推荐信息针对所述候选业务目标类型的业务目标概率,其中,所述业务目标预测模型根据前面所述的业务目标预测模型的训练装置训练得到;
推送单元,用于对所述业务目标概率大于预设概率阈值的所述待推荐信息进行推荐。
另一方面,本申请实施例还提供了一种电子设备,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的业务目标预测模型的训练方法,或者实现如前面所述的信息推荐方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的计算机程序,所述处理器可执行的计算机程序被处理器执行时用于实现如前面所述的业务目标预测模型的训练方法,或者实现如前面所述的信息推荐方法。
另一方面,本申请实施例还提供了一种计算机程序产品,包括计算机程序或计算机指令,所述计算机程序或所述计算机指令存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令,所述处理器执行所述计算机程序或所述计算机指令,使得所述电子设备执行如前面所述的业务目标预测模型的训练方法,或者执行如前面所述的信息推荐方法。
本申请实施例至少包括以下有益效果:在获取原始样本数据后,获取原始样本数据对应的业务目标,而由于业务目标可以有一个或多个,因此通过原始样本数据与每一个业务目标的组合,可以得到原始样本数据对应的一个或多个业务子目标统计信息,每个业务子目标统计信息包括业务目标类型和业务目标参数,且不同的业务子目标具有不同的业务目标类型,这些业务子目标统计信息共同组成了业务目标统计信息;然后根据业务目标类型可以得到提示信息,其中,提示信息用于作为提示模板在模型训练过程中对业务目标类型起到提示作用,同时,根据业务目标参数可以得到业务目标标签信息,其中,业务目标标签信息用于在模型训练过程中对模型进行修正;接着将提示信息和原始样本数据作为训练样本,并将业务目标标签信息作为训练标签,对业务目标预测模型进行训练。也就是说,在本申请实施例中,在获取原始样本数据后,可以进一步得到原始样本数据对应的一个或多个业务子目标统计信息,每个业务子目标统计信息包括业务目标类型和业务目标参数,且不同的业务子目标具有不同的业务目标类型,这些业务子目标统计信息共同组成了业务目标统计信息,同时,为了进一步建立业务目标与原始样本数据的关联关系,对业务目标统计信息中的业务目标类型进行处理,得到用于作为提示模板的提示信息,然后将提示信息添加至原始样本数据中,使得提示信息与原始样本数据能够共同作为训练样本对模型进行训练,也就是说,通过提高训练样本对业务目标表征的语义性,使得模型在训练过程中能够更加准确快速的理解训练样本所表征的语义,有利于提升模型对不同的业务目标的快速感知与准确理解,且由于每个不同的业务目标均对应了独立的原始样本数据,使得模型能够被不同的业务目标进行充分而全面的训练,接着利用对业务目标参数处理得到的业务目标标签信息对模型参数进行不断修正,使得训练后的业务目标预测模型能够实现对不同业务目标执行情况的准确预测。
附图说明
附图用来提供对本申请技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1是本申请实施例提供的一种实施环境的示意图。
图2是本申请另一实施例提供的一种实施环境的示意图。
图3是本申请实施例提供的一种业务目标预测模型的训练方法的流程图。
图4是本申请实施例提供的一种业务目标统计信息获取方法的流程图。
图5是本申请实施例提供的一种业务目标类型的概率预测方法的流程图。
图6是本申请实施例提供的一种信息推荐方法的流程图。
图7是本申请一个具体示例提供的业务目标预测模型训练以及对待推荐信息进行概率目标预测的完整流程原理图。
图8是本申请一个具体示例提供的获取训练样本并利用业务目标预测模型得到模型预测结果的示意图。
图9是本申请一个具体应用场景提供的视频推荐界面的示意图。
图10是本申请实施例提供的业务目标预测模型的训练装置的示意图。
图11是本申请实施例提供的信息推荐装置的示意图。
图12是本申请实施例提供的电子设备的示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一实施例”、“一可能的实施方式”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
2)卷积神经网络(Convolutional Neural Network,CNN),用于对图像进行目标检索的深度学习框架。
3)深度神经网络(Deep Neural Network,DNN)是一种多层无监督神经网络,其特点为将上一层的输出特征作为下一层的输入进行特征学习,通过逐层特征映射后,将现有空间样本的特征映射到另一个特征空间,以此来学习对现有输入更好的特征表达。深度神经网络具有多个非线性映射的特征变换,可以对高度复杂的函数进行拟合。
4)共享底层(Shared-Bottom)模型被视为多任务建模中具有代表性的基线方法,多个目标共享底部的单一隐性表示,在此之上基于不同的目标构建不同的塔结构(Tower,轻量级DNN),不同目标的Tower基于同样的隐式表示输入进行多目标预估。
5)多门控混合专家(Multi-gate Mixture-of-Experts,MMoE)模型,用于多目标学习的网络结构,包括多个专家网络和多个门控,专家网络大多为DNN网络结构,多个专家网络用于提取不同的特征,门控(Gate)用于分配每个专家网络的权重,多目标间共享多个专家网络组成的混合专家网络(Mixture-of-Experts,MoE),每个目标用独立的Gate组合MoE的向量表示作为目标的输入。
6)渐进分层提取(Progressive Layered Extraction,PLE)模型,基于MMoE模型在专家网络层面进行优化,多目标在共享混合专家网络(Mixture-of-Experts,MoE)的基础上,每个目标还有一组私有的MoE,共享MoE和私有MoE的隐式表示向量在每个目标对应的Gate组合时进行统一的加权组合。不同专家网络针对性学习目标间的共性与特性,从而提高模型表达能力。
7)定制门控(Customized Gate Control,CGC)模型是PLE的单层版本,最底层是每个任务特有的专家网络以及共享专家网络,对每一个目标,通过门控单元控制自己的专家模块和共享模块的输入,得到加权输出。
8)机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
9)区块链(Blockchain),是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
10)智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
11)云计算(cloud computing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
信息推荐系统是人工智能技术的一个重要应用。在面向具有不同兴趣爱好或使用习惯的用户时,为了提高信息推荐的精细度与准确度,推荐系统需要对多个业务目标进行权衡,通常利用多目标排序模型同时输出多个业务目标的预测概率值,并根据预测结果在线根据业务需要进行相应融合调整,从而实现为用户提供定制化的推荐内容。
多业务目标推荐模型一般有Shared-Bottom模型、MMoE模型、PLE/CGC模型等。其中,Shared-Bottom模型中的底层参数被所有目标共享,降低了过拟合风险,且不同目标在学习时通过共享的参数进行知识迁移,可利用其它目标学习到的知识帮助自己目标的学习。但其在隐式表示的提取过程中可能已经丢失了关键的反应多个业务目标差异的输入信息,往往会有严重的跷跷板效应,即各个目标的效果此消彼长。
MMoE模型共享一组MoE,每个目标有一个自己的门控结构,用于为每个专家分配一个权重,并将各个专家输出的隐式表示向量加权求和,作为该目标下的输入向量。这些专家网络是所有目标共享的,不同目标通过自己的门控去组合这些专家的输出,得到对应目标的输入向量。由于不同目标的门控不一样,所以不同目标的输入向量也不一样,一定程度上缓解了跷跷板效应,但是共享MoE的隐式表示提取过程本身依然缺乏对多个业务目标的感知,同样会丢失对提升多业务目标效果较为关键的部分输入信息。
PLE/CGC模型通过将MoE分为共享和私有两部分,对多目标间的跷跷板效应有进一步缓解。然而由于强化了部分私有MoE在多目标间的隔离性,而私有专家间的参数缺乏共享机制,对于一些正样本偏少的目标,其私有专家往往缺乏充分的训练,会造成预期外的额外的噪声干扰,实际应用中,甚至会让这些目标的建模效果有所下降。同时,其共享专家的隐式表示提取同样不感知多个业务目标,依然存在丢失关键输入信息的问题。
相关技术中的多目标推荐排序模型通常采用基于MoE的多目标模型结构,对于同一条样本输入,多目标模型同时进行多个目标的预估,多个专家网络分别对特征输入提取差异化的隐式表示向量,不同业务目标通过独立的轻量级目标门控网路计算得到MoE各个专家的权重概率分布,再基于Gate输出的权重对MoE输出的差异化隐式表示进行加权组合得到最终的目标表示向量,将目标表示向量输入到塔结构(Tower,轻量级DNN),得到最终的对应业务目标的预估概率值,对多个业务目标间的复杂关系主要通过MoE在不同目标下的Gate机制建模实现。相比直接处理样本输入,通过对有限的几个专家网络的低维隐式表示组合,显著控制了多目标模型的计算量,同时也能一定程度上考虑不同目标间的共享和互斥。
但是上述多目标建模方法也存在问题,多目标建模主要是在低维隐式表示基础上作进一步处理,而MoE的低维隐式表示提取过程中缺乏必要的多目标建模机制,多个业务目标之间的差异信息和关联信息不能被充分表示,导致提取过程缺乏对多个业务目标的感知能力,丢失多目标建模所需的关键信息,基于MoE隐式表示的加权组合作为多目标预估Tower的输入,同样会缺失部分对多目标预估关键的输入信息,进而影响多目标推荐排序模型的整体预测效果。此外,由于Tower结构本身是目标专属,在多目标间存在参数隔离,多目标的差异性可能很大程度依赖Tower专属结构,进而使得MoE可能更侧重多目标间的共享的建模,进一步会影响MoE的差异化表示的提取能力,使得MoE提取隐式表示的过程中丢失更多体现多目标差异的关键输入信息。多目标建模的Gate机制可能并不足以建模多目标间的关系,由于门控本身的简单结构,对多目标关系的建模能力相对有限,对于存在复杂关系的多目标间关系的建模甚至会引入不利的噪声。
因此,为了更好的实现多个业务目标的感知、提高业务目标预测模型对不同业务目标的预测准确度,本申请实施例提供了一种业务目标预测模型的训练方法、信息推荐方法、业务目标预测模型的训练装置、信息推荐装置、电子设备、计算机可读存储介质及计算机程序产品,获取原始样本数据,并获取原始样本数据对应的包括至少一个业务子目标统计信息的业务目标统计信息;根据业务子目标统计信息包括的业务目标类型得到用于作为提示模板的提示信息,根据业务子目标包括的业务目标参数得到业务目标标签信息;将提示信息和原始样本数据作为训练样本,并将业务目标标签信息作为训练标签,对业务目标预测模型进行训练;在进行信息推荐时,获取包括待推荐信息的待处理信息与候选业务目标类型;将待处理信息与候选业务目标类型作为待预测数据,调用训练好的业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率;最后根据业务目标概率确定是否对待推荐信息进行推荐。由于将不同业务目标视作不同的提示信息,与原始样本数据一起作为训练样本输入统一的模型,一方面大大简化了模型结构,避免了MoE中多个专家网络和多个目标Tower结构带来的计算量膨胀;同时,为了进一步建立业务目标与原始样本数据的关联关系,对业务目标统计信息中的业务目标类型进行处理,得到用于作为提示模板的提示信息,然后将提示信息添加至原始样本数据中,使得提示信息与原始样本数据能够共同作为训练样本对模型进行训练,也就是说,通过提高训练样本对业务目标表征的语义性,使得模型在训练过程中能够更加准确快速的理解训练样本所表征的语义,有利于提升模型对不同的业务目标的快速感知与准确理解,同时在输入层即通过提示信息感知业务目标,避免了基于MoE的隐式向量表示提取过程中缺乏对不同业务目标感知造成的对业务目标模型训练所需关键信息的丢失;且由于每个不同的业务目标均对应了独立的原始样本数据,使得模型能够被不同的业务目标进行充分而全面的训练,接着利用对业务目标参数处理得到的业务目标标签信息对模型参数进行不断修正,使得训练后的业务目标预测模型能够实现对不同业务目标执行情况的准确预测;另外,不同业务目标之间不再采用简单的门控权重控制MoE隐式向量表示的共享和隔离,间接建模不同业务目标间的关系,而是根据不同业务目标类型得到提示信息,使得业务目标从输入层即参与非线性交叉处理过程,增强模型对于不同业务目标的复杂关系感知能力以及对于不同业务目标的概率预测能力。
图1是本申请实施例提供的一种实施环境的示意图。参照图1,该实施环境包括终端101和服务器102,终端101和服务器102通过有线或无线通信方式进行直接或间接的连接,其中终端101和服务器102可以为区块链中的节点,本实施例对此不作具体限定。
终端101可以包括但不限于智能手机、电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、智能家电、车载终端等智能设备。可选地,终端101中可以包括应用程序的客户端,例如购物应用程序、游戏应用程序、视频应用程序、社交应用程序、运动应用程序等,其中,应用程序为具有推送功能的应用程序。可选地,应用程序可以是需要下载安装的应用程序,也可以是即点即用的应用程序,本申请实施例对此不作限定。
终端101至少具有发起请求和推送等功能,例如,终端101向服务器102发送对于待推荐信息针对候选业务类型的预测请求,可选地,候选业务目标包括但不限于点击、点赞、转发、评论、购买等,在接收到服务器102根据待推荐信息的候选业务目标预测请求所反馈的业务目标概率后,根据业务目标概率与预设概率阈值的大小关系进行待推荐信息的推送,其中,在业务目标概率大于预设概率阈值的情况下进行待推荐信息的推送,可选地,待推荐信息包括但不限于新闻、广告、视频、商品、服务等。
服务器102至少具有对业务目标预测模型进行训练的功能,例如,服务器102获取原始样本数据并获取原始样本数据对应的业务目标统计信息,其中,业务目标统计信息包括至少一个业务子目标统计信息,业务子目标统计信息包括业务目标类型和业务目标参数;根据业务目标类型得到用于作为提示模板的提示信息,并根据业务目标参数得到业务目标标签信息;将原始样本数据和提示信息作为训练样本,将业务目标标签信息作为训练标签,利用向量嵌入层对应的参数表将训练样本映射为对应的目标向量,根据目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果;根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值,根据损失函数值对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
服务器102还可以具有调用业务目标预测模型对待处理信息进行处理,得到候选业务目标类型的业务目标概率的功能,例如,服务器102接收终端101发送的对于待推荐信息针对候选业务目标的预测请求后,获取包括待推荐信息的待处理信息与候选业务目标类型;将待处理信息与候选业务目标类型作为待预测数据,调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率。
参照图1所示,在一应用场景中,假设终端101是智能手机,并且终端101安装有具有推送功能的应用程序(例如游戏应用程序,社交应用程序等)。当用户使用上述应用程序时,终端101向服务器102发送对于待推荐信息针对候选业务类型的概率预测请求,可选地,候选业务目标包括但不限于点击、点赞、转发、评论、购买等;响应于接收到该请求,服务器102获取包括待推荐信息的待处理信息与候选业务目标类型;将待处理信息与候选业务目标类型作为待预测数据,调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待预测数据进行针对候选业务目标类型的业务目标概率,并返回给终端101;终端101在接收到服务器102根据候选业务类型的概率预测请求所反馈的业务目标概率后,根据业务目标概率与预设概率阈值的大小关系进行待推荐信息的推送,其中,在业务目标概率大于预设概率阈值的情况下进行待推荐信息的推送,可选地,待推荐信息包括但不限于新闻、广告、视频、商品、服务等。
图2是本申请另一实施例提供的一种实施环境的示意图。参照图2,该实施环境包括终端201和服务器202,终端201和服务器202通过有线或无线通信方式进行直接或间接的连接,其中终端201和服务器202可以为区块链中的节点,本实施例对此不作具体限定。
终端201可以包括但不限于智能手机、电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、智能家电、车载终端等智能设备。可选地,终端201中可以包括应用程序的客户端,例如购物应用程序、游戏应用程序、视频应用程序、社交应用程序、运动应用程序等,其中,应用程序为具有推送功能的应用程序。可选地,应用程序可以是需要下载安装的应用程序,也可以是即点即用的应用程序,本申请实施例对此不作限定。
终端201至少具有从服务器202下载经过训练的业务目标预测模型和推送的功能,例如,终端201向服务器202发送对于经过训练的业务目标预测模型的下载请求,并下载接收到的服务器202发送的经过训练的业务目标预测模型;调用下载的业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率,并根据业务目标概率与预设概率阈值的大小关系进行待推荐信息的推送,其中,在业务目标概率大于预设概率阈值的情况下进行待推荐信息的推送,可选地,待推荐信息包括但不限于新闻、广告、视频、商品、服务等。
终端201可以具有待预测数据获取的功能,例如,终端201可以获取包括待推荐信息的待处理信息和候选业务目标类型,并将其作为待预测数据;然后调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率。
服务器202可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器202至少具有对业务目标预测模型进行训练的功能,例如,服务器202获取原始样本数据并获取原始样本数据对应的业务目标统计信息,其中,业务目标统计信息包括至少一个业务子目标统计信息,业务子目标统计信息包括业务目标类型和业务目标参数;根据业务目标类型得到用于作为提示模板的提示信息,并根据业务目标参数得到业务目标标签信息;将原始样本数据和提示信息作为训练样本,将业务目标标签信息作为训练标签,利用向量嵌入层对应的参数表将训练样本映射为对应的目标向量,根据目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果;根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值,根据损失函数值对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
参照图2所示,在一应用场景中,假设终端201是智能手机,并且终端201安装有具有推送功能的应用程序(例如游戏应用程序,社交应用程序等)。终端201向服务器202发送对于经过训练的业务目标预测模型的获取请求,并下载服务器202发送的经过训练的业务目标预测模型;当用户使用上述应用程序时,终端201获取包括待推荐信息的待处理信息和候选业务目标类型,将其作为待预测数据;接着调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率;最后根据业务目标概率与预设概率阈值的大小关系进行待推荐信息的推送,其中,在业务目标概率大于预设概率阈值的情况下进行待推荐信息的推送,可选地,待推荐信息包括但不限于新闻、广告、视频、商品、服务等。
需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据目标对象(例如用户等)的属性信息或属性信息集合等与目标对象的特性相关的数据进行相关处理时,都会先获得目标对象的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关法律法规和标准。此外,当本申请实施例需要获取目标对象的属性信息时,会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意,在明确获得目标对象的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的目标对象的相关数据。
图3是本申请实施例提供的一种业务目标预测模型的训练方法的流程图,该业务目标预测模型的训练方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明。参照图3,该业务目标预测模型训练方法包括但不限于步骤310至步骤340。
步骤310:获取原始样本数据。
在本步骤中,每条原始样本数据至少包括了用户的信息与被推荐信息,并且通过构建两者之间的对应关系,使得原始样本数据能够呈现出用户与被推荐信息之间的映射关系,而为了确定其他可能的附加信息对用户选择被推荐信息时的影响,可以将其他附加信息也加入到原始样本数据中。
在一实施例中,原始样本数据包含用户的特征信息、背景特征信息与序列特征信息,用户的特征信息包括用户性别、年龄、教育程度等能够体现用户个人特征的信息,背景特征信息包括播放视频的时间,例如是否在周末等信息,序列特征信息包括视频的视频ID、视频创作者信息等与视频本身相关的信息。
步骤320:获取原始样本数据对应的业务目标统计信息,业务目标统计信息包括至少一个业务子目标统计信息,业务子目标统计信息包括业务目标类型和业务目标参数,不同的业务子目标统计信息具有不同的业务目标类型。
在本步骤中,需要先确定待进行预测的业务目标,然后对原始样本数据在确定的业务目标上的执行情况进行统计,从而得到对应于原始样本数据的业务目标统计信息。
在一实施例中,对业务目标统计信息的获取过程,可以由以下步骤321至步骤322得到,具体参照图4所示。
步骤321:获取预设的业务目标集合,业务目标集合包括至少一个业务子目标。
在一实施例中,预设的业务目标集合中包含两个业务子目标,分别为点击(click)和点赞(like),其中点击目标的正样本为曝光且发生点击,负样本为曝光未点击;点赞目标的正样本为点击后点赞,负样本为点击后未点赞。那么在后续步骤中,就需要对本步骤中确定的业务子目标的执行情况进行统计。可以理解的是,在通常情况下,对于视频、文章等推荐信息,只有被用户点击,才有可能被用户点赞,也就是说两个业务子目标之间可能具有一定的关联关系。但是在一些特殊情况下,点击和点赞也可能是两个完全独立的业务子目标,即两者之间的没有明确的关联关系。
步骤322:根据原始样本数据,对业务目标集合中的每个业务子目标的执行情况进行统计,得到原始样本数据对应的业务目标统计信息。
在一实施例中,在预设的业务目标集合包含点击和点赞两个业务子目标的前提下,分别对该原始样本数据对应的每个业务子目标的执行情况进行统计,即该原始样本数据对应的用户是否对该推荐信息进行点击,以及,该原始样本数据对应的用户是否在点击后对该推荐信息又进行点赞。因此,在用户没有执行点击的情况下,业务目标统计信息为click=0;在用户执行了点击但是没有点赞的情况下,业务目标统计信息为click=1,like=0;在用户执行了点击且点赞的情况下,业务目标统计信息为click=1,like=1。通过对每个原始样本数据对应的点击和点赞情况的统计,能够得到该原始样本数据对应的业务目标统计信息。
步骤330:根据业务目标类型得到用于作为提示模板的提示信息,根据业务目标参数得到业务目标标签信息。
在本步骤中,将在步骤320中得到的业务目标统计信息中的业务目标类型提取出来,并对业务目标类型进行处理,得到作为提示模板的提示信息;然后将业务目标统计信息中的业务目标参数提取出来,并对业务目标参数进行处理,得到业务目标标签信息。
在一实施例中,将业务目标类型直接确定为用于作为提示模板的提示信息。例如,如果原始样本数据对应的业务目标为click=1,like=1,则将点击(click)直接作为该原始样本数据提示信息,类似地,将点赞(like)直接作为该原始样本数据提示信息。
在另一实施例中,也可以将为业务目标类型添加引导指示信息,得到用于作为提示模板的提示信息。例如,如果原始样本数据对应的业务目标为click=0,引导指示信息为“用户对该视频的____情况为:”,在此种情况下,在引导信息的待填充位置处填充“click”,形成的完整提示信息为“用户对该视频的click情况为:”。
在一实施例中,将业务目标参数直接作为业务目标标签信息。例如,如果原始样本数据对应的业务目标为click=1,like=0,并且将业务目标参数直接作为业务目标标签信息,那么对应于click业务标签的业务目标参数为1,则业务目标标签信息为1;类似地,那么对应于like业务标签的业务目标参数为0,则业务目标标签信息为0。
在另一实施例中,将业务目标参数进行归一化处理后,得到业务目标标签信息,这种对业务目标参数的处理方式适用于用户对某个其感兴趣的推荐信息多次观看甚至多次点赞的情况,在此种情况下,可以先对业务目标参数进行归一化处理得到其对应的归一化值,然后将归一化值大于预设归一化值的业务目标参数设置为1,将归一化值小于或等于预设归一化值的业务目标参数设置为0。
在另一实施例中,仍然将业务目标参数进行归一化处理,得到其对应的归一化值,然后对归一化值进行从大到小的排序,并将排名前5的归一化值对应的业务目标参数设置为1,将其余归一化值对应的业务目标参数设置为0。
步骤340:将提示信息和原始样本数据作为训练样本,并将业务目标标签信息作为训练标签,对业务目标预测模型进行训练。
在本步骤中,将提示信息和原始样本数据作为模型的训练样本,然后通过调用业务目标预测模型对训练样本进行针对业务目标类型的概率预测,得到概率预测结果,并根据得到的概率预测结果和在步骤330中得到的业务目标标签信息对业务目标预测模型的参数进行调整。
在一实施例中,对业务目标类型的概率的预测过程,可以由以下步骤341至步骤344得到,具体参照图5所示。
步骤341:利用向量嵌入层对应的参数表,将原始样本数据中的每个原始特征映射为对应的原始向量。
在本步骤中,向量嵌入(Embedding)层是模型的输入层,主要的作用为将输入至模型的训练样本转化成长度一定的向量,并利用业务目标预测模型中的神经网络模型部分,对这些长度一定的向量进行预测处理,实现对业务目标类型的概率预测。
在一实施例中,每个原始特征包括原始样本数据中的每个用户的特征(例如用户性别、用户年龄、用户受教育程度等)、每个背景特征(例如是否在周末等)、每个序列特征(例如视频ID、视频创作者、视频被播放次数等)等与该样本相关的特征。
在一实施例中,利用word2vec模型来根据词生成向量,word2vec模型是一群用来产生词向量的相关模型,具体可以包括跳字模型(skip-gram)和连续词袋模型(continuousbag of words,CBOW),其中,skip-gram模型是在给出中心词(目标词)的情况下,预测其上下文单词,CBOW模型主要思路为利用上下文信息预测中心词。将word2vec模型训练过程所习得的全连接层的参数(例如权重矩阵)作为参数表,根据参数表将原始样本特征映射为对应的原始向量。
在一实施例中,原始样本数据中的原始特征包括长度不定的序列特征,则先根据向量嵌入层对应的参数表,将序列特征中的每个元素映射为中间向量,其中中间向量为长度不定的向量,再对所有不定长的中间向量进行池化(Pooling)处理,得到序列特征的定长原始向量。具体可以采用最大池化、平均池化、求和池化、或用序列模型处理等方法,其中最大池化是选取池化窗口内的最大值作为输出,平均池化是选取池化窗口内的平均值作为输出,求和池化是选取池化窗口的总和作为输出。
步骤342:利用参数表将提示信息映射为提示向量。
在本步骤中,对提示信息作与步骤341中的原始特征相同的处理,将提示信息转化为长度一定的向量,所使用的参数表与步骤341中的参数表为同一参数表。
在一实施例中,参数表是通过word2vec模型训练过程所习得的全连接层的参数(例如权重矩阵)形成,并根据参数表将提示信息映射为提示向量。
步骤343:将提示向量与所有原始向量进行向量拼接,得到训练样本的目标向量。
在本步骤中,将根据提示信息得到的定长的提示向量与根据所有原始特征得到的定长的原始向量进行拼接,得到训练样本的目标向量,以用于通过深度神经网络对训练样本的目标向量进行训练。
在一实施例中,将提示向量与所有原始向量进行首尾拼接,得到训练样本的目标向量,具体地可以将提示向量拼接在所有原始向量的首部,也可以将提示向量拼接在所有原始向量的尾部,拼接可以为对提示向量和所有原始向量进行列合并。其中,对于N个定长的特征向量,第n个特征记为xn,其维度表示为dn,则进行向量拼接后得到的目标向量为X=[...,xn,...],目标向量的维度为
在另一实施例中,提示向量也可以拼接在所有原始向量之间,本申请实施例不对提示向量的拼接位置做任何限定。
步骤344:根据目标向量进行针对业务目标类型的概率预测,得到概率预测结果,根据概率预测结果和业务目标标签信息对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
在本步骤中,目标向量为训练样本的最终输入向量,通过神经网络对目标向量进行处理,计算训练样本针对业务目标类型的输出概率,具体地,神经网络可以为CNN、DNN等。
在一实施例中,将步骤343得到的目标向量X作为DNN的输入,经过DNN处理后得到针对业务目标类型的概率预测结果p,其中p=h(X),h(.)为DNN的处理过程,具体可以为对所有输入加权求和,加偏置项,经过激活函数输出后作为下一层网络的输入,直至输入给DNN的输出层,输出层的每一个神经元对所有输入加权求和、加偏置后,经过激活函数得到概率预测结果p作为输出。
在一实施例中,在获取到步骤344所得到的针对业务目标类型的概率预测结果后,将业务目标标签信息y和针对业务目标类型的概率预测结果p作为损失函数的参数,构建损失函数L=-ylogp-(1-y)log(1-p),然后根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值,即概率预测结果与业务目标标签信息的误差值,再根据损失函数值对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
在一实施例中,基于梯度将根据损失函数计算得到的损失函数值反向传播到神经网络的每一层,根据微积分求导的链式法则计算各层梯度,将损失函数值在梯度上的表现乘以学习率作为更新量,用参数原始量减去更新量得到参数的更新结果,从而实现业务目标预测模型的参数调整,进一步得到训练后的业务目标预测模型。
图6是本申请实施例提供的一种信息推荐方法的流程图,该信息推荐方法可以由终端或服务器执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法由服务器执行为例进行说明。参照图6,该信息推荐方法包括但不限于步骤610至步骤630。
步骤610:获取待处理信息与候选业务目标类型,其中,待处理信息包括待推荐信息。
在本步骤中,待处理信息至少包括了待推荐信息与被推荐用户的信息,待推荐信息包括待推荐信息相关的特征信息,被推荐用户的信息包括体现用户个人特征的信息,待处理信息还可以包括其他影响用户选择待推荐信息的特征信息,候选业务目标类型为预测待推荐信息被用户选择概率的评价指标。
在一实施例中,待推荐信息为待推荐视频,待处理信息包括用户性别、年龄、受教育程度等体现用户个人特征的信息,包括视频ID、视频创作者、视频被转发次数等与视频本身有关的特征信息,还可以包括视频播放时间是否在周末等信息。候选业务目标类型可以为点击、点赞、转发等。
步骤620:将待处理信息与候选业务目标类型作为待预测数据,调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率。
在本步骤中,将步骤610获得的待处理信息和候选业务目标类型作为待预测数据,调用业务目标预测模型进行针对候选业务目标类型的概率预测,得到业务目标概率结果。其中,业务目标预测模型通过前面实施例中步骤310至步骤340的业务目标预测模型训练方法训练得到。
在一实施例中,确定点击、点赞、转发为候选业务目标类型,并将每个候选业务目标类型作为提示信息分别与待处理信息组合为待预测数据,将其作为业务目标预测模型的输入,利用业务目标预测模型中向量嵌入层对应的参数表将待预测数据映射为向量表示,经过DNN处理后得到待推荐视频针对点击、点赞及转发的业务目标概率,可以理解的是,DNN也可以替换为CNN等神经网络。
步骤630:对业务目标概率大于预设概率阈值的待推荐信息进行推荐。
在本步骤中,根据步骤620得到的所有候选业务类型的业务目标概率和预设概率阈值对待推荐信息进行推荐。可以理解的是,可以是终端根据服务器发送的最终判断结果对业务目标概率大于预设概率阈值的待推荐信息进行推送,也可以是终端根据业务目标概率与预设预设概率阈值进行判断,对业务目标概率大于预设概率阈值的待推荐信息进行推送。
在一实施例中,预设概率阈值可以为多个,对每一业务目标概率均大于对应预设概率阈值的待推荐信息进行推荐,例如:设置点击、点赞和转发的预设概率阈值均为0.6,然后将步骤620中获得的点击、点赞和转发的业务目标概率分别与预设概率阈值进行比较,当点击、点赞和转发的业务目标概率均大于0.6时,推荐待推荐信息。
在另一实施例中,预设概率阈值可以为多个,对某一业务目标概率大于对应预设概率阈值的待推荐信息进行推荐。例如:设置转发的预设概率阈值为0.9,点击和点赞的预设概率阈值为0.6,当转发的业务目标概率大于0.9,不管点击和点赞的业务目标概率是否大于0.6,均推荐待推荐信息。
图7是一个具体示例提供的获取训练样本并利用训练样本对业务目标预测模型进行训练,调用经过训练的业务目标预测模型对待推荐信息进行概率目标预测的完整流程原理图。图8为获取训练样本并利用业务目标预测模型得到训练样本的模型预测结果的示意图。参照图7所示,该方法对对应的完整流程包括但不限于步骤701至步骤711。
步骤701:获取原始样本数据801及对应的业务目标统计信息,其中,业务目标统计信息包括至少一组业务目标类型和对应的业务目标参数。
在本步骤中,原始样本数据801至少包括性别、年龄、受教育程度等用户的特征(User Features)和视频ID、视频被观看次数、视频时长等序列特征(Item Features),还可以包括视频观看时间是否在周末等背景特征(Context Features)以及影响预测用户是否对视频感兴趣的其他特征。业务目标统计信息可以包括点击(click)、点赞(like)等反映用户是否对视频感兴趣的业务目标类型。原始样本数据801对应的业务目标统计信息包括至少一组业务目标类型和对应的业务目标参数,例如包括一组业务目标类型和对应的业务目标参数:[click=0],click为业务目标类型,0为对应的业务目标参数,又例如包括两组业务目标类型和对应的业务目标参数:[click=1,like=0],click和like为业务目标类型,click对应的业务目标参数为1,like对应的业务目标参数为0。
步骤702:依次根据每一业务目标类型获取提示信息802,与原始样本数据801一起作为训练样本,并根据对应的业务目标参数得到业务目标标签信息,作为训练标签。
在本步骤中,将每一业务目标类型作为提示信息802(Prompt),与原始样本数据801形成训练样本,对应的业务目标参数作为训练标签的标签值。可以理解的是,业务目标统计信息包括的业务目标类型个数为形成的训练样本的条数。训练标签与训练样本一一对应。
步骤703:利用业务目标预测模型的向量嵌入层803(Embedding Layer)对应的参数表,将训练样本包括的所有特征映射为向量表示,其中包括提示向量和原始向量。
在本步骤中,训练样本包括的所有特征包括用户的特征、序列特征、背景特征以及提示信息802等,均通过业务目标预测模型的向量嵌入层803对应的参数表映射为向量表示,其中用户的特征、序列特征、背景特征形成的向量为原始向量,提示信息802映射的向量为提示向量。若特征映射得到的向量存在不定长向量则将不定长的向量序列经过池化处理,最终得到定长的向量表示。
步骤704:将提示向量与原始向量拼接(concat),并输入DNN 804进行处理,得到训练样本的模型预测结果805。
在本步骤中,可以将提示向量与原始向量首尾拼接,即提示向量拼接在原始向量的首部或尾部,拼接可以为列向量合并,合并后的向量维度为所有向量维度的总和。拼接后的向量经过业务目标预测模型的DNN 804处理,得到该训练样本的模型预测结果805,其中样本的模型预测结果805可以用标签表示。
步骤705:利用损失函数计算模型预测结果805与训练标签之间的损失函数值,并根据损失函数值对业务目标预测模型进行调整,得到训练后的业务目标预测模型。
在本步骤中,将模型预测结果805和训练标签作为参数构建损失函数,并计算训练样本的模型预测结果805与训练标签之间的损失函数值,然后根据损失函数值对业务目标预测模型进行调整,得到训练后的业务预测模型。
步骤706:获取待处理信息与候选业务目标类型作为待预测数据。
在本步骤中,待处理信息包括待推荐信息(例如待推荐视频的相关信息)、被推荐用户的信息以及影响预测用户是否对视频感兴趣的其他信息。待处理信息对应多个候选业务目标类型,每一候选业务目标类型均与待处理信息组合得到多个待预测数据。
步骤707:利用训练后的业务目标预测模型的向量嵌入层803对应的参数表,将待预测数据映射为向量表示。
在本步骤中,待预测数据包括的待处理信息和候选业务目标类型均利用训练后的业务目标预测模型的向量嵌入层803对应的参数表,映射为向量表示。
步骤708:将向量拼接后通过神经网络进行处理,得到候选业务类型的业务目标概率。
在本步骤中,向量拼接可以为向量列合并,合并后的向量维度为所有向量维度的总和,将拼接后的向量通过神经网络进行处理,得到候选业务类型的业务目标概率。由于一条待推荐信息可对应有多个候选业务目标,获取待推荐信息针对所有候选业务类型的业务目标概率。
步骤709:判断业务目标概率是否大于预设概率阈值。
在本步骤中,针对每一候选业务目标,判断是否大于预设概率阈值,根据预设概率阈值以及步骤708获得的待推荐信息针对所有候选业务类型的业务目标概率进行比较,得到判断结果。
步骤710:若业务目标概率大于预设概率阈值,则推送待推荐信息。
若步骤709中的判断结果为业务目标概率大于预设概率阈值,则向用户推送待推荐信息,其中用户为待处理信息中用户的特征对应的用户。
步骤711:若业务目标概率小于或等于预设概率阈值,则不推送待推荐信息。
若步骤709中的判断结果为业务目标概率小于或等于预设概率阈值,则不向用户推送待推荐信息,其中用户为待处理信息中用户的特征表征的用户。
下面以一些实际例子说明本申请实施例的应用场景。
场景一
本申请实施例提供的业务目标预测模型训练方法可以应用于视频推荐的场景,具体地,如图9所示,在用户使用的应用程序的客户端具有视频推送模块,当用户点击普通页面901中的可进入视频页面的图标903后,用户进入视频页面902,视频推送模块用于在视频页面902向用户推送感兴趣的视频从而提高用户对该应用程序的使用满意度,用户基于视频页面902中的互动模块904对感兴趣的视频进行点赞、分享、转发等操作,可以理解的是,用户也可通过上下、左右滑动、点击、双击等方式对视频进行操作。
部署在服务器的业务目标预测模型需要获取包括用户的特征(例如登录次数、完播率、互动次数等)、背景特征(例如当前是否周末等)、序列特征(例如视频时长、类别、标签、话题、被播放次数等)等的原始样本数据和原始样本数据对应的业务目标统计信息,业务目标统计信息包括至少一组业务目标类型和业务目标参数;根据业务目标类型得到提示信息,根据业务目标参数得到业务目标标签信息;利用向量嵌入层对应的参数表,将原始样本数据中的每个原始特征映射为对应的原始向量,将提示信息映射为提示向量;对不定长向量进行池化处理后将所有定长向量拼接,得到训练样本的目标向量;根据目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果;根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值,根据损失函数值对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
终端或服务器获取包括待推荐视频信息的待处理数据与候选业务目标类型(例如播放完整度、点击、点赞、分享等)后形成待预测数据,调用训练好的业务目标预测模型,得到业务目标预测模型输出的待推荐视频信息针对各候选业务目标类型的业务目标概率,然后将业务目标概率与预设概率阈值进行比较,若业务目标概率大于预设概率阈值,则将该待推荐视频推送给对应用户,实现个性化视频推荐。
场景二
本申请实施例提供的业务目标预测模型训练方法可以应用于路线推荐的场景,具体地,用户使用的交通出行应用程序为用户个性化推荐出行方式与路线。部署在服务器的业务目标预测模型需要获取包括用户的特征(例如路线偏好、出行次数等)、背景特征(例如当前是否在节假日等)、序列特征(例如路线距离、路线时长、途径地点等)等的原始样本数据和原始样本数据对应的业务目标统计信息,业务目标统计信息包括至少一组业务目标类型和业务目标参数;根据业务目标类型得到提示信息,根据业务目标参数得到业务目标标签信息;利用向量嵌入层对应的参数表,将原始样本数据中的每个原始特征映射为对应的原始向量,将提示信息映射为提示向量;对不定长向量进行池化处理后将所有定长向量拼接,得到训练样本的目标向量;根据目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果;根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值,根据损失函数值对业务目标预测模型的参数进行调整,得到训练后的业务目标预测模型。
终端或服务器获取包括待推荐视频路线的待处理数据与候选业务目标类型(例如路线吻合度、点击、分享等)后形成待预测数据,调用训练好的业务目标预测模型,得到业务目标预测模型输出的待推荐视频信息针对各候选业务目标类型的业务目标概率,然后将业务目标概率与预设概率阈值进行比较,若业务目标概率大于预设概率阈值,则将该待推荐视频推送给对应用户,实现个性化视频推荐。
参照图10,本申请实施例还公开了一种业务目标预测模型的训练装置1000,该业务目标预测模型的训练装置1000能够实现前面实施例中的业务目标预测模型训练方法,该业务目标预测模型的训练装置1000包括:
样本数据获取单元1001,用于获取原始样本数据;
业务目标统计信息获取单元1002,用于获取原始样本数据对应的业务目标统计信息,其中,业务目标统计信息包括至少一个业务子目标统计信息,业务子目标统计信息包括业务目标类型和业务目标参数,不同的业务子目标统计信息具有不同的业务目标类型;
训练样本处理单元1003,用于根据业务目标类型得到用于提示业务目标类型的提示信息,根据业务目标参数得到业务目标标签信息;
模型训练单元1004,用于将提示信息和原始样本数据作为训练样本,并将业务目标标签信息作为训练标签,对业务目标预测模型进行训练,得到训练后的业务目标预测模型。
在一实施例中,业务目标统计信息获取单元1002还用于:
获取预设的业务目标集合,其中,业务目标集合包括至少一个业务子目标;
根据原始样本数据,对业务目标集合中的每个业务子目标的执行情况进行统计,得到原始样本数据对应的业务目标统计信息。
在一实施例中,训练样本处理单元1003还用于:
将业务目标类型确定为用于作为提示模板的提示信息;
在另一实施例中,训练样本处理单元1003还用于:
为业务目标类型添加引导指示信息,得到用于作为提示模板的提示信息。
在一实施例中,训练样本处理单元1003还用于:
将业务目标参数作为业务目标标签信息;
在另一实施例中,训练样本处理单元1003还用于:
对业务目标参数进行归一化处理得到归一化值,并根据归一化值得到业务目标标签信息。
在一实施例中,模型训练单元1004还用于:
调用业务目标预测模型对训练样本进行针对业务目标类型的概率预测,得到概率预测结果;
根据概率预测结果和业务目标标签信息对业务目标预测模型的参数进行调整。
在一实施例中,模型训练单元1004还用于:
利用向量嵌入层对应的参数表,将训练样本映射为对应的目标向量;
根据目标向量进行针对业务目标类型的概率预测,得到概率预测结果。
在一实施例中,模型训练单元1004还用于:
利用向量嵌入层对应的参数表,将原始样本数据中的每个原始特征映射为对应的原始向量;
利用参数表将提示信息映射为提示向量;
将提示向量与所有原始向量进行向量拼接,得到训练样本的目标向量。
在一实施例中,模型训练单元1004还用于:
利用向量嵌入层对应的参数表,将序列特征中的每个元素映射为中间向量;
对所有中间向量进行池化处理,得到序列特征的原始向量。
在一实施例中,模型训练单元1004还用于:
将提示向量与所有原始向量依次进行首尾拼接,得到训练样本的目标向量,其中,目标向量的维度等于提示向量与所有原始向量的维度的总和。
在一实施例中,模型训练单元1004还用于:
根据损失函数计算业务目标标签信息与概率预测结果之间的损失函数值;
根据损失函数值对业务目标预测模型的参数进行调整。
需要说明的是,由于本实施例的业务目标预测模型的训练装置1000能够实现如前面实施例的业务目标预测模型训练方法,因此本实施例的业务目标预测训练装置与前面实施例的业务目标预测模型训练方法,具有相同的技术原理以及相同的有益效果,为了避免内容重复,此处不再赘述。
参照图11,本申请实施例还公开了一种信息推荐装置1100,能够实现如前面实施例中的信息推荐方法,该信息推荐装置1100包括:
待预测数据获取单元1101,用于获取待处理信息与候选业务目标类型,其中,待处理信息包括待推荐信息;
业务目标预测单元1102,用于将待处理信息与候选业务目标类型作为待预测数据,调用业务目标预测模型对待预测数据进行针对候选业务目标类型的概率预测,得到待推荐信息针对候选业务目标类型的业务目标概率,其中,业务目标预测模型根据前面的业务目标预测模型的训练装置1000训练得到;
推送单元1103,用于对业务目标概率大于预设概率阈值的待推荐信息进行推荐。
参照图12,本申请实施例还公开了一种电子设备1200,该电子设备包括:
至少一个处理器1201;
至少一个存储器1202,用于存储至少一个程序;
当至少一个程序被至少一个处理器1201执行时,实现如前面实施例的业务目标预测模型训练方法,或者如前面实施例的信息推荐方法。
本申请实施例还公开了一种计算机可读存储介质,其中,存储有处理器可执行的计算机程序,处理器可执行的计算机程序被处理器执行时,用于实现如前面实施例的业务目标预测模型训练方法,或者如前面实施例的信息推荐方法。
本申请实施例还公开了一种计算机程序产品,包括计算机程序或计算机指令,计算机程序或计算机指令存储在计算机可读存储介质中,电子设备的处理器从计算机可读存储介质读取计算机程序或计算机指令,处理器执行计算机程序或计算机指令,使得电子设备实现如前面实施例的业务目标预测模型训练方法,或者如前面实施例的信息推荐方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (15)

1.一种业务目标预测模型的训练方法,其特征在于,包括以下步骤:
获取原始样本数据;
获取所述原始样本数据对应的业务目标统计信息,所述业务目标统计信息包括至少一个业务子目标统计信息,所述业务子目标统计信息包括业务目标类型和业务目标参数,不同的所述业务子目标统计信息具有不同的所述业务目标类型;
根据所述业务目标类型得到用于作为提示模板的提示信息,根据所述业务目标参数得到业务目标标签信息;
将所述提示信息和所述原始样本数据作为训练样本,并将所述业务目标标签信息作为训练标签,对所述业务目标预测模型进行训练,得到训练后的所述业务目标预测模型。
2.根据权利要求1所述的方法,其特征在于,所述获取所述原始样本数据对应的业务目标统计信息,包括:
获取预设的业务目标集合,所述业务目标集合包括至少一个业务子目标;
根据所述原始样本数据,对所述业务目标集合中的每个所述业务子目标的执行情况进行统计,得到所述原始样本数据对应的业务目标统计信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述业务目标类型得到用于作为提示模板的提示信息,包括:
将所述业务目标类型确定为用于作为提示模板的提示信息;
或者,
为所述业务目标类型添加引导指示信息,得到用于作为提示模板的提示信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述业务目标参数得到业务目标标签信息,包括:
将所述业务目标参数作为业务目标标签信息;
或者,
对所述业务目标参数进行归一化处理得到归一化值,并根据所述归一化值得到业务目标标签信息。
5.根据权利要求1所述的方法,其特征在于,所述对所述业务目标预测模型进行训练,包括:
调用所述业务目标预测模型对所述训练样本进行针对所述业务目标类型的概率预测,得到概率预测结果;
根据所述概率预测结果和所述业务目标标签信息对所述业务目标预测模型的参数进行调整。
6.根据权利要求5所述的方法,其特征在于,所述业务目标预测模型对所述训练样本进行针对所述业务目标类型的概率预测的过程,包括以下步骤:
利用向量嵌入层对应的参数表,将所述训练样本映射为对应的目标向量;
根据所述目标向量进行针对所述业务目标类型的概率预测,得到概率预测结果。
7.根据权利要求6所述的方法,其特征在于,所述利用向量嵌入层对应的参数表,将所述训练样本映射为对应的目标向量,包括:
利用向量嵌入层对应的参数表,将所述原始样本数据中的每个原始特征映射为对应的原始向量;
利用所述参数表将所述提示信息映射为提示向量;
将所述提示向量与所有所述原始向量进行向量拼接,得到所述训练样本的目标向量。
8.根据权利要求7所述的方法,其特征在于,当所述原始样本数据中的所述原始特征包括长度不定的序列特征时,所述利用向量嵌入层对应的参数表,将所述原始样本数据中的每个原始特征映射为对应的原始向量,包括:
利用向量嵌入层对应的参数表,将所述序列特征中的每个元素映射为中间向量;
对所有所述中间向量进行池化处理,得到所述序列特征的原始向量。
9.根据权利要求7所述的方法,其特征在于,所述将所述提示向量与所有所述原始向量进行向量拼接,得到所述训练样本的目标向量,包括:
将所述提示向量与所有所述原始向量依次进行首尾拼接,得到所述训练样本的目标向量,其中,所述目标向量的维度等于所述提示向量与所有所述原始向量的维度的总和。
10.根据权利要求5所述的方法,其特征在于,所述根据所述概率预测结果和所述业务目标标签信息对所述业务目标预测模型的参数进行调整,包括:
根据损失函数计算所述业务目标标签信息与所述概率预测结果之间的损失函数值;
根据所述损失函数值对所述业务目标预测模型的参数进行调整。
11.一种信息推荐方法,其特征在于,包括以下步骤:
获取待处理信息与候选业务目标类型,其中,所述待处理信息包括待推荐信息;
将所述待处理信息与所述候选业务目标类型作为待预测数据,调用业务目标预测模型对所述待预测数据进行针对所述候选业务目标类型的概率预测,得到所述待推荐信息针对所述候选业务目标类型的业务目标概率,其中,所述业务目标预测模型根据权利要求1至10任一项所述的业务目标预测模型的训练方法训练得到;
对所述业务目标概率大于预设概率阈值的所述待推荐信息进行推荐。
12.一种业务目标预测模型的训练装置,其特征在于,包括:
样本数据获取单元,用于获取原始样本数据;
业务目标统计信息获取单元,用于获取所述原始样本数据对应的业务目标统计信息,所述业务目标统计信息包括至少一个业务子目标统计信息,所述业务子目标统计信息包括业务目标类型和业务目标参数,不同的所述业务子目标统计信息具有不同的所述业务目标类型;
训练样本处理单元,用于根据所述业务目标类型得到用于提示所述业务目标类型的提示信息,并根据所述业务目标参数得到业务目标标签信息;
模型训练单元,将所述提示信息和所述原始样本数据作为训练样本,并将所述业务目标标签信息作为训练标签,对所述业务目标预测模型进行训练,得到训练后的所述业务目标预测模型。
13.一种电子设备,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至10任意一项所述的业务目标预测模型的训练方法,或者实现如权利要求11所述的信息推荐方法。
14.一种计算机可读存储介质,其特征在于,其中存储有处理器可执行的计算机程序,所述处理器可执行的计算机程序被处理器执行时用于实现如权利要求1至10任意一项所述的业务目标预测模型的训练方法,或者实现如权利要求11所述的信息推荐方法。
15.一种计算机程序产品,包括计算机程序或计算机指令,其特征在于,所述计算机程序或所述计算机指令存储在计算机可读存储介质中,电子设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令,所述处理器执行所述计算机程序或所述计算机指令,使得所述电子设备执行如权利要求1至10任意一项所述的业务目标预测模型的训练方法,或者执行如权利要求11任意一项所述的信息推荐方法。
CN202310821328.9A 2023-07-05 2023-07-05 业务目标预测模型的训练方法、信息推荐方法及相关装置 Pending CN116955805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310821328.9A CN116955805A (zh) 2023-07-05 2023-07-05 业务目标预测模型的训练方法、信息推荐方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310821328.9A CN116955805A (zh) 2023-07-05 2023-07-05 业务目标预测模型的训练方法、信息推荐方法及相关装置

Publications (1)

Publication Number Publication Date
CN116955805A true CN116955805A (zh) 2023-10-27

Family

ID=88461210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310821328.9A Pending CN116955805A (zh) 2023-07-05 2023-07-05 业务目标预测模型的训练方法、信息推荐方法及相关装置

Country Status (1)

Country Link
CN (1) CN116955805A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932544A (zh) * 2024-01-29 2024-04-26 福州城投新基建集团有限公司 基于多源传感器数据融合的预测方法、装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932544A (zh) * 2024-01-29 2024-04-26 福州城投新基建集团有限公司 基于多源传感器数据融合的预测方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN113626719B (zh) 信息推荐方法、装置、设备、存储介质及计算机程序产品
US20220215032A1 (en) Ai-based recommendation method and apparatus, electronic device, and storage medium
CN111708950B (zh) 内容推荐方法、装置及电子设备
CN111008332B (zh) 内容项推荐方法、装置、服务器以及存储介质
EP4181026A1 (en) Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium
US20220171760A1 (en) Data processing method and apparatus, computer-readable storage medium, and electronic device
CN114202061A (zh) 基于生成对抗网络模型及深度强化学习的物品推荐方法、电子设备及介质
CN115631008B (zh) 商品推荐方法、装置、设备及介质
CN114201516B (zh) 一种用户画像构建的方法、信息推荐的方法以及相关装置
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN114417174B (zh) 内容推荐方法、装置、设备及计算机存储介质
CN116955805A (zh) 业务目标预测模型的训练方法、信息推荐方法及相关装置
CN115203568A (zh) 一种基于深度学习模型的内容推荐方法、相关装置及设备
CN112269943B (zh) 一种信息推荐系统及方法
CN113836390B (zh) 资源推荐方法、装置、计算机设备及存储介质
CN115482021A (zh) 多媒体信息推荐方法、装置、电子设备及存储介质
CN117235264A (zh) 文本处理方法、装置、设备和计算机可读存储介质
CN116975426A (zh) 业务数据处理方法、装置、设备以及介质
CN114707633B (zh) 特征提取方法、装置、电子设备和存储介质
CN117196744A (zh) 商品推荐方法、装置、设备及计算机可读存储介质
CN114328992A (zh) 多媒体信息推荐方法、装置、程序产品、设备以及介质
CN116628236B (zh) 多媒体信息的投放方法、装置、电子设备及存储介质
CN117556150B (zh) 多目标预测方法、装置、设备及存储介质
CN116662814B (zh) 对象意向预测方法、装置、计算机设备及存储介质
CN115115036B (zh) 一种数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication