CN117408296A - 一种面向多任务多场景的序列推荐深度排序方法和装置 - Google Patents
一种面向多任务多场景的序列推荐深度排序方法和装置 Download PDFInfo
- Publication number
- CN117408296A CN117408296A CN202311715403.XA CN202311715403A CN117408296A CN 117408296 A CN117408296 A CN 117408296A CN 202311715403 A CN202311715403 A CN 202311715403A CN 117408296 A CN117408296 A CN 117408296A
- Authority
- CN
- China
- Prior art keywords
- domain data
- network
- task
- scene
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 68
- 238000012163 sequencing technique Methods 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008707 rearrangement Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及序列推荐技术领域,提供了一种面向多任务多场景的序列推荐深度排序方法和装置。该方法首先获取输入域数据集,输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;构建序列推荐深度排序模型,序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;将用户域数据、物品域数据、上下文域数据和行为域数据,输入至多目标预测任务子网络,获得多目标预测任务特征向量;将业务场景域数据输入至业务场景子网络,获得业务场景特征向量;依据多目标预测任务特征向量和业务场景特征向量,获得多个目标任务排序预测结果。本申请构建了面向多任务多场景的序列推荐深度排序模型,有效提升了排序准确度。
Description
技术领域
本申请涉及序列推荐技术领域,尤其涉及一种面向多任务多场景的序列推荐深度排序方法和装置。
背景技术
深度排序模型在序列推荐系统里占有重要地位,好的排序模型可以使得系统推荐给用户的物品更具有个性化,能够有效提高用户的个人体验。目前主流的推荐系统一般采用DNN的排序模型,如DIN、DeepFM等模型。然而,用户在多个场景可能有相同的兴趣,理想情况下排序模型应该是一种多场景的范式,这样能够充分利用多场景的数据,同时可以缓解部分场景数据过于稀疏问题。多场景多任务精排模型存在两大挑战:一方面是面对不同目标之间数据不平衡,比如CTR和CVR,如果同时训练这俩目标模型很可能偏向于CTR,导致CVR的指标受损;另一方面是嵌入表征组件耦合,多任务多场景共享是常见的范式,能够缓解部分场景的数据稀疏性问题,但需要考虑模型不同组件间耦合问题。
因此,如何能够处理好多任务多场景,提高深度排序结果的准确性,是需要解决的技术问题。
发明内容
有鉴于此,本申请实施例提供了一种面向多任务多场景的序列推荐深度排序方法、装置、电子设备及存储介质,以解决现有技术多任务多场景序列推荐排序结果准确度不高的问题。
本申请实施例的第一方面,提供了一种面向多任务多场景的序列推荐深度排序方法,包括:
获取输入域数据集;所述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
构建序列推荐深度排序模型,所述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,所述多目标预测任务子网络基于MMoE模型构建,所述业务场景子网络基于深度神经网络构建;
将所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域数据,输入至所述多目标预测任务子网络,获得多目标预测任务特征向量;
将所述业务场景域数据输入至所述业务场景子网络,获得业务场景特征向量;
依据所述多目标预测任务特征向量和所述业务场景特征向量,获得多个目标任务排序预测结果。
本申请实施例的第二方面,提供了一种面向多任务多场景的序列推荐深度排序装置,包括:
源输入域数据获取模块,被配置为获取输入域数据集;所述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
模型构建模块,被配置为构建序列推荐深度排序模型,所述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,所述多目标预测任务子网络基于MMoE模型构建,所述业务场景子网络基于深度神经网络构建;
多任务特征向量获取模块,被配置为将所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域数据,输入至所述多目标预测任务子网络,获得多目标预测任务特征向量;
多场景特征向量获取模块,被配置为将所述业务场景域数据输入至所述业务场景子网络,获得业务场景特征向量;
多任务排序预测结果输出模块,被配置为依据所述多目标预测任务特征向量和所述业务场景特征向量,获得多个目标任务排序预测结果。
本申请实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现第一方面所述方法的步骤。
本申请实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现第一方面所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果至少包括:本申请实施例首先获取输入域数据集,输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;构建序列推荐深度排序模型,序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;将用户域数据、物品域数据、上下文域数据和行为域数据,输入至多目标预测任务子网络,获得多目标预测任务特征向量;将业务场景域数据输入至业务场景子网络,获得业务场景特征向量;依据多目标预测任务特征向量和业务场景特征向量,获得多个目标任务排序预测结果。本申请构建了面向多任务多场景的序列推荐深度排序模型,有效提升了排序准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的面向多任务多场景的序列推荐深度排序方法的流程示意图之一;
图2是本申请实施例提供的面向多任务多场景的序列推荐深度排序方法的流程示意图之二;
图3是本申请实施例提供的面向多任务多场景的序列推荐深度排序方法的流程示意图之三;
图4是本申请实施例提供的面向多任务多场景的序列推荐深度排序方法实施过程示意图;
图5是本申请实施例提供的面向多任务多场景的序列推荐深度排序装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
下面将结合附图详细说明根据本申请实施例的一种面向多任务多场景的序列推荐深度排序方法、装置、电子设备和存储介质。
如背景技术所述,目前业界的推荐系统,存在着一个级联结构,在候选集也就是召回池中,有着百亿数据的规模,通过数据召回将会有数千个内容提供给粗排模型。经过粗排的打分和重排后,会提供前几百个数据给精排模型,经过精排模型的打分和处理后将会有几十个数据提供给重排,经过重排最终呈现给用户。召回一般有多路召回融合而成,需要同时兼顾热度、覆盖度、相关度和新鲜度,还需要基于对业务的理解,获取用户的长短期兴趣,按照演变过程分为常规个性化召回策略和深度个性化召回策略,从上亿条对象中选出几千条用户可能感兴趣。粗排的目的是提高召回的准确率,并对打分较低的内容进行过滤从而拟降低精排服务的压力。通常会用比较轻量级的机器学习模型,对几千个内容逐一打分,截断分数最高的几百个对象进入下一个模型。精排的目的提升流量的效率和内容匹配的质量,通常会采用大量的特征和复制的深度神经网络模型,来提升业务相关的指标例如CTR、CVR,包括DeepFM、DIN等。重排的目的是提升用户体验和内容的多样性,提高流量的效率。通常会在精排的基础上进行微调,然后作为最终的排序结果展示给用户。
然而,在工业界推荐系统中,大多是基于隐式反馈来进行推荐的,用户对推荐结果的满意度通常依赖很多指标,在不同的推荐系统、不同时期、不同的产品形态下,这些指标的重要程度或者所代表的意义会有所不同,如何优化最终推荐列表的顺序来使得众多指标在不同的场景下尽可能达到最优或者满意,这是一个多目标排序问题。多模型融合的方式也是比较经典传统的做法,每个目标训练一个模型,每个模型算出一个分数,然后根据自身业务的特点,通过某种方式将这些分数综合起来,计算出一个总的分数再进行排序,综合分数的计算通常会根据不同目标的重要性设定相应的参数来调节。针对业务要求,常用的技术方案是首先对用户特征进行清理和转换,之后采用主流的CTR模型(Click-Through-Rate: 点击率预估)例如FM、DeepFM、IPNN、xDeepFM算法建立模型,使用的评估指标通常为logloss和ROC AUC。logloss更关注模型预测结果和观察数据的吻合程度,例如是否点击、是否购买,ROC AUC更关注能否把推荐结果顺序排的更好。
多任务学习是基于共享表示,把多个相关的任务放在一起学习的一种机器学习方法。多任务学习涉及多个相关的任务同时并行学习,梯度同时反向传播,利用包含在相关任务训练信号中的特定领域的信息来改进泛化能力。一般来说,优化多个损失函数就等同于进行多任务学习。 即使只优化一个损失函数,也有可能借助辅助任务来改善原任务模型。可以发现,多任务学习的定义中,有两个非常关键的限定,也是多任务得以实现的前提条件:多个任务之间必须具有相关性以及拥有可以共享的底层表示。在多任务学习的定义中,共享表示是一个非常重要的限定,个人认为共享表示对于最终任务的学习有两类作用:促进作用,通过浅层的共享表示互相分享、互相补充学习到的领域相关信息,从而互相促进学习,提升对信息的穿透和获取能力;约束作用,在多个任务同时进行反向传播时,共享表示则会兼顾到多个任务的反馈,由于不同的任务具有不同的噪声模式,所以同时学习多个任务的模型就会通过平均噪声模式从而学习到更一般的表征,这个有点像正则化的意思,因此相对于单任务,过拟合风险会降低,泛化能力增强。
但是,多任务学习优化面临的跷跷板现象,即两个任务联合学习的时候,可能一个任务效果变好,另一个任务效果变差。核心是训练过程中存在以下3个方面问题:(1)多任务梯度方向不一致:同一组参数,不同的任务更新方向不一致,导致模型参数出现震荡,任务之间出现负迁移的现象,一般出现在多个任务之间差异较大的场景;(2)多任务收敛速度不一致:不同的任务收敛速度不一样,有的任务比较简单收敛速度快,有的任务比较困难收敛速度慢,导致模型训练一定轮数后,有的任务已经overfitting,有的任务还是underfitting的状态;(3)多任务loss取值量级差异大:不同的任务loss取值范围差异大,模型被loss比较大的任务主导,这种情况在两个任务使用不同损失函数,或者拟合值的取值差异大等情况下最为常见。
多场景学习有助于从不同场景进行迁移学习,缓解数据稀疏性。一些工作主要关注于如何找到更好的网络结构如辅助网络,专家网络,多塔结构等;本文主要关注如何针对不同的场景保留各自特定的特征和意图,即不同的特征在不同的场景中有不同的表现。本文提出了一个具有自适应特征学习的多场景排序框架。如果在排序模型的底部注入业务场景特征,便可以得到更具鉴别力的特征表征。首先,特征缩放的目的是突出与场景相关的filed,同时抑制不相关的字段。其次,特征细化针对每个特征字段利用自动细化器选择子网络,使得可以利用最优专家提取关于场景的高级语义。最后,导出跨filed的特征相关性作为互补信号。然后,将得到的表征送到具有额外的场景共享塔的简单MMoE结构中,用于最终预测。
同样地,多场景中,如果直接粗暴的把所有场景的数据放进一个模型去训练,不同场景的数据分布存在差异,会导致不同场景的表征无法对齐,也会造成跷跷板问题。
因此,多任务多场景问题存在双跷跷板现象。本申请即通过更加准确的个性化建模,满足各种情形下用户的兴趣和需求,就能够缓解这种跷跷板现象,提高多任务多场景序列推荐排序结果的准确度。
如图1所示,为本申请的一种面向多任务多场景的序列推荐深度排序方法流程图。上述方法包括:
S101:获取输入域数据集;上述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据。
S102:构建序列推荐深度排序模型,上述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,上述多目标预测任务子网络基于MMoE模型构建,上述业务场景子网络基于深度神经网络构建。
S103:将上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域数据,输入至上述多目标预测任务子网络,获得多目标预测任务特征向量。
S104:将上述业务场景域数据输入至上述业务场景子网络,获得业务场景特征向量。
S105:依据上述多目标预测任务特征向量和上述业务场景特征向量,获得多个目标任务排序预测结果。
在一些实施例中,上述多目标预测任务子网络包括多个专家网络、多个目标任务预测网络以及多个门控网络,上述门控网络的数量与上述目标任务预测网络的数量相对应。
具体地,MMOE 模型全称是 Multi-gate Mixture-of-Experts, 该模型由 Google在 2018年 KDD 上发表的文章 Modeling Task Relationships in Multi-task Learningwith Multi-gate Mixture-of-Experts 中提出的。MMOE 模型本身在结构上借鉴了以前的MOE 模型,但又有一定的创新, 它可以说是提出了一种新的 MTL(Multi-Task Learning)架构,对每个顶层任务均使用了一个 gate网络 去学习融合多个专家对当前 Task 的权重影响, 在很大程度上调节缓解 多目标任务相关性低导致的准确率低 的问题。
在一些实施例中,上述门控网络用于依据上述输入域数据,获得多个上述专家网络的权重,利用多个上述专家网络的权重,对多个上述专家网络输出的多个特征向量进行加权求和,将求和结果作为上述目标任务预测网络的输入。
在一些实施例中,将上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域数据,输入至上述多目标预测任务子网络之前,还包括分别获得上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域的嵌入特征表示。
在一些实施例中,将上述业务场景域数据输入至上述业务场景子网络,获得业务场景特征向量,如图2所示,包括:
S211:获得上述业务场景域数据的嵌入特征表示;
S212:将上述业务场景域数据的嵌入特征表示输入多层感知机,获得上述业务场景特征向量。
具体地,由于多场景包括不同用户群体、APP不同频道模块、不同客户端等,可以看作不同场景。不同场景具有用户差异,即使是同一用户,在不同场景下的心智也不同,页面呈现的形式和内容,进入页面前的用户状态也存在很大的差异,这些差异直接反映到数据分布上,使得不同场景数据分布上存在明显差异。多场景业务中,由于不同场景分布不同,如果采用各场景独立的方式,会忽视场景共性,导致长尾小场景难以学好,同时每个场景维护一个模型,又极大地增加系统资源开销和人力成本;如果直接将样本混合,训练共享模型,会忽视场景差异性,导致预测准度下降;同时如果各场景数据量不均衡,容易被数据量大的大场景主导,数据量小的小场景学习不好。
在一些实施例中,依据上述多目标预测任务特征向量和上述业务场景特征向量,获得多个目标任务排序预测结果,如图3所示,包括:
S311:将上述多目标预测任务特征向量和上述业务场景特征向量进行拼接,获得第一抽象特征向量;
S312:将上述第一抽象特征向量分别输入至多个上述目标任务预测网络,获得多个目标任务排序预测结果。
在一些实施例中,上述多个目标任务预测网络至少包括点击率预测网络和转化率预测网络。
下面结合图4,具体说明本申请的面向多任务多场景的序列推荐深度排序方案。参照图4,本申请方案的实质是利用MMoE模型结合辅助网络的方法,来利用先验特征增强表征个性化,从而达到多场景多任务统一建模的目的。图4以进行CTR和CVR两个目标预测任务为例。多目标预测任务子网络用于将把输入的特征,经过MMOE层,得到对应输入域数据抽象特征;在MMOE层中,门控网络与目标预测任务的个数相对应,因此包括Gate1和Gate2;Expert表示为专家网络,专家网络的个数按照经验值设定,一般取门控网络数量的1-2倍之间。业务场景子网络的主体结构为基于深度神经网络DNN结构的业务场景塔,将不同业务场景相关的特征作为输入,然后经过业务场景塔后,得到对应业务场景抽象特征。再将业务场景抽象特征和输入域数据抽象特征进行拼接后,分别输入至CTR目标预测网络和CVR目标预测网络,获得对应的CTR预测值和CVR预测值。
本申请实施例与现有技术相比存在的有益效果至少包括:本申请实施例首先获取输入域数据集,输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;构建序列推荐深度排序模型,序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;将用户域数据、物品域数据、上下文域数据和行为域数据,输入至多目标预测任务子网络,获得多目标预测任务特征向量;将业务场景域数据输入至业务场景子网络,获得业务场景特征向量;依据多目标预测任务特征向量和业务场景特征向量,获得多个目标任务排序预测结果。本申请构建了面向多任务多场景的序列推荐深度排序模型,有效提升了排序准确度。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节,请参照本申请方法实施例。
图5是本申请实施例提供的一种面向多任务多场景的序列推荐深度排序装置的示意图。如图5所示,该面向多任务多场景的序列推荐深度排序装置包括:
源输入域数据获取模块501,被配置为获取输入域数据集;上述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据。
模型构建模块502,被配置为构建序列推荐深度排序模型,上述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,上述多目标预测任务子网络基于MMoE模型构建,上述业务场景子网络基于深度神经网络构建。
多任务特征向量获取模块503,被配置为将上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域数据,输入至上述多目标预测任务子网络,获得多目标预测任务特征向量。
多场景特征向量获取模块504,被配置为将上述业务场景域数据输入至上述业务场景子网络,获得业务场景特征向量。
多任务排序预测结果输出模块505,被配置为依据上述多目标预测任务特征向量和上述业务场景特征向量,获得多个目标任务排序预测结果。
应理解,本说明书实施例的一种面向多任务多场景的序列推荐深度排序装置还可执行图1至图4中面向多任务多场景的序列推荐深度排序装置执行的方法,并实现面向多任务多场景的序列推荐深度排序装置在图1至图4所示实例的功能,在此不再赘述。同时,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图6是本申请实施例提供的电子设备6的示意图。如图6所示,该实施例的电子设备6包括:处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者,处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解,图6仅仅是电子设备6的示例,并不构成对电子设备6的限定,可以包括比图示更多或更少的部件,或者不同的部件。
存储器602可以是电子设备6的内部存储单元,例如,电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备,例如,电子设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
处理器601可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器601从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成共享资源访问控制装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取输入域数据集;上述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
构建序列推荐深度排序模型,上述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,上述多目标预测任务子网络基于MMoE模型构建,上述业务场景子网络基于深度神经网络构建;
将上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域数据,输入至上述多目标预测任务子网络,获得多目标预测任务特征向量;
将上述业务场景域数据输入至上述业务场景子网络,获得业务场景特征向量;
依据上述多目标预测任务特征向量和上述业务场景特征向量,获得多个目标任务排序预测结果。
上述如本说明书图1至图4所示实施例揭示的面向多任务多场景的序列推荐深度排序方法可以应用于处理器601中,或者由处理器601实现。处理器601可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
当然,除了软件实现方式之外,本说明书实施例的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1至图4所示实施例的面向多任务多场景的序列推荐深度排序方法,并具体用于执行以下方法:
获取输入域数据集;上述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
构建序列推荐深度排序模型,上述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,上述多目标预测任务子网络基于MMoE模型构建,上述业务场景子网络基于深度神经网络构建;
将上述用户域数据、上述物品域数据、上述上下文域数据和上述行为域数据,输入至上述多目标预测任务子网络,获得多目标预测任务特征向量;
将上述业务场景域数据输入至上述业务场景子网络,获得业务场景特征向量;
依据上述多目标预测任务特征向量和上述业务场景特征向量,获得多个目标任务排序预测结果。
总之,以上该仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种面向多任务多场景的序列推荐深度排序方法,其特征在于,包括:
获取输入域数据集;所述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
构建序列推荐深度排序模型,所述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,所述多目标预测任务子网络基于MMoE模型构建,所述业务场景子网络基于深度神经网络构建;
将所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域数据,输入至所述多目标预测任务子网络,获得多目标预测任务特征向量;
将所述业务场景域数据输入至所述业务场景子网络,获得业务场景特征向量;
依据所述多目标预测任务特征向量和所述业务场景特征向量,获得多个目标任务排序预测结果。
2.根据权利要求1所述的方法,其特征在于,所述多目标预测任务子网络包括多个专家网络、多个目标任务预测网络以及多个门控网络,所述门控网络的数量与所述目标任务预测网络的数量相对应。
3.根据权利要求2所述的方法,其特征在于,所述门控网络用于依据所述输入域数据,获得多个所述专家网络的权重,利用多个所述专家网络的权重,对多个所述专家网络输出的多个特征向量进行加权求和,将求和结果作为所述目标任务预测网络的输入。
4.根据权利要求2或3任一项所述的方法,其特征在于,将所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域数据,输入至所述多目标预测任务子网络之前,还包括分别获得所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域的嵌入特征表示。
5.根据权利要求4所述的方法,其特征在于,将所述业务场景域数据输入至所述业务场景子网络,获得业务场景特征向量,包括:
获得所述业务场景域数据的嵌入特征表示;
将所述业务场景域数据的嵌入特征表示输入多层感知机,获得所述业务场景特征向量。
6.根据权利要求5所述的方法,其特征在于,依据所述多目标预测任务特征向量和所述业务场景特征向量,获得多个目标任务排序预测结果,包括:
将所述多目标预测任务特征向量和所述业务场景特征向量进行拼接,获得第一抽象特征向量;
将所述第一抽象特征向量分别输入至多个所述目标任务预测网络,获得多个目标任务排序预测结果。
7.根据权利要求2所述的方法,其特征在于,所述目标任务预测网络至少包括点击率预测网络和转化率预测网络。
8.一种面向多任务多场景的序列推荐深度排序装置,其特征在于,包括:
源输入域数据获取模块,被配置为获取输入域数据集;所述输入域数据包括用户域数据、物品域数据、上下文域数据、行为域数据和业务场景域数据;
模型构建模块,被配置为构建序列推荐深度排序模型,所述序列推荐深度排序模型包括多目标预测任务子网络和业务场景子网络;其中,所述多目标预测任务子网络基于MMoE模型构建,所述业务场景子网络基于深度神经网络构建;
多任务特征向量获取模块,被配置为将所述用户域数据、所述物品域数据、所述上下文域数据和所述行为域数据,输入至所述多目标预测任务子网络,获得多目标预测任务特征向量;
多场景特征向量获取模块,被配置为将所述业务场景域数据输入至所述业务场景子网络,获得业务场景特征向量;
多任务排序预测结果输出模块,被配置为依据所述多目标预测任务特征向量和所述业务场景特征向量,获得多个目标任务排序预测结果。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器在执行所述计算机程序时,实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311715403.XA CN117408296A (zh) | 2023-12-14 | 2023-12-14 | 一种面向多任务多场景的序列推荐深度排序方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311715403.XA CN117408296A (zh) | 2023-12-14 | 2023-12-14 | 一种面向多任务多场景的序列推荐深度排序方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117408296A true CN117408296A (zh) | 2024-01-16 |
Family
ID=89498317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311715403.XA Pending CN117408296A (zh) | 2023-12-14 | 2023-12-14 | 一种面向多任务多场景的序列推荐深度排序方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117408296A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190384790A1 (en) * | 2016-02-05 | 2019-12-19 | Sas Institute Inc. | Staged training of neural networks for improved time series prediction performance |
CN112256957A (zh) * | 2020-09-21 | 2021-01-22 | 北京三快在线科技有限公司 | 一种信息排序方法、装置、电子设备及存储介质 |
US20210374352A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for training language model based on various word vectors, device and medium |
CN113742590A (zh) * | 2021-09-07 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种推荐方法、装置、存储介质及电子设备 |
CN115329194A (zh) * | 2022-08-12 | 2022-11-11 | 河海大学 | 一种面向动态时间场景应用的个性化推荐方法及装置 |
US20220375211A1 (en) * | 2021-05-06 | 2022-11-24 | Google Llc | Multi-layer perceptron-based computer vision neural networks |
CN116362894A (zh) * | 2023-03-27 | 2023-06-30 | 平安银行股份有限公司 | 多目标学习方法、装置、电子设备及计算机可读存储介质 |
CN116911953A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 物品推荐方法、装置、电子设备及计算机可读存储介质 |
CN116932896A (zh) * | 2023-07-02 | 2023-10-24 | 电子科技大学长三角研究院(衢州) | 一种基于注意力机制的多模型融合个性化推荐架构 |
CN117010992A (zh) * | 2023-08-01 | 2023-11-07 | 支付宝(杭州)信息技术有限公司 | 用于多任务多场景推荐的推荐模型的训练方法和推荐方法 |
-
2023
- 2023-12-14 CN CN202311715403.XA patent/CN117408296A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190384790A1 (en) * | 2016-02-05 | 2019-12-19 | Sas Institute Inc. | Staged training of neural networks for improved time series prediction performance |
US20210374352A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for training language model based on various word vectors, device and medium |
CN112256957A (zh) * | 2020-09-21 | 2021-01-22 | 北京三快在线科技有限公司 | 一种信息排序方法、装置、电子设备及存储介质 |
US20220375211A1 (en) * | 2021-05-06 | 2022-11-24 | Google Llc | Multi-layer perceptron-based computer vision neural networks |
CN113742590A (zh) * | 2021-09-07 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种推荐方法、装置、存储介质及电子设备 |
CN115329194A (zh) * | 2022-08-12 | 2022-11-11 | 河海大学 | 一种面向动态时间场景应用的个性化推荐方法及装置 |
CN116362894A (zh) * | 2023-03-27 | 2023-06-30 | 平安银行股份有限公司 | 多目标学习方法、装置、电子设备及计算机可读存储介质 |
CN116932896A (zh) * | 2023-07-02 | 2023-10-24 | 电子科技大学长三角研究院(衢州) | 一种基于注意力机制的多模型融合个性化推荐架构 |
CN117010992A (zh) * | 2023-08-01 | 2023-11-07 | 支付宝(杭州)信息技术有限公司 | 用于多任务多场景推荐的推荐模型的训练方法和推荐方法 |
CN116911953A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 物品推荐方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
Wang et al. | Efficient video transformers with spatial-temporal token selection | |
CN113254792B (zh) | 训练推荐概率预测模型的方法、推荐概率预测方法及装置 | |
CN110781321A (zh) | 一种多媒体内容推荐方法及装置 | |
CN108595493B (zh) | 媒体内容的推送方法和装置、存储介质、电子装置 | |
CN112232510A (zh) | 多目标推荐模型的训练及信息推荐方法以及装置 | |
CN113516522A (zh) | 媒体资源推荐方法、多目标融合模型的训练方法及装置 | |
CN110222838B (zh) | 文档排序方法、装置、电子设备及存储介质 | |
CN112257841A (zh) | 图神经网络中的数据处理方法、装置、设备及存储介质 | |
CN113515690A (zh) | 内容召回模型的训练方法、内容召回方法、装置及设备 | |
CN117009650A (zh) | 一种推荐方法以及装置 | |
Lopes et al. | Manas: Multi-agent neural architecture search | |
CN115482021A (zh) | 多媒体信息推荐方法、装置、电子设备及存储介质 | |
CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
Sharma et al. | Suggestive approaches to create a recommender system for GitHub | |
CN117408296A (zh) | 一种面向多任务多场景的序列推荐深度排序方法和装置 | |
Zang et al. | LKT-FM: A novel rating pattern transfer model for improving non-overlapping cross-domain collaborative filtering | |
CN117150053A (zh) | 多媒体信息推荐模型训练方法、推荐方法及装置 | |
CN115238126A (zh) | 搜索结果重排序方法、装置、设备及计算机存储介质 | |
CN115858911A (zh) | 信息推荐方法、装置、电子设备及计算机可读存储介质 | |
CN112417275A (zh) | 一种信息提供的方法、装置存储介质及电子设备 | |
Gafoor et al. | KNN based Entertainment Enhancing System | |
Etefaghi et al. | AdaInNet: an adaptive inference engine for distributed deep neural networks offloading in IoT-FOG applications based on reinforcement learning | |
CN113987360B (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN117540080A (zh) | 一种强化新用户特征的物品冷启动推荐方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |