CN117636141A - 多目标预测方法、装置、设备和介质 - Google Patents
多目标预测方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117636141A CN117636141A CN202311506813.3A CN202311506813A CN117636141A CN 117636141 A CN117636141 A CN 117636141A CN 202311506813 A CN202311506813 A CN 202311506813A CN 117636141 A CN117636141 A CN 117636141A
- Authority
- CN
- China
- Prior art keywords
- prediction
- target
- scene
- feature
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 230000000977 initiatory effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 49
- 238000003860 storage Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 abstract description 25
- 238000013473 artificial intelligence Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005266 casting Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了多目标预测方法、装置、设备和介质,涉及人工智能技术领域,可以应用于云技术、人工智能、智慧交通、辅助驾驶等场景,包括获取发起搜索请求的目标对象的对象侧特征、搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型;基于共享特征提取模块对对象侧特征、搜索特征和资源侧特征进行特征交叉,得到第一中间特征;基于共享场景专家网络和各专属场景专家网络中候选资源所属的业务场景所对应的专属场景专家网络,对第一中间特征进行特征映射,得到第二中间特征;基于第一预测模块对第二中间特征进行多目标预测,得到多目标预测结果。本申请实现了多目标多场景的融合建模,提升预测准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种多目标预测方法、装置、设备和介质。
背景技术
推荐场景中通常涉及多种业务目标,每条资源在各业务目标上的相关指标是资源推荐评估的重要依据。相关技术中通常采用各业务目标各自的预测模型对候选资源进行指标预测,分别得到候选资源在各业务目标上的预测指标值,进而结合业务需求和各个预测指标值进行候选资源排序及筛选,以反馈与当前对象相关性较高的资源数据。但该方式涉及多个独立预测模型的训练,在推荐应用中需各独立模型的并行运行,训练成本和应用成本高,且预测效率较低。
发明内容
本申请提供了一种多目标预测方法、装置、设备和介质,可以显著提升多目标预测的信息表达准确性和全面性。
一方面,本申请提供了一种多目标预测方法,所述方法包括:
获取发起搜索请求的目标对象的对象侧特征、所述搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,所述多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,所述场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;
基于所述共享特征提取模块对所述对象侧特征、所述搜索特征和所述资源侧特征进行特征交叉,得到第一中间特征;
基于所述共享场景专家网络和各所述专属场景专家网络中所述候选资源所属的业务场景所对应的专属场景专家网络,对所述第一中间特征进行特征映射,得到第二中间特征;
基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果,所述多目标预测结果用于表征所述目标对象与所述候选资源在多个业务目标维度上的关联性。
另一方面提供了一种多目标预测装置,所述装置包括:
数据获取模块:用于获取发起搜索请求的目标对象的对象侧特征、所述搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,所述多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,所述场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;
特征交叉模块:用于基于所述共享特征提取模块对所述对象侧特征、所述搜索特征和所述资源侧特征进行特征交叉,得到第一中间特征;
特征映射模块:用于基于所述共享场景专家网络和各所述专属场景专家网络中所述候选资源所属的业务场景所对应的专属场景专家网络,对所述第一中间特征进行特征映射,得到第二中间特征;
第一预测模块:用于基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果,所述多目标预测结果用于表征所述目标对象与所述候选资源在多个业务目标维度上的关联性。
另一方面提供了一种计算机设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的多目标预测方法。
另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的多目标预测方法。
另一方面提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的多目标预测方法。
另一方面提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的多目标预测方法。
另一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时实现如上述的多目标预测方法。
本申请提供的多目标预测方法、装置、设备、存储介质、服务器、终端、计算机程序和计算机程序产品,具有如下技术效果:
本申请首先获取发起搜索请求的目标对象的对象侧特征、搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,结合对象侧和资源侧特征的同时,加入搜索特征进行目标预测,提升搜索场景的信息完整性和特征关联性,使模型学习和理解更多搜索场景信息,提升预测准确性;多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;基于共享特征提取模块对对象侧特征、搜索特征和资源侧特征进行特征交叉,得到第一中间特征;然后基于共享场景专家网络和各专属场景专家网络中候选资源所属的业务场景所对应的专属场景专家网络,对第一中间特征进行特征映射,得到第二中间特征;进而基于第一预测模块对第二中间特征进行多目标预测,得到多目标预测结果,多目标预测结果用于表征目标对象与候选资源在多个业务目标维度上的关联性。如此,通过同一预测模型进行多个目标的协同预测,显著降低训练成本和应用成本,且通过专属场景专家网络和多目标预测模块的分层构建,实现不同业务场景和不同业务目标的差异性知识学习,提升不同业务场景和不同业务目标下特征提取的准确性和场景匹配性,实现融合多场景和多目标的建模,增强模型对宽分布数据的拟合能力,以及针对不同场景和目标的信息表达能力,同时通过共享特征提取模块和共享场景专家网络学习和提取各种不同业务场景和业务目标的共性特征信息,提升模型的泛化性能和鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图;
图2是本申请实施例提供的一种多目标预测方法的流程示意图;
图3是本申请实施例提供的一种资源在线推荐系统的框架示意图;
图4是本申请实施例提供的一种多目标预测模型的结构示意图;
图5是本申请实施例提供的另一种多目标预测模型的结构示意图;
图6是本申请实施例提供的另一种多目标预测模型的结构示意图;
图7是本申请实施例提供的另一种多目标预测方法的流程示意图;
图8是本申请实施例提供的另一种多目标预测方法的流程示意图;
图9是本申请实施例提供的一种多目标预测装置的框架示意图;
图10是本申请实施例提供的一种执行多目标预测方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
Conversion Rate(CVR):转化率,衡量资源推荐效果的重要指标,是对象由点击资源到成为一个有效激活或者注册甚至付费对象的概率。
Area under the curve(AUC):ROC曲线下的面积,是衡量分类模型预估准确性的重要指标。
Field-weighted Factorization Machines(FwFM):分域权重因子分解机,因子分解机的变式,突出不同域特征的划分。
LR:逻辑回归模型,线性模型。
消耗:在线资源投放中资源主的支出,即资源投放平台的获取的效益。
GMV:在线资源投放中,资源转化带给资源主的价值。
业务目标(优化目标):在线资源投放中,资源主选择的投放目标,如对象激活、下单付费等。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等技术。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。
深度学习:深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容(AIGC)、对话式交互、智能医疗、智能客服、游戏AI等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,如图1所示,该应用环境可以至少包括终端01和服务器02。在实际应用中,终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例中的服务器02可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体地,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术能够应用于各种领域,如医疗云、云物联、云安全、云教育、云会议、人工智能云服务、云应用、云呼叫和云社交等,云技术基于云计算(cloud computing)商业模式应用,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”,“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务))平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Software as a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。
具体地,上述涉及的服务器02可以包括实体设备,可以具体包括有网络通信子模块、处理器和存储器等等,也可以包括运行于实体设备中的软体,可以具体包括有应用程序等。
具体地,终端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如应用程序等。
本申请实施例中,终端01可以用于接收目标对象提交的搜索操作,并生成搜索请求发送至服务器02,以及接收服务器02反馈的搜索结果并展示。服务器02用于响应于搜索请求获取多个候选资源,并基于多目标预测模型针对每一候选资源进行分类预测,以得到其相应的多目标预测结果,以用于候选资源的筛选,结合筛选到的候选资源生成搜索请求的反馈发送至终端01。
本申请的多目标预测方法可以应用于资源在线推荐系统,一个实施例中,参考图3,资源在线推荐系统可以包括查询解析模块、资源召回模块、评估模块和排序计价模块,评估模块运行有本申请的多目标预测模型;当目标对象提交搜索操作后,如提交搜索关键词,则生成搜索请求,查询解析模块接收到搜索请求后进行请求解析,得到请求数据和对象数据,进而输入资源召回模块进行召回操作,以从资源库中得到多个候选资源;评估模块获取多个候选资源的资源数据,并结合请求数据和对象数据,调用多目标预测模型进行相应的目标预测,得到每一候选资源的多目标预测结果;排序计价模块根据多目标预测结果对多个候选资源进行排序和筛选,以基于筛选出的最优的候选资源生成反馈结果,发送至终端进行结果展示;终端接收目标对象针对展示的资源的交互操作,如点击操作及相关的转化操作等,生成交互操作信息发送至服务端02,服务端02根据交互操作信生成日志数据,存储于日志收集模块;日志数据可以用于生成训练样本供多目标预测模型进行训练,不断强化模型的预估能力。
此外,可以理解的是,图1所示的仅仅是一种多目标预测方法的应用环境,该应用环境可以包括更多或更少的节点,本申请在此不做限制。
本申请实施例涉及的应用环境,或应用环境中的终端01和服务器02等可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统,该区块链系统可以提供上述的多目标预测服务、模型训练服务和数据存储服务等。一个实施例中,应用环境可以运行对话系统,该对话系统可以存储基础语料信息,并包括角色设定模块、问答模块(QA模块)和表情处理模块和回复生成模块(参考图7)。
以下基于上述应用环境和对话系统介绍本申请的技术方案,本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。请参考图2,图2是本申请实施例提供的一种多目标预测方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地,如图2所示,方法可以包括下述步骤S201-S207:
S201:获取发起搜索请求的目标对象的对象侧特征、搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型。
具体地,多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络。参考图4,共享特征提取模块用于对输入特征进行特征交叉提取,共享场景专家网络用于对共享特征提取模块输出的各种业务场景下的第一中间特征进行进一步地特征提取,专属场景专家网络与业务场景一一对应设置,用于接收共享特征提取模块输出的其所对应的业务场景的第一中间特征以进一步特征提取。第一预测模块用于对场景特征提取模块输出的特征进行多目标预测,以输出多目标预测结果。具体地,多目标预测模型还包括输入层,位于共享特征提取模块之前,用于对输入数据进行特征嵌入以生成输入特征。
具体地,搜索请求是响应于目标对象的搜索操作生成的请求,携带有请求数据,包括搜索信息和请求基础信息,搜索信息用于指示目标对象所需搜索的关键内容,如搜索词等,请求基础信息用于表征搜索请求的通信信息,如请求时间、请求次数等。目标对象是指搜索操作的发起者,如可以为发起搜索操作的社交账号或客户端IP等。候选资源可以是基于搜索请求从资源库中召回的资源,资源类型可以例如为广告或多媒体信息等。
具体地,搜索特征用于表征搜索请求相关的搜索信息,能够匹配目标对象的强行为信息;对象侧特征用于表征目标对象的属性信息,以表征不同目标对象间的共性和特异性信息;资源侧特征用于表征候选资源的属性信息和与业务场景相关的特异性信息,与业务场景相关的特异性信息表征候选资源所属的业务场景和该业务场景下特有的资源信息。
一些实施例中,对象侧特征可以基于对象数据获得,搜索特征可以基于搜索请求中的请求数据获得,资源侧特征可以基于资源数据获得,多目标预测模型还包括输入层,相应地,S201可以包括S301-S303:
S301:获取目标对象的对象数据、搜索请求的目标搜索数据和候选资源的资源数据;
S303:基于输入层对对象数据、目标搜索数据和资源数据进行特征嵌入,得到对象侧特征、搜索特征和资源侧特征。
如此,通过涵盖对象侧、资源侧和搜索场景侧的数据进行特征嵌入,提升模型预测和训练中的信息全面性,进而优化搜索场景下资源推荐的准确率。
一些实施例中,对象数据包括用于表征目标对象的属性信息的对象属性数据,例如性别、年龄、地域等,需要说明的是对象侧的各数据均是需经目标对象授权后获得。相应地,对对象数据进行特征嵌入,以得到能够表征目标对象属性的对象侧特征。
一些实施例中,目标搜索数据包括前述的请求数据中的至少部分数据,如搜索信息和请求基础信息,例如搜索词、请求时间、请求次数等,以及目标搜索数据还包括搜索历史信息和搜索关联信息,搜索历史信息用于指示目标对象在预设历史时段内的搜索操作和搜索信息,如搜索的历史搜索词等,搜索关联信息用于表征当前搜索请求中搜索信息所关联的资源对象信息,如当前的搜索词所关联的物品、多媒体资源的信息等。相应地,对目标搜索数据进行特征嵌入,以生成请求基础信息对应的上下文特征和搜索信息对应的搜索信息特征,进而生成搜索特征,以表征搜索请求的上下文信息和搜索信息。上述目标搜索数据能够作为目标对象需求的强行为信息来源,使模型学习到目标对象与搜索场景的关联信息并实现需求预测,提升预测结果的准确性。
一些实施例中,资源数据包括资源属性数据和资源场景数据,资源属性数据为各业务场景对应的共有数据,资源场景数据为单个业务场景对应的专属数据。业务场景可以基于实际的业务需求设定,示例性地,在资源投放业务中,基于搜索场景的投放渠道可以包括直投业务场景和暗投业务场景,前者是指资源主已指定将该资源投放至搜索流量,暗投是指资源主对资源的投放流量类型不感知,资源在线推荐系统会按照历史经验并结合模型打分等因素,最终选择将资源曝光在搜索流量上。可以理解地,不同业务场景下资源转化率和样本量等必然存在显著差异,以广告资源为例,在现有优化目标体系下,直投和暗投场景下的同一候选资源的部分数据差异如表一所示。其中,GMV(Gross Merchandise Volume)为成交金额。
表一
具体地,资源属性数据用于表征候选资源的属性信息,包括但不限于资源标识(如资源ID)、资源类别(如资源所属行业,资源所属模态、商品类别或资源其它细分类别等)、资源主信息(如资源主ID)等。资源场景数据用于表征候选资源与其所属业务场景间的关联信息以及该所属业务场景下候选资源的特有信息,如候选资源是否属于特定业务场景的表征信息(如候选资源是否属于直投业务场景)、关键词(如候选资源的竞价词信息,仅直投业务场景具备)、资源搜索标题(直投业务场景下必须具备而暗投业务场景下非必备的信息)等。相应地,通过特征嵌入生成相应的资源属性特征和资源场景关联特征等,进而生成资源侧特征。如此,通过资源属性特征描述不同业务场景下的共性属性,以及结合资源场景特征描述各业务场景下资源的特异性信息,引入更多的业务场景相关信息,经后续的特征交叉等处理能够使模型更好的区分业务场景间的差异性,提升多场景预测准确性。
具体地,特征嵌入处理可以采用多目标预测模型侧输入层(embedding层)实现,其具体操作可以包括加密、哈希、离散和向量化等,进而生成可训练的固定长度的特征向量,得到各个数据(如请求次数、搜索词、资源ID、对象地域等)各自的特征向量,该特征向量可以为固定长度的向量,进而拼接后输入共享特征提取模块。
S203:基于共享特征提取模块对对象侧特征、搜索特征和资源侧特征进行特征交叉,得到第一中间特征。
具体的,第一中间特征是对对象侧特征、搜索特征和资源侧特征进行基于特征外积和/或特征内积的交叉特征提取得到的。共享特征提取模块可以基于能够进行特征交叉处理的深度神经网络构建,如FwFM网络等,特征交叉方式可以例如但不限于特征向量间的二阶交叉等,本申请在此不做具体限制。通过特征交叉提取,能够加强离散特征间的联系和信息交互,有利于模型对相似对象和资源间的信息建模和学习。示例性地,第一中间特征的维度可以为64维。
S205:基于共享场景专家网络和各专属场景专家网络中候选资源所属的业务场景所对应的专属场景专家网络,对第一中间特征进行特征映射,得到第二中间特征。
一些实施例中,参考图4,多目标预测模型中,场景特征提取模块还设有门控网络和组合输出层,于组合输出层与专属场景专家网络间设有该门控网络,用于对专属场景专家网络输出的特征进行掩码处理和选择性输入。通过门控网络选择性将专属场景专家网络输出的特征输入组合输出层,如候选资源属于业务场景1,门控网络专属场景专家网络1输出的第二映射特征输入组合输出层,而其它专属场景专家网络输出的特征不输入组合输出层,如此,实现专属场景的信息提取和学习,以及结合共享场景的信息提取,提升第二中间特征对业务场景的信息表达和信息维度全面性。
另一些实施例中,多目标预测模型中,于共享特征提取模块与场景特征提取模块间设有门控网络,用于对输入的第一中间特征进行掩码处理和选择性输入。可以理解地,同一候选资源属于一个业务场景,或者可以属于多个业务场景,优选为同一候选资源仅对应一个业务场景。不同业务场景下的第一中间特征中候选资源对应的特征片段具有其相应的特征标记,进而可以通过门控网络识别特征标记,以选择性输入场景特征提取模块,如候选资源属于业务场景1,门控网络将第一中间特征输入专属场景专家网络1和共享场景专家网络,而其它专属场景专家网络不输入。如此,提升第二中间特征对业务场景的信息表达和信息维度全面性的同时,且降低模型运行过程中的运算量。
具体地,各专属场景专家网络和共享场景专家网络的网络可以采用相同的网络结构,具体可以基于卷积神经网络构建,如可以为包括多层MLP(多层感知机(MLP,MultilayerPerceptron)和激活层的神经网络。
示例性地,场景特征提取模块可以包括直投业务场景对应的专属场景专家网络1、暗投业务场景对应的专属场景专家网络2和共享场景专家网络。
一些实施例中,参考图7,S205可以包括:
S401:将第一中间特征输入共享场景专家网络进行特征映射,得到第一映射特征;
S403:将第一中间特征输入候选资源所属的业务场景所对应的专属场景专家网络进行特征映射,得到第二映射特征;
S405:融合第一映射特征和第二映射特征,得到第二中间特征。
具体地,这里的融合可以例如为特征拼接、特征求和、特征外积等,可以基于需求和训练中的实验结果设定。具体地,场景特征提取模块中针对不同业务场景在模型结构层面进行了显示拆塔建模,形成参数隔离的至少两个专属场景专家网络和共享场景专家网络,各专家网络采用“塔”式结构,结合业务实际需求,通过专属场景专家网络提取和学习场景特性,通过共享场景专家网络提取和学习场景共性,以结合生成用于目标预测的特征向量,避免多分支建模中常见的“跷跷板”问题,全面提升各场景的信息表达能力。并且结合后续的多目标预测的第一预测模块实现了多场景多目标的融合建模方案,实现多场景下多目标的准确预测。
S207:基于第一预测模块对第二中间特征进行多目标预测,得到多目标预测结果。
具体地,多目标预测结果用于表征目标对象与候选资源在多个业务目标维度上的关联性,具体可以为目标对象与候选资源在多个业务目标下各自的业务目标预测结果的表征。如设置10个业务目标,多目标预测结果相应包括10个业务目标维度各自的业务目标预测结果。业务目标预测结果表征候选资源与目标对象在相应业务目标维度上的匹配度,可以具体位置预测指标值或预测关联等级等。
可以理解地,业务目标的数量可以基于业务需求设定,如在基于AMS(活动管理器服务,Activity Manager Service)优化目标体系下,多目标预测模型需要支持50余个资源投放相关的业务目标,不同业务目标间的样本量、转化率、目标达成值等差异很大。若采用独立模型的预测方式,需构建50多个预测模型,训练量巨大且对样本量要求高,成本过高且无法保证准确性。本申请通过同一预测模型进行多个目标的协同预测,显著降低训练成本和应用成本,且通过专属场景专家网络和多目标预测模块的分层构建,实现不同业务场景和不同业务目标的差异性知识学习,提升不同业务场景和不同业务目标下特征提取的准确性和场景匹配性,实现融合多场景和多目标的建模,增强模型对宽分布数据的拟合能力,以及针对不同场景和目标的信息表达能力,同时通过共享特征提取模块和共享场景专家网络学习和提取各种不同业务场景和业务目标的共性特征信息,提升模型的泛化性能和鲁棒性。此外,结合对象侧和资源侧特征的同时,加入搜索特征进行目标预测,提升搜索场景的信息完整性和特征关联性,使模型学习和理解更多搜索场景信息,提升预测准确性。
一些实施例中,预设模块包括多个业务目标维度各自对应的预测分支网络,参考图5,业务目标与预测分支网络一一对应设置,各预测分支网络的参数隔离且可以采用相同的“塔”式网络结构,如可以为包括多层MLP和激活层的神经网络。
相应地,S207可以包括:将第二中间特征分别输入多个业务目标维度各自对应的预测分支网络进行业务目标预测,并基于各预测分支网络输出的业务目标预测结果得到多目标预测结果。
具体地,业务目标预测结果用于表征在其相应的业务目标维度上目标对象与候选资源间的关联性。通过显式拆分各目标塔的方式,灵活实现各目标塔的参数隔离,而输入层、共享特征提取模块和共享场景专家网络的参数共享,提升特征学习能力和实现多目标预测。第一预测模块的输出为多分支输出,分别对应各业务目标。
另一些实施例中,预设模块包括多个业务目标维度各自对应的预测分支网络,多目标预测模型还包括第二预测模块,参考图6,输入层输出的对象侧特征、资源侧特征和搜索特征,分别作为共享特征提取模块和第二预测模块的输入,经第二预测模块后生成多分支输出,分别与各个业务目标一一对应。相应地,参考图8,S207可以包括:
S501:将第二中间特征分别输入多个业务目标维度各自对应的预测分支网络进行业务目标预测,得到多个业务目标维度各自对应的第一业务目标预测结果;
S503:将对象侧特征、搜索特征和资源侧特征输入第二预测模块进行多目标预测,得到多个业务目标维度各自对应的第二业务目标预测结果;
S505:对多个业务目标维度中的每一业务目标维度,融合第一业务目标预测结果和第二业务目标预测结果,得到多个业务目标维度各自的融合目标结果;
S507:基于多个业务目标维度各自的融合目标结果生成多目标预测结果。
具体的,针对每一业务目标构建相应的预测分支网路,以对输入的第二中间特征进行该业务目标的分类预测,得到第一业务目标预测结果,该结果可以为预测的指标值或者预测的类别等,如表征目标对象在接收到候选资源后是否能够实现该业务目标(如是否转化等),或者在该业务目标上的评分(如预估转化率等)。
一些实施例中,第二预测模块可以采用逻辑回归模型(LR模型),以分别输出各业务目标的第二业务目标预测结果,第二业务目标预测结果与第一业务目标预测结果相类似,不再赘述。通过将同一业务目标的第一业务目标预测结果和第二业务目标预测结果融合,结合第二业务目标预测结果的基准预测信息和第一业务目标预测结果的特异性预测信息,提升每一业务目标的预测准确性和鲁棒性。这里的融合可以为但不限于指标值相加或加和平均等,相加和加和平均涉及的加和处理可以为加权加和或简答加和,可以基于训练过程中的效果值设置。
具体地,本申请所得到的多目标预测结果可以用于资源在线推荐系统的资源打分等,以便于后续的资源精排和计价。
基于上述部分或全部实施方式,本申请还提供一种多目标预测模型的训练方法,该多目标预测模型的获取方式包括S601-S603:
S601:获取样本集和多目标预测模型对应的预设模型。
可以理解地,预设模型的模型框架与前述多目标预测模型可以相同,参考图4-6,在此不做赘述。
具体地,样本集包括至少两种业务场景各自的多个样本数据和每一样本数据的样本标签,样本标签用于指示样本对象和样本资源在多个业务目标维度中的至少部分业务目标维度上的真值结果。即每一样本集包括各业务场景各自对应的样本子集,每一条样本数据仅对应一个业务场景。样本数据可以包括样本对象侧数据、样本资源侧数据和样本搜索数据,样本对象侧数据与前述的对象侧数据相类似,样本资源侧数据与前述的资源侧数据相类似,样本搜索数据与前述的搜索数据相类似,在此不做赘述。样本标签可以包括一个或几个业务目标维度上的真值结果,该真值结果可以表征相应业务目标上的类别(如是否转化)或者业务目标的指标真值(如转化率)等,示例性地,一条样本数据属于直投业务场景,样本标签可以包括APP激活、付费、H5激活三个业务目标维度各自的转化率真值结果。
S603:以样本数据作为输入并以样本标签作为期望输出,对预设模型进行业务目标预测的约束训练,得到多目标预测模型。
具体地,S603可以包括:
S701:将样本数据输入预设模型的输入层,以对样本对象数据、样本搜索数据和样本资源数据进行特征嵌入,得到样本对象侧特征、样本搜索特征和样本资源侧特征;
可以理解地,样本对象侧特征、样本搜索特征和样本资源侧特征与前述的对象侧特征、搜索特征和资源侧特征相类似。通过输入层将每一样本数据处理为多个离散特征的集合,以映射为固定长度的特征向量,作为共享特征提取模块的输入。
S703:将样本对象侧特征、样本搜索特征和样本资源侧特征输入预设模型的共享特征提取模块对进行特征交叉,得到第一样本中间特征;
S705:基于预设模型的共享场景专家网络和各专属场景专家网络中样本数据所属的业务场景所对应的专属场景专家网络,对第一样本中间特征进行特征映射,得到第二样本中间特征;
可以理解地,S703与前述的S203相类似,S705与前述的S205相类似,在此不做赘述。
S707:基于预设模型的第一预测模块对第二中间特征进行多目标预测,得到样本预测结果。
具体地,样本预测结果包括样本对象与样本资源在多个业务目标维度上各自的预测指标。
S708:基于样本预测结果和样本标签间的差异确定模型损失,并基于模型损失调整预设模型的参数,并基于参数调整后的预设模型进行迭代训练,重复上述S701-S707的步骤,至满足训练结束条件,得到多目标预测模型。
具体地,模型训练是不断优化模型参数,降低损失值,以收敛到更优解的过程。一些实施例中,训练结束条件可以为当前迭代次数达到预设迭代次数、模型损失低于预设损失或者当前迭代的预测准确率达到预设准确率等,可以基于实际需求设定。
一些实施例中,模型损失可以采用交叉熵损失函数(Cross Entropy LossFunction)得到。一示例中,对于具体某个业务场景下某一业务目标对应的样本输出,对应的样本数据为{x1,x2,...,xn},对应的样本标签为{y1,y2,...,yn}。y为0/1变量,0代表是负样本,即样本对象对该业务场景下某一样本资源,在该业务目标下无转化行为,1代表正样本,即有转化行为,i∈n,N为{x1,x2,...,xn}集合中的样本数量。模型输出的预测指标为{p1,p2,...pn},Loss函数的表达式如下所示,当模型对正样本打分越高,对负样本打分越低时,Loss越低,即模型预估越准确。
可以理解地,上述损失L仅为某个业务场景下某一业务目标对应的样本输出,则针对各业务场景和各业务目标分别实现损失计算,并将计算得到的各损失融合,以得到模型损失。
进一步地,确定单次迭代的模型损失后,进行梯度回传,以相应调整各模块的参数,进而实现模型更新。
具体地,在训练中结合每一业务场景的多个样本数据的业务目标预测结果与样本标签间的差异,调整预设模型中相应业务场景对应的专属场景专家网络的参数,以及结合各业务场景各自的多个样本数据的业务目标预测结果与样本标签间的差异,调整预设模型的共享场景专家网络和共享特征提取模块的参数,至满足训练结束条件;共享场景专家网络和各专属场景专家网络的参数彼此独立。具体地,而底层输入层和共享特征提取模块是采用模型损失共同训练的,实现参数共享。即在梯度回传的模型更新过程中,针对共享场景专家网络、共享特征提取模块以及输入层,采用当前迭代输入的全部样本数据的输出结果和样本标签间的差异所对应的模型损失进行参数调整,以提取各样本数据的共性特征;以及,针对每一业务场景对应的专属场景专家网络,结合该业务场景对应的样本数据的输出结果与样本标签间的差异所对应的损失部分进行参数调整,以实现各专属场景专家网络对各业务场景的特异信息的学习和表达,进而实现多场景多目标融合建模的同时,提升模型对训练数据分布的拟合能力,实现不同业务场景的差异化预测,显著提升指标预测准确性,以及显著提升搜索资源平台的消耗和GMV。
一些实施例中,预设模型的第一预测模块包括各业务目标各自对应的预测分支网络,相应地,在训练中结合每一业务目标维度上的各样本数据的业务目标预测结果和样本标签间的差异,调整预设模型中相应业务目标维度所对应的预测分支网络的参数,至满足训练结束条件;各预测分支网络的参数彼此独立。即在梯度回传过程中,采用单个业务目标对应的样本数据的输出结果和样本标签间的差异所对应的损失部分,调整其对应的预测分支网络(目标塔)的参数,以实现各目标塔的参数隔离训练,以提升不同业务目标的预测准确性,且每一预测分支网络均结合了各业务场景的样本数据进行训练和调整,使其具有针对各场景的精准预测能力。
一些实施例中,预设模型还包括第二预测模块,相应地,在训练过程中,还将样本资源侧特征、样本对象侧特征和样本搜索特征输入第二预测模块进行多目标预测,以输出第二样本预测结果,与第一预测模块输出的第一样本预测结果融合后得到样本预测结果,进而进行损失计算,得到模型损失。第一样本预测结果、第二样本预测结果与前述的第一业务目标预测结果和第二业务目标预测结果相类似。
相应地,在训练中结合各样本数据的业务目标预测结果和样本标签间的差异,调整预设模型的第二预测模块的参数,至满足训练结束条件。即梯度回传时,采用模型损失调整第二预测模块的参数,针对各业务场景和各业务目标,第二预测模块的参数共享,以此综合提取不同业务场景和不同业务目标的共性信息和特征,提升模型的泛化性能和鲁棒性,进一步提升预测准确性。
具体地,多目标预测模型是以样本数据作为输入并以样本标签作为期望输出,结合每一业务场景对应的样本数据的业务目标预测结果与相应样本标签间的差异,调整预设模型中相应业务场景对应的专属场景专家网络的参数,结合每一业务目标对应的样本数据的业务目标预测结果与相应样本标签间的差异,调整预设模型中相应业务目标对应的预测网络分支的参数,以及结合全部样本数据的业务目标预测结果与相应样本标签间的差异,调整预设模型中输入层、共享特征提取模块和共享场景专家网络的参数而获得的。如此,在训练过程中,一条样本数据只会属于特定某个场景,模型根据样本所属场景,训练对应场景塔以及共享塔的参数,而不干扰其他场景塔的参数。底层输入层参数共享,以及顶层多目标塔参数共享各业务场景的样本数据的参数调整,可以有效降低参数量,加快训练和推理效率。多次离线对比结果表明,本结构的效果指标提升最为明显。
本申请将本方案应用于离线端,采用相同的训练数据、相同epoch(批次,整个数据集迭代一次)、相同优化器,从零开始训练包括多个专属场景专家网络的预设模型和不包括场景特征提取模块的参考模型。结果表明,本方案提出的多场景多目标融合建模结构,相比参考模型方案,在主要优化目标上有显著的AUC指标提升,稳定增长0.3%。并且,在线上预测端的广告系统中进行了严格地对照实验验证,以测试本申请的有效性,系统大盘50%的搜索流量的实验报告表明,相较于参考模型方案,本申请显著提升大盘消耗,提升0.6%以上,以及显著提升GMV,数值提升7.96%以上。
一示例中,本申请的技术方案应用于广告在线推荐系统,在线广告是互联网公司重要的流量变现途径,本申请针对系统搜索流量,当目标对象输入搜索关键词,搜索广告引擎响应于提交的搜索关键词生成搜索请求,经过多个前置环节,在广告库中召回多个候选广告,并基于多目标预测模型候选广告队列中的每个候选广告进行预测,得到多目标预测结果,即每个候选广告在各业务目标上的预估转化率,如下单、咨询、激活等业务目标,进而实现广告打分。系统根据上述打分曝光优质广告,并对广告主收费,实现流量变现。本申请通过优化打分预测方案,提升了预估准确性,显著提升大盘获取的效益,优化广告主的投放体验,促进系统的良性发展。
本申请实施例还提供了一种多目标预测装置800,如图9所示,图9示出了本申请实施例提供的一种多目标预测装置的结构示意图,装置可以包括下述模块:
数据获取模块10:用于获取发起搜索请求的目标对象的对象侧特征、搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;
特征交叉模块20:用于基于共享特征提取模块对对象侧特征、搜索特征和资源侧特征进行特征交叉,得到第一中间特征;
特征映射模块30:用于基于共享场景专家网络和各专属场景专家网络中候选资源所属的业务场景所对应的专属场景专家网络,对第一中间特征进行特征映射,得到第二中间特征;
第一预测模块40:用于基于第一预测模块对第二中间特征进行多目标预测,得到多目标预测结果,多目标预测结果用于表征目标对象与候选资源在多个业务目标维度上的关联性。
一些实施例中,特征映射模块30可以包括:
第一映射子模块:用于将第一中间特征输入共享场景专家网络进行特征映射,得到第一映射特征;
第二映射子模块:用于将第一中间特征输入候选资源所属的业务场景所对应的专属场景专家网络进行特征映射,得到第二映射特征;
特征融合子模块:用于融合第一映射特征和第二映射特征,得到第二中间特征。
一些实施例中,数据获取模块10可以包括:
获取子模块:用于获取目标对象的对象数据、搜索请求的目标搜索数据和候选资源的资源数据;
特征嵌入子模块:用于基于输入层对对象数据、目标搜索数据和资源数据进行特征嵌入,得到对象侧特征、搜索特征和资源侧特征。
一些实施例中,资源数据包括资源属性数据和资源场景数据,资源属性数据为各业务场景对应的共有数据,资源场景数据为单个业务场景对应的专属数据。
一些实施例中,预设模块包括多个业务目标维度各自对应的预测分支网络,第一预测模块40可以包括:
第一预测子模块:用于将第二中间特征分别输入多个业务目标维度各自对应的预测分支网络进行业务目标预测,并基于各预测分支网络输出的业务目标预测结果得到多目标预测结果,业务目标预测结果用于表征在其相应的业务目标维度上目标对象与候选资源间的关联性。
另一些实施例中,预设模块包括多个业务目标维度各自对应的预测分支网络,多目标预测模型还包括第二预测模块,第一预测模块40可以包括:
第一预测子模块:用于将第二中间特征分别输入多个业务目标维度各自对应的预测分支网络进行业务目标预测,得到多个业务目标维度各自对应的第一业务目标预测结果;
第二预测子模块:用于将对象侧特征、搜索特征和资源侧特征输入第二预测模块进行多目标预测,得到多个业务目标维度各自对应的第二业务目标预测结果;
结果融合子模块:用于对多个业务目标维度中的每一业务目标维度,融合第一业务目标预测结果和第二业务目标预测结果,得到多个业务目标维度各自的融合目标结果;
结果生成子模块:用于基于多个业务目标维度各自的融合目标结果生成多目标预测结果。
一些实施例中,装置还包括:
样本获取模块:用于获取样本集和多目标预测模型对应的预设模型,样本集包括至少两种业务场景各自的多个样本数据和每一样本数据的样本标签,样本标签用于指示样本对象和样本资源在多个业务目标维度中的至少部分业务目标维度上的真值结果;
训练模块:用于以样本数据作为输入并以样本标签作为期望输出,对预设模型进行业务目标预测的约束训练,得到多目标预测模型;
在训练中结合每一业务场景的多个样本数据的业务目标预测结果与样本标签间的差异,调整预设模型中相应业务场景对应的专属场景专家网络的参数,以及结合各业务场景各自的多个样本数据的业务目标预测结果与样本标签间的差异,调整预设模型的共享场景专家网络和共享特征提取模块的参数,至满足训练结束条件;共享场景专家网络和各专属场景专家网络的参数彼此独立。
一些实施例中,训练模块用于:在训练中结合每一业务目标维度上的各样本数据的业务目标预测结果和样本标签间的差异,调整预设模型中相应业务目标维度所对应的预测分支网络的参数,至满足训练结束条件;各预测分支网络的参数彼此独立。
一些实施例中,训练模块用于:在训练中结合各样本数据的业务目标预测结果和样本标签间的差异,调整预设模型的第二预测模块的参数,至满足训练结束条件。
需要说明的是,上述装置实施例与方法实施例基于相同的实施方式。
本申请实施例提供了一种设备,该设备可以为终端或服务器,包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的多目标预测方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及异常检测。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图10是本申请实施例提供的一种多目标预测方法的电子设备的硬件结构框图。如图10所示,该电子设备900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930,一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中,存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备中的一系列指令操作。更进一步地,中央处理器910可以设置为与存储介质920通信,在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口940,和/或,一个或一个以上操作系统921,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中,输入输出接口940包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口940可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备900还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质,存储介质可设置于电子设备之中以保存用于实现方法实施例中一种异常检测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的异常检测方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
由上述本申请提供的多目标预测方法、装置、设备、存储介质、服务器、终端和程序产品,通过首先获取发起搜索请求的目标对象的对象侧特征、搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,结合对象侧和资源侧特征的同时,加入搜索特征进行目标预测,提升搜索场景的信息完整性和特征关联性,使模型学习和理解更多搜索场景信息,提升预测准确性;多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;基于共享特征提取模块对对象侧特征、搜索特征和资源侧特征进行特征交叉,得到第一中间特征;然后基于共享场景专家网络和各专属场景专家网络中候选资源所属的业务场景所对应的专属场景专家网络,对第一中间特征进行特征映射,得到第二中间特征;进而基于第一预测模块对第二中间特征进行多目标预测,得到多目标预测结果,多目标预测结果用于表征目标对象与候选资源在多个业务目标维度上的关联性。如此,通过同一预测模型进行多个目标的协同预测,显著降低训练成本和应用成本,且通过专属场景专家网络和多目标预测模块的分层构建,实现不同业务场景和不同业务目标的差异性知识学习,提升不同业务场景和不同业务目标下特征提取的准确性和场景匹配性,实现融合多场景和多目标的建模,增强模型对宽分布数据的拟合能力,以及针对不同场景和目标的信息表达能力,同时通过共享特征提取模块和共享场景专家网络学习和提取各种不同业务场景和业务目标的共性特征信息,提升模型的泛化性能和鲁棒性。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种多目标预测方法,其特征在于,所述方法包括:
获取发起搜索请求的目标对象的对象侧特征、所述搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,所述多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,所述场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;
基于所述共享特征提取模块对所述对象侧特征、所述搜索特征和所述资源侧特征进行特征交叉,得到第一中间特征;
基于所述共享场景专家网络和各所述专属场景专家网络中所述候选资源所属的业务场景所对应的专属场景专家网络,对所述第一中间特征进行特征映射,得到第二中间特征;
基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果,所述多目标预测结果用于表征所述目标对象与所述候选资源在多个业务目标维度上的关联性。
2.根据权利要求1所述的方法,其特征在于,所述基于所述共享场景专家网络和各所述专属场景专家网络中所述候选资源所属的业务场景所对应的专属场景专家网络,对所述第一中间特征进行特征映射,得到第二中间特征包括:
将所述第一中间特征输入所述共享场景专家网络进行特征映射,得到第一映射特征;
将所述第一中间特征输入所述候选资源所属的业务场景所对应的专属场景专家网络进行特征映射,得到第二映射特征;
融合所述第一映射特征和所述第二映射特征,得到所述第二中间特征。
3.根据权利要求1所述的方法,其特征在于,多目标预测模型还包括输入层,所述获取发起搜索请求的目标对象的对象侧特征、所述搜索请求的搜索特征、候选资源的资源侧特征包括:
获取所述目标对象的对象数据、所述搜索请求的目标搜索数据和所述候选资源的资源数据;
基于所述输入层对所述对象数据、所述目标搜索数据和所述资源数据进行特征嵌入,得到所述对象侧特征、所述搜索特征和所述资源侧特征。
4.根据权利要求1所述的方法,其特征在于,所述资源数据包括资源属性数据和资源场景数据,所述资源属性数据为各业务场景对应的共有数据,所述资源场景数据为单个业务场景对应的专属数据。
5.根据权利要求1所述的方法,其特征在于,所述预设模块包括所述多个业务目标维度各自对应的预测分支网络,所述基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果包括:
将所述第二中间特征分别输入所述多个业务目标维度各自对应的预测分支网络进行业务目标预测,并基于各所述预测分支网络输出的业务目标预测结果得到所述多目标预测结果,所述业务目标预测结果用于表征在其相应的业务目标维度上所述目标对象与所述候选资源间的关联性。
6.根据权利要求1所述的方法,其特征在于,所述预设模块包括所述多个业务目标维度各自对应的预测分支网络,所述多目标预测模型还包括第二预测模块,所述基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果包括:
将所述第二中间特征分别输入所述多个业务目标维度各自对应的预测分支网络进行业务目标预测,得到所述多个业务目标维度各自对应的第一业务目标预测结果;
将所述对象侧特征、所述搜索特征和所述资源侧特征输入所述第二预测模块进行多目标预测,得到所述多个业务目标维度各自对应的第二业务目标预测结果;
对所述多个业务目标维度中的每一所述业务目标维度,融合所述第一业务目标预测结果和所述第二业务目标预测结果,得到所述多个业务目标维度各自的融合目标结果;
基于所述多个业务目标维度各自的融合目标结果生成所述多目标预测结果。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述多目标预测模型的获取方式包括:
获取样本集和所述多目标预测模型对应的预设模型,所述样本集包括所述至少两种业务场景各自的多个样本数据和每一样本数据的样本标签,所述样本标签用于指示样本对象和样本资源在所述多个业务目标维度中的至少部分业务目标维度上的真值结果;
以所述样本数据作为输入并以所述样本标签作为期望输出,对所述预设模型进行业务目标预测的约束训练,得到所述多目标预测模型;
在训练中结合每一业务场景的多个样本数据的业务目标预测结果与所述样本标签间的差异,调整所述预设模型中相应业务场景对应的专属场景专家网络的参数,以及结合各业务场景各自的多个样本数据的业务目标预测结果与所述样本标签间的差异,调整所述预设模型的共享场景专家网络和共享特征提取模块的参数,至满足训练结束条件;所述共享场景专家网络和各所述专属场景专家网络的参数彼此独立。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在训练中结合每一业务目标维度上的各样本数据的业务目标预测结果和所述样本标签间的差异,调整所述预设模型中相应业务目标维度所对应的预测分支网络的参数,至满足所述训练结束条件;各所述预测分支网络的参数彼此独立。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在训练中结合各样本数据的业务目标预测结果和所述样本标签间的差异,调整所述预设模型的第二预测模块的参数,至满足所述训练结束条件。
10.一种多目标预测装置,其特征在于,所述装置包括:
数据获取模块:用于获取发起搜索请求的目标对象的对象侧特征、所述搜索请求的搜索特征、候选资源的资源侧特征和多目标预测模型,所述多目标预测模型包括共享特征提取模块、场景特征提取模块和第一预测模块,所述场景特征提取模块包括共享场景专家网络和至少两种业务场景各自对应的专属场景专家网络;
特征交叉模块:用于基于所述共享特征提取模块对所述对象侧特征、所述搜索特征和所述资源侧特征进行特征交叉,得到第一中间特征;
特征映射模块:用于基于所述共享场景专家网络和各所述专属场景专家网络中所述候选资源所属的业务场景所对应的专属场景专家网络,对所述第一中间特征进行特征映射,得到第二中间特征;
第一预测模块:用于基于所述第一预测模块对所述第二中间特征进行多目标预测,得到多目标预测结果,所述多目标预测结果用于表征所述目标对象与所述候选资源在多个业务目标维度上的关联性。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-9中任一项所述的多目标预测方法。
12.一种计算机设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-9中任一项所述的多目标预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311506813.3A CN117636141A (zh) | 2023-11-13 | 2023-11-13 | 多目标预测方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311506813.3A CN117636141A (zh) | 2023-11-13 | 2023-11-13 | 多目标预测方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117636141A true CN117636141A (zh) | 2024-03-01 |
Family
ID=90020795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311506813.3A Pending CN117636141A (zh) | 2023-11-13 | 2023-11-13 | 多目标预测方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117636141A (zh) |
-
2023
- 2023-11-13 CN CN202311506813.3A patent/CN117636141A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022041979A1 (zh) | 一种信息推荐模型的训练方法和相关装置 | |
CN111061946B (zh) | 场景化内容推荐方法、装置、电子设备及存储介质 | |
CN111966914B (zh) | 基于人工智能的内容推荐方法、装置和计算机设备 | |
CN110162693A (zh) | 一种信息推荐的方法以及服务器 | |
CN111506820B (zh) | 推荐模型、方法、装置、设备及存储介质 | |
CN115917535A (zh) | 推荐模型的训练方法、推荐方法、装置及计算机可读介质 | |
KR102326744B1 (ko) | 사용자 참여형 키워드 선정 시스템의 제어 방법, 장치 및 프로그램 | |
CN111274330A (zh) | 一种目标对象确定方法、装置、计算机设备及存储介质 | |
CN113722583A (zh) | 推荐方法、推荐模型训练方法及相关产品 | |
CN113946754A (zh) | 基于用户画像的权益推荐方法、装置、设备及存储介质 | |
CN111506821B (zh) | 推荐模型、方法、装置、设备及存储介质 | |
CN116205700A (zh) | 目标产品的推荐方法、装置、计算机设备和存储介质 | |
Nazari et al. | Scalable and data-independent multi-agent recommender system using social networks analysis | |
CN116957128A (zh) | 业务指标预测方法、装置、设备和存储介质 | |
CN117057855A (zh) | 一种数据处理方法及相关装置 | |
Latha et al. | Product recommendation using enhanced convolutional neural network for e-commerce platform | |
WO2023284516A1 (zh) | 基于知识图谱的信息推荐方法、装置、设备、介质及产品 | |
CN117636141A (zh) | 多目标预测方法、装置、设备和介质 | |
CN114817697A (zh) | 标签信息的确定方法、装置、电子设备以及存储介质 | |
CN111860870A (zh) | 交互行为确定模型的训练方法、装置、设备及介质 | |
CN116628236B (zh) | 多媒体信息的投放方法、装置、电子设备及存储介质 | |
CN114298118B (zh) | 一种基于深度学习的数据处理方法、相关设备及存储介质 | |
Yuyao | Multi-round tag recommendation algorithm for shopping guide robots | |
CN116956996A (zh) | 数据处理方法、装置、介质及设备 | |
KR20240000837A (ko) | 이종 목표들로 학습된 단일-클래스 협업 필터링 기반의 아이템 추천 방법 및 서비스 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |