CN115168722A - 内容交互预测方法以及相关设备 - Google Patents

内容交互预测方法以及相关设备 Download PDF

Info

Publication number
CN115168722A
CN115168722A CN202210835659.3A CN202210835659A CN115168722A CN 115168722 A CN115168722 A CN 115168722A CN 202210835659 A CN202210835659 A CN 202210835659A CN 115168722 A CN115168722 A CN 115168722A
Authority
CN
China
Prior art keywords
target
feature
interaction
content
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210835659.3A
Other languages
English (en)
Inventor
谢若冰
朱勇椿
张绍亮
夏锋
林乐宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210835659.3A priority Critical patent/CN115168722A/zh
Publication of CN115168722A publication Critical patent/CN115168722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种内容交互预测方法以及相关设备,相关实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景;可以对目标内容进行交互操作上的特征分析处理,得到目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征;基于目标第一操作特征,确定目标内容在第一交互操作上的初始预测交互结果;将目标第二操作特征和目标共享操作特征进行特征强化处理,得到强化后操作特征;根据强化后操作特征预测第二交互操作对第一交互操作产生的负面噪声信息;基于负面噪声信息对初始预测交互结果进行修正,得到目标预测交互结果。本申请可以提高在第一交互操作上的交互结果的预测准确性。

Description

内容交互预测方法以及相关设备
技术领域
本申请涉及计算机技术领域,具体涉及一种内容交互预测方法以及相关设备。
背景技术
随着人工智能技术的快速发展,越来越多的应用场景利用人工智能技术为用户推荐个性化的内容,以提高用户的交互体验。
相关技术在为用户推荐内容的过程中,一般会通过多任务模型预测各个候选内容对应的点击概率、以及阅读时长,进而根据预测到的点击概率和阅读时长从候选内容中选取向用户推荐的目标内容。但是,目前的多任务模型一般过于关注拥有丰富监督信号的任务(如点击概率的预估),使得在拥有较少监督信号的任务(如阅读时长的预估)上的预测效果较差。
发明内容
本申请实施例提供一种内容交互预测方法以及相关设备,相关设备可以包括内容交互预测装置、电子设备、计算机可读存储介质和计算机程序产品,可以提高在第一交互操作上的交互结果的预测准确性。
本申请实施例提供一种内容交互预测方法,包括:
获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;
基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;
将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;
根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;
基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
相应的,本申请实施例提供一种内容交互预测装置,包括:
获取单元,用于获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;
确定单元,用于基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;
强化单元,用于将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;
预测单元,用于根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;
修正单元,用于基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
可选的,在本申请的一些实施例中,所述获取单元可以包括特征提取子单元和特征交互子单元,如下:
所述特征提取子单元,用于提取所述目标内容在第一交互操作上的第一操作特征、在第二交互操作上的第二操作特征、以及共享操作特征;
特征交互子单元,用于对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征。
可选的,在本申请的一些实施例中,所述特征交互子单元具体可以用于将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新;将所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第二操作特征进行更新;将所述第一操作特征、所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述共享操作特征进行更新;返回执行所述将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新的步骤,直到得到满足预设特征交互条件的目标共享操作特征、所述第一交互操作对应的目标第一操作特征和所述第二交互操作对应的目标第二操作特征。
可选的,在本申请的一些实施例中,所述强化单元可以包括第一融合子单元、第一全连接子单元和第二融合子单元,如下:
所述第一融合子单元,用于对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
第一全连接子单元,用于对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
第二融合子单元,用于将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征。
可选的,在本申请的一些实施例中,所述第二融合子单元具体可以用于分别对所述目标共享操作特征和所述第二融合后特征信息进行特征选取处理,得到第一特征信息和第二特征信息;对所述第一特征信息和所述第二特征信息、所述目标特征信息进行融合,得到针对所述第二交互操作的强化后操作特征。
可选的,在本申请的一些实施例中,所述确定单元可以包括第三融合子单元、第二全连接子单元和第一确定子单元,如下:
所述第三融合子单元,用于对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
第二全连接子单元,用于对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
第一确定子单元,用于基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选的,在本申请的一些实施例中,所述第一确定子单元具体可以用于对所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合后特征信息;对所述第二融合后特征信息进行特征选取处理,得到第二特征信息;根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选的,在本申请的一些实施例中,所述获取单元具体可以用于通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征。
可选的,在本申请的一些实施例中,该内容交互预测装置还可以包括训练单元,该训练单元用于对内容交互预测模型进行训练;具体地,该训练单元可以包括数据获取子单元、特征分析子单元、第二确定子单元、强化子单元、预测子单元和调整子单元,如下:
所述数据获取子单元,用于获取训练数据,所述训练数据包括样本内容、所述样本内容在所述第一交互操作上的第一期望交互结果、以及在所述第二交互操作上的第二期望交互结果;
特征分析子单元,用于通过内容交互预测模型,对所述样本内容进行交互操作上的特征分析处理,得到所述样本内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征;
第二确定子单元,用于分别基于所述目标第一操作特征和所述目标第二操作特征,确定所述样本内容在所述第一交互操作上的初始第一实际交互结果、以及在所述第二交互操作上的第二实际交互结果;
强化子单元,用于将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后样本操作特征;
预测子单元,用于根据所述强化后样本操作特征,预测所述第二交互操作对所述第一交互操作产生的实际负面噪声信息;并基于所述实际负面噪声信息,对所述初始第一实际交互结果进行修正,得到目标第一实际交互结果;
调整子单元,用于根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
可选的,在本申请的一些实施例中,所述调整子单元具体可以用于计算所述初始第一实际交互结果和所述第一期望交互结果之间的第一损失值;计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值;计算所述第二实际交互结果和所述第二期望交互结果之间的第三损失值;根据所述第一损失值、所述第二损失值和所述第三损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
可选的,在本申请的一些实施例中,步骤“计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值”,可以包括:
基于所述第一损失值和所述第三损失值,计算所述样本内容对应的权重信息;
对所述目标第一实际交互结果和所述第一期望交互结果进行损失计算,得到初始第二损失值;
将所述权重信息和所述初始第二损失值进行融合,得到第二损失值。
本申请实施例提供的一种电子设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令,以执行本申请实施例提供的内容交互预测方法中的步骤。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本申请实施例提供的内容交互预测方法中的步骤。
此外,本申请实施例还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现本申请实施例提供的内容交互预测方法中的步骤。
本申请实施例提供了一种内容交互预测方法以及相关设备,可以获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。本申请可以通过捕获第二交互操作对第一交互操作产生的负面噪声信息,来修正目标内容在第一交互操作上的预测交互结果,提高了在第一交互操作上的交互结果的预测准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的内容交互预测方法的场景示意图;
图1b是本申请实施例提供的内容交互预测方法的流程图;
图1c是本申请实施例提供的内容交互预测方法的模型架构图;
图1d是本申请实施例提供的内容交互预测方法的说明图;
图2是本申请实施例提供的内容交互预测方法的另一流程图;
图3是本申请实施例提供的内容交互预测装置的结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种内容交互预测方法以及相关设备,相关设备可以包括内容交互预测装置、电子设备、计算机可读存储介质和计算机程序产品。该内容交互预测装置具体可以集成在电子设备中,该电子设备可以是终端或服务器等设备。
可以理解的是,本实施例的内容交互预测方法可以是在终端上执行的,也可以是在服务器上执行,还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
如图1a所示,以终端和服务器共同执行内容交互预测方法为例。本申请实施例提供的内容交互预测系统包括终端10和服务器11等;终端10与服务器11之间通过网络连接,比如,通过有线或无线网络连接等,其中,内容交互预测装置可以集成在服务器中。
其中,服务器11,可以用于:获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。其中,服务器11可以是单台服务器,也可以是由多个服务器组成的服务器集群或云服务器。本申请所公开的内容交互预测方法或装置,其中多个服务器可组成为一区块链,而服务器为区块链上的节点。
其中,终端10,可以用于:接收服务器11发送的所述目标内容在所述第一交互操作上的目标预测交互结果,并基于该目标预测交互结果进行内容推荐。其中,终端10可以包括手机、智能语音交互设备、智能家电、车载终端、飞行器、平板电脑、笔记本电脑、或个人计算机(PC,Personal Computer)等。终端10上还可以设置客户端,该客户端可以是应用程序客户端或浏览器客户端等等。
上述服务器11中进行内容交互预测等步骤,也可以由终端10执行。
本申请实施例提供的内容交互预测方法涉及人工智能领域中的自然语言处理和机器学习。
其中,人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从内容交互预测装置的角度进行描述,该内容交互预测装置具体可以集成在电子设备中,该电子设备可以是服务器或终端等设备。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息,如阅读时长等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请实施例的内容交互预测方法可以应用于内容推荐等场景中。本实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。
如图1b所示,该内容交互预测方法的具体流程可以如下:
101、获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作。
其中,目标内容为待预测交互结果的内容,待预测的交互结果具体可以包括在第一交互操作上的交互结果,也可以是在第二交互操作上的交互结果,本实施例对此不作限制。需要说明的是,目标内容的内容形式可以包括文本、音频、图像和视频等。
其中,目标共享操作特征为第一交互操作和第二交互操作共享的特征;目标第一操作特征可以视为第一交互操作的独有特征,目标第二操作特征可以视为第二交互操作的独有特征。
其中,第二交互操作为第一交互操作依赖的前置操作,二者在操作时间上存在依赖关系,第二交互操作的操作时间位于第一交互操作的操作时间之前。比如,在具体场景中,目标内容为向目标对象推荐的内容,第二交互操作为对内容的点击操作,第一交互操作为针对内容的阅读时长或分享操作等,预测在第二交互操作上的交互结果具体可以是预测目标对象是否点击该目标内容,预测在第一交互操作上的交互结果具体可以是预测目标对象对目标内容的阅读时长,或者是否会分享该目标内容。可以理解的是,目标对象需要先点击该目标内容,才可以进行目标内容的阅读或分享,因此,点击为阅读时长或分享对应的前置操作。
由于第一交互操作和第二交互操作二者的操作时间存在依赖关系,因此,若使用同一个内容交互预测模型预测在第一交互操作和第二交互操作上的交互结果,则模型训练过程中二者的样本数量会相差较多,导致第一交互操作具有较少监督信号,第二交互操作具有较多监督信号。
具体来说,第一交互操作(如阅读时长)和第二交互操作(如点击操作)联合训练时,存在一些任务特定的问题:
一是阅读时长相比于点击操作的数据稀疏问题。例如在一些真实推荐系统中,只有少部分的曝光文章被点击阅读,这表明为训练阅读时长的预测任务而收集的数据普遍远低于点击的预测任务,这将产生一个问题——多任务学习模型的共享参数部分(如共享特征嵌入和底层共享专家层)主要是在点击信号的监督下进行优化。具体地,共享参数占多任务学习模型总参数的99%以上,这表明多任务模型中对点击任务的优化占主导地位,而对阅读时长任务的优化不足。
二是点击操作与阅读时长之间的复杂关系与深度耦合。用户与目标内容的交互操作遵循着“曝光-点击-阅读”的行为顺序模式,因此点击操作与阅读时长之间存在高度依赖和严重耦合关系。尽管二者的相关性很强,但两个目标之间依然存在冲突,这就导致共同优化时某个目标的效果下降。比如一篇标题吸睛的文章,其内容可能质量不好,用户点击后很快就关闭了这篇文章,这就导致这篇文章点击高但阅读时长短。
在目前的相关技术中,预测点击操作和阅读时长的多任务模型往往忽略点击对阅读时长的负面影响,由于多任务模型存在的跷跷板效应——模型过于关注拥有丰富监督信号的任务(如点击预估),使得在拥有较少监督信号的任务(如阅读时长预估)上效果较差,也即使得对第一交互操作对应交互结果的预测不准确,现有模型无法在点击预估和阅读时长预估两个目标上都取得较好的效果。
本申请的内容交互预测方法可以提供一种多任务因果框架,通过引入因果推断来显式地捕获并去除这种负面影响,以提升阅读时长的预估效果。
其中,因果推断是统计学中的一个研究领域,用于分析变量之间的因果关系;本实施例中,第一交互操作依赖于第二交互操作,二者可以视作存在因果关系。
可选地,本实施例中,步骤“对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征”,可以包括:
通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征。
其中,该内容交互预测模型具体为神经网络模型,该神经网络可以是残差网络(ResNet,Residual Network)、或者密集连接卷积网络(DenseNet,Dense ConvolutionalNetwork)等,应当理解的是,本实施例的神经网络并不仅限于上述列举的几种类型。
具体地,该内容交互预测模型为多任务模型,它可以包括多层结构的特征提取网络和与所述目标多任务中各任务对应的塔网络;所述特征提取网络的每一层包括各所述任务对应的多个专家网络以及门控网络。比如,该内容交互预测模型可以包括第一交互操作对应的预测任务和第二交互操作对应的预测任务二者对应的多层特征提取网络和塔网络。
其中,特征提取网络可以用于提取各任务的独有特征和共享特征,塔网络可以用于满足各任务的具体应用需求,如分类任务或预测任务。在每一层特征提取网络中,均设有各任务对应的多个专家网络和门控网络,专家网络可以包括任务共享专家和任务专属专家。
其中,在多任务学习过程中,可以通过使用门控网络对专家网络的输出进行权重的控制;通过输出权重,对多任务模型当中的专家网络进行选择控制。门控网络可以用于对专家网络提取的特征数据进行融合,不同任务对应的门控网络输出的专家网络权重是不同的,得到的各任务在该层级的特征融合数据因而具有差异性,由于门控网络的权重分配,不同的专家网络可以从不同角度学习到不同的信号;再将各任务对应的特征融合数据作为下一层级的特征提取网络的输入,从而进行特征交互,直至最后输入至各任务对应的塔网络,得到各任务的处理结果。在该内容交互预测模型中,对于每一个任务,对应的门控网络也是多层的,层数与特征提取网络的层数相同。本实施例中,在处理多个关联任务的场景下既区分了任务的特异性,又融合了任务之间的相关性,可以有效提升模型的泛化能力和处理结果准确性。
其中,专家网络可以基于相同的表征输入,针对不同任务采用不同的网络结构与参数。对于各任务的塔网络,可以采用相同的网络框架,也可以采用不同的网络框架,使多任务模型具有灵活变动性。
其中,多任务学习(Multi-task learning,MTL)是机器学习中的一个领域,是一种基于共享表征数据,把多个相关的任务放在一起的一种机器学习方式,同时也是迁移学习的一种。该学习方式将不同任务学习到相关领域的信息,然后基于这部分领域的信息在模型中进行共享,通过多个任务相互学习,相互共享,以提升模型泛化能力与效果。
在一具体实施例中,如图1c所示,为内容交互预测模型的模型结构图,该内容交互预测模型可以由底部的多层专家网络(Experts)和顶部的任务专属塔(Tower)网络组成,以学习每一个输入的嵌入式向量的高阶交互。每个专家模块由多个子网络组成,每个子网络称之为专家。在专家模块中,任务共享专家和任务专属专家显式地分开,以避免任务之间相互干扰;而门控网络用于结合低一层专家的知识。
其中,具体地,该内容交互预测模型可以用于预测在第一交互操作上的交互结果,记为任务T;该内容交互预测模型还可以用于预测在第二交互操作上的交互结果,记为任务C,门控网络用G表示。
其中,第j层专家网络中任务k的门控网络公式如式子(1)所示:
gk,j(x)=wk,j(gk,j-1(x))Sk,j(x) (1)
其中,x是输入的嵌入式向量,wk,j是任务k的权重函数,其结构基于以Softmax为激活函数的单层网络,如式子(2)所示:
Figure BDA0003747975100000121
其中,
Figure BDA0003747975100000122
是参数矩阵。注意第一层的门控网络略有不同,第一层的门控网络对应的公式如式子(3)所示:
gk,1(x)=wk,1(x)Sk,1(x) (3)
其中,Sk,j是第j层网络中任务k的选择矩阵,由选择向量组成,包括共享专家和任务k的专属专家,如式子(4)所示:
Figure BDA0003747975100000131
其中,
Figure BDA0003747975100000132
等分别为第j层网络中任务k专属的单个专家,共有mk个任务专属专家,
Figure BDA0003747975100000133
等分别为第j层网络中任务共享的单个专家,共有mS个任务共享专家。需要说明的是,共享专家模块的选择矩阵略有不同,由所有共享专家和任务专属专家组成。
可选地,本实施例中,步骤“对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征”,可以包括:
提取所述目标内容在第一交互操作上的第一操作特征、在第二交互操作上的第二操作特征、以及共享操作特征;
对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征。
具体地,可以将目标内容在各个维度上的内容信息输入到内容交互预测模型中,目标内容在各个维度上的内容信息可以包括内容标题、内容发布者信息、内容封面、内容本身信息等。
其中,通过内容交互预测模型对目标内容进行交互操作上的特征分析处理,如图1c所示,具体可以通过第一层的任务专属专家T提取得到第一操作特征,通过第一层的任务专属专家C提取得到第二操作特征,通过第一层的任务共享专家提取得到共享操作特征;再通过接下来各层的特征提取网络对第一操作特征、第二操作特征以及共享操作特征进行特征交互处理,使得最后一层的任务专属专家T输出目标第一操作特征,最后一层的任务专属专家C输出目标第二操作特征,最后一层的任务共享专家输出目标共享操作特征。
可选地,本实施例中,步骤“对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征”,可以包括:
将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新;
将所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第二操作特征进行更新;
将所述第一操作特征、所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述共享操作特征进行更新;
返回执行所述将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新的步骤,直到得到满足预设特征交互条件的目标共享操作特征、所述第一交互操作对应的目标第一操作特征和所述第二交互操作对应的目标第二操作特征。
其中,预设特征交互条件可以根据实际情况进行设置,本实施例对此不作限制。比如,预设特征交互条件具体可以是更新次数达到预设次数。一些实施例中,预设特征交互条件可以根据内容交互预测模型中特征提取网络的层数确定。
其中,可以通过门控网络对第一操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务专属专家T,并基于下一层任务专属专家T的输出特征,对第一操作特征进行更新,具体可以是将经过下一层任务专属专家T处理的输出特征确定为新的第一操作特征。
其中,可以通过门控网络对第二操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务专属专家C,并基于下一层任务专属专家C的输出特征,对第二操作特征进行更新,具体可以是将经过下一层任务专属专家C处理的输出特征确定为新的第二操作特征。
其中,可以通过门控网络对第一操作特征、第二操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务共享专家,并基于下一层任务共享专家的输出特征,对共享操作特征进行更新,具体可以是将经过下一层任务共享专家处理的输出特征确定为新的共享操作特征。
102、基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选的,本实施例中,步骤“基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
将所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合操作特征;
基于所述第一融合操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,可以通过门控网络对目标共享操作特征和目标第一操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第一融合操作特征作为内容交互预测模型中塔网络T的输入,经过塔网络T的处理,得到所述目标内容在第一交互操作上的初始预测交互结果。
其中,塔网络T可以是神经网络结构,它可以包括卷积层和全连接层等,本实施例对此不作限制。具体地,塔网络T可以包括多层感知器(MLP,Multilayer Perceptron)。通过多层感知器对第一融合操作特征进行全连接处理,预测目标内容在第一交互操作上属于各个预设交互结果的概率,并根据概率,确定目标内容在第一交互操作上的初始预测交互结果。
其中,一些实施例中,可以将概率最大的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果;另一些实施例中,也可以是将概率大于预设值的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果。
例如,第一交互操作为对目标内容的阅读时长,则可以根据实际情况划分阅读时长区间,比如,阅读时长区间可以划分为阅读时间小于3分钟、阅读时间处于3到10分钟之间、以及阅读时间大于10分钟三个子区间,则第一交互操作对应的预设交互结果可以包括这三个子区间对应的三种情况。
又例如,第一交互操作为对目标内容的分享操作,则第一交互操作对应的预设交互结果可以包括分享和不分享两种情况。
可选地,本实施例中,该内容交互预测方法还可以包括:
基于所述目标第二操作特征,确定所述目标内容在所述第二交互操作上的预测交互结果。
其中,一些实施例中,步骤“基于所述目标第二操作特征,确定所述目标内容在所述第二交互操作上的预测交互结果”,可以包括:
将所述目标共享操作特征和所述目标第二操作特征进行融合,得到第二融合操作特征;
基于所述第二融合操作特征,确定所述目标内容在所述第二交互操作上的预测交互结果。
其中,可以通过门控网络对目标共享操作特征和目标第二操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第二融合操作特征作为内容交互预测模型中塔网络C的输入,经过塔网络C的处理,得到所述目标内容在第二交互操作上的预测交互结果。
其中,塔网络C可以是神经网络结构,它可以包括卷积层和全连接层等,本实施例对此不作限制。具体地,塔网络C可以包括多层感知器(MLP,Multilayer Perceptron)。通过多层感知器对第二融合操作特征进行全连接处理,预测目标内容在第二交互操作上属于各个预设交互结果的概率,并根据概率,确定目标内容在第二交互操作上的预测交互结果。
其中,一些实施例中,可以将概率最大的预设交互结果确定为目标内容在第二交互操作上的预测交互结果;另一些实施例中,也可以是将概率大于预设值的预设交互结果确定为目标内容在第二交互操作上的预测交互结果。
例如,第二交互操作为对目标内容的点击操作,则第二交互操作对应的预设交互结果可以包括点击和不点击两种情况。
可选地,本实施例中,步骤“基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,可以通过门控网络对目标第二操作特征和目标共享操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第二融合后特征信息作为内容交互预测模型中塔网络C的输入,经过塔网络C的全连接处理,得到第二交互操作对应的目标特征信息。
可选地,本实施例中,步骤“基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
对所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合后特征信息;
对所述第二融合后特征信息进行特征选取处理,得到第二特征信息;
根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,可以通过门控网络对目标共享操作特征和目标第一操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。
其中,可以将第二融合后特征信息作为内容交互预测模型中门控网络gr的输入,通过门控网络gr进行特征选取处理,得到第二特征信息。
其中,步骤“根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
将所述目标特征信息、所述第一融合后特征信息和所述第二特征信息进行融合,得到目标交互特征;
基于所述目标交互特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,该融合方式有多种,可以是加权融合,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的目标交互特征作为内容交互预测模型中塔网络T的输入,经过塔网络T的处理,得到所述目标内容在第一交互操作上的初始预测交互结果。
具体地,塔网络T可以包括多层感知器(MLP,Multilayer Perceptron)。通过多层感知器对目标交互特征进行全连接处理,预测目标内容在第一交互操作上属于各个预设交互结果的概率,并根据概率,确定目标内容在第一交互操作上的初始预测交互结果。
其中,一些实施例中,可以将概率最大的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果;另一些实施例中,也可以是将概率大于预设值的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果。
在一具体实施例中,目标第二操作特征具体为该内容交互预测模型中最后一层任务专属专家C的输出,目标共享操作特征具体为该内容交互预测模型中最后一层任务共享专家的输出,通过门控网络gC,L对目标第二操作特征和目标共享操作特征进行融合,可以得到第二融合后特征信息,第二融合后特征信息可以记为gC,L(x),x表示输入的嵌入式向量;将gC,L(x)作为塔网络C的输入,经过塔网络C的全连接处理,得到第二交互操作对应的目标特征信息,目标特征信息可以记为t′C(gC,L(x))。
其中,t′C可以表示塔网络C的前几层,具体可以是仅除了全连接层以外的其他层,这是因为全连接层的输出是一个标量,包含信息太少。
另外,通过门控网络gr对第二融合后特征信息gC,L(x)进行特征选取处理,得到第二特征信息,第二特征信息可以记为gr(gC,L(x)),则目标特征信息和第二特征信息的融合结果可以如式子(5)所示:
rC(x)=gr(gC,L(x))t′C(gC,L(x)) (5)
其中,再将该融合结果rC(x)与第一融合后特征信息进行融合,即可得到目标交互特征。
103、将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征。
可选地,本实施例中,步骤“将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征”,可以包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征。
其中,可以通过门控网络对目标第二操作特征和目标共享操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第二融合后特征信息作为内容交互预测模型中塔网络C的输入,经过塔网络C的全连接处理,得到第二交互操作对应的目标特征信息。
可选地,本实施例中,步骤“将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征”,可以包括:
分别对所述目标共享操作特征和所述第二融合后特征信息进行特征选取处理,得到第一特征信息和第二特征信息;
对所述第一特征信息和所述第二特征信息、所述目标特征信息进行融合,得到针对所述第二交互操作的强化后操作特征。
其中,一些实施例中,可以通过门控网络对目标共享操作特征进行特征选取处理,得到第一特征信息。
其中,可以将第二融合后特征信息作为内容交互预测模型中门控网络gr的输入,通过门控网络gr进行特征选取处理,得到第二特征信息。
其中,可以对第一特征信息和第二特征信息、目标特征信息的融合方式有多种,本实施例对此不作限制,比如,该融合方式可以是拼接处理,也可以是加权运算等。通过融合处理,可以得到针对所述第二交互操作的强化后操作特征。
其中,可以先对目标特征信息和第二特征信息进行融合,再将二者的融合结果rC(x)与第一特征信息进行融合,即可得到强化后操作特征。其中,目标特征信息t′C(gC,L(x))和第二特征信息gr(gC,L(x))的融合过程可以如步骤102中的式子(5)所示。
在一具体实施例中,第一交互操作为阅读时长,第二交互操作为点击操作,通过特征强化处理,可以增强点击目标来逼近真实的负面影响,最后从原来的阅读时长预估中减去该负面影响,以达到缓解点击对时长的负面影响,强化积极影响的目的。
104、根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
其中,由于强化后操作特征融合了第二交互操作对应的塔网络C的特征输出,因此强化后操作特征为对第二交互操作强化了的特征。
其中,本实施例中,可以通过内容交互预测模型中的负面噪声建模模块基于强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。具体地,可以将强化后操作特征输入到负面噪声建模模块,通过负面噪声建模模块对其进行处理,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
其中,负面噪声建模模块可以包括多层感知器(MLP,Multilayer Perceptron)。通过多层感知器对强化后操作特征进行全连接处理,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
105、基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
其中,负面噪声信息包含了第二交互操作对第一交互操作的负面影响。对初始预测交互结果的修正,具体可以是从初始预测交互结果中减去该负面噪声信息,即可得到目标内容在第一交互操作上的目标预测交互结果,该目标预测交互结果为减去负面影响后的预估值。
具体地,若第一交互操作为阅读时长,第二交互操作为点击操作,通过修正,可以从原来的阅读时长预估值(即初始预测交互结果)中减去负面影响,以达到缓解点击操作对阅读时长的负面影响,强化积极影响的目的。
在一具体实施例中,本申请提供的内容交互预测方法可以应用于内容推荐场景,在获得各内容对应的在第一交互操作上的目标预测交互结果后,可以根据该目标预测交互结果从各内容中选取目标推荐内容进行推荐。
需要说明的是,该内容交互预测模型具体可以由其他设备进行训练后,提供给该内容交互预测装置,或者,也可以由该内容交互预测装置自行进行训练。
若由该内容交互预测装置自行进行训练,则在步骤“通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征”之前,该内容交互预测方法还可以包括:
获取训练数据,所述训练数据包括样本内容、所述样本内容在所述第一交互操作上的第一期望交互结果、以及在所述第二交互操作上的第二期望交互结果;
通过内容交互预测模型,对所述样本内容进行交互操作上的特征分析处理,得到所述样本内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征;
分别基于所述目标第一操作特征和所述目标第二操作特征,确定所述样本内容在所述第一交互操作上的初始第一实际交互结果、以及在所述第二交互操作上的第二实际交互结果;
将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后样本操作特征;
根据所述强化后样本操作特征,预测所述第二交互操作对所述第一交互操作产生的实际负面噪声信息;并基于所述实际负面噪声信息,对所述初始第一实际交互结果进行修正,得到目标第一实际交互结果;
根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
其中,第一期望交互结果可以为样本内容在第一交互操作上属于各个预设交互结果的期望概率;第二期望交互结果可以为样本内容在第二交互操作上属于各个预设交互结果的期望概率。
可选地,本实施例中,步骤“根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型”,可以包括:
计算所述初始第一实际交互结果和所述第一期望交互结果之间的第一损失值;
计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值;
计算所述第二实际交互结果和所述第二期望交互结果之间的第三损失值;
根据所述第一损失值、所述第二损失值和所述第三损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
其中,该训练过程具体是使用反向传播算法对内容交互预测模型的参数进行调整,基于第一损失值、第二损失值和第三损失值,优化内容交互预测模型的参数,使得第一损失值、第二损失值和第三损失值满足预设损失条件,得到训练好的内容交互预测模型。具体地,该预设损失条件可以是第一损失值、第二损失值和第三损失值三者之和小于预设损失值,该预设损失值可以根据实际情况进行设置。
其中,损失值的计算方式有多种,本实施例对此不作限制,比如,可以是交叉熵损失函数,也可以是均方误差损失函数。
可选地,本实施例中,步骤“计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值”,可以包括:
基于所述第一损失值和所述第三损失值,计算所述样本内容对应的权重信息;
对所述目标第一实际交互结果和所述第一期望交互结果进行损失计算,得到初始第二损失值;
将所述权重信息和所述初始第二损失值进行融合,得到第二损失值。
其中,可以将第一损失值和第三损失值进行融合,得到样本内容对应的权重信息,该融合方式可以是相乘,也可以是相加等,本实施例对此不作限制。
在一具体实施例中,初始第一实际交互结果记为
Figure BDA0003747975100000231
第一期望交互结果记为
Figure BDA0003747975100000232
目标第一实际交互结果记为
Figure BDA0003747975100000233
第二实际交互结果记为
Figure BDA0003747975100000234
第二期望交互结果记为
Figure BDA0003747975100000235
则第一损失值、第二损失值、第三损失值的计算过程分别如式子(6)、式子(7)和式子(8)所示:
Figure BDA0003747975100000236
Figure BDA0003747975100000237
Figure BDA0003747975100000238
其中,LT为第一损失值,LMTC为第二损失值,LC为第三损失值。S为曝光样本数据集,S+表示点击过的样本数据集,i表示各个样本内容,wi表示样本内容对应的权重信息,LMTC,i表示样本内容i的初始第二损失值。
其中,具体地,若第二交互操作为点击操作,则
Figure BDA0003747975100000239
表示真实的点击标签,通常用1表示点击,用0表示未点击,LC表示点击任务的损失;若第一交互操作为阅读时间,则可以把阅读时长建模成多分类问题,将连续的时长值划分成多个区间,
Figure BDA00037479751000002310
表示把阅读时长离散化为M组之后的区间j对应的真实值向量,该向量除真实值所属组的维度上的值为1外,其他值均为0,LT表示原多任务的阅读时长损失,LMTC表示修正后的阅读时长损失。
比如,阅读时长可以划分为三组,分别为阅读时间小于3分钟、阅读时间3到10分钟、以及阅读时间大于10分钟三个子区间。
其中,样本内容对应的权重信息的具体计算过程可以如式子(9)所示:
wi=(LC,i)α×LT,i+β (9)
其中,α和β都为超参数,LC,i为样本内容i对应的第三损失值,LT,i为样本内容i对应的第一损失值。
其中,具体地,由于负面噪声建模模块只是增强了对点击作用的捕获能力,但这种作用是正面还是负面尚不清楚,因此可以在优化函数中增强对具有点击负面影响的知识的捕获。一个较合理的假设是点击任务预测准确、但阅读时长预测不太准的样本往往比其他样本更容易受点击的不利影响,因此可以增加点击率的损失函数值小、但阅读时长的损失函数值大的样本的权重,反之亦然。所以在计算第二损失值LMTC时,可以增加原始多任务框架预测的点击损失函数值LC,i和阅读时长损失函数值LT,i的乘积作为样本权重。
本实施例中,步骤“根据所述第一损失值、所述第二损失值和所述第三损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型”,可以包括:
将所述第一损失值、所述第二损失值和所述第三损失值进行融合,得到总损失值;
基于所述总损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
其中,该融合方式有多种,比如可以是加权融合等。具体地,总损失值L的计算过程可以如式子(10)所示:
L=LC+LT+LMTC (10)
本申请提供的内容交互预测方法可用于内容推荐等场景,它可以用于帮助缓解多任务推荐中点击对阅读时长或观看时长的干扰,也可用于缓解其他存在依赖关系的多行为之间的干扰,如点击对分享的干扰等。本申请可以通过负面噪声建模模块来捕捉目标之间的负面影响,并从原预估值中减去该负面影响以得到缓解负面影响的预估值,最后使用减去负面影响后的预估值。
在一具体实施例中,如图1c所示,本实施例可以通过该内容交互预测模型预测目标内容在第一交互操作(如阅读时长)上和在第二交互操作(如点击)上的交互结果。其中,具体地,使用负面噪声建模模块学习阅读时长任务由于点击任务而受到的负面影响。
其中,该负面噪声建模模块也可称作负面影响建模(Negative Impact Modelingmodule,NIM)模块,其具体可以是一个以宽度和深度为超参数的多层前馈网络。负面噪声建模模块的输入可以包括最后一层任务共享专家的输出gS,L(x)和rC(x),其中,rC(x)的计算过程可以参考上述实施例中的式子(5),而gS,L(x)的计算过程可以如式子(11)所示:
gS,L(x)=wS,L(gS,L-1(x))SS,L(x) (11)
其中,SS,L(x)仅选择该层的任务共享专家,wS,L为权重函数。最终可以得到点击对阅读时长的负面影响的预测值,即负面噪声信息
Figure BDA0003747975100000251
具体如式子(12)所示:
Figure BDA0003747975100000252
其中,tNIM表示负面噪声建模模块对应的塔网络。
其中,本实施例中,将rC(x)融合到塔网络T和负面噪声建模模块的特征计算中,可以使得阅读时长专属的塔网络T在优化时更倾向于学习阅读时长的信息,减少混杂;并使负面影响建模模块的输入包含更多点击的信息,从而更有效地捕获点击对阅读时长的负面影响。
具体地,
Figure BDA0003747975100000253
表示主要受点击信号影响的阅读时长预测,若多任务学习框架中原始的阅读时长输出表示为
Figure BDA0003747975100000254
则可以得到去除点击影响后的阅读时长预估值,如式子(13)所示:
Figure BDA0003747975100000255
其中,
Figure BDA0003747975100000256
为对阅读时长的初始预测交互结果
Figure BDA0003747975100000257
修正后得到的目标预测交互结果。
Figure BDA0003747975100000258
具体为塔网络T的输出,即原始的阅读时长预估值,也即上述实施例所述的在第一交互操作上的初始预测交互结果;
Figure BDA0003747975100000259
具体为负面噪声建模模块的输出值,表示受点击信号负面影响的阅读时长预估值。
由于受点击信号的负面影响而误分类的阅读时长区间会有更高的
Figure BDA00037479751000002510
值,而后从原始预估值
Figure BDA00037479751000002511
中减去这个值,就会使正确的阅读时长区间得到更高的预测概率。
在一具体实施例中,本申请提供的内容交互预测方法在阅读时长的预测上显著优于现有的相关模型,且点击任务的预测效果也较好。在某推荐系统的日志数据上测试效果如图1d所示,其中,模型A为本申请提供的包含负面影响建模模块后的模型;NFM、DeepFM、AutoInt和AFN为单任务模型,MMOE、AITM、PLE为多任务模型,相比其他模型,本申请提供的模型A在所有阅读时长相关的指标上都取得了最好的效果。
其中,相关指标包括平均绝对值误差-分类(MAE_class)、均方根误差-分类(RMSE_class)、召回率(Recall)、F1、平均绝对值误差(MAE)、以及均方根误差(RMSE)。F1为综合评价指标,F1值越高,预测效果越好。AUC是一种模型评估指标。
其中,阅读时长的预估对推荐系统非常重要,因为较长的阅读时长通常代表目标对象对推荐内容有更大的兴趣,从而有效弥补点击可能无法反映目标对象真正喜好的缺点,因为点击只反映目标对象对内容标题的兴趣。准确的阅读时长预估有助于推荐真正符合目标对象兴趣的内容,从而提升用户体验。
由上可知,本实施例可以获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。本申请可以通过捕获第二交互操作对第一交互操作产生的负面噪声信息,来修正目标内容在第一交互操作上的预测交互结果,提高了在第一交互操作上的交互结果的预测准确性。
根据前面实施例所描述的方法,以下将以该内容交互预测装置具体集成在服务器举例作进一步详细说明。
本申请实施例提供一种内容交互预测方法,如图2所示,该内容交互预测方法的具体流程可以如下:
201、服务器获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作。
其中,目标共享操作特征为第一交互操作和第二交互操作共享的特征;目标第一操作特征可以视为第一交互操作的独有特征,目标第二操作特征可以视为第二交互操作的独有特征。
其中,第二交互操作为第一交互操作依赖的前置操作,二者在操作时间上存在依赖关系,第二交互操作的操作时间位于第一交互操作的操作时间之前。比如,在具体场景中,目标内容为向目标对象推荐的内容,第二交互操作为对内容的点击操作,第一交互操作为针对内容的阅读时长或分享操作等,预测在第二交互操作上的交互结果具体可以是预测目标对象是否点击该目标内容,预测在第一交互操作上的交互结果具体可以是预测目标对象对目标内容的阅读时长,或者是否会分享该目标内容。可以理解的是,目标对象需要先点击该目标内容,才可以进行目标内容的阅读或分享,因此,点击为阅读时长或分享对应的前置操作。
可选地,本实施例中,步骤“对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征”,可以包括:
通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征。
其中,该内容交互预测模型具体为神经网络模型,该神经网络可以是残差网络(ResNet,Residual Network)、或者密集连接卷积网络(DenseNet,Dense ConvolutionalNetwork)等,应当理解的是,本实施例的神经网络并不仅限于上述列举的几种类型。
可选地,本实施例中,步骤“对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征”,可以包括:
提取所述目标内容在第一交互操作上的第一操作特征、在第二交互操作上的第二操作特征、以及共享操作特征;
对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征。
具体地,可以将目标内容在各个维度上的内容信息输入到内容交互预测模型中,目标内容在各个维度上的内容信息可以包括内容标题、内容发布者信息、内容封面、内容本身信息等。
可选地,本实施例中,步骤“对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征”,可以包括:
将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新;
将所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第二操作特征进行更新;
将所述第一操作特征、所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述共享操作特征进行更新;
返回执行所述将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新的步骤,直到得到满足预设特征交互条件的目标共享操作特征、所述第一交互操作对应的目标第一操作特征和所述第二交互操作对应的目标第二操作特征。
其中,预设特征交互条件可以根据实际情况进行设置,本实施例对此不作限制。比如,预设特征交互条件具体可以是更新次数达到预设次数。一些实施例中,预设特征交互条件可以根据内容交互预测模型中特征提取网络的层数确定。
其中,可以通过门控网络对第一操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务专属专家T,并基于下一层任务专属专家T的输出特征,对第一操作特征进行更新,具体可以是将经过下一层任务专属专家T处理的输出特征确定为新的第一操作特征。
其中,可以通过门控网络对第二操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务专属专家C,并基于下一层任务专属专家C的输出特征,对第二操作特征进行更新,具体可以是将经过下一层任务专属专家C处理的输出特征确定为新的第二操作特征。
其中,可以通过门控网络对第一操作特征、第二操作特征和共享操作特征进行融合;融合的方式有多种,本实施例对此不作限制,比如,该融合的方式可以是加权运算,也可以是拼接等。并将融合后特征输入下一层任务共享专家,并基于下一层任务共享专家的输出特征,对共享操作特征进行更新,具体可以是将经过下一层任务共享专家处理的输出特征确定为新的共享操作特征。
202、服务器基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选地,本实施例中,步骤“基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,可以通过门控网络对目标第二操作特征和目标共享操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第二融合后特征信息作为内容交互预测模型中塔网络C的输入,经过塔网络C的全连接处理,得到第二交互操作对应的目标特征信息。
可选地,本实施例中,步骤“基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
对所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合后特征信息;
对所述第二融合后特征信息进行特征选取处理,得到第二特征信息;
根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,可以通过门控网络对目标共享操作特征和目标第一操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。
其中,可以将第二融合后特征信息作为内容交互预测模型中门控网络gr的输入,通过门控网络gr进行特征选取处理,得到第二特征信息。
其中,步骤“根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果”,可以包括:
将所述目标特征信息、所述第一融合后特征信息和所述第二特征信息进行融合,得到目标交互特征;
基于所述目标交互特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
其中,该融合方式有多种,可以是加权融合,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的目标交互特征作为内容交互预测模型中塔网络T的输入,经过塔网络T的处理,得到所述目标内容在第一交互操作上的初始预测交互结果。
其中,一些实施例中,可以将概率最大的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果;另一些实施例中,也可以是将概率大于预设值的预设交互结果确定为目标内容在第一交互操作上的初始预测交互结果。
203、服务器将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征。
可选地,本实施例中,步骤“将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征”,可以包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征。
其中,可以通过门控网络对目标第二操作特征和目标共享操作特征进行融合,该融合方式可以是加权运算,也可以是拼接处理等,本实施例对此不作限制。并将融合得到的第二融合后特征信息作为内容交互预测模型中塔网络C的输入,经过塔网络C的全连接处理,得到第二交互操作对应的目标特征信息。
可选地,本实施例中,步骤“将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征”,可以包括:
分别对所述目标共享操作特征和所述第二融合后特征信息进行特征选取处理,得到第一特征信息和第二特征信息;
对所述第一特征信息和所述第二特征信息、所述目标特征信息进行融合,得到针对所述第二交互操作的强化后操作特征。
其中,一些实施例中,可以通过门控网络对目标共享操作特征进行特征选取处理,得到第一特征信息。
其中,可以将第二融合后特征信息作为内容交互预测模型中门控网络gr的输入,通过门控网络gr进行特征选取处理,得到第二特征信息。
其中,可以对第一特征信息和第二特征信息、目标特征信息的融合方式有多种,本实施例对此不作限制,比如,该融合方式可以是拼接处理,也可以是加权运算等。通过融合处理,可以得到针对所述第二交互操作的强化后操作特征。
204、服务器根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
其中,由于强化后操作特征融合了第二交互操作对应的塔网络C的特征输出,因此强化后操作特征为对第二交互操作强化了的特征。
其中,本实施例中,可以通过内容交互预测模型中的负面噪声建模模块基于强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。具体地,可以将强化后操作特征输入到负面噪声建模模块,通过负面噪声建模模块对其进行处理,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
其中,负面噪声建模模块可以包括多层感知器(MLP,Multilayer Perceptron)。通过多层感知器对强化后操作特征进行全连接处理,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
205、服务器基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
其中,负面噪声信息包含了第二交互操作对第一交互操作的负面影响。对初始预测交互结果的修正,具体可以是从初始预测交互结果中减去该负面噪声信息,即可得到目标内容在第一交互操作上的目标预测交互结果,该目标预测交互结果为减去负面影响后的预估值。
具体地,若第一交互操作为阅读时长,第二交互操作为点击操作,通过修正,可以从原来的阅读时长预估值(即初始预测交互结果)中减去负面影响,以达到缓解点击操作对阅读时长的负面影响,强化积极影响的目的。
在一具体实施例中,本申请提供的内容交互预测方法可以应用于内容推荐场景,在获得各内容对应的在第一交互操作上的目标预测交互结果后,可以根据该目标预测交互结果从各内容中选取目标推荐内容进行推荐。
由上可知,本实施例可以通过服务器获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。本申请可以通过捕获第二交互操作对第一交互操作产生的负面噪声信息,来修正目标内容在第一交互操作上的预测交互结果,提高了在第一交互操作上的交互结果的预测准确性。
为了更好地实施以上方法,本申请实施例还提供一种内容交互预测装置,如图3所示,该内容交互预测装置可以包括获取单元301、确定单元302、强化单元303、预测单元304以及修正单元305,如下:
(1)获取单元301;
获取单元,用于获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作。
可选的,在本申请的一些实施例中,所述获取单元可以包括特征提取子单元和特征交互子单元,如下:
所述特征提取子单元,用于提取所述目标内容在第一交互操作上的第一操作特征、在第二交互操作上的第二操作特征、以及共享操作特征;
特征交互子单元,用于对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征。
可选的,在本申请的一些实施例中,所述特征交互子单元具体可以用于将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新;将所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第二操作特征进行更新;将所述第一操作特征、所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述共享操作特征进行更新;返回执行所述将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新的步骤,直到得到满足预设特征交互条件的目标共享操作特征、所述第一交互操作对应的目标第一操作特征和所述第二交互操作对应的目标第二操作特征。
(2)确定单元302;
确定单元,用于基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选的,在本申请的一些实施例中,所述确定单元可以包括第三融合子单元、第二全连接子单元和第一确定子单元,如下:
所述第三融合子单元,用于对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
第二全连接子单元,用于对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
第一确定子单元,用于基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
可选的,在本申请的一些实施例中,所述第一确定子单元具体可以用于对所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合后特征信息;对所述第二融合后特征信息进行特征选取处理,得到第二特征信息;根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
(3)强化单元303;
强化单元,用于将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征。
可选的,在本申请的一些实施例中,所述强化单元可以包括第一融合子单元、第一全连接子单元和第二融合子单元,如下:
所述第一融合子单元,用于对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
第一全连接子单元,用于对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
第二融合子单元,用于将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征。
可选的,在本申请的一些实施例中,所述第二融合子单元具体可以用于分别对所述目标共享操作特征和所述第二融合后特征信息进行特征选取处理,得到第一特征信息和第二特征信息;对所述第一特征信息和所述第二特征信息、所述目标特征信息进行融合,得到针对所述第二交互操作的强化后操作特征。
(4)预测单元304;
预测单元,用于根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息。
(5)修正单元305;
修正单元,用于基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
可选的,在本申请的一些实施例中,所述获取单元具体可以用于通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征。
可选的,在本申请的一些实施例中,该内容交互预测装置还可以包括训练单元,该训练单元用于对内容交互预测模型进行训练;具体地,该训练单元可以包括数据获取子单元、特征分析子单元、第二确定子单元、强化子单元、预测子单元和调整子单元,如下:
所述数据获取子单元,用于获取训练数据,所述训练数据包括样本内容、所述样本内容在所述第一交互操作上的第一期望交互结果、以及在所述第二交互操作上的第二期望交互结果;
特征分析子单元,用于通过内容交互预测模型,对所述样本内容进行交互操作上的特征分析处理,得到所述样本内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征;
第二确定子单元,用于分别基于所述目标第一操作特征和所述目标第二操作特征,确定所述样本内容在所述第一交互操作上的初始第一实际交互结果、以及在所述第二交互操作上的第二实际交互结果;
强化子单元,用于将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后样本操作特征;
预测子单元,用于根据所述强化后样本操作特征,预测所述第二交互操作对所述第一交互操作产生的实际负面噪声信息;并基于所述实际负面噪声信息,对所述初始第一实际交互结果进行修正,得到目标第一实际交互结果;
调整子单元,用于根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
可选的,在本申请的一些实施例中,所述调整子单元具体可以用于计算所述初始第一实际交互结果和所述第一期望交互结果之间的第一损失值;计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值;计算所述第二实际交互结果和所述第二期望交互结果之间的第三损失值;根据所述第一损失值、所述第二损失值和所述第三损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
可选的,在本申请的一些实施例中,步骤“计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值”,可以包括:
基于所述第一损失值和所述第三损失值,计算所述样本内容对应的权重信息;
对所述目标第一实际交互结果和所述第一期望交互结果进行损失计算,得到初始第二损失值;
将所述权重信息和所述初始第二损失值进行融合,得到第二损失值。
由上可知,本实施例可以通过获取单元301获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;通过确定单元302基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;由强化单元303将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;通过预测单元304根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;通过修正单元305基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。本申请可以通过捕获第二交互操作对第一交互操作产生的负面噪声信息,来修正目标内容在第一交互操作上的预测交互结果,提高了在第一交互操作上的交互结果的预测准确性。
本申请实施例还提供一种电子设备,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,该电子设备可以是终端或者服务器等,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例可以获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。本申请可以通过捕获第二交互操作对第一交互操作产生的负面噪声信息,来修正目标内容在第一交互操作上的预测交互结果,提高了在第一交互操作上的交互结果的预测准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种内容交互预测方法中的步骤。例如,该指令可以执行如下步骤:
获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种内容交互预测方法中的步骤,因此,可以实现本申请实施例所提供的任一种内容交互预测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述内容交互预测方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种内容交互预测方法以及相关设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种内容交互预测方法,其特征在于,包括:
获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;
基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;
将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;
根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;
基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,包括:
提取所述目标内容在第一交互操作上的第一操作特征、在第二交互操作上的第二操作特征、以及共享操作特征;
对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一操作特征、所述第二操作特征以及所述共享操作特征进行特征交互处理,得到所述第一交互操作对应的目标第一操作特征、所述第二交互操作对应的目标第二操作特征、以及目标共享操作特征,包括:
将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新;
将所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第二操作特征进行更新;
将所述第一操作特征、所述第二操作特征和所述共享操作特征进行融合,并基于融合后特征对所述共享操作特征进行更新;
返回执行所述将所述第一操作特征和所述共享操作特征进行融合,并基于融合后特征对所述第一操作特征进行更新的步骤,直到得到满足预设特征交互条件的目标共享操作特征、所述第一交互操作对应的目标第一操作特征和所述第二交互操作对应的目标第二操作特征。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征,包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标特征信息与所述目标共享操作特征进行融合,得到针对所述第二交互操作的强化后操作特征,包括:
分别对所述目标共享操作特征和所述第二融合后特征信息进行特征选取处理,得到第一特征信息和第二特征信息;
对所述第一特征信息和所述第二特征信息、所述目标特征信息进行融合,得到针对所述第二交互操作的强化后操作特征。
6.根据权利要求1所述的方法,其特征在于,所述基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果,包括:
对所述目标第二操作特征和所述目标共享操作特征进行融合,得到第二融合后特征信息;
对所述第二融合后特征信息进行全连接处理,得到所述第二交互操作对应的目标特征信息;
基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标特征信息、所述目标共享操作特征和所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果,包括:
对所述目标共享操作特征和所述目标第一操作特征进行融合,得到第一融合后特征信息;
对所述第二融合后特征信息进行特征选取处理,得到第二特征信息;
根据所述目标特征信息、所述第一融合后特征信息和所述第二特征信息,确定所述目标内容在所述第一交互操作上的初始预测交互结果。
8.根据权利要求1所述的方法,其特征在于,所述对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,包括:
通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征。
9.根据权利要求8所述的方法,其特征在于,所述通过内容交互预测模型,对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征之前,还包括:
获取训练数据,所述训练数据包括样本内容、所述样本内容在所述第一交互操作上的第一期望交互结果、以及在所述第二交互操作上的第二期望交互结果;
通过内容交互预测模型,对所述样本内容进行交互操作上的特征分析处理,得到所述样本内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征;
分别基于所述目标第一操作特征和所述目标第二操作特征,确定所述样本内容在所述第一交互操作上的初始第一实际交互结果、以及在所述第二交互操作上的第二实际交互结果;
将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后样本操作特征;
根据所述强化后样本操作特征,预测所述第二交互操作对所述第一交互操作产生的实际负面噪声信息;并基于所述实际负面噪声信息,对所述初始第一实际交互结果进行修正,得到目标第一实际交互结果;
根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
10.根据权利要求9所述的方法,其特征在于,所述根据所述初始第一实际交互结果、所述目标第一实际交互结果、所述第一期望交互结果、所述第二实际交互结果以及所述第二期望交互结果,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型,包括:
计算所述初始第一实际交互结果和所述第一期望交互结果之间的第一损失值;
计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值;
计算所述第二实际交互结果和所述第二期望交互结果之间的第三损失值;
根据所述第一损失值、所述第二损失值和所述第三损失值,调整所述内容交互预测模型的参数,得到训练后的内容交互预测模型。
11.根据权利要求10所述的方法,其特征在于,所述计算所述目标第一实际交互结果和所述第一期望交互结果之间的第二损失值,包括:
基于所述第一损失值和所述第三损失值,计算所述样本内容对应的权重信息;
对所述目标第一实际交互结果和所述第一期望交互结果进行损失计算,得到初始第二损失值;
将所述权重信息和所述初始第二损失值进行融合,得到第二损失值。
12.一种内容交互预测装置,其特征在于,包括:
获取单元,用于获取目标内容;并对所述目标内容进行交互操作上的特征分析处理,得到所述目标内容在第一交互操作上的目标第一操作特征、在第二交互操作上的目标第二操作特征、以及目标共享操作特征,所述目标共享操作特征为所述第一交互操作和所述第二交互操作共享的特征,所述第二交互操作为所述第一交互操作依赖的前置操作;
确定单元,用于基于所述目标第一操作特征,确定所述目标内容在所述第一交互操作上的初始预测交互结果;
强化单元,用于将所述目标第二操作特征和所述目标共享操作特征进行特征强化处理,得到针对所述第二交互操作的强化后操作特征;
预测单元,用于根据所述强化后操作特征,预测所述第二交互操作对所述第一交互操作产生的负面噪声信息;
修正单元,用于基于所述负面噪声信息,对所述初始预测交互结果进行修正,得到所述目标内容在所述第一交互操作上的目标预测交互结果。
13.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至11任一项所述的内容交互预测方法中的操作。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至11任一项所述的内容交互预测方法中的步骤。
15.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的内容交互预测方法中的步骤。
CN202210835659.3A 2022-07-15 2022-07-15 内容交互预测方法以及相关设备 Pending CN115168722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210835659.3A CN115168722A (zh) 2022-07-15 2022-07-15 内容交互预测方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210835659.3A CN115168722A (zh) 2022-07-15 2022-07-15 内容交互预测方法以及相关设备

Publications (1)

Publication Number Publication Date
CN115168722A true CN115168722A (zh) 2022-10-11

Family

ID=83495166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210835659.3A Pending CN115168722A (zh) 2022-07-15 2022-07-15 内容交互预测方法以及相关设备

Country Status (1)

Country Link
CN (1) CN115168722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556150A (zh) * 2024-01-11 2024-02-13 腾讯科技(深圳)有限公司 多目标预测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556150A (zh) * 2024-01-11 2024-02-13 腾讯科技(深圳)有限公司 多目标预测方法、装置、设备及存储介质
CN117556150B (zh) * 2024-01-11 2024-03-15 腾讯科技(深圳)有限公司 多目标预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10748065B2 (en) Multi-task neural networks with task-specific paths
CN112052948B (zh) 一种网络模型压缩方法、装置、存储介质和电子设备
CN111741330B (zh) 一种视频内容评估方法、装置、存储介质及计算机设备
CN112221159B (zh) 一种虚拟道具推荐方法、装置及计算机可读存储介质
CN115168720A (zh) 内容交互预测方法以及相关设备
CN109816438B (zh) 信息推送方法及装置
CN111708823B (zh) 异常社交账号识别方法、装置、计算机设备和存储介质
Gorkemli et al. A quick semantic artificial bee colony programming (qsABCP) for symbolic regression
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
CN113254792A (zh) 训练推荐概率预测模型的方法、推荐概率预测方法及装置
CN113392210A (zh) 文本分类方法、装置、电子设备及存储介质
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN114780831A (zh) 基于Transformer的序列推荐方法及系统
CN111340112A (zh) 分类方法、装置、服务器
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111046655B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN114896899A (zh) 一种基于信息交互的多智能体分散式决策方法及系统
CN112115131A (zh) 数据去噪方法、装置、设备及计算机可读存储介质
CN115168722A (zh) 内容交互预测方法以及相关设备
CN113591988B (zh) 知识认知结构分析方法、系统、计算机设备、介质、终端
CN114611692A (zh) 模型训练方法、电子设备以及存储介质
CN116595356B (zh) 时序信号预测方法、装置、电子设备及存储介质
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN113408721A (zh) 神经网络结构搜索方法、装置、计算机设备和存储介质
CN114611990A (zh) 一种网络信息体系要素体系贡献率评估方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40075271

Country of ref document: HK