CN117216377A - 一种模型确定方法和相关装置 - Google Patents

一种模型确定方法和相关装置 Download PDF

Info

Publication number
CN117216377A
CN117216377A CN202310672518.9A CN202310672518A CN117216377A CN 117216377 A CN117216377 A CN 117216377A CN 202310672518 A CN202310672518 A CN 202310672518A CN 117216377 A CN117216377 A CN 117216377A
Authority
CN
China
Prior art keywords
sample
interaction
probability
content
account
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310672518.9A
Other languages
English (en)
Inventor
陈煜钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310672518.9A priority Critical patent/CN117216377A/zh
Publication of CN117216377A publication Critical patent/CN117216377A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种模型确定方法和相关装置，在训练过程中，通过标识与样本账号和样本内容相关的一级交互行为的训练样本，可以得到样本账号在样本内容分别产生一级交互行为、二级交互行为的交互概率。通过二级交互样本，得到融合权重，并基于融合权重对一级交互概率和二级交互概率进行融合，得到融合概率。通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数来对初始分类模型进行训练，以得到分类模型。得到的分类模型能够用于准确预测目标账号对待推荐内容产生一级交互行为且产生二级交互行为的概率，并且能够达到较好的个性化响应效果。

Description

一种模型确定方法和相关装置
技术领域
本申请涉及数据处理领域，特别是涉及一种模型确定方法和相关装置。
背景技术
向用户的账号进行内容推送是一种目前常见的内容推广方式，在用户点击这一交互行为(相当于一级交互行为)打开被推送内容后，可能会出现二级交互行为，例如针对所打开的内容进行点赞、评论或者长时间查看后关闭等。如果向用户推送的内容在用户处产生了二级交互行为，可以有效的提升内容和用户间的关联性，从而达到高质量内容推送的效果。
相关技术中，主要通过模型来训练预测内容会在用户处产生一级交互行为的可能性，但难以预测在产生一级交互行为后，再产生二级交互行为的可能性。
故相关技术难以满足高质量内容推送的需求。
发明内容
为了解决上述技术问题，本申请提供了一种模型确定方法和相关装置，得到的分类模型能够用于准确预测目标账号对待推荐内容产生一级交互行为且产生二级交互行为的概率，并且能够达到较好的个性化响应效果。
本申请实施例公开了如下技术方案：
一方面，本申请实施例提供了一种模型确定方法，该方法包括：
获取涉及样本账号和样本内容的训练样本，训练样本用于标识样本账号和样本内容，以及分别与样本账号和样本内容相关的一级交互行为的信息；
根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率；
根据涉及样本账号和样本内容的二级交互样本，通过初始分类模型的融合子模型确定融合权重，并基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息，融合概率用于标识样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率；
通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数，二级标签用于标识样本账号是否在样本内容产生一级交互行为和二级交互行为；
通过模型损失函数对初始分类模型进行模型训练，得到分类模型，分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
另一方面，本申请实施例提供了一种模型确定装置，该装置包括获取单元，第一确定单元，第二确定单元，生成单元，训练单元：
获取单元，用于获取涉及样本账号和样本内容的训练样本，训练样本用于标识样本账号和所述样本内容，以及分别与样本账号和样本内容相关的一级交互行为的信息；
第一确定单元，用于根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率；
第二确定单元，用于根据涉及样本账号和样本内容的二级交互样本，通过初始分类模型的融合子模型确定融合权重，并基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息，融合概率用于标识样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率；
生成单元，用于通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数，二级标签用于标识样本账号是否在样本内容产生一级交互行为和二级交互行为；
训练单元，用于通过模型损失函数对初始分类模型进行模型训练，得到分类模型，分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
可选的，生成单元用于：
当训练样本的样本标签用于标识样本账号是否在样本内容产生一级交互行为，以及是否产生二级交互行为时，通过一级交互概率和二级交互概率与样本标签的差异，以及融合概率与二级标签的差异，生成模型损失函数。
可选的，生成单元用于：
通过一级交互概率和二级交互概率与样本标签的差异，生成对应一级交互行为的第一子损失函数和对应二级交互行为的第二子损失函数，并通过融合概率与二级标签的差异，生成融合子损失函数；
根据第一损失权重和第一子损失函数、第二损失权重和第二子损失函数，以及第三损失权重和融合子损失函数，生成模型损失函数，第二损失权重小于第一损失权重和第三损失权重。
可选的，第一确定单元用于：
根据训练样本，通过分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及在不考虑产生一级交互行为下，样本账号在样本内容产生二级交互行为的二级条件概率；
根据一级交互概率和二级条件概率，确定样本账号在样本内容产生二级交互行为的二级交互概率。
可选的，获取单元还用于：
当初始分类模型还包括个性化子模型时，获取涉及样本账号的交互数据，交互数据用于标识与样本账号相关的交互行为的信息，交互行为包括一级交互行为或二级交互行为中的至少一种；
根据交互数据，通过个性化子模型确定样本账号与交互行为相关的个性化特征；
第一确定单元用于：
根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率。
可选的，模型确定装置还包括作为单元，用于：
当分类子模型包括特征提取层和多层感知机层，特征提取层用于提取输入数据的数据特征，特征提取层的输入数据包括训练样本，多层感知机层用于根据输入数据确定一级交互概率，以及二级交互概率时；
在根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率的过程中，
将个性化特征作为特征提取层的部分输入数据，并将个性化特征作为多层感知机层的部分输入数据。
可选的，作为单元用于：
当多层感知机层包括第一感知机层和第二感知机层，第一感知机层用于根据输入数据确定一级交互概率，第二感知机层用于根据输入数据确定二级交互概率时，将个性化特征作为第一感知机层的部分输入数据，以及将个性化特征作为第二感知机层的部分输入数据。
可选的，一级交互行为为通过账号对内容产生的点击行为，二级交互行为为通过账号对内容产生持续显示后的关闭行为。
可选的，第一确定单元还用于：
针对训练样本所在的训练样本集，根据多个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组；
根据不同待定样本标签组与训练样本集中持续显示后的关闭行为中的真实显示时长的相关性，从多个待定时长阈值中确定目标时长阈值作为实际标签划分依据；
根据实际标签划分依据确定训练样本的样本标签；
其中，当训练样本中持续显示后的关闭行为中的真实显示时长小于实际标签划分依据时，样本标签用于标识样本账号未在样本内容产生二级交互行为；
当训练样本中持续显示后的关闭行为中的真实显示时长大于或等于实际标签划分依据时，样本标签用于标识样本账号在样本内容产生二级交互行为。
可选的，第一确定单元还用于：
根据多个时长阈值确定至少两个时长范围；
根据二级交互样本中持续显示后的关闭行为中的真实显示时长落入的时长范围，确定二级交互样本的二级标签，不同的时长范围对应的二级标签的标签值不同。
可选的，样本内容是由内容账号上传的，训练样本还用于标识样本账号针对内容账号产生的一级交互行为的信息，二级交互样本还用于标识样本账号针对内容账号产生的二级交互行为的信息。
又一方面，本申请实施例提供了一种计算机设备，计算机设备包括处理器以及存储器：
存储器用于存储计算机程序，并将计算机程序传输给处理器；
处理器用于根据计算机程序执行以上方面所述的方法。
又一方面。本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行以上方面所述的方法。
又一方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行以上方面所述的方法。
由上述技术方案可以看出，为了准确预测在产生一级交互行为后，再产生二级交互行为的可能性，通过涉及样本账号、样本内容的训练样本和二级交互样本对初始分类模型进行训练。训练过程中，通过标识与样本账号和样本内容相关的一级交互行为的训练样本，可以得到样本账号在样本内容分别产生一级交互行为、二级交互行为的交互概率。通过二级交互样本，得到融合权重，并基于融合权重对一级交互概率和二级交互概率进行融合，得到融合概率。通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数来对初始分类模型进行训练，以得到分类模型。由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，可以在基于模型损失函数进行训练时，有效指导初始分类模型通过二级交互样本学习到与二级交互行为相关的知识，以及如何将二级交互概率准确与一级交互概率准确融合的知识。而且基于涉及不同样本账号的二级交互样本的训练下，针对具有不同二级交互行为特点的样本账号，初始分类模型可以有效学习到不同特点作用于融合权重的区别，从而针对具有不同二级交互行为特点的目标账号，训练得到的分类模型可以生成有区别的融合权重来确定融合概率，不仅能够有效提升融合概率的预测质量，也能够达到更好的个性化响应效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型确定场景的示意图；
图2为本申请实施例提供的一种模型确定方法的方法流程图；
图3为本申请实施例提供的一种初始分类模型的模型框架示意图；
图4为本申请实施例提供的一种帕累托边界的示意图；
图5为本申请实施例提供的一种账号上传内容的示意图；
图6为本申请实施例提供的一种模型确定装置的装置示意图；
图7为本申请实施例提供的一种终端设备的结构图；
图8为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
在向用户的账号进行内容推送之后，用户可能会点击被推送内容，点击这一交互行为即是一级交互行为，在用户通过点击打开被推送内容的基础上，用户还可能会出现二级交互行为，例如针对所打开的内容进行点赞、评论或者长时间查看后再关闭等。在对用户进行内容推送时，如果被推送内容不仅产生了一级交互行为，还产生了二级交互行为，说明该内容在用户处达到了高质量内容推送的效果。
相关技术中，主要通过训练模型来预测用户在内容产生一级交互行为的可能性，但难以预测在产生一级交互行为后，再产生二级交互行为的可能性，例如，相关技术中有提出全空间多任务模型(Entire Space Multi-Task Model，ESMM)来进行预测，虽然ESMM是一种能够将一级交互行为和二级交互行为对齐到同一个训练空间的训练方法，但是在分别预测了产生一级交互行为的可能性和产生二级交互行为的可能性(可能性可以用预估分数的形式的表示)之后，ESMM并没有解决如何将针对一级交互行为的预估分数和针对二级交互行为的预估分数进行融合的问题，即在得到针对一级交互行为的预估分数和针对二级交互行为的预估分数之后，如何将它们融合起来得到内容先产生一级交互行为，再产生二级交互行为的预估分数，并确定最终的排序分数的问题。
为此，本申请实施例提供了一种模型确定方法和相关装置，得到的分类模型能够用于准确预测目标账号对待推荐内容产生一级交互行为且产生二级交互行为的概率，并且能够达到较好的个性化响应效果。
本申请实施例所提供的一种模型确定方法和相关装置可以通过计算机设备实施，该计算机设备可以是终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可以理解的是，在本申请的具体实施方式中，涉及到用户的年龄、性别和地域等和用户相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
图1为本申请实施例提供的一种模型确定场景的示意图，其中，前述的计算机设备为服务器。
为了准确预测账号在内容产生一级交互行为后，再产生二级交互行为的可能性，通过涉及样本账号、样本内容的训练样本和二级交互样本对初始分类模型进行训练，其中，训练样本用于标识分别与样本账号和样本内容相关的一级交互行为的信息，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息。
如图1所示，在训练过程中，根据标识与样本账号和样本内容相关的一级交互行为的训练样本，服务器通过初始分类模型中的分类子模型可以得到样本账号在样本内容分别产生一级交互行为的一级交互概率和产生二级交互行为的二级交互概率。
由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，故服务器根据二级交互样本，通过初始分类模型中的融合子模型可以得到融合权重。
由于二级交互样本携带有分别与样本账号和样本内容相关的二级交互行为的信息，故服务器可以基于二级交互样本学习到与二级交互行为相关的知识，进而学习到在将一级交互概率和二级交互概率进行融合时二级交互概率所占的准确权重的知识。
服务器在确定了融合权重之后，可以基于融合权重可以对一级交互概率和二级交互概率进行融合，得到融合概率，融合概率是指融合子模型预测得到的样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率。
通过融合概率与二级交互样本的二级标签的差异，服务器可以生成模型损失函数来对初始分类模型进行训练，以得到分类模型。
由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，故基于模型损失函数进行模型训练时，可以有效指导初始分类模型通过二级交互样本不仅学习到与二级交互行为相关的知识，还能学习到如何将二级交互概率准确与一级交互概率融合的知识，从而使得训练得到的分类模型能够对目标账号在待推送内容产生一级交互行为且产生二级交互行为的概率进行准确预测，保证预测质量。
并且，基于涉及不同样本账号的二级交互样本的训练下，针对具有不同二级交互行为特点的样本账号，初始分类模型可以有效学习到不同特点作用于融合权重的区别，从而针对具有不同二级交互行为特点的目标账号，训练得到的分类模型可以生成有区别的融合权重来确定融合概率，不仅能够有效提升融合概率的预测质量，也能够达到更好的个性化响应效果。
图2为本申请实施例提供的一种模型确定方法的方法流程图，该方法可以由计算机设备执行，在本实施例中，以该计算机设备是服务器为例进行说明，该方法包括：
S201、获取涉及样本账号和样本内容的训练样本。
内容是指向用户推送的各种信息，内容中信息的形式多种多样，例如可以包括文字、图片等多种形式。内容推送是指在一个内容推送平台上主动的向用户推送相关的推送内容，从而使得推送内容能够在内容推送平台上展示，内容推送的目的是能够让用户可以通过内容推送平台获取推送内容并使得推送内容产生转化。
在实际的内容推送中，内容推送平台是通过向用户绑定的账号推送内容从而向用户实现内容推送，对此，用户可以通过绑定的账号登录内容推送平台来接收相应的推送内容，并且用户在内容产生的交互行为都是通过账号产生的，即用户在内容产生的交互行为可以说是用户对应的账号在内容产生的交互行为，用户和账号之间具有绑定关系。
一级交互行为是指向账号进行内容推送之后，账号与内容产生的简单的初步交互行为，账号在内容产生一级交互行为表示账号对应的用户对内容进行了简单的初步交互。在本实施例中，一级交互行为可以是指点击这一交互行为，用户通过点击可以打开内容，与内容进行简单的初步交互。需要说明的是，本实施例并未限定一级交互行为的具体形式，其他任何形式的初步交互行为均可以作为一级交互行为。
二级交互行为是指向账号进行内容推送之后，账号与内容产生的深度交互行为，账号在内容产生二级交互行为表示账号对应的用户对内容进行了深度交互，深度交互包括对所打开的内容进行点赞、评论或者长时间查看后关闭等。需要说明的是，由于用户只有在对内容进行简单的初步交互之后才能进行深度交互，故账号对内容产生一级交互行为是账号对内容产生二级交互行为的前提。
由于相关技术中难以准确预测在账号在内容产生一级交互行为后，再产生二级交互行为的可能性，对此，在本实施例中，服务器可以确定对应的分类模型，分类模型用于预测账号在内容产生一级交互行为且产生二级交互行为的概率。为了得到分类模型，服务器需要对初始分类模型进行训练，初始分类模型是指可以用于被训练样本训练以得到分类模型的初始模型。为了能够对初始分类模型进行训练，服务器可以获取涉及样本账号和样本内容的训练样本，训练样本是指用于给初始分类模型进行训练的样本，为了让训练样本能够用于训练初始分类模型，训练样本用于标识样本账号和样本内容，以及分别与样本账号和样本内容相关的一级交互行为的信息。
样本账号是指训练样本涉及的用户在对应的内容推送平台上的账号，训练样本标识样本账号是指对用户在对应的内容推送平台上的用户侧特征进行标识，为了能够对用户在对应的内容推送平台上的用户侧特征进行全面标识，训练样本可以从多个方面来标识样本账号，例如训练样本可以标识样本账号的完整账号名称，样本账号对应的用户的年龄、样本账号对应的用户的性别，样本账号对应的用户的地域等。
需要说明的是，由于同一用户在不同的内容推送平台上的账号是不同的，并且同一用户在不同的内容推送平台上的交互行为可能也并不相同，例如，对于用户A，其在内容推送平台A上可能在学习相关的内容产生交互行为的可能性较高，而其在内容推送平台B上可能在学习相关的内容产生交互行为的可能性较低，反而在娱乐相关的内容产生交互行为的可能性较高，故训练样本通过标识样本账号，可以体现训练样本对应的用户在不同的内容推送平台上的不同的用户侧特征。
样本内容是指训练样本涉及的内容，训练样本标识样本内容是指对内容在对应的内容推送平台上的特征进行标识，例如训练样本可以标识样本内容被推送的时长等。
在训练样本标识样本账号和样本内容的基础上，训练样本还用于标识分别与样本账号和样本内容相关的一级交互行为的信息，例如当一级交互行为为点击时，与样本账号相关的一级交互行为的信息可以是样本账号1天内对推送内容的曝光数、样本账号7天内对推送内容的曝光数和样本账号1天内对推送内容的点击数和样本账号7天内对推送内容的点击数等，与样本内容相关的一级交互行为的信息可以是样本内容被推送后的曝光数和样本内容被推送后的点击数等，其中，可以用点击率(Click Through Rate，CTR)来衡量样本内容被推送后的点击数。通过让训练样本标识分别与样本账号和样本内容相关的一级交互行为的信息能够让初始分类模型通过训练样本学习到样本账号和样本内容与一级交互行为的知识。
此外，由于不同账号在相同内容上产生一级交互行为的可能性通常是不同的，故为了保证初始分类模型能够学习到不同账号的一级交互行为特点，训练样本可以涉及不同样本账号，从而使得初始分类模型能够通过涉及不同样本账号的训练样本学习到不同样本账号与一级交互行为相关的不同知识。
S202、根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率。
初始分类模型是指未完成模型训练的分类模型，在本实施例中，初始分类模型包括分类子模型和融合子模型，分类子模型用于根据训练样本确定样本账号在样本内容产生一级交互行为的一级交互概率和二级交互行为的二级交互概率，融合子模型用于根据一级交互概率和二级交互概率生成融合概率。
在S201获取了训练样本之后，由于训练样本携带有分别与样本账号和样本内容相关的一级交互行为的信息，故服务器可以根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，一级交互概率是指分类子模型预测得到的样本账号在样本内容产生一级交互行为的概率，一级交互概率能够体现分类子模型预测样本账号在样本内容产生一级交互行为的可能性。
需要说明的是，由于一级交互行为是指账号与内容产生的简单的初步交互行为，即样本账号对样本内容产生一级交互行为无需其他交互行为作为前提，故一级交互行为对应的一级交互概率是边际概率(无条件概率)，能够对样本账号在样本内容产生一级交互行为的可能性进行准确预测。
此时，虽然训练样本并未携带有与样本账号和样本内容相关的二级交互行为的信息，但是由于样本账号对样本内容产生一级交互行为是样本账号对样本内容产生二级交互行为的前提，即样本账号对样本内容产生一级交互行为和样本账号对样本内容产生二级交互行为之间存在关联，故服务器可以根据训练样本，通过初始分类模型的分类子模确定样本账号在样本内容产生二级交互行为的二级交互概率，二级交互概率是指分类子模型预测得到的样本账号在样本内容产生二级交互行为的概率，二级交互概率能够体现分类子模型预测样本账号在样本内容产生二级交互行为的可能性。
需要说明的是，由于二级交互行为是指账号与内容产生的深度交互行为，即样本账号对样本内容产生二级交互行为需要以样本账号对样本内容产生一级交互行为作为前提，故二级交互行为对应的二级交互概率是条件概率，是以样本账号已经对样本内容产生了一级交互行为这一事件作为条件，预测的样本账号在样本内容产生了二级交互行为的概率。
在一种可能的实现方式中，S202中根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率，具体包括：
根据训练样本，通过分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及在不考虑产生一级交互行为下，样本账号在样本内容产生二级交互行为的二级条件概率；
根据一级交互概率和二级条件概率，确定样本账号在样本内容产生二级交互行为的二级交互概率。
由于训练样本携带有分别与样本账号和样本内容相关的一级交互行为的信息，故服务器可以根据训练样本，直接通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率。
对于二级交互概率，如图3所示，为了简便计算，可以先假设样本账号对样本内容产生一级交互行为和样本账号对样本内容产生二级交互行为之间并不存在关联，以便服务器可以根据训练样本，先通过分类子模型直接确定二级条件概率，二级条件概率是指分类子模型预测得到的在不考虑产生一级交互行为下，样本账号在样本内容产生二级交互行为的概率。然而，由于样本账号不可能在不产生一级交互行为的基础上产生二级交互行为，即样本账号对样本内容产生一级交互行为是样本账号对样本内容产生二级交互行为的前提，故服务器可以根据一级交互概率和二级条件概率，确定样本账号在样本内容产生二级交互行为的二级交互概率，例如，可以通过将一级交互概率和二级条件概率相乘，得到二级交互概率。
需要说明的是，在本实施例中，虽然二级交互概率是根据一级交互概率和二级条件概率综合确定的，即在二级交互概率的确定过程中考虑了样本账号在样本内容产生一级交互行为的情况，但是在二级交互概率的确定过程中考虑的样本账号在样本内容产生一级交互行为的情况仍然与实际中样本账号在样本内容产生一级交互行为的情况存在差距，使得确定出的二级交互概率仍然是一种近似的条件概率。由于样本账号对样本内容产生一级交互行为是样本账号对样本内容产生二级交互行为的前提，故服务器可以先确定在不考虑产生一级交互行为下，样本账号在样本内容产生二级交互行为的二级条件概率，然后再基于一级交互概率和二级条件概率，从而准确得到样本账号在样本内容产生二级交互行为的二级交互概率。
S203、根据涉及样本账号和样本内容的二级交互样本，通过初始分类模型的融合子模型确定融合权重，并基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率。
在S202得到了一级交互概率和二级交互概率之后，为了预测样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率，需要对一级交互概率和二级交互概率进行融合，在相关技术中，ESMM模型虽然能够将一级交互行为和二级交互行为对齐到同一个训练空间进行训练，但是ESMM还是通过随机搜索和离线评估指标确定一个固定的融合公式来进行融合的，即ESMM并没有解决在分别预测了产生一级交互行为的预估分数和产生二级交互行为的预估分数之后，如何将产生一级交互行为的预估分数和产生二级交互行为的预估分数进行准确融合的问题。
此时，由于训练样本中仅携带有分别与样本账号和样本内容相关的一级交互行为的信息，并未携带有分别与样本账号和样本内容相关的二级交互行为的信息，故虽然样本账号对样本内容产生一级交互行为和样本账号对样本内容产生二级交互行为之间存在关联，但是服务器仍然难以根据训练样本学习到更多与二级交互行为相关的知识，进而更加难以根据训练样本学习到如何将一级交互概率和二级交互概率准确融合的知识。
对此，服务器可以在对初始分类模型的训练过程中，除了训练样本之外，进一步包括二级交互样本，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息，例如当二级交互行为对所打开的内容长时间查看后关闭时，与样本账号相关的二级交互行为的信息可以是样本账号7天内的平均阅读时长，与样本内容相关的二级交互行为的信息可以是样本内容7天内的平均被阅读时长。
此时，由于二级交互样本携带有分别与样本账号和样本内容相关的二级交互行为的信息，故服务器根据二级交互样本，可以通过初始分类模型的融合子模型确定融合权重，融合权重是指在对一级交互概率和二级交互概率进行融合时二级交互概率所占的权重。具体的，由于二级交互样本携带有分别与样本账号和样本内容相关的二级交互行为的信息，故服务器可以基于二级交互样本学习到与二级交互行为相关的知识，进而学习到在将一级交互概率和二级交互概率进行融合时二级交互概率所占的准确权重的知识。
服务器在确定了融合权重之后，可以基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率，融合概率是指融合子模型预测得到的样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率，是一种基于边际概率(一级交互概率)和条件概率(二级交互概率)得到的联合概率。由于融合权重是服务器基于二级交互样本确定的，能够在一级交互概率和二级交互概率融合时对二级交互概率所占的权重进行准确指导，故基于融合权重确定的融合概率能够对样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率进行准确预测。
如图3所示，初始分类模型中的融合子模型可以包括特征提取层和多层感知机层，具体的，当二级交互样本输入初始分类模型之后，特征提取层用于提取二级交互样本的数据特征，数据特征(Embedding)是指由多个浮点数组成的数值型向量，可以用于描述数据在高维空间中的各种属性和性质，多层感知机层用于根据二级交互样本的数据特征确定融合权重，然后通过融合公式，基于融合权重将一级交互概率和二级交互概率进行融合，例如，可以通过下述融合公式确定融合概率：
pfusion＝pctr*(1+pctime85*α)
其中，pfusion表示融合概率，pctr表示一级交互概率，pctime85表示二级交互概率，α表示融合权重。
通过上述融合公式可以让融合权重对二级交互概率的融合起到指导作用，从而让一级交互概率和二级交互概率能够准确融合，得到融合概率。
需要说明的是，由于训练样本携带有分别与样本账号和样本内容相关的一级交互行为的信息，故根据训练样本确定的一级交互概率的可靠性则较高，即在一级交互概率和二级交互概率的融合过程中，可以直接对一级交互概率进行融合。然而，由于训练样本并未携带有分别与样本账号和样本内容相关的二级交互行为的信息，故根据训练样本确定的二级交互概率的可靠性则较低，即在一级交互概率和二级交互概率的融合过程中，需要对根据二级交互样本确定的融合权重对二级交互概率的融合进行指导。
此外，由于不同账号具有不同二级交互行为特点，即针对同一内容，不同账号产生二级交互行为的可能性通常是不同的，故根据具有不同二级交互特点的样本账号，初始分类模型能够确定不同的融合权重，从而根据不同的融合权重来对一级交互概率和二级交互概率进行针对性的融合。也就是说，在本实施例中，针对具有不同二级交互特点的样本账号，对应的融合权重不是固定不变的，而是具有动态的区别，此时，初始分类模型能够学习到不同样本账号作用于融合权重的区别，即学习到不同样本账号与二级交互行为相关的不同知识，以及如何将二级交互概率准确与一级交互概率融合的不同知识。
S204、通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数。
在S203得到融合概率之后，为了能够实现对该初始分类模型的监督学习训练，二级交互样本被配置有二级标签，标签(label)是进行模型训练时依赖的标注数据，例如“1/0”表示的“属于/不属于”某一类，二级标签用于标识样本账号是否在样本内容产生一级交互行为和二级交互行为，例如当样本账号在样本内容产生一级交互行为和二级交互行为时，二级标签的数值可以是1；当样本账号在样本内容并未产生一级交互行为或者产生了一级交互行为但是并未产生二级交互行为时，二级标签的数值可以是0。
由于融合概率是指初始分类模型得到的样本账号在样本内容产生一级交互行为，且产生二级交互行为的预测值，二级标签是指样本标签是否在样本内容产生一级交互行为和二级交互行为的真实值，故服务器通过融合概率与二级标签的差异，能够得到可以反映初始分类模型的训练优化方向的模型损失函数，例如，服务器可以通过交叉熵损失函数计算融合概率和二级标签的差异，从而得到模型损失函数。
S205、通过模型损失函数对初始分类模型进行模型训练，得到分类模型。
在S204中得到模型损失函数之后，由于模型损失函数可以反映初始分类模型的训练优化方向，故服务器可以根据模型损失函数训练初始分类模型，来得到分类模型，分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率，其中，目标账号是指能够被推送内容的账号，待推荐内容是指能够向目标账号推送的内容。在确定了分类模型之后，分类模型可以预测目标账号对多个待推荐内容分别产生一级交互行为且产生二级交互行为的概率，进而可以根据概率对多个待推荐内容进行排序，使得产生一级交互行为且产生二级交互行为的概率较高的待推荐内容能够优先被推送给目标账号，实现高质量的内容推送。
需要说明的是，由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，故基于模型损失函数进行模型训练时，可以有效指导初始分类模型通过二级交互样本不仅学习到与二级交互行为相关的知识，还能学习到如何将二级交互概率准确与一级交互概率融合的知识，从而使得训练得到的分类模型能够对目标账号在待推送内容产生一级交互行为且产生二级交互行为的概率进行准确预测，保证预测质量。
此外，由于二级交互样本可以涉及不同的样本账号，且不同的样本账号应该具有不同的二级交互行为特点，故初始分类模型可以在训练过程通过二级交互样本学习到不同样本账号与二级交互行为相关的不同知识，以及如何将二级交互概率准确与一级交互概率融合的不同知识，从而使得确定的分类模型能够针对具有不同的二级交互行为特点的目标账号，可以生成有区别的融合权重来确定融合概率，使得融合概率能够达到更好的个性化响应效果。
本实施例中确定出的分类模型可以对多个待推荐内容进行排序后进行推送，对比相关技术中的模型，本实施例中的分类模型可以使得推送内容的点击率显著提升0.5％，推送内容被点击后的显示时长显著提升1.0％，即本实施例中的分类模型具有更好的排序能力。
由此可见，为了准确预测在产生一级交互行为后，再产生二级交互行为的可能性，通过涉及样本账号、样本内容的训练样本和二级交互样本对初始分类模型进行训练。训练过程中，通过标识与样本账号和样本内容相关的一级交互行为的训练样本，可以得到样本账号在样本内容分别产生一级交互行为、二级交互行为的交互概率。通过二级交互样本，得到融合权重，并基于融合权重对一级交互概率和二级交互概率进行融合，得到融合概率。通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数来对初始分类模型进行训练，以得到分类模型。由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，可以在基于模型损失函数进行训练时，有效指导初始分类模型通过二级交互样本学习到与二级交互行为相关的知识，以及如何将二级交互概率准确与一级交互概率准确融合的知识。而且基于涉及不同样本账号的二级交互样本的训练下，针对具有不同二级交互行为特点的样本账号，初始分类模型可以有效学习到不同特点作用于融合权重的区别，从而针对具有不同二级交互行为特点的目标账号，训练得到的分类模型可以生成有区别的融合权重来确定融合概率，不仅能够有效提升融合概率的预测质量，也能够达到更好的个性化响应效果。
为了能够更好的对模型进行训练，在一种可能的实现方式中，训练样本的样本标签用于标识样本账号是否在样本内容产生一级交互行为，以及是否产生二级交互行为，S204中通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数，具体包括：
通过一级交互概率和二级交互概率与样本标签的差异，以及融合概率与二级标签的差异，生成模型损失函数。
由于初始分类模型除了输出融合概率之外，还输出了一级交互概率和二级交互概率，故为了进一步实现对该初始分类模型的监督学习训练，训练样本可以被配置有样本标签，样本标签用于标识样本账号是否在样本内容产生一级交互行为，以及是否产生二级交互行为。
具体的，样本标签包括样本账号是否在样本内容产生了一级交互行为的真实值，例如当一级交互行为是点击时，若样本账号在样本内容产生点击，样本标签中标识一级交互行为的数值可是1；若样本账号在样本内容未产生点击，样本标签中标识一级交互行为的数值是0。样本标签还包括样本账号是否在样本内容产生了二级交互行为的真实值，其中，样本标签中用于标识样本账号是否在样本内容产生二级交互行为的数值与用于标识样本账号是否在样本内容产生一级交互行为的数值密切相关，例如当一级交互行为是点击，二级交互行为是评论时，若样本账号在样本内容未完成点击，表示样本账号也不可能在样本内容产生评论，样本标签中标识二级交互行为的数值是0；若样本账号在样本内容产生了点击但是未产生评论，样本标签中标识二级交互行为的数值也是0；若样本账号在样本内容产生了点击并产生了评论，样本标签中标识二级交互行为的数值是1。
由于一级交互概率是指初始分类模型得到的样本账号在样本内容产生一级交互行为的预测值，二级交互概率是指初始分类模型得到的样本账号在样本内容产生二级交互行为的预测值，样本标签包括样本账号是否在样本内容产生了一级交互行为的真实值和样本账号是否在样本内容产生了二级交互行为的真实值，故服务器通过一级交互概率和二级交互概率和样本标签的差异，以及融合概率与二级标签的差异，可以生成模型损失函数。
根据一级交互概率和二级交互概率与样本标签的差异，以及通过融合概率和二级标签的差异生成的模型损失函数，与仅根据融合概率和二级标签的差异生成的模型损失函数相比，能够对初始分类模型的输出进行更为全面的衡量，进而能够对初始分类模型进行更好的训练，使得初始分类模型在通过二级交互样本学习到与二级交互行为相关的知识之余，还能通过训练样本学习到与一级交互行为相关的知识，以及如何得到更为准确的一级交互概率和二级交互概率的知识。进一步的，由于融合概率是以一级交互概率和二级交互概率为基础确定的，故让模型能够学习到如何得到更为准确的一级交互概率和二级交互概率的知识，能够让训练得到的分类模型可以得到更为准确的融合概率。
根据一级交互概率和二级交互概率与样本标签的差异，以及通过融合概率和二级标签的差异生成的模型损失函数，使得初始分类模型在通过二级交互样本学习到与二级交互行为相关的知识之余，还能通过训练样本学习到与一级交互行为相关的知识，以及如何得到更为准确的一级交互概率和二级交互概率的知识，进而能够让训练得到的分类模型可以得到更为准确的融合概率。
在一种可能的实现方式中，通过一级交互概率和二级交互概率与样本标签的差异，以及融合概率与二级标签的差异，生成模型损失函数，包括：
通过一级交互概率和二级交互概率与样本标签的差异，生成对应一级交互行为的第一子损失函数和对应二级交互行为的第二子损失函数，并通过融合概率与二级标签的差异，生成融合子损失函数；
根据第一损失权重和第一子损失函数、第二损失权重和第二子损失函数，以及第三损失权重和融合子损失函数，生成模型损失函数，第二损失权重小于第一损失权重和第三损失权重。
由于一级交互概率是指初始分类模型得到的样本账号在样本内容产生一级交互行为的预测值，样本标签包括样本账号是否在样本内容产生了一级交互行为的真实值，故通过一级交互概率和样本标签的差异，服务器可以生成对应一级交互行为的第一子损失函数。
由于二级交互概率是指初始分类模型得到的样本账号在样本内容产生二级交互行为的预测值，样本标签包括样本账号是否在样本内容产生了二级交互行为的真实值，故通过二级交互概率和样本标签的差异，服务器可以生成对应二级交互行为的第二子损失函数。
由于融合概率是指初始分类模型得到的样本账号在样本内容产生一级交互行为，且产生二级交互行为的预测值，二级标签是指样本标签是否在样本内容产生一级交互行为和二级交互行为的真实值，故通过融合概率与二级标签的差异，服务器可以生成融合子损失函数。
在服务器得到了第一子损失函数、第二子损失函数和融合子损失函数之后，可以结合第一子损失函数对应的第一损失权重，第二子损失函数对应的第二损失权重，融合子损失函数对应的第三损失权重，生成模型损失函数。
由于训练样本携带有分别与样本账号和样本内容相关的一级交互行为的信息，且一级交互概率为边际概率，故根据训练样本确定的一级交互概率的可靠性则较高，即根据一级交互概率确定的第一子融合函数对初始分类模型的训练优化方向进行可靠指导。同时，由于二级交互样本携带有分别与样本账号和样本内容相关的二级交互行为的信息，故根据二级交互样本确定的融合权重的可靠性也较高，该融合权重能够在一级交互概率和二级交互概率融合时对二级交互概率所占的权重进行准确指导，使得融合得到的融合概率的可靠性也较高，即根据融合概率确定的融合子损失函数对初始分类模型的训练优化方向也能进行可靠指导。然而，由于训练样本并未携带有分别与样本账号和样本内容相关的二级交互行为的信息，且二级交互概率为条件概率，故根据训练样本确定的二级交互概率的可靠性则较低，即根据二级交互概率确定的第二子融合函数对初始分类模型的训练优化方向的指导并不可靠。
对此，在生成模型损失函数时，可以让二级交互概率对应的第二损失权重小于一级交互概率对应的第一损失权重和融合概率对应的第三损失权重，降低第二子损失函数的影响，从而避免不可靠的二级交互概率对应的第二子损失函数对初始分类模型的训练优化产生不利影响，例如，可以通过下述公式得到模型损失函数：
Loss＝Loss1+0.1Loss2+Loss3
其中，Loss表示模型损失函数，Loss1表示第一子损失函数，第一损失权重的数值为1，Loss2表示第二子损失函数，第二损失权重的数值为0.1，Loss3表示融合子损失函数，第三损失权重的数值为1。
通过上述公式可以在第二损失权重为0.1，第一损失权重和第三损失权重为1的情况下，对第一子损失函数、第二子损失函数和融合子损失函数进行融合，得到模型损失函数。
在得到模型损失函数的过程中，通过让二级概率对应的第二损失权重小于一级交互概率对应的第一损失权重和融合概率对应的第三损失权重，降低第二子损失函数的影响，从而避免不可靠的二级交互概率对应的第二子损失函数对初始分类模型的训练优化产生不利影响。
为了进一步加强分类模型的个性化响应能力，在一种可能的实现方式中，初始分类模型还包括个性化子模型，模型确定方法还包括：
获取涉及样本账号的交互数据，交互数据用于标识与样本账号相关的交互行为的信息，交互行为包括一级交互行为或二级交互行为中的至少一种；
根据交互数据，通过个性化子模型确定样本账号与交互行为相关的个性化特征；
S202中根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率，具体包括：
根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率。
为了让分类模型能够具有更好的个性化响应效果，初始分类模型可以还包括个性化子模型，个性化子模型用于确定样本账号的个性化特征。
具体的，服务器可以获取涉及样本账号的交互数据，交互数据用于标识与样本账号相关的交互行为的信息，交互行为包括一级交互行为或二级交互行为中的至少一种，即交互数据可以用于标识与样本账号相关的一级交互行为或二级交互行为的信息，例如当一级交互行为为点击时，与样本账号相关的一级交互行为的信息可以是样本账号1天内对推送内容的曝光数、样本账号7天内对推送内容的曝光数和样本账号1天内对推送内容的点击数和样本账号7天内对推送内容的点击数等，当二级交互行为对所打开的内容长时间查看后关闭时，与样本账号相关的二级交互行为的信息可以是样本账号7天内的平均阅读时长。
由于交互数据用于标识与样本账号相关的交互行为的信息，且不同的样本账号会具有不同交互行为特点，故服务器通过个性化子模型可以确定样本账号与交互行为相关的个性化特征，个性化特征用于标识样本账号在交互行为方面与其他账号不同的个性化信息。
在通过个性化子模型确定样本账号的个性化特征之后，在通过分类子模型确定一级交互概率和二级交互概率的过程中，服务器可以将训练样本和个性化特征同时作为分类子模型的输入。通过少量、同向、非均衡分布的个性化特征，来对模型参数进行分化，即对于非均衡分布的个性化特征，模型会分配不同的响应特征和模型参数，使得初始分类模型能够学习到更多和样本账号相关的个性化知识，提升分类模型对账号个性的敏感度。
需要说明的是，由于训练样本会涉及不同的样本账号，故为了让分类模型能够学习到训练样本涉及的每个样本账号更多的个性化知识，服务器可以获取与训练样本涉及的每个样本账号对应的交互数据，进而得到与训练样本涉及的每个样本账号对应的个性化特征。
如图3所示，个性化子模型包括特征提取层(Embedding)、多层感知机层(Multi-Layer Perception，MLP)，涉及样本账号的交互数据被输入至个性化子模型，然后经过特征提取层进行特征提取，通过多层感知机层和S型生长曲线(Sigmoid函数)进行变换，可以得到以门控向量(Gating向量)形式表示的样本账号的个性化特征。需要说明的是，当涉及样本账号的交互数据为连续数据值型数据时，例如与样本账号相关的点击行为的信息通常就是连续数值型数据，可以不经过特征提取层进行特征提取，直接通过多层感知机层和S型生长曲线(Sigmoid函数)进行变换。
将个性化特征和训练样本同时作为分类子模型的输入，通过个性化特征来对模型参数进行分化，提升分类模型对账号个性的敏感度，从而进一步加强分类模型的个性化响应能力。
在一种可能的实现方式中，分类子模型包括特征提取层和多层感知机层，特征提取层用于提取输入数据的数据特征，特征提取层的输入数据包括训练样本，多层感知机层用于根据输入数据确定一级交互概率，以及二级交互概率；
在根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率的过程中，模型确定方法还包括：
将个性化特征作为特征提取层的部分输入数据，并将个性化特征作为多层感知机层的部分输入数据。
初始分类模型中的分类子模型可以包括特征提取层和多层感知机层。如图3所示，具体的，当输入数据输入初始分类模型之后，特征提取层用于提取输入数据的数据特征，例如针对每一个维度的输入数据，特征提取层可以从特征提取表中查询读取对应的数据特征，得到的数据特征可以是d维数据特征向量，以ei∈Rd表示。基于特征提取层的数据特征可以传入后续的多目标网络结构，在本实施例中，多目标网络结构可以采用多任务学习模型(Multi-gate Mixture-of-Experts，MMOE)，然后使用多层感知机层来根据输入数据确定一级交互概率和二级交互概率，其中，在训练方式上，服务器可以使用ESMM方法。
对此，当将个性化特征和训练样本同时作为分类子模型的输入时，可以将个性化特征同时引入分类子模型的特征提取层和多层感知机层。具体的，服务器可以将个性化特征作为特征提取层的部分输入数据，以对特征提取层进行分化，以E∈RF×d表示训练样本，训练样本中包括F个数据特征，每个数据特征都是d维数据特征，以G∈RF表示训练样本涉及的每个样本账号对应的个性化特征，具体的分化操作可以通过下述公式表示：
其中，表示训练样本的分化结果，E表示训练样本，G表示训练样本对应的个性化特征。
通过上述公式可以将训练样本和个性化特征按照特征维度逐个相乘，对特征提取层的参数进行分化。
服务区还可以将个性化特征作为多层感知机层的部分输入数据，以对多层感知机层进行分化，以多层感知机层具有两层结构为例进行说明，将多层感知机层中第一层的输出向量可以以O1∈Rd’表示，第二层的输出向量则是一级交互概率和二级交互概率，以G’∈Rd’表示多层感知机层中第一层对应的个性化特征，具体的分化操作可以通过下述公式表示：
其中，表示多层感知机层中第一层的输出向量的分化结果，O1表示多层感知机层中第一层的输出向量，G’表示多层感知机层中第一层对应的个性化特征。
通过上述公式可以将多层感知机层中第一层的输出向量和个性化特征逐位相乘，对多层感知机层的参数进行分化。
当分类子模型包括特征提取层和多层感知机层时，可以将个性化特征作为特征提取层和多层感知机层的部分输入数据，以便个性化特征能够对分类子模型的特征提取层和多层感知机层的参数进行分化，提升特征提取层和多层感知机层对账号个性的敏感度。
在一种可能的实现方式中，多层感知机层包括第一感知机层和第二感知机层，第一感知机层用于根据输入数据确定一级交互概率，第二感知机层用于根据输入数据确定二级交互概率；
将个性化特征作为多层感知机层的部分输入数据，包括：
将个性化特征作为第一感知机层的部分输入数据，以及将个性化特征作为第二感知机层的部分输入数据。
由于多层感知机层需要根据输入数据确定一级交互概率和二级交互概率，故多层感知机层可以包括并行设置的第一感知机层和第二感知机层，如图3所示，第一感知机层用于确定一级交互概率，第二感知机层用于确定二级交互概率，两者之间互不干扰。
对此，将个性化特征作为多层感知机层的部分输入数据时，由于第一感知机层和第二感知机层是并行设置的，两者之间互不干扰，故可以将个性化特征作为第一感知机层的部分输入数据，并且将个性化特征作为第二感知机层的部分输入数据，以便个性化特征能够对第一感知机层和第二感知机层的参数进行分化。
当多层感知机层包括第一感知机层和第二感知机层时，可以将个性化特征作为第一感知机层和第二感知机层的部分输入数据，以便个性化特征能够对多层感知机层中的第一感知机层和第二感知机层的参数进行分化，提升第一感知机层和第二感知机层对账号个性的敏感度。
在一种可能的实现方式中，一级交互行为为通过账号对内容产生的点击行为，二级交互行为为通过账号对内容产生持续显示后的关闭行为。
在内容推送的实际场景中，对账号进行内容推送之后，账号在内容产生的一级交互行为可以是通过账号对内容产生的点击行为，即账号对应的用户通过点击对内容进行了简单的初步交互。
在账号对内容产生了点击行为的前提下，账号在内容产生的二级交互行为可以是通过账号对内容产生持续显示后的关闭行为，也就是说，账号对应的用户通过账号对内容产生了点击行为之后，并不对内容马上关闭，而是通过账号对内容产生持续显示后再关闭，这表示用户对内容可能进行了长时间的查看，即账号对应的用户对内容进行了深度交互。
在内容推送的实际场景中，用户可以通过账号对内容的点击行为实现一级交互，还可以通过账号对内容产生持续显示后的关闭行为实现二级交互。
当二级交互行为为通过账号对内容产生持续显示后的关闭行为时，训练样本的样本标签需要标识样本账号是否在样本内容产生了二级交互行为，即样本标签需要标识样本账号是否对样本内容产生了持续显示后的关闭行为，其中，“持续显示”表示样本账号对应的用户对样本内容可能进行了长时间的观看，由于“长时间”是一个相对概念，需要为“持续显示”确定一个合理的标签划分依据来保证样本标签的准确性，故在一种可能的实现方式中，模型确定方法还包括：
针对训练样本所在的训练样本集，根据多个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组；
根据不同待定样本标签组与训练样本集中持续显示后的关闭行为中的真实显示时长的相关性，从多个待定时长阈值中确定目标时长阈值作为实际标签划分依据；
根据实际标签划分依据确定训练样本的样本标签；
其中，当训练样本中持续显示后的关闭行为中的真实显示时长小于实际标签划分依据时，样本标签用于标识样本账号未在样本内容产生二级交互行为；
当训练样本中持续显示后的关闭行为中的真实显示时长大于或等于实际标签划分依据时，样本标签用于标识样本账号在样本内容产生二级交互行为。
训练样本的真实显示时长是指训练样本涉及的样本标签在训练样本涉及的样本内容上产生持续显示后的关闭行为所对应的显示时长的真实值，即真实显示时长能表示样本标签在样本内容上产生持续显示的行为中实际上持续显示了多久，需要说明的是，若训练样本涉及的样本标签在训练样本涉及的样本内容上未产生持续显示后的关闭行为，则对应的真实显示时长的数值则为0。
需要说明的是，在本实施例中，并没有直接使用训练样本的真实显示时长作为样本标签，并让初始分类模型直接预测训练样本的显示时长，这是因为训练样本的真实显示时长的数据量会较为庞大，从而导致对模型的训练难度很大，基于此，在本实施例中，是将对训练样本的显示时长的预测转化为二分类任务，即设置对应的样本标签来标识样本账号是否对样本内容产生了持续显示后的关闭行为。
针对训练样本所在的训练样本集，服务器可以先将多个待定时长阈值作为标签划分依据，分别对训练样本集中的训练样本进行划分，从而可以分别确定多个待定时长阈值对应的待定样本标签组。以一个待定时长阈值作为标签划分依据为例对划分过程进行具体说明，将训练样本中的真实显示时长与标签划分依据做比较，当真实显示时长小于标签划分依据时，确定出的待定样本标签标识样本账号未在样本内容产生二级交互行为，即该训练样本被划分至负样本；当真实显示时长大于或等于标签划分依据时，确定出的待定样本标签标识样本账号在样本内容产生二级交互行为，即该训练样本被划分至正样本。
此时，服务器可以根据不同待定时长阈值对应的不同待定样本标签组与训练样本集中的真实显示时长的相关性，来分别衡量多个待定时长阈值作为标签划分依据时的合理性。待定样本标签组与训练样本集中的真实显示时长的相关性是指待定样本标签组中的正样本和训练样本集中按照真实显示时长实际归属于“长时间显示”的训练样本的相似度，相关性越高表示待定样本组中的正样本和训练样本按照真实显示时长实际归属于“长时间显示”的训练样本的相似程度就越高，这表示对应的待定时长阈值作为标签划分依据时就越合理。
基于此，服务器可以根据不同待定样本标签组与训练样本集中持续显示后的关闭行为中的真实显示时长的相关性，从多个待定时长阈值确定目标时长阈值作为实际标签划分依据。具体的，由于相关性越高表示对应的待定时长阈值作为标签划分依据时就越合理，故可以将相关性最高的待定时长阈值确定为目标时长阈值作为实际标签划分依据。
如表1所示，根据内容阅读时间20％分位数，40％分位数，60％分位数和80％分位数设置4个待定时长阈值，例如，内容阅读时间的20％分位数可以是7s，根据这4个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组，当训练样本的真实显示时长小于对应的待定时长阈值时，待定样本标签值为0，否则取值为1。通过数据分析，可以确定这4个待定时长阈值对应的待定样本标签组和真实显示时长的相关性，如表1所示，相关性呈现先增后减的关系，这是因为点击行为(一级交互行为)也会占用一定的时长，所以当待定时长阈值过低时，确定待定样本标签的过程中受点击行为的影响较大，从而导致相关性低，即待定时长阈值为内容阅读时间的20％分位数和40％分位数时，相关性较低；而在实际的内容推送过程中，样本内容被“长时间显示”可能会达不到过高的待定时长阈值，故当待定时长阈值过高时，训练样本集中实际上归属于“长时间显示”的训练样本由于达不到过高的待定时长阈值而被划分为负样本，这会导致待定样本标签组中的待定样本标签过于稀疏，这也会导致相关性低，即待定时长阈值为内容阅读时间的80％分位数时，相关性也较低。从表1可以得出，待定时长阈值为内容阅读时间的60％分位数时，对应的待定样本标签组和真实显示时长的相关性为最高，具体数值为0.746，故可以将内容阅读时间的60％分位数确定为实际标签划分依据。
表1不同待定时长阈值对应的待定样本标签组和真实显示时长的相关性表
在服务器确定了实际标签划分依据之后，服务器可以根据实际标签划分依据来确定训练样本的样本标签。具体的，当训练样本中持续显示后的关闭行为中的真实显示时长小于实际标签划分依据时，确定的样本标签用于标识样本账号未在样本内容产生二级交互行为；当训练样本中持续显示后的关闭行为中的真实显示时长大于或等于实际标签划分依据时，确定的样本标签用于标识样本账号在样本内容产生二级交互行为。
根据多个待定时长阈值对应的待定样本标签和真实显示时长的相关性，可以从多个待定时长阈值中将相关性最高的待定时长阈值确定为目标时长阈值作为实际标签划分依据，通过合理的标签划分依据能够保证样本标签的准确性，从而保证训练得到的分类模型的准确性。
在一种可能的实现方式中，服务器还可以通过帕累托关系来分析多个待定时长阈值作为标签划分依据时的合理性。具体地，服务器可以根据多个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组。然后将待定样本标签组中的待定样本标签和分类子模型确定的一级交互概率通过固定融合公式进行融合，固定融合公式如下所示
y＝pctr*(1+TimeLable*w)
其中，y表示待定样本标签和一级交互概率的融合结果，pctr表示一级交互概率，TimeLable表示待定样本标签，w表示固定融合权重。
固定融合权重是一个超参数，是指不会随着训练样本变化的固定的权重，为了进行多次计算，可以设定w的搜索范围，例如w∈{0.1,0.2,0.3}，可以得到对应每个w的数值的固定融合公式。当设置w的数值后，可以对一批训练样本集进行评估，其中，不同组对应受试者特征曲线(Receiver Operating Characteristic Curve，ROC)下的面积(Group AreaUnder the Curve，GAUC)可以作为评估指标，GAUC的数值越大，表示性能越优，对此，服务器可以确定训练样本集对应于固定融合公式的点击GAUC和时长GAUC，训练样本集中的每一个训练样本可以以点的形式表示，然后根据训练样本集中全部训练样本对应的点可以确定训练样本集对应的帕累托边界，如图4所示，针对内容阅读时间的40％分位数、60％分位数和80％分位数，时长GAUC和电机GAUC均无法同时达到最优，而是呈现一种此消彼长的关系，由于帕累托边界下的面积越大表示帕累托关系越优，故由图4可以得出，具有最优帕累托关系的是由内容阅读时间的60％分位数确定的待定样本标签组，即可以将内容阅读时间的60％分位数确定目标时长阈值作为实际标签划分依据。
当二级交互行为为通过账号对内容产生持续显示后的关闭行为时，二级交互样本对应的真实显示时长是指二级交互样本涉及的样本标签在二级交互样本涉及的样本内容上产生持续显示后的关闭行为所对应的显示时长的真实值，由于不同的二级交互样本对应的真实显示时长通常并不相同，为了能够更加细致的衡量不同的二级交互样本中的样本账号对应的用户对样本内容产生的深度交互行为的交互深度，故在一种可能的实现方式中，二级标签通过如下方式确定：
根据多个时长阈值确定至少两个时长范围；
根据二级交互样本中持续显示后的关闭行为中的真实显示时长落入的时长范围，确定二级交互样本的二级标签，不同的时长范围对应的二级标签的标签值不同。
由于不同的二级交互样本对应的真实显示时长通常并不相同，真实显示时长越大，表示二级交互样本对应的样本账号在样本内容上产生持续显示的行为中实际上持续显示了越久，这说明样本标签对应的用户在样本内容产生的深度交互行为的交互深度越深。
基于此，为了能够更加细致的衡量不同的二级交互样本中的样本账号对应的用户对样本内容产生的深度交互行为的交互深度，服务器可以根据多个时长阈值确定至少两个时长范围，并根据二级交互样本对应的真实显示时长落入的时长范围，确定二级交互样本的二级标签，其中，不同的时长范围对应的二级标签的标签值不同。具体的，由于二级交互样本对应的真实显示时长落入的时长范围的边界值越大，表示样本标签对应的用户在样本内容产生的深度交互行为的交互深度越深，故时长范围的边界值和二级标签的标签值应该呈正相关，例如，可以通过下述公式确定二级标签的标签值：
其中，第一时长阈值、第二时长阈值、第三时长阈值和第四时长阈值分别为内容阅读时间20％分位数，40％分位数，60％分位数和80％分位数。
通过上述公式可以将二级交互样本对应的真实显示时长和内容阅读时间20％分位数，40％分位数，60％分位数和80％分位数进行比较，从而判断其落入的时长范围，进而准确确定二级交互样本的二级标签的标签值。
需要说明的是，当二级标签的标签值通过上述公式的取值在0-1.8之间时，服务器可以对二级标签的标签值进行归一化处理，使得二级标签的标签值仍然取值在0-1之间，从而便于生成模型损失函数。
服务器根据二级交互样本的真实显示时长落入的时长范围，准确确定二级交互样本的二级标签的标签值，从而通过二级标签的标签值的数值大小能够更加细致的衡量二级交互样本中的样本账号对应的用户对样本内容产生的深度交互行为的交互深度，进而进一步保证训练得到的分类模型的准确性。
在实际的内容推送过程中，内容通常是由对应的账号上传的，如图5所示，账号A可以在某社交平台上向用户推送内容A，其中，账号A可以是用户自行订阅的，也可以是账号A主动向用户对应的账号推送内容A，当样本内容是由内容账号上传的时，在一种可能的实现方式中，训练样本还用于标识样本账号针对内容账号产生的一级交互行为的信息，二级交互样本还用于标识样本账号针对内容账号产生的二级交互行为的信息。
为了能够让初始分类模型可以准确确定训练样本涉及的样本账号在涉及的样本内容产生一级交互行为的一级交互概率和产生二级交互行为的二级交互概率，由于样本内容是由内容账号上传的，训练样本还可以用于标识样本账号针对内容账号产生的一级交互行为的信息，例如当一级交互行为为点击时，样本账号针对内容账号产生的一级交互行为的信息可以是样本账号对内容账号28天内的曝光数和样本账号对内容账号28天内的点击数，需要说明的是，样本账号针对内容账号产生的一级交互行为的信息不包括样本账号在样本内容产生的一级行为的信息。
此外，为了进一步丰富训练样本中的信息，训练样本还可以用于标识内容账号和与内容账号相关的一级交互行为的信息，其中，训练样本可以从多个方面来标识内容账号，例如训练样本可以标识内容账号的完整账号名称，内容账号的粉丝数量，内容账号7天内上传的内容数量等，而与内容账号相关的一级交互行为的信息可以是内容账号上传的内容7天内的被点击数。
同理，为了能够让初始分类模型可以根据二级交互样本准确确定融合权重，训练样本还可以用于标识样本账号针对内容账号产生的二级交互行为的信息，例如当二级交互行为对所打开的内容长时间查看后关闭时，样本账号针对内容账号产生的二级交互行为的信息可以是样本账号针对内容账号7天内的平均阅读时长，需要说明的是，样本账号针对内容账号产生的二级交互行为的信息不包括样本账号在样本内容产生的二级行为的信息。
此外，为了进一步丰富二级交互样本中的信息，二级交互样本还可以用于标识与内容账号相关的二级交互信息，与内容账号相关的二级交互信息可以是内容账号7天内的平均被阅读时长。
需要说明的是，当根据样本账号的交互数据来确定样本账号与交互行为相关的个性化特征时，样本账号的交互数据可以包括样本账号针对内容账号的交互数据，例如样本账号对内容账号7天/28天的点击次数，样本账号对内容账号上传的内容7天/28天的点击次数，样本账号对内容账号7天内/28天内的点击天数，样本账号对内容账号7天平均阅读时长等。
当样本内容是由内容账号上传的时，训练样本用于标识与样本账号相关的一级交互行为的信息可以包括用于标识样本账号针对内容账号产生的一级交互行为的信息，二级交互样本用于标识与样本账号相关的二级交互行为的信息包括可以用于标识样本账号针对内容账号产生的二级交互行为的信息，从而使得训练样本和二级交互样本包括的信息能够涉及到内容账号，进而能够根据训练样本和二级交互样本训练得到更为准确的分类模型。
在前述图1-5所对应的的实施例的基础上，图6为本申请实施例提供的一种模型确定装置的装置示意图，模型确定装置600包括获取单元601，第一确定单元602，第二确定单元603，生成单元604，训练单元605：
获取单元601，用于获取涉及样本账号和样本内容的训练样本，训练样本用于标识样本账号和所述样本内容，以及分别与样本账号和样本内容相关的一级交互行为的信息；
第一确定单元602，用于根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率；
第二确定单元603，用于根据涉及样本账号和样本内容的二级交互样本，通过初始分类模型的融合子模型确定融合权重，并基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息，融合概率用于标识样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率；
生成单元604，用于通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数，二级标签用于标识样本账号是否在样本内容产生一级交互行为和二级交互行为；
训练单元605，用于通过模型损失函数对初始分类模型进行模型训练，得到分类模型，分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
在一种可能的实现方式中，生成单元604用于：
当训练样本的样本标签用于标识样本账号是否在样本内容产生一级交互行为，以及是否产生二级交互行为时，通过一级交互概率和二级交互概率与样本标签的差异，以及融合概率与二级标签的差异，生成模型损失函数。
在一种可能的实现方式中，生成单元604用于：
通过一级交互概率和二级交互概率与样本标签的差异，生成对应一级交互行为的第一子损失函数和对应二级交互行为的第二子损失函数，并通过融合概率与二级标签的差异，生成融合子损失函数；
根据第一损失权重和第一子损失函数、第二损失权重和第二子损失函数，以及第三损失权重和融合子损失函数，生成模型损失函数，第二损失权重小于第一损失权重和第三损失权重。
在一种可能的实现方式中，第一确定单元602用于：
根据训练样本，通过分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及在不考虑产生一级交互行为下，样本账号在样本内容产生二级交互行为的二级条件概率；
根据一级交互概率和二级条件概率，确定样本账号在样本内容产生二级交互行为的二级交互概率。
在一种可能的实现方式中，获取单元601还用于：
当初始分类模型还包括个性化子模型时，获取涉及样本账号的交互数据，交互数据用于标识与样本账号相关的交互行为的信息，交互行为包括一级交互行为或二级交互行为中的至少一种；
根据交互数据，通过个性化子模型确定样本账号与交互行为相关的个性化特征；
第一确定单元602用于：
根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率。
在一种可能的实现方式中，模型确定装置600还包括作为单元，用于：
当分类子模型包括特征提取层和多层感知机层，特征提取层用于提取输入数据的数据特征，特征提取层的输入数据包括训练样本，多层感知机层用于根据输入数据确定一级交互概率，以及二级交互概率时；
在根据训练样本和个性化特征，通过初始分类模型的分类子模型确定一级交互概率，以及二级交互概率的过程中，
将个性化特征作为特征提取层的部分输入数据，并将个性化特征作为多层感知机层的部分输入数据。
在一种可能的实现方式中，作为单元用于：
当多层感知机层包括第一感知机层和第二感知机层，第一感知机层用于根据输入数据确定一级交互概率，第二感知机层用于根据输入数据确定二级交互概率时，将个性化特征作为第一感知机层的部分输入数据，以及将个性化特征作为第二感知机层的部分输入数据。
在一种可能的实现方式中，一级交互行为为通过账号对内容产生的点击行为，二级交互行为为通过账号对内容产生持续显示后的关闭行为。
在一种可能的实现方式中，第一确定单元602还用于：
针对训练样本所在的训练样本集，根据多个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组；
根据不同待定样本标签组与训练样本集中持续显示后的关闭行为中的真实显示时长的相关性，从多个待定时长阈值中确定目标时长阈值作为实际标签划分依据；
根据实际标签划分依据确定训练样本的样本标签；
其中，当训练样本中持续显示后的关闭行为中的真实显示时长小于实际标签划分依据时，样本标签用于标识样本账号未在样本内容产生二级交互行为；
当训练样本中持续显示后的关闭行为中的真实显示时长大于或等于实际标签划分依据时，样本标签用于标识样本账号在样本内容产生二级交互行为。
在一种可能的实现方式中，第一确定单元602还用于：
根据多个时长阈值确定至少两个时长范围；
根据二级交互样本中持续显示后的关闭行为中的真实显示时长落入的时长范围，确定二级交互样本的二级标签，不同的时长范围对应的二级标签的标签值不同。
在一种可能的实现方式中，样本内容是由内容账号上传的，训练样本还用于标识样本账号针对内容账号产生的一级交互行为的信息，二级交互样本还用于标识样本账号针对内容账号产生的二级交互行为的信息。
由上述技术方案可以看出，为了准确预测在产生一级交互行为后，再产生二级交互行为的可能性，通过涉及样本账号、样本内容的训练样本和二级交互样本对初始分类模型进行训练。训练过程中，通过标识与样本账号和样本内容相关的一级交互行为的训练样本，可以得到样本账号在样本内容分别产生一级交互行为、二级交互行为的交互概率。通过二级交互样本，得到融合权重，并基于融合权重对一级交互概率和二级交互概率进行融合，得到融合概率。通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数来对初始分类模型进行训练，以得到分类模型。由于二级交互样本中携带有与样本账号和样本内容相关的二级交互行为的丰富信息，可以在基于模型损失函数进行训练时，有效指导初始分类模型通过二级交互样本学习到与二级交互行为相关的知识，以及如何将二级交互概率准确与一级交互概率准确融合的知识。而且基于涉及不同样本账号的二级交互样本的训练下，针对具有不同二级交互行为特点的样本账号，初始分类模型可以有效学习到不同特点作用于融合权重的区别，从而针对具有不同二级交互行为特点的目标账号，训练得到的分类模型可以生成有区别的融合权重来确定融合概率，不仅能够有效提升融合概率的预测质量，也能够达到更好的个性化响应效果。
本申请实施例还提供了一种计算机设备，该计算机设备为前述介绍的计算机设备，可以包括终端设备或服务器，前述的模型确定装置可以配置在该计算机设备中。下面结合附图对该计算机设备进行介绍。
若该计算机设备为终端设备，请参见图7所示，本申请实施例提供了一种终端设备，以终端设备为手机为例：
图7示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图7，手机包括：射频(Radio Frequency，简称RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(简称WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对手机的各个构成部件进行具体的介绍：
RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
手机还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。
音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。
WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。
处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据。
手机还包括给各个部件供电的电源1490(比如电池)。
在本实施例中，该终端设备所包括的处理器1480还具有以下功能：
获取涉及样本账号和样本内容的训练样本，训练样本用于标识样本账号和样本内容，以及分别与样本账号和样本内容相关的一级交互行为的信息；
根据训练样本，通过初始分类模型的分类子模型确定样本账号在样本内容产生一级交互行为的一级交互概率，以及样本账号在样本内容产生二级交互行为的二级交互概率；
根据涉及样本账号和样本内容的二级交互样本，通过初始分类模型的融合子模型确定融合权重，并基于融合权重将一级交互概率和二级交互概率进行融合，得到融合概率，二级交互样本用于标识分别与样本账号和样本内容相关的二级交互行为的信息，融合概率用于标识样本账号在样本内容产生一级交互行为，且产生二级交互行为的概率；
通过融合概率与二级交互样本的二级标签的差异，生成模型损失函数，二级标签用于标识样本账号是否在样本内容产生一级交互行为和二级交互行为；
通过模型损失函数对初始分类模型进行模型训练，得到分类模型，分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
若计算机设备为服务器，本申请实施例还提供一种服务器，请参见图8所示，图8为本申请实施例提供的服务器1500的结构图，服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图8所示的服务器结构。
另外，本申请实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例提供的方法。
本申请实施例还提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述实施例提供的方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：Read-only Memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储计算机程序的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种模型确定方法，其特征在于，所述方法包括：
获取涉及样本账号和样本内容的训练样本，所述训练样本用于标识所述样本账号和所述样本内容，以及分别与所述样本账号和所述样本内容相关的一级交互行为的信息；
根据所述训练样本，通过初始分类模型的分类子模型确定所述样本账号在所述样本内容产生一级交互行为的一级交互概率，以及所述样本账号在所述样本内容产生二级交互行为的二级交互概率；
根据涉及所述样本账号和所述样本内容的二级交互样本，通过所述初始分类模型的融合子模型确定融合权重，并基于所述融合权重将所述一级交互概率和所述二级交互概率进行融合，得到融合概率，所述二级交互样本用于标识分别与所述样本账号和所述样本内容相关的二级交互行为的信息，所述融合概率用于标识所述样本账号在所述样本内容产生一级交互行为，且产生二级交互行为的概率；
通过所述融合概率与所述二级交互样本的二级标签的差异，生成模型损失函数，所述二级标签用于标识所述样本账号是否在所述样本内容产生一级交互行为和二级交互行为；
通过所述模型损失函数对所述初始分类模型进行模型训练，得到分类模型，所述分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
2.根据权利要求1所述的方法，其特征在于，所述训练样本的样本标签用于标识所述样本账号是否在所述样本内容产生一级交互行为，以及是否产生二级交互行为，所述通过所述融合概率与所述二级交互样本的二级标签的差异，生成模型损失函数，包括：
通过所述一级交互概率和所述二级交互概率与所述样本标签的差异，以及所述融合概率与所述二级标签的差异，生成所述模型损失函数。
3.根据权利要求2所述的方法，其特征在于，所述通过所述一级交互概率和所述二级交互概率与所述样本标签的差异，以及所述融合概率与所述二级标签的差异，生成所述模型损失函数，包括：
通过所述一级交互概率和所述二级交互概率与所述样本标签的差异，生成对应所述一级交互行为的第一子损失函数和对应所述二级交互行为的第二子损失函数，并通过所述融合概率与所述二级标签的差异，生成融合子损失函数；
根据第一损失权重和所述第一子损失函数、第二损失权重和所述第二子损失函数，以及第三损失权重和所述融合子损失函数，生成所述模型损失函数，所述第二损失权重小于所述第一损失权重和所述第三损失权重。
4.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本，通过初始分类模型的分类子模型确定所述样本账号在所述样本内容产生一级交互行为的一级交互概率，以及所述样本账号在所述样本内容产生二级交互行为的二级交互概率，包括：
根据所述训练样本，通过所述分类子模型确定所述样本账号在所述样本内容产生一级交互行为的所述一级交互概率，以及在不考虑产生一级交互行为下，所述样本账号在所述样本内容产生二级交互行为的二级条件概率；
根据所述一级交互概率和所述二级条件概率，确定所述样本账号在所述样本内容产生二级交互行为的二级交互概率。
5.根据权利要求1所述的方法，其特征在于，所述初始分类模型还包括个性化子模型，所述方法还包括：
获取涉及所述样本账号的交互数据，所述交互数据用于标识与所述样本账号相关的交互行为的信息，所述交互行为包括所述一级交互行为或所述二级交互行为中的至少一种；
根据所述交互数据，通过所述个性化子模型确定所述样本账号与交互行为相关的个性化特征；
所述根据所述训练样本，通过初始分类模型的分类子模型确定所述样本账号在所述样本内容产生一级交互行为的一级交互概率，以及所述样本账号在所述样本内容产生二级交互行为的二级交互概率，包括：
根据所述训练样本和所述个性化特征，通过初始分类模型的分类子模型确定所述一级交互概率，以及所述二级交互概率。
6.根据权利要求5所述的方法，其特征在于，所述分类子模型包括特征提取层和多层感知机层，所述特征提取层用于提取输入数据的数据特征，所述特征提取层的输入数据包括所述训练样本，所述多层感知机层用于根据输入数据确定所述一级交互概率，以及所述二级交互概率；
在根据所述训练样本和所述个性化特征，通过初始分类模型的分类子模型确定所述一级交互概率，以及所述二级交互概率的过程中，所述方法还包括：
将所述个性化特征作为所述特征提取层的部分输入数据，并将所述个性化特征作为所述多层感知机层的部分输入数据。
7.根据权利要求6所述的方法，其特征在于，所述多层感知机层包括第一感知机层和第二感知机层，所述第一感知机层用于根据输入数据确定所述一级交互概率，所述第二感知机层用于根据输入数据确定所述二级交互概率；
所述将所述个性化特征作为所述多层感知机层的部分输入数据，包括：
将所述个性化特征作为所述第一感知机层的部分输入数据，以及将所述个性化特征作为所述第二感知机层的部分输入数据。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述一级交互行为为通过账号对内容产生的点击行为，所述二级交互行为为通过账号对内容产生持续显示后的关闭行为。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
针对所述训练样本所在的训练样本集，根据多个待定时长阈值作为标签划分依据，分别确定对应的待定样本标签组；
根据不同待定样本标签组与所述训练样本集中所述持续显示后的关闭行为中的真实显示时长的相关性，从所述多个待定时长阈值中确定目标时长阈值作为实际标签划分依据；
根据所述实际标签划分依据确定所述训练样本的样本标签；
其中，当所述训练样本中所述持续显示后的关闭行为中的真实显示时长小于所述实际标签划分依据时，所述样本标签用于标识所述样本账号未在所述样本内容产生所述二级交互行为；
当所述训练样本中所述持续显示后的关闭行为中的真实显示时长大于或等于所述实际标签划分依据时，所述样本标签用于标识所述样本账号在所述样本内容产生所述二级交互行为。
10.根据权利要求8所述的方法，其特征在于，所述二级标签通过如下方式确定：
根据多个时长阈值确定至少两个时长范围；
根据所述二级交互样本中所述持续显示后的关闭行为中的真实显示时长落入的时长范围，确定所述二级交互样本的二级标签，不同的时长范围对应的二级标签的标签值不同。
11.根据权利要求1-7任意一项所述的方法，其特征在于，所述样本内容是由内容账号上传的，所述训练样本还用于标识所述样本账号针对所述内容账号产生的一级交互行为的信息，所述二级交互样本还用于标识所述样本账号针对所述内容账号产生的二级交互行为的信息。
12.一种模型确定装置，其特征在于，所述装置包括获取单元，第一确定单元，第二确定单元，生成单元，训练单元：
所述获取单元，用于获取涉及样本账号和样本内容的训练样本，所述训练样本用于标识所述样本账号和所述样本内容，以及分别与所述样本账号和所述样本内容相关的一级交互行为的信息；
所述第一确定单元，用于根据所述训练样本，通过初始分类模型的分类子模型确定所述样本账号在所述样本内容产生一级交互行为的一级交互概率，以及所述样本账号在所述样本内容产生二级交互行为的二级交互概率；
所述第二确定单元，用于根据涉及所述样本账号和所述样本内容的二级交互样本，通过所述初始分类模型的融合子模型确定融合权重，并基于所述融合权重将所述一级交互概率和所述二级交互概率进行融合，得到融合概率，所述二级交互样本用于标识分别与所述样本账号和所述样本内容相关的二级交互行为的信息，所述融合概率用于标识所述样本账号在所述样本内容产生一级交互行为，且产生二级交互行为的概率；
所述生成单元，用于通过所述融合概率与所述二级交互样本的二级标签的差异，生成模型损失函数，所述二级标签用于标识所述样本账号是否在所述样本内容产生一级交互行为和二级交互行为；
所述训练单元，用于通过所述模型损失函数对所述初始分类模型进行模型训练，得到分类模型，所述分类模型用于预测目标账号对待推送内容产生一级交互行为且产生二级交互行为的概率。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；
所述处理器用于根据所述计算机程序执行权利要求1-11中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被计算机设备执行时实现执行权利要求1-11中任意一项所述的方法。
15.一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得所述计算机设备执行权利要求1-11中任意一项所述的方法。
CN202310672518.9A 2023-06-07 2023-06-07 一种模型确定方法和相关装置 Pending CN117216377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310672518.9A CN117216377A (zh) 2023-06-07 2023-06-07 一种模型确定方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310672518.9A CN117216377A (zh) 2023-06-07 2023-06-07 一种模型确定方法和相关装置

Publications (1)

Publication Number Publication Date
CN117216377A true CN117216377A (zh) 2023-12-12

Family

ID=89046834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310672518.9A Pending CN117216377A (zh) 2023-06-07 2023-06-07 一种模型确定方法和相关装置

Country Status (1)

Country Link
CN (1) CN117216377A (zh)

Similar Documents

Publication Publication Date Title
CN109684510B (zh) 视频排序方法、装置、电子设备及存储介质
US20170164049A1 (en) Recommending method and device thereof
CN111460150A (zh) 一种分类模型的训练方法、分类方法、装置及存储介质
CN114357973B (zh) 意图识别方法、装置、电子设备及存储介质
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN109615060B (zh) Ctr预估方法、装置及计算机可读存储介质
CN111816159B (zh) 一种语种识别方法以及相关装置
US20200394362A1 (en) Apparatus and method for providing sentence based on user input
CN110334334B (zh) 一种摘要生成方法、装置及计算机设备
CN111368525A (zh) 信息搜索方法、装置、设备及存储介质
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN112801719A (zh) 用户行为预测方法、用户行为预测装置、存储介质及设备
US20230035366A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN112149699A (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN112862021B (zh) 一种内容标注方法和相关装置
CN116030323B (zh) 图像处理方法以及装置
CN117216377A (zh) 一种模型确定方法和相关装置
CN116259083A (zh) 一种图像质量识别模型的确定方法和相关装置
CN117112880A (zh) 信息推荐、多目标推荐模型训练方法、装置和计算机设备
CN116205686A (zh) 一种多媒体资源推荐的方法、装置、设备和存储介质
CN115080840A (zh) 一种内容推送方法、装置及存储介质
CN113486260A (zh) 互动信息的生成方法、装置、计算机设备及存储介质
CN114139031B (zh) 数据分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40098417

Country of ref document: HK