CN114139059A

CN114139059A - 资源推荐模型的训练方法、资源推荐方法及装置

Info

Publication number: CN114139059A
Application number: CN202111487390.6A
Authority: CN
Inventors: 刘濛; 王思梦; 秦瑞雄; 何德飞
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2021-12-07
Filing date: 2021-12-07
Publication date: 2022-03-04

Abstract

本公开提供了一种资源推荐模型的训练方法，可以应用于人工智能技术领域。该资源推荐模型的训练方法包括：获取资源数据库，其中，资源数据库包括预先聚类完成得到的多个类簇，每个类簇包括至少一个资源；从多个类簇中确定目标类簇；获取与目标类簇中的资源相关联的用户的第一描述信息，以及目标类簇中的资源的第二描述信息，其中，第一描述信息具有标签信息，标签信息表征用户对目标类簇中的资源的选择概率；以及利用第一描述信息、标签信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。本公开还提供了一种资源推荐模型的训练装置、资源推荐方法、资源推荐装置、设备、存储介质和程序产品。

Description

资源推荐模型的训练方法、资源推荐方法及装置

技术领域

本公开涉及人工智能领域，更具体地涉及一种资源推荐模型的训练方法、资源推荐方法、装置、设备、介质和程序产品。

背景技术

互联网的出现和普及给用户带来了大量的数据信息，满足了用户在网络信息时代对数据和信息的需求。但随着网络迅速发展而带来数据量爆炸式增长，使得用户在面对大量信息时无法从中获得有效信息，对信息的使用效率反而降低，导致信息超载(Information Overload)问题。

资源推荐方法是为了解决由于信息超载，用户无法快速找到满足兴趣和需求的信息而产生的一种方法。

在实现本公开构思的过程中，发明人发现相关技术中的资源推荐方法存在准确率较低的技术问题。

发明内容

鉴于上述问题，本公开提供了一种资源推荐模型的训练方法、资源推荐方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种资源推荐模型的训练方法，包括：

获取资源数据库，其中，上述资源数据库包括预先聚类完成得到的多个类簇，每个上述类簇包括至少一个资源；

从多个上述类簇中确定目标类簇；

获取与上述目标类簇中的资源相关联的用户的第一描述信息，以及上述目标类簇中的上述资源的第二描述信息，其中，上述第一描述信息表征上述用户对资源的偏好，上述第一描述信息具有标签信息，上述标签信息表征上述用户对上述目标类簇中的资源的选择概率；以及

利用上述第一描述信息、上述标签信息和上述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

根据本公开的实施例，其中，上述资源数据库通过以下操作生成：

根据初始资源数据库中的每个资源的质度信息生成统计数据矩阵，其中，上述质度信息是根据用户针对上述资源进行操作而生成的日志数据而获取的；

对上述统计数据矩阵进行数据处理，生成标准化矩阵；

对上述标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵；

基于上述模糊相似度矩阵，生成模糊等价矩阵；

基于上述模糊等价矩阵，对上述初始资源数据库中的资源进行聚类，生成上述资源数据库。

根据本公开的实施例，其中，上述基于上述模糊等价矩阵，对上述初始资源数据库中的资源进行聚类，生成上述资源数据库包括：

从上述模糊等价矩阵中获取多个待分类阈值；

根据每个上述待分类阈值分别对上述初始资源数据库中的资源进行聚类，生成上述资源数据库。

根据本公开的实施例，其中，上述基于上述模糊相似度矩阵，生成模糊等价矩阵包括：

迭代地执行以下操作：

确定上述模糊相似度矩阵是否满足迭代停止条件；

在上述模糊相似度矩阵不满足上述迭代停止条件的情况下，对上述模糊相似度矩阵进行平方运算，生成第一模糊相似度矩阵；以及

将上述第一模糊相似度矩阵作为上述模糊相似度矩阵；以及

在上述模糊相似度矩阵满足上述迭代停止条件的情况下，将上述模糊相似度矩阵作为上述模糊等价矩阵。

根据本公开的实施例，其中，上述标准化矩阵中的一行数据表征一个上述资源；

上述对上述标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵包括：

对上述标准化数据矩阵中的任意两行数据之间进行相似度计算，直至遍历上述标准化数据矩阵中的每行数据，生成相似度结果；

根据上述相似度结果生成上述模糊相似度矩阵。

根据本公开的实施例，其中，上述对上述统计数据矩阵进行数据处理，生成标准化矩阵包括：

对上述统计数据矩阵进行标准化处理，生成第一矩阵；

对上述第一矩阵进行平移极差变化处理，生成上述标准化矩阵。

根据本公开的实施例，其中，上述从多个上述类簇中确定目标类簇包括：

获取每个上述类簇的分类描述数据；

分别根据每个上述分类描述数据计算统计量，生成多个统计量结果；

将与统计量结果最大值对应的上述类簇确定为上述目标类簇。

根据本公开的实施例，上述利用上述第一描述信息和上述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型包括：

将上述第一描述信息和上述第二描述信息输入上述待训练的资源推荐模型，输出预测结果，其中，上述预测结果表征上述待推荐目标对象针对与上述第二描述信息对应的上述资源的预测点击概率；

将上述预测结果和上述标签信息输入损失函数，输出损失结果；

根据上述损失结果迭代地调整上述待训练的资源推荐模型的网络参数，生成上述训练完成的资源推荐模型。

根据本公开的实施例，其中，在上述资源为视频资源的情况下，上述质度信息包括上述视频资源的播放数、点赞数、评论数、转发数。

本公开的第二方面提供了一种资源推荐方法，包括：

将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，上述预测结果数组包括多个预测概率值，每个上述概率值表征上述待推荐对象对至少一个资源的点击概率，上述资源推荐模型由上述资源推荐模型的训练方法训练得到；

根据上述预测结果数组，对上述待推荐对象进行资源推荐。

本公开的第三方面提供了一种资源推荐模型的训练装置，包括：

第一获取模块，用于获取资源数据库，其中，上述资源数据库包括预先聚类完成得到的多个类簇，每个上述类簇包括至少一个资源；

第一确定模块，用于从多个上述类簇中确定目标类簇；

第二获取模块，用于获取与上述目标类簇中的资源相关联的用户的第一描述信息，以及上述目标类簇中的上述资源的第二描述信息，其中，上述第一描述信息表征上述用户对资源的偏好，上述第一描述信息具有标签信息，上述标签信息表征上述用户对上述目标类簇中的资源的选择概率；以及

训练模块，用于利用上述第一描述信息、上述标签信息和上述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

本公开的第四方面提供了一种资源推荐装置，包括：

输入模块，用于将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，上述预测结果数组包括多个预测概率值，每个上述概率值表征上述待推荐对象对至少一个资源的点击概率，上述资源推荐模型由上述资源推荐模型的训练方法训练得到；

推荐模块，用于根据上述预测结果数组，对上述待推荐对象进行资源推荐。

本公开的第五方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述资源推荐模型的训练方法、资源推荐方法。

本公开的第六方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述资源推荐模型的训练方法、资源推荐方法。

本公开的第七方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述资源推荐模型的训练方法、资源推荐方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的资源推荐模型的训练方法、资源推荐模型的训练装置、资源推荐方法、资源推荐装置的应用场景图；

图2示意性示出了根据本公开实施例的资源推荐模型的训练方法的流程图；

图3示意性示出了根据本公开实施例的生成资源数据库的流程图；

图4示意性示出了根据本公开实施例的对标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵的流程图；

图5示意性示出了根据本公开实施例的基于模糊相似度矩阵，生成模糊等价矩阵的流程图；

图6示意性示出了根据本公开实施例的基于模糊等价矩阵，对初始资源数据库中的资源进行聚类，生成资源数据库的流程图；

图7示意性示出了根据本公开实施例的从多个类簇中确定目标类簇的流程图；

图8示意性示出了根据本公开实施例的对统计数据矩阵进行数据处理，生成标准化矩阵的流程图；

图9示意性示出了根据本公开实施例的利用第一描述信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型的流程图；

图10示意性示出了根据本公开实施例的资源推荐方法的流程图；

图11示意性示出了根据本公开实施例的资源推荐模型的训练装置的结构框图；

图12示意性示出了根据本公开实施例的资源推荐装置的结构框图；以及

图13示意性示出了根据本公开实施例的适于实现资源推荐模型的训练方法、资源推荐方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

互联网的出现和普及给用户带来了大量的数据信息，满足了用户在网络信息时代对数据和信息的需求，但随着网络迅速发展而带来数据量爆炸式增长，使得用户在面对大量信息时无法从中获得有效信息，对信息的使用效率反而降低，这就是所谓的信息超载(Information Overload)问题。

而“互联网+教育”是随着当今科学技术的不断发展，互联网科技与教育领域相结合的一种新的教育形式，其融合了VR(Virtual Reality，虚拟现实)、大数据、人工智能等新兴技术，使得教育从流水线走向个性化。

同样地，“互联网+教育领域”也存在信息过载问题，用户面对海量的学习资源信息，往往无法准确定位到自己需要的资源。因此，解决信息超载问题一个非常有潜力的办法是推荐系统，推荐系统是一种向目标用户建议可能感兴趣资源的软件工具和技术，它根据用户的信息需求、兴趣等，将用户感兴趣的信息、产品等推荐给用户。

图1示意性示出了根据本公开实施例的资源推荐模型的训练方法、资源推荐模型的训练装置、资源推荐方法、资源推荐装置的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的资源推荐模型的训练方法、资源推荐方法一般可以由服务器105执行。相应地，本公开实施例所提供的资源推荐模型的训练装置、资源推荐装置一般可以设置于服务器105中。本公开实施例所提供的资源推荐模型的训练方法、资源推荐方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的资源推荐模型的训练装置、资源推荐装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图9对本公开实施例的资源推荐模型的训练方法进行详细描述。

图2示意性示出了根据本公开实施例的资源推荐模型的训练方法的流程图。

如图2所示，该实施例的资源推荐模型的训练方法包括操作S201～操作S204。

在操作S201，获取资源数据库，其中，资源数据库包括预先聚类完成得到的多个类簇，每个类簇包括至少一个资源。

根据本公开的实施例，资源例如可以包括视频资源、语音资源、图像资源、文字资源等。

根据本公开的实施例，可以通过离线聚类的方式将多个资源进行聚类，形成多个类簇，每个类簇中包括至少一个资源。

在操作S202，从多个类簇中确定目标类簇。

在操作S203，获取与目标类簇中的资源相关联的用户的第一描述信息，以及目标类簇中的资源的第二描述信息，其中，第一描述信息表征用户对资源的偏好，第一描述信息具有标签信息，标签信息表征用户对目标类簇中的资源的选择概率。

根据本公开的实施例，第二描述信息可以表征目标类簇中的资源的属性，例如可以包括占用存储空间大小、类型、时长、受众群体、是否收费等。

根据本公开的实施例，在资源推荐模型的训练阶段，可以获取在预设历史时间段内选择过目标类簇中的资源的用户的第一描述信息，由于该用户与目标类簇中的资源具有一定的关联关系，从而可以计算得到该用户选择目标类簇中的资源的概率，并将该概率值作为第一描述信息的标签信息。

在操作S204，利用第一描述信息、标签信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

根据本公开的实施例，可以采用有监督或者半监督的训练方式，利用第一描述信息、标签信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

在本公开的实施例中，通过从预先聚类完成的多个类簇中，选择出目标类簇，然后利用目标类簇中的资源的第二描述信息和用户的第一描述信息训练资源推荐模型，从而可以提高训练完成的资源推荐模型的资源推荐准确率。

图3示意性示出了根据本公开实施例的生成资源数据库的流程图。

如图3所示，该实施例的方法包括操作S301～操作S305。

在操作S301，根据初始资源数据库中的每个资源的质度信息生成统计数据矩阵，其中，质度信息是根据用户针对资源进行操作而生成的日志数据而获取的。

根据本公开的实施例，在进行资源推荐的过程中，需要在保证推荐的资源的内容质量的情况下根据用户行为为用户推荐符合用户预期的高质量资源。

为便于论述，以下以推荐视频资源对本公开实施例提供的资源推荐模型的训练方法进行阐述，但是，需要说明的是，本公开实施例提供的资源推荐模型的训练方法不仅适用于训练推荐视频资源的资源推荐模型，还可以适用于训练推荐图像资源、语音资源或文字资源的资源推荐模型等。

对于视频资源而言，观看时长、点赞数、评论数和转发数等数据为视频资源的内容流量的主要来源。因而，在对视频资源进行推荐时，可以通过分析用户的行为日志数据，统计得到初始资源数据库中每个视频资源的播放数、点赞数、评论数和转发数，并将播放数、点赞数、评论数和转发数作为视频资源的质度信息。

根据本公开的实施例，统计数据矩阵可以用以下公式(1)表示。

其中，VQ表示统计数据矩阵，V_play表示播放数，V_like表示点赞数，V_repost表示转发数，V_comment表示评论数。

在操作S302，对统计数据矩阵进行数据处理，生成标准化矩阵。

根据本公开的实施例，由于统计数据矩阵中的播放数、点赞数、评论数和转发数通常不是同一数据维度的数据，例如播放数可能为几千，转发数可能为几十等，而这种不是同一数据维度的数据可能会导致后续的数据处理过程出现困难，从而，在生成统计数据矩阵后，可以首先对统计数据矩阵进行数据处理，将统计数据矩阵中的数据进行标准化处理，生成标准化矩阵。

在操作S303，对标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵。

在操作S304，基于模糊相似度矩阵，生成模糊等价矩阵。

在操作S305，基于模糊等价矩阵，对初始资源数据库中的资源进行聚类，生成资源数据库。

图4示意性示出了根据本公开实施例的对标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵的流程图。

根据本公开的实施例，标准化矩阵中的一行数据表征一个资源。

如图4所示，该实施例的方法包括操作S401～操作S402。

在操作S401，对标准化数据矩阵中的任意两行数据之间进行相似度计算，直至遍历标准化数据矩阵中的每行数据，生成相似度结果。

在操作S402，根据相似度结果生成模糊相似度矩阵。

根据本公开的实施例，由于标准化矩阵中的一行数据表征一个资源，从而可以对标准化数据矩阵中的任意两行数据之间进行相似度计算，例如可以首先将第一行与第一行进行相似度计算，生成第一相似度结果，将第一相似度结果作为模糊相似度矩阵(1，1)位置处的数据，然后可以将第一行与第二行进行相似度计算，生成第二相似度结果，将第二相似度结果作为模糊相似度矩阵(1，2)位置处的数据，直至遍历标准化数据矩阵中的每行数据。

根据本公开的实施例，可以将模糊相似矩阵表示为S(vq_x，vq_y)，其中模糊相似矩阵S由元素vq_xy组成，该矩阵的元素表示任意两个视频资源vq_x和vq_y之间的相似度距离s_xy，相似度距离的具体计算如公式(2)所示。

s_xy＝1-d(vq_x，vq_y)； (2)

对一切s_xy均满足：|s_xy|≤1，|s_xx|＝1，s_xy＝s_yx，其中0≤s_xy≤1，s_xy的数值越是无限接近于1，说明vq_x和vq_y之间的关系越密切，相似性越高；模糊相似矩阵的对角线元素值为1，表示该视频资源与其自身具有最大相似度。

其中d(vq_x，vq_y)表示视频资源vq_x的质度信息和视频资源vq_y的质度信息之间的相似度距离，在本公开的实施例中，相似度距离可以通过欧氏距离计算，计算方法如公式(3)所示；

其中(1≤x，y≤n)； (3)

图5示意性示出了根据本公开实施例的基于模糊相似度矩阵，生成模糊等价矩阵的流程图。

如图5所示，该实施例的方法包括操作S501～操作S504。

迭代地执行以下操作：

在操作S501，确定模糊相似度矩阵是否满足迭代停止条件；

根据本公开的实施例，迭代停止条件可以包括

当模糊相似度矩阵满足迭代停止条件时，即表明矩阵S^q具有传递性，其中，S表示模糊相似度矩阵，q表示模糊相似度矩阵的运算次数。

运算符表示模糊相似矩阵的合成，

运算符的运算规则如下：

设有两个数据矩阵R₁和R₂，则R₁与R₂的合成计算公式如公式(4)所示，可以进行合成运算的两个矩阵需要满足R₁的列数和R₂的行数相等。

其中e表示矩阵R₁的行数，f表示矩阵R₂的列数，z表示矩阵R₁的列数和R₂的行数，z的最大取值为h；∨和∧运算符称为扎德算子，V运算符是在一组数据元素集中取最大值，∧运算符是在一组数据元素集中取最小值。

在操作S502，在模糊相似度矩阵不满足迭代停止条件的情况下，对模糊相似度矩阵进行平方运算，生成第一模糊相似度矩阵；以及

在操作S503，将第一模糊相似度矩阵作为模糊相似度矩阵；以及

在操作S504，在模糊相似度矩阵满足迭代停止条件的情况下，将模糊相似度矩阵作为模糊等价矩阵。

根据本公开的实施例，可以从模糊相似矩阵S出发，依次进行模糊相似矩阵S的二次方运算，

当第一次出现

时，表明矩阵S^q具有传递性，矩阵S^q即为模糊相似矩阵S的模糊等价矩阵t(S)。

图6示意性示出了根据本公开实施例的基于模糊等价矩阵，对初始资源数据库中的资源进行聚类，生成资源数据库的流程图。

如图6所示，该实施例的方法包括操作S601～操作S602。

在操作S601，从模糊等价矩阵中获取多个待分类阈值。

在操作S602，根据每个待分类阈值分别对初始资源数据库中的资源进行聚类，生成资源数据库。

根据本公开的实施例，可以首先将待分类阈值从1开始取值，在模糊等价矩阵中找到等于1的元素，如果模糊等价矩阵中的元素t(x，y)＝1则说明vq_x和vq_y同属于一个类，于是可以将这两个视频资源对象进行聚类处理，归入一个类簇中，否则就不属于同一个类，继续寻找满足要求的数据对象。每个不同的待分类阈值对应不同的分类结果，接着将待分类阈值的取值不断减小，其中待分类阈值的取值从模糊等价矩阵中选取，这种分层聚类方法是一种自底向上的动态聚类过程。选取待分类阈值为1时，所有的视频资源单独分为一个类，然后通过将阈值不断减小，从而不断生成新的聚类结果，最终所有元素会归并到一个类簇中，形成了动态聚类过程。

图7示意性示出了根据本公开实施例的从多个类簇中确定目标类簇的流程图。

如图7所示，该实施例的方法包括操作S701～操作S703。

在操作S701，获取每个类簇的分类描述数据。

在操作S702，分别根据每个分类描述数据计算统计量，生成多个统计量结果。

在操作S703，将与统计量结果最大值对应的类簇确定为目标类簇。

根据本公开的实施例，为了确定最佳待分类阈值λ，从而得到最佳的聚类结果，可以采用统计学中的方差分析法，使用F统计量来求得最佳待分类阈值λ，假设对于所有的视频资源依据质度信息的分类数为N，第r个分类的视频资源数目为n_r，且第r个分类的样本定义为

F统计量的计算公式如公式(4)所示：

其中

表示的是分类结果中所有视频资源质度信息属性的平均值，计算如公式(5)所示，其中n_vq表示推荐资源中视频资源总数；

表示的是第r个类簇中视频资源质度信息属性的平均值，

为质度信息的数据中心，计算方法如公式(6)所示。

i表示步骤1中数据矩阵的行数，j表示数据矩阵的列数。

c表示第r个类簇中视频资源质度信息矩阵的行数，

表示第r个类簇中视频资源的质度信息矩阵每一行的数据总和；

为

到

的欧氏距离，计算如公式(7)所示。

为第r个类簇中视频资源的质度信息数据总和

到“质度”数据中心

的欧氏距离。

F统计量是统计学中一个服从自由度为(N-1，n_r-N)的分布函数，公式(5)的分母表示类簇中每一个数据对象样本间的距离，分子则表示生成聚类结果后每个类簇之间的距离；通过计算不同待分类阈值对应的F统计量，找到数值最大的F统计量，此时对应的阈值λ值即为满足条件的最佳阈值，并求得该阈值下的聚类结果即为最佳聚类结果。

图8示意性示出了根据本公开实施例的对统计数据矩阵进行数据处理，生成标准化矩阵的流程图。

如图8所示，该实施例的方法包括操作S801～操作S802。

在操作S801，对统计数据矩阵进行标准化处理，生成第一矩阵。

在操作S802，对第一矩阵进行平移极差变化处理，生成标准化矩阵。

对统计数据矩阵进行数据处理，具体如下：

首先，可以对统计数据矩阵中的数据元素进行平移标准差变换，变换公式如公式(8)所示：

其中，vq_ij为视频资源“质度”数据矩阵中的元素，其大小表示每个视频资源数据不同质度信息的属性值，n为数据矩阵的行数，表示视频资源总数量，j为数据矩阵的列数，表示质度信息的维度，其中

表示数据矩阵中每一行元素的平均值，如公式(9)所示，v_j表示数据矩阵中每一列数据元素的标准差值，如公式(10)所示。

然后，可以对第一矩阵中的数据进行平移极差变换，如公式(11)所示。

其中min_1≤i≤n{vq′_ij}表示数据矩阵中每一列元素中的最小值，max_1≤i≤n{vq′_ij}表示数据矩阵中每一列元素中的最大值。

根据本公开的实施例，对统计数据矩阵的标准化处理可以将统计数据矩阵中不同数据维度的数据归一化至[0，1]上，从而有效避免了由于数值维度不同导致的问题。因为数据过大可能导致数量级的不同差异对最终的数据分类结果产生较大的影响；同时，标准化处理还可以平衡视频资源的质度信息对分类的影响，实现更佳的分类效果。

图9示意性示出了根据本公开实施例的利用第一描述信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型的流程图。

如图9所示，该实施例的方法包括操作S901～操作S903。

在操作S901，将第一描述信息和第二描述信息输入待训练的资源推荐模型，输出预测结果，其中，预测结果表征待推荐目标对象针对与第二描述信息对应的资源的预测点击概率。

在操作S902，将预测结果和标签信息输入损失函数，输出损失结果。

根据本公开的实施例，可以首先将第一描述信息和第二描述信息拟合成为一个数据矩阵，并将该数据矩阵作为训练样本。

根据本公开的实施例，可以基于逻辑回归算法对待训练的资源推荐模型进行训练。

根据本公开的实施例，损失函数可以用以下公式(12)表示。

其中，m表示训练样本总数，f_w表示sigmoid函数，yⁱ表示标签信息，xⁱ表示训练样本。

在操作S903，根据损失结果迭代地调整待训练的资源推荐模型的网络参数，生成训练完成的资源推荐模型。

根据本公开的实施例，网络参数可以包括待训练的资源推荐模型的权重、偏置以及步长。

在获取第一描述信息、标签信息和第二描述信息后，可以首先调用梯度上升线性拟合模块初始化待训练的资源推荐模型的网络参数。然后将第一描述信息和第二描述信息拟合成初始参数矩阵，并对初始参数矩阵进行数据处理，以生成标准化数据矩阵。数据处理可以包括数据清洗和数据标准化等。

生成标准化数据矩阵后，可以依次将标准化数据矩阵中的行数据输入待训练的资源推荐模型，直至遍历标准化数据矩阵中的所有行数据。

在将标准化数据矩阵输入待训练的资源推荐模型的过程中，每输入一行数据，即可以利用公式(13)动态的计算训练步长alpha值。

其中，j和i可以分别表示行数据中的数据坐标。

遍历标准化数据矩阵中的所有行数据以后，可以从标准化数据矩阵中随机选择至少一行行数据，依据更新后的权重矩阵计算本行行数据的内积，然后将内积输入sigmod函数，输出函数值。

计算得到函数值后，可以根据函数值和标签信息计算损失值，并根据损失值迭代的调整资源推荐模型的网络参数。

根据本公开的实施例，通过随机选择一行行数据，根据该行数据与标签信息计算损失值，并根据计算得到的损失值调整模型的网络参数，可以增大模型训练过程数据的随机性，在提高训练效率的同时可以提高训练完成的资源推荐模型的资源推荐准确率。

在本公开的实施例中，通过模糊聚类有效实现了资源的类簇划分，从而可以快速召回出质量较高的资源，减少了低质量资源的推荐频率；此外，通过逻辑回归算法引入了表征用户的特征信息的第一描述信息，并将资源的推荐问题转化为用户的点击率估计问题，提升了推荐结果的有效性和准确率。

根据本公开的实施例，在资源为视频资源的情况下，质度信息包括视频资源的播放数、点赞数、评论数、转发数。

基于上述资源推荐模型的训练方法，本公开还提供了一种资源推荐方法。以下将结合图10对该方法进行详细描述。

图10示意性示出了根据本公开实施例的资源推荐方法的流程图。

如图10所示，该实施例的方法包括操作S1001～操作S1002。

在操作S1001，将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，预测结果数组包括多个预测概率值，每个概率值表征待推荐对象对至少一个资源的点击概率，资源推荐模型由本公开实施例提供的资源推荐模型的训练方法训练得到；

在操作S1002，根据预测结果数组，对待推荐对象进行资源推荐。

基于上述资源推荐模型的训练方法，本公开还提供了一种资源推荐模型的训练装置。以下将结合图11对该装置进行详细描述。

图11示意性示出了根据本公开实施例的资源推荐模型的训练装置的结构框图。

如图11所示，该实施例的资源推荐模型的训练装置1100包括第一获取模块1101、第一确定模块1102、第二获取模块1103和训练模块1104。

第一获取模块1101用于获取资源数据库，其中，资源数据库包括预先聚类完成得到的多个类簇，每个类簇包括至少一个资源。在一实施例中，第一获取模块1101可以用于执行前文描述的操作S201，在此不再赘述。

第一确定模块1102用于从多个类簇中确定目标类簇。在一实施例中，第一确定模块1102可以用于执行前文描述的操作S202，在此不再赘述。

第二获取模块1103用于获取与目标类簇中的资源相关联的用户的第一描述信息，以及目标类簇中的资源的第二描述信息，其中，第一描述信息表征用户对资源的偏好，第一描述信息具有标签信息，标签信息表征用户对目标类簇中的资源的选择概率。在一实施例中，第二获取模块1103可以用于执行前文描述的操作S203，在此不再赘述。

训练模块1104用于利用第一描述信息、标签信息和第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。在一实施例中，训练模块1104可以用于执行前文描述的操作S204，在此不再赘述。

根据本公开的实施例，资源推荐模型的训练装置1100还包括第一生成模块、第二生成模块、第三生成模块、第四生成模块和第五生成模块。

第一生成模块，用于根据初始资源数据库中的每个资源的质度信息生成统计数据矩阵，其中，质度信息是根据用户针对资源进行操作而生成的日志数据而获取的；

第二生成模块，用于对统计数据矩阵进行数据处理，生成标准化矩阵；

第三生成模块，用于对标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵；

第四生成模块，用于基于模糊相似度矩阵，生成模糊等价矩阵；

第五生成模块，用于基于模糊等价矩阵，对初始资源数据库中的资源进行聚类，生成资源数据库。

根据本公开的实施例，第五生成模块包括第一获取单元和第一生成单元。

第一获取单元，用于从模糊等价矩阵中获取多个待分类阈值；

第一生成单元，用于根据每个待分类阈值分别对初始资源数据库中的资源进行聚类，生成资源数据库。

根据本公开的实施例，第四生成模块包括第一确定单元、第一运算单元、第二确定单元和第三确定单元。

第一确定单元，用于确定模糊相似度矩阵是否满足迭代停止条件；

第一运算单元，用于在模糊相似度矩阵不满足迭代停止条件的情况下，对模糊相似度矩阵进行平方运算，生成第一模糊相似度矩阵；以及

第二确定单元，用于将第一模糊相似度矩阵作为模糊相似度矩阵；以及

第三确定单元，用于在模糊相似度矩阵满足迭代停止条件的情况下，将模糊相似度矩阵作为模糊等价矩阵。

根据本公开的实施例，第三生成模块包括第二运算单元和第二生成单元。

第二运算单元，用于对标准化数据矩阵中的任意两行数据之间进行相似度计算，直至遍历标准化数据矩阵中的每行数据，生成相似度结果；

第二生成单元，用于根据相似度结果生成模糊相似度矩阵。

根据本公开的实施例，第二生成模块包括第三生成单元和第四生成单元。

第三生成单元，用于对统计数据矩阵进行标准化处理，生成第一矩阵；

第四生成单元，用于对第一矩阵进行平移极差变化处理，生成标准化矩阵。

根据本公开的实施例，第一确定模块1102包括第一获取单元、第五生成单元和第六生成单元。

第一获取单元，用于获取每个类簇的分类描述数据；

第五生成单元，用于分别根据每个分类描述数据计算统计量，生成多个统计量结果；

第六生成单元，用于将与统计量结果最大值对应的类簇确定为目标类簇。

根据本公开的实施例，训练模块1104包括第一输出单元、第二输出单元和第七生成单元。

第一输出单元，用于将第一描述信息和第二描述信息输入待训练的资源推荐模型，输出预测结果，其中，预测结果表征待推荐目标对象针对与第二描述信息对应的资源的预测点击概率；

第二输出单元，用于将预测结果和标签信息输入损失函数，输出损失结果；

第七生成单元，用于根据损失结果迭代地调整待训练的资源推荐模型的网络参数，生成训练完成的资源推荐模型。

基于上述资源推荐方法，本公开还提供了一种资源推荐装置。以下将结合图12对该装置进行详细描述。

图12示意性示出了根据本公开实施例的资源推荐装置的结构框图。

如图12所示，该实施例的资源推荐装置1200包括输入模块1201和推荐模块1202。

输入模块1201用于将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，预测结果数组包括多个预测概率值，每个概率值表征待推荐对象对至少一个资源的点击概率，资源推荐模型由本公开实施例提供的资源推荐模型的训练方法训练得到。在一实施例中，输入模块1201可以用于执行前文描述的操作S1001，在此不再赘述。

推荐模块1202用于根据预测结果数组，对待推荐对象进行资源推荐。在一实施例中，推荐模块1202可以用于执行前文描述的操作S1002，在此不再赘述。

根据本公开的实施例，第一获取模块1101、第一确定模块1102、第二获取模块1103、训练模块1104、输入模块1201和推荐模块1202中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块1101、第一确定模块1102、第二获取模块1103、训练模块1104、输入模块1201和推荐模块1202中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块1101、第一确定模块1102、第二获取模块1103、训练模块1104、输入模块1201和推荐模块1202中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

如图13所示，根据本公开实施例的电子设备1300包括处理器1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1303中，存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1300还可以包括输入/输出(I/O)接口1305，输入/输出(I/O)接口1305也连接至总线1304。电子设备1300还可以包括连接至I/O接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1302和/或RAM 1303和/或ROM 1302和RAM1303以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的资源推荐模型的训练方法和资源推荐方法。

在该计算机程序被处理器1301执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1309被下载和安装，和/或从可拆卸介质1311被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims

1.一种资源推荐模型的训练方法，包括：

获取资源数据库，其中，所述资源数据库包括预先聚类完成得到的多个类簇，每个所述类簇包括至少一个资源；

从多个所述类簇中确定目标类簇；

获取与所述目标类簇中的资源相关联的用户的第一描述信息，以及所述目标类簇中的所述资源的第二描述信息，其中，所述第一描述信息表征所述用户对资源的偏好，所述第一描述信息具有标签信息，所述标签信息表征所述用户对所述目标类簇中的资源的选择概率；以及

利用所述第一描述信息、所述标签信息和所述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

2.根据权利要求1所述的方法，其中，所述资源数据库通过以下操作生成：

根据初始资源数据库中的每个资源的质度信息生成统计数据矩阵，其中，所述质度信息是根据用户针对所述资源进行操作而生成的日志数据而获取的；

对所述统计数据矩阵进行数据处理，生成标准化矩阵；

对所述标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵；

基于所述模糊相似度矩阵，生成模糊等价矩阵；

基于所述模糊等价矩阵，对所述初始资源数据库中的资源进行聚类，生成所述资源数据库。

3.根据权利要求2所述的方法，其中，所述基于所述模糊等价矩阵，对所述初始资源数据库中的资源进行聚类，生成所述资源数据库包括：

从所述模糊等价矩阵中获取多个待分类阈值；

根据每个所述待分类阈值分别对所述初始资源数据库中的资源进行聚类，生成所述资源数据库。

4.根据权利要求2所述的方法，其中，所述基于所述模糊相似度矩阵，生成模糊等价矩阵包括：

迭代地执行以下操作：

确定所述模糊相似度矩阵是否满足迭代停止条件；

在所述模糊相似度矩阵不满足所述迭代停止条件的情况下，对所述模糊相似度矩阵进行平方运算，生成第一模糊相似度矩阵；以及

将所述第一模糊相似度矩阵作为所述模糊相似度矩阵；以及

在所述模糊相似度矩阵满足所述迭代停止条件的情况下，将所述模糊相似度矩阵作为所述模糊等价矩阵。

5.根据权利要求2所述的方法，其中，所述标准化矩阵中的一行数据表征一个所述资源；

所述对所述标准化矩阵中的数据进行模糊相似度计算，生成模糊相似度矩阵包括：

对所述标准化数据矩阵中的任意两行数据之间进行相似度计算，直至遍历所述标准化数据矩阵中的每行数据，生成相似度结果；

根据所述相似度结果生成所述模糊相似度矩阵。

6.根据权利要求2所述的方法，其中，所述对所述统计数据矩阵进行数据处理，生成标准化矩阵包括：

对所述统计数据矩阵进行标准化处理，生成第一矩阵；

对所述第一矩阵进行平移极差变化处理，生成所述标准化矩阵。

7.根据权利要求1所述的方法，其中，所述从多个所述类簇中确定目标类簇包括：

获取每个所述类簇的分类描述数据；

分别根据每个所述分类描述数据计算统计量，生成多个统计量结果；

将与统计量结果最大值对应的所述类簇确定为所述目标类簇。

8.根据权利要求1所述的方法，所述利用所述第一描述信息和所述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型包括：

将所述第一描述信息和所述第二描述信息输入所述待训练的资源推荐模型，输出预测结果，其中，所述预测结果表征所述待推荐目标对象针对与所述第二描述信息对应的所述资源的预测点击概率；

将所述预测结果和所述标签信息输入损失函数，输出损失结果；

根据所述损失结果迭代地调整所述待训练的资源推荐模型的网络参数，生成所述训练完成的资源推荐模型。

9.根据权利要求2所述的方法，其中，在所述资源为视频资源的情况下，所述质度信息包括所述视频资源的播放数、点赞数、评论数、转发数。

10.一种资源推荐方法，包括：

将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，所述预测结果数组包括多个预测概率值，每个所述概率值表征所述待推荐对象对至少一个资源的点击概率，所述资源推荐模型由权利要求1至9任一项所述的资源推荐模型的训练方法训练得到；

根据所述预测结果数组，对所述待推荐对象进行资源推荐。

11.一种资源推荐模型的训练装置，包括：

第一获取模块，用于获取资源数据库，其中，所述资源数据库包括预先聚类完成得到的多个类簇，每个所述类簇包括至少一个资源；

第一确定模块，用于从多个所述类簇中确定目标类簇；

第二获取模块，用于获取与所述目标类簇中的资源相关联的用户的第一描述信息，以及所述目标类簇中的所述资源的第二描述信息，其中，所述第一描述信息表征所述用户对资源的偏好，所述第一描述信息具有标签信息，所述标签信息表征所述用户对所述目标类簇中的资源的选择概率；以及

训练模块，用于利用所述第一描述信息、所述标签信息和所述第二描述信息训练待训练的资源推荐模型，生成训练完成的资源推荐模型。

12.一种资源推荐装置，包括：

输入模块，用于将待推荐对象的描述信息输入资源推荐模型，输出预测结果数组，其中，所述预测结果数组包括多个预测概率值，每个所述概率值表征所述待推荐对象对至少一个资源的点击概率，所述资源推荐模型由权利要求1至9任一项所述的资源推荐模型的训练方法训练得到；

推荐模块，用于根据所述预测结果数组，对所述待推荐对象进行资源推荐。

13.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～10中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～10中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～10中任一项所述的方法。