CN110221817B - 一种数据召回模块及推荐系统 - Google Patents

Abstract

本发明涉及一种数据召回模块及推荐系统，所述模块采用三层架构，其中：加载层，在启动时被调用，用于获取配置文件，将配置文件载入架构层，架构层，被所有业务使用，用于接收原始数据作为待处理数据，以及接收推荐请求，业务层，用于获取或调用召回策略，根据配置文件将召回策略加载到架构层，通过召回策略对待处理数据进行召回处理，得到召回数据。本发明，基于配置文件，实现快速选择并将最新召回策略载到推荐系统中；采用业务接口的模式，适配不同业务场景的推荐需求，增强召回策略的业务兼容性，在不同的业务场景中，可设定（编写）相应的配置文件，无需修改数据召回模块的架构，便于系统后期维护。

Description

一种数据召回模块及推荐系统

技术领域

本发明涉及推荐系统及其召回算法技术领域，具体说是一种数据召回模块及推荐系统。

背景技术

由于互联网技术的发展，伴随着大数据的普及，从而对计算机系统（尤其是硬件）的要求也越来越高，如果某些系统资源占用率高，则存在系统整体性能下降的问题，影响系统的稳定运行。例如：

现有的B2C（Business-to-Customer）业务，其特点在于流量大、数据多，在同一时间段内会有大量的用户对系统进行高并发的访问，这对系统造成大量的访问压力，极易出现系统资源不足的问题，例如服务器端的内存、cpu、网络带宽不足等问题。

推荐系统就是一种B2C（Business-to-Customer）业务，有大量的数据需要占用内存进行相关存储计算等，由于服务器端的内存空间有限，当大量的数据占用内存时，就会导致系统整体性能下降，影响系统的稳定运行，用户的请求不能及时得到响应，导致使用推荐系统的用户体验不佳。

在推荐系统（例如个性化推荐系统）中，第一个环节一般是召回阶段，召回算法是该阶段的关键，第二个环节一般是排序阶段。所谓召回，可以理解为向用户粗选一批待推荐的信息（商品信息，视频信息等等），相当于粗排序，之后再通过排序模型进行精排序，例如使用CTR（Click-Through Rate，点阅率）预估的rank模型（排名模型），即：召回 => 排序（精排） => 后续其他处理步骤。所以召回的目的在于：从原始数据（一般理解为全量信息集合）中触发尽可能多的正确结果（即召回数据），并将正确结果（即召回数据）返回给排序。

由于推荐系统面向B2C（Business-to-Customer）业务，流量大、数据多，因此要求数据召回模块（亦称为召回器模块）和其他模块之间的通讯要尽量快，还要考虑数据召回模块要兼容多个业务。

因此，有必要设计并优化数据召回模块的架构，增强数据召回模块的业务兼容性，确保能及时将最新召回策略及时载入推荐系统。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种数据召回模块及推荐系统，基于配置文件，实现快速选择并将最新召回策略载到推荐系统中；采用业务接口的模式，适配不同业务场景的推荐需求，增强召回策略的业务兼容性，在不同的业务场景中，例如视频、音乐片段、私人电台等业务场景中，可根据具体业务设定（编写）相应的配置文件，无需修改数据召回模块的架构，便于系统后期维护。

为达到以上目的，本发明采取的技术方案是：

一种数据召回模块，其特征在于，所述模块采用三层架构，将数据召回模块划分为加载层、架构层、业务层，其中：

加载层，在启动时被调用，用于获取配置文件，将配置文件载入架构层，

架构层，被所有业务使用，用于接收原始数据作为待处理数据，以及接收推荐请求，用于将最终得到的、整合后的召回数据返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

业务层，用于获取或调用召回策略，根据配置文件将召回策略加载到架构层，通过召回策略对待处理数据进行召回处理，得到召回数据。

在上述技术方案的基础上，所述配置文件包括预置于模块内的配置文件，用户自定义的外部配置文件，所述外部配置文件是相对于预置于模块内的配置文件，用户可根据需要调整外部配置文件，使其优先于预置于模块内的配置文件生效。

在上述技术方案的基础上，所述业务层包括两个以上的业务接口，各业务接口包括相同或不同的召回策略，通过召回策略对待处理数据进行召回处理，得到召回数据。

在上述技术方案的基础上，业务接口分为两大类：

专用业务接口，指限定业务场景类型的业务接口，

通用业务接口，指不限定业务场景类型的业务接口。

在上述技术方案的基础上，所述限定业务场景类型的业务接口默认包括：

pop接口，热门数据业务接口，接收热门数据作为待处理数据，所述热门数据默认来源于热门排行信息，

cf接口，个性化数据业务接口，接收个性化数据作为待处理数据，所述个性化数据默认来源于用户历史记录信息，

cold接口，冷数据业务接口，接收冷数据作为待处理数据，所述冷数据不属于热门排行信息，也不属于用户历史记录信息，则该来源的数据认定为冷数据，

所述不限定业务场景类型的业务接口默认包括：

other接口，其他数据业务接口，接收任意数据作为待处理数据，所述任意数据指任意来源的数据。

在上述技术方案的基础上，所述业务接口接收到的数据由数据分发器传来，为根据数据来源划分后的原始数据，传入限定业务场景类型的业务接口，或为未根据数据来源划分的原始数据，传入不限定业务场景类型的业务接口。

在上述技术方案的基础上，所述召回策略包括常规召回策略和专属召回策略：

所述常规召回策略，包括：

协同过滤策略，

向量化召回策略，

深度树匹配召回策略，

所述专属召回策略，包括如下步骤：

设定召回敏感参数，用于确定评价相似度信息的参数的数量及评价占比，

设定置信度，用于确定各召回敏感参数的置信度，低于置信度阈值的召回敏感参数降低其占比，高于置信度阈值的召回敏感参数增加其占比，

针对用户使用习惯预估其相似度信息的衰减比例或增益比例，默认接收并点击推荐信息多的用户增益比例，反之则衰减比例，

汇总以上数据，计算最终的相似度信息。

在上述技术方案的基础上，所述配置文件，其形成具体包括如下步骤：

读取召回策略，并进行解析，

设定配置文件类型，默认为xml或txt文件类型，

解析召回策略的种类，将其写入配置文件，

解析召回策略涉及的算法，将其写入配置文件，

解析召回策略涉及的默认参数，将其写入配置文件，

解析召回策略涉及的自定义参数，将其写入配置文件，

解析召回策略涉及的算法叠加选项，将其写入配置文件，

解析召回策略属于全量策略，还是增量策略，将其写入配置文件，其中，增量策略需指定其引用的全量策略，

存储配置文件为全量策略对应的文件名及文件类型，或存储配置文件为增量策略对应的文件名及文件类型。

在上述技术方案的基础上，数据召回模块的具体处理步骤为：

步骤1，从启动脚本中读取配置文件，

步骤2，读取召回器配置个数，

步骤3，根据配置个数判断召回器配置是否读取完毕，

步骤3.1，已读取完则执行步骤4，

步骤3.2，未读取完则执行以下步骤：

读取召回器策略所在的文件，

读取召回器策略的类名，

读取召回器策略类型，

读取要启动的该类召回器策略进程数，

根据读取的进程数N，启动N个召回器进程，

步骤4，判断该类召回器是否启动完毕，

步骤3.1，已启动完则执行步骤3，

步骤3.2，未启动完则执行以下步骤：

启动召回器，第一个参数为召回器策略文件名，第二个参数为召回器策略类名，第三个为召回器策略类型名，

根据传入的参数将召回器策略加载到系统中，

读取配置文件启动与分发器和过滤器的redis通讯缓存，

执行步骤5，

步骤5，判断是否退出系统，

步骤5.1，需要退出系统，则结束处理，

步骤5.2，不需要退出系统，则执行以下步骤：

等待分发器发送过来的数据，

根据请求信息计算出召回的数据，

将召回的数据通过redis缓存发给过滤器。

一种推荐系统，其特征在于，包括：

数据接入模块，接收数据推荐请求，然后接收原始数据作为数据接入模块的输入，

数据分发器，接收数据接入模块发来的原始数据，根据分发策略，将原始数据按数据来源划分或直接透传，然后发送给数据召回模块，数据分发器通知数据过滤器有数据推荐请求正在处理，通知数据过滤器需要召回哪些召回数据，

如上所述的数据召回模块，包括多种业务接口，各业务接口分别接收对应的、来自数据分发器的原始数据，数据召回模块计算出各业务接口的召回数据，将召回数据发送给数据过滤器，

数据过滤器，汇总全部业务接口的召回数据，进行数据整合，将整合后的数据发送给数据接入模块，由数据接入模块返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

其中，各模块间传输数据通过redis缓冲实现。

本发明所述的数据召回模块及推荐系统，基于配置文件，实现快速选择并将最新召回策略载到推荐系统中；采用业务接口的模式，适配不同业务场景的推荐需求，增强召回策略的业务兼容性，在不同的业务场景中，例如视频、音乐片段、私人电台等业务场景中，可根据具体业务设定（编写）相应的配置文件，无需修改数据召回模块的架构，便于系统后期维护。

本发明所述的数据召回模块及推荐系统，可应用于酷我音乐APP视频推荐系统中，所述数据召回模块，实现了以下功能：

1、通过配置文件，实现快速选择并将最新召回策略快速载入推荐系统；

2、通过业务接口，适配不同业务场景（简称为业务）的推荐需求，例如将对应于具体业务的召回策略，加入数据召回模块的架构，增强召回策略的业务兼容性，无需修改数据召回模块的架构，便于系统后期维护。

3、可以使用在不同的业务场景（视频、音乐片段、私人电台等）中，只需根据自己的业务编写配置文件。

附图说明

本发明有如下附图：

图1 本发明所述数据召回模块的架构图。

图2 本发明所述数据召回模块的处理流程图。

图3 本发明所述推荐系统的结构框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，本发明所述的数据召回模块（可简称为模块），采用三层架构，将数据召回模块划分为加载层、架构层、业务层，其中：

加载层，在启动时被调用，用于获取配置文件，将配置文件载入架构层，

所述配置文件包括预置于模块内的配置文件，用户自定义的外部配置文件，所述外部配置文件是相对于预置于模块内的配置文件，用户可根据需要调整外部配置文件，使其优先于预置于模块内的配置文件生效，

配置文件至少用于调用、控制各召回策略，用于控制召回数据的具体数量，

架构层，被所有业务使用，用于接收原始数据作为待处理数据，以及接收推荐请求，用于将最终得到的、整合后的召回数据返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

所述业务即指业务场景，包括但不限于：视频、音乐片段、私人电台等，

业务层，用于获取或调用召回策略（即召回算法），根据配置文件将召回策略加载到架构层，通过召回策略对待处理数据进行召回处理，得到召回数据。

在上述技术方案的基础上，所述业务层包括两个以上的业务接口，各业务接口包括相同或不同的召回策略，通过召回策略对待处理数据进行召回处理，得到召回数据。

业务接口分为两大类：

专用业务接口，指限定业务场景类型的业务接口，

通用业务接口，指不限定业务场景类型的业务接口。

在上述技术方案的基础上，所述限定业务场景类型的业务接口默认包括：

pop接口，热门数据业务接口，接收热门数据作为待处理数据，所述热门数据默认来源于热门排行信息，

cf接口，个性化数据业务接口，接收个性化数据作为待处理数据，所述个性化数据默认来源于用户历史记录信息，

cold接口，冷数据业务接口，接收冷数据作为待处理数据，所述冷数据不属于热门排行信息，也不属于用户历史记录信息，则该来源的数据认定为冷数据，

所述不限定业务场景类型的业务接口默认包括：

other接口，其他数据业务接口，接收任意数据作为待处理数据，所述任意数据指任意来源的数据。

在上述技术方案的基础上，所述业务接口接收到的数据由数据分发器传来，为根据数据来源划分后的原始数据，传入限定业务场景类型的业务接口，或为未根据数据来源划分的原始数据，传入不限定业务场景类型的业务接口。

在上述技术方案的基础上，所述召回策略包括常规召回策略和专属召回策略：

所述常规召回策略，包括：

协同过滤策略，例如：基于用户的协同过滤策略，基于对象（物品）的协同过滤策略，基于模型的协同过滤策略，

向量化召回策略，例如：基于Youtube召回模型的召回策略，基于局部敏感哈希的召回策略，

深度树匹配召回策略，例如：基于兴趣树构建的召回策略，

所述专属召回策略，包括如下步骤：

设定召回敏感参数，用于确定评价相似度信息的参数的数量及评价占比，

设定置信度，用于确定各召回敏感参数的置信度，低于置信度阈值的召回敏感参数降低其占比，高于置信度阈值的召回敏感参数增加其占比，

针对用户使用习惯预估其相似度信息的衰减比例或增益比例，默认接收并点击推荐信息多的用户增益比例，反之则衰减比例，

汇总以上数据，计算最终的相似度信息。

常规召回策略可采用现有技术实施，一般无需通过配置文件设定具体参数，可采用默认值方式调用常规召回策略，在必要时，也可根据需求通过配置文件设定具体参数，

专属召回策略优选通过配置文件设定具体参数，实现按需定量获取召回数据。

在上述技术方案的基础上，所述配置文件，其形成具体包括如下步骤：

读取召回策略，并进行解析，

设定配置文件类型，默认为xml或txt文件类型，

解析召回策略的种类，将其写入配置文件，

解析召回策略涉及的算法，将其写入配置文件，

解析召回策略涉及的默认参数，将其写入配置文件，

解析召回策略涉及的自定义参数，将其写入配置文件，

解析召回策略涉及的算法叠加选项，将其写入配置文件，

解析召回策略属于全量策略，还是增量策略，将其写入配置文件，其中，增量策略需指定其引用的全量策略，

存储配置文件为全量策略对应的文件名及文件类型，或存储配置文件为增量策略对应的文件名及文件类型。

通过以上方式，可以辅助用户自动生成配置文件，减少手动设定配置文件的繁琐程度，提高效率。

在上述技术方案的基础上，如图2所示，数据召回模块的具体处理步骤为：

步骤1，从启动脚本中读取配置文件，

步骤2，读取召回器配置个数，

步骤3，根据配置个数判断召回器配置是否读取完毕，

步骤3.1，已读取完则执行步骤4，

步骤3.2，未读取完则执行以下步骤：

读取召回器策略所在的文件，

读取召回器策略的类名，

读取召回器策略类型，

读取要启动的该类召回器策略进程数，

根据读取的进程数N，启动N个召回器进程，

步骤4，判断该类召回器是否启动完毕，

步骤3.1，已启动完则执行步骤3，

步骤3.2，未启动完则执行以下步骤：

启动召回器，第一个参数为召回器策略文件名，第二个参数为召回器策略类名，第三个为召回器策略类型名，

根据传入的参数将召回器策略加载到系统中，

读取配置文件启动与分发器和过滤器的redis通讯缓存，

执行步骤5，

步骤5，判断是否退出系统，

步骤5.1，需要退出系统，则结束处理，

步骤5.2，不需要退出系统，则执行以下步骤：

等待分发器发送过来的数据，

根据请求信息计算出召回的数据，

将召回的数据通过redis缓存发给过滤器。

本发明还给出了一种推荐系统，如图3所示，包括：

数据接入模块，接收数据推荐请求，然后接收原始数据作为数据接入模块的输入，

数据分发器，接收数据接入模块发来的原始数据，根据分发策略，将原始数据按数据来源划分或直接透传（未根据数据来源划分），然后发送给数据召回模块，数据分发器通知数据过滤器有数据推荐请求正在处理，通知数据过滤器需要召回哪些召回数据，

数据过滤器依照分发策略完成数据整合，所述分发策略按业务场景划分，包括若干个分别针对不同业务场景的分发策略，分发策略默认按数据来源完成数据的分发，亦可设定为按待处理数据量的大小完成数据的分发，

前文所述的数据召回模块，包括多种业务接口，各业务接口分别接收对应的、来自数据分发器的原始数据，数据召回模块计算出各业务接口的召回数据，将召回数据发送给数据过滤器，

数据召回模块包括若干召回策略，各召回策略使用相同或不同的数据处理模型，

数据过滤器，汇总全部业务接口的召回数据，进行数据整合，将整合后的数据发送给数据接入模块，由数据接入模块返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

数据过滤器依照整合策略完成数据整合，所述整合策略按业务场景划分，包括若干个分别针对不同业务场景的整合策略，各整合策略使用相同或不同的排序模型，

其中，各模块间传输数据通过redis缓冲实现。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (9)

1.一种数据召回模块，其特征在于，所述模块采用三层架构，将数据召回模块划分为加载层、架构层、业务层，其中：

加载层，在启动时被调用，用于获取配置文件，将配置文件载入架构层，

架构层，被所有业务使用，用于接收原始数据作为待处理数据，以及接收推荐请求，用于将最终得到的、整合后的召回数据返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

业务层，用于获取或调用召回策略，根据配置文件将召回策略加载到架构层，通过召回策略对待处理数据进行召回处理，得到召回数据；

数据召回模块的具体处理步骤为：

步骤1，从启动脚本中读取配置文件，

步骤2，读取召回器配置个数，

步骤3，根据配置个数判断召回器配置是否读取完毕，

步骤3.1，已读取完则执行步骤4，

步骤3.2，未读取完则执行以下步骤：

读取召回器策略所在的文件，

读取召回器策略的类名，

读取召回器策略类型，

读取要启动的该类召回器策略进程数，

根据读取的进程数N，启动N个召回器进程，

步骤4，判断该类召回器是否启动完毕，

步骤3.1，已启动完则执行步骤3，

步骤3.2，未启动完则执行以下步骤：

启动召回器，第一个参数为召回器策略文件名，第二个参数为召回器策略类名，第三个为召回器策略类型名，

根据传入的参数将召回器策略加载到系统中，

读取配置文件启动与分发器和过滤器的redis通讯缓存，

执行步骤5，

步骤5，判断是否退出系统，

步骤5.1，需要退出系统，则结束处理，

步骤5.2，不需要退出系统，则执行以下步骤：

等待分发器发送过来的数据，

根据请求信息计算出召回的数据，

将召回的数据通过redis缓存发给过滤器。

2.如权利要求1所述的数据召回模块，其特征在于：所述配置文件包括预置于模块内的配置文件，用户自定义的外部配置文件，所述外部配置文件是相对于预置于模块内的配置文件，用户可根据需要调整外部配置文件，使其优先于预置于模块内的配置文件生效。

3.如权利要求1所述的数据召回模块，其特征在于：所述业务层包括两个以上的业务接口，各业务接口包括相同或不同的召回策略，通过召回策略对待处理数据进行召回处理，得到召回数据。

4.如权利要求3所述的数据召回模块，其特征在于：业务接口分为两大类：

专用业务接口，指限定业务场景类型的业务接口，

通用业务接口，指不限定业务场景类型的业务接口。

5.如权利要求4所述的数据召回模块，其特征在于：所述限定业务场景类型的业务接口默认包括：

pop接口，热门数据业务接口，接收热门数据作为待处理数据，所述热门数据默认来源于热门排行信息，

cf接口，个性化数据业务接口，接收个性化数据作为待处理数据，所述个性化数据默认来源于用户历史记录信息，

cold接口，冷数据业务接口，接收冷数据作为待处理数据，所述冷数据不属于热门排行信息，也不属于用户历史记录信息，则该来源的数据认定为冷数据，

所述不限定业务场景类型的业务接口默认包括：

other接口，其他数据业务接口，接收任意数据作为待处理数据，所述任意数据指任意来源的数据。

6.如权利要求4所述的数据召回模块，其特征在于：所述业务接口接收到的数据由数据分发器传来，为根据数据来源划分后的原始数据，传入限定业务场景类型的业务接口，或为未根据数据来源划分的原始数据，传入不限定业务场景类型的业务接口。

7.如权利要求1所述的数据召回模块，其特征在于：所述召回策略包括常规召回策略和专属召回策略：

所述常规召回策略，包括：

协同过滤策略，

向量化召回策略，

深度树匹配召回策略，

所述专属召回策略，包括如下步骤：

设定召回敏感参数，用于确定评价相似度信息的参数的数量及评价占比，

设定置信度，用于确定各召回敏感参数的置信度，低于置信度阈值的召回敏感参数降低其占比，高于置信度阈值的召回敏感参数增加其占比，

针对用户使用习惯预估其相似度信息的衰减比例或增益比例，默认接收并点击推荐信息多的用户增益比例，反之则衰减比例，

汇总以上数据，计算最终的相似度信息。

8.如权利要求1所述的数据召回模块，其特征在于：所述配置文件，其形成具体包括如下步骤：

读取召回策略，并进行解析，

设定配置文件类型，默认为xml或txt文件类型，

解析召回策略的种类，将其写入配置文件，

解析召回策略涉及的算法，将其写入配置文件，

解析召回策略涉及的默认参数，将其写入配置文件，

解析召回策略涉及的自定义参数，将其写入配置文件，

解析召回策略涉及的算法叠加选项，将其写入配置文件，

解析召回策略属于全量策略，还是增量策略，将其写入配置文件，其中，增量策略需指定其引用的全量策略，

存储配置文件为全量策略对应的文件名及文件类型，或存储配置文件为增量策略对应的文件名及文件类型。

9.一种推荐系统，其特征在于，包括：

数据接入模块，接收数据推荐请求，然后接收原始数据作为数据接入模块的输入，

数据分发器，接收数据接入模块发来的原始数据，根据分发策略，将原始数据按数据来源划分或直接透传，然后发送给数据召回模块，数据分发器通知数据过滤器有数据推荐请求正在处理，通知数据过滤器需要召回哪些召回数据，

如权利要求1到8任意之一所述的数据召回模块，包括多种业务接口，各业务接口分别接收对应的、来自数据分发器的原始数据，数据召回模块计算出各业务接口的召回数据，将召回数据发送给数据过滤器，

数据过滤器，汇总全部业务接口的召回数据，进行数据整合，将整合后的数据发送给数据接入模块，由数据接入模块返回给数据推荐请求的发送方，或返回给下一步数据处理对应的模块，

其中，各模块间传输数据通过redis缓冲实现。

Images