CN107943864A - 一种多媒体内容媒体下安全可控的智能推荐系统 - Google Patents

Abstract

本发明公开了一种多媒体内容环境下安全可控的智能推荐系统。该系统结合规则定义审核、机器学习审核以及人工检验审核的方式对涉政、涉黄、涉恐、涉暴的业务内容进行过滤，以确保后续推荐的内容不违法，不违反道德、社会公德；同时综合采用了热点内容推荐、基于用户喜好的个性化推荐、基于用户相似性和内容相似性的相关推荐并结合人工干预的方式向用户实时推荐内容，通过多种推荐算法的组合，满足了用户在不同时间、不同场景下对多媒体内容消费的满意性、即时性、多变多样性、新颖性、惊喜性等多方面的要求。

Description

一种多媒体内容媒体下安全可控的智能推荐系统

技术领域

本发明公开了一种多媒体内容媒体下安全可控的智能推荐系，涉及在多媒体内容(音频、视频、图片、文字等)环境下，向用户进行安全可控的实时智能推荐。智能推荐系统用于向合适的用户在合适的场景推荐合适的内容，具有用户满意性、推荐内容多样性、即时性、新颖性、惊喜性等明确的系统目标。推荐系统的各个目标既相互联系又相互独立，推荐系统的结果是对多个目标的综合考虑和权衡。

背景技术

推荐内容的前提是内容合法性(不涉黄、不涉恐、不涉暴、不涉政)。内容合法性校验、用户、内容和场景特征提取、推荐算法引擎、推荐效果评估和反馈是实现推荐智能化的必要条件。目前市场上绝大部分推荐主要采用个性化推荐内容的方式，来迎合用户喜好。

现有的个性化推荐系统的典型架构如图1所示：在线业务系统的日志接入数据高速公路，再由数据高速公路迅速运转到离线数据处理平台和在线流计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线业务系统使用。与此同时，在线流计算平台实时对线上的日志数据做处理，对离线计算出的数据进行补充、修正等；在线业务系统综合离线特征和在线特征使用一定的逻辑得到输出供业务使用，产生的日志流入数据高速公路。现有的推荐系统存在以下局限：

1.推荐目标单一，推荐系统的推荐方式主要包括热门推荐、人工推荐、相关推荐、个性化推荐。现有文献提出的推荐引擎基本上仅采用上述4种方式的一种；大部分场景下为了迎合用户对内容的喜好，主要采用其中的个性化推荐方式，即基于用户的历史行为做出的内容推荐；这种方式无法对用户操作进行实时响应，不利于推荐系统的即时性、多样性、新颖性、惊喜性等其他目标的实现，无法有效满足用户的内容消费需求。

2.系统耦合性高，现有推荐系统各模块功能耦合性高，系统实现复杂，层次间没有进行良好的抽象、更新升级困难。

3.缺乏内容安全控制，推荐仅有算法本身决定，无法实现对推荐内容进行安全、可控的管理。目前推荐系统对内容的安全性考量主要是基于事后发现下架处理，而不是进行严格的上架前审核，这在目前的传播环境下具有极大的安全风险。

4.缺少系统性的推荐效果监控、统计和评价指标，难以评估推荐效果以及难以对推荐优化提供方向。

发明内容

为了克服现有推荐系统存在的以上局限，本发明提供了一种多媒体内容环境下安全可控的智能推荐系统。该智能推荐系统包括：

存档数据收集及监控模块，用于对用户业务内容数据和行为进行收集、存档，实时监控业务内容和用户日志的存档数据变化，当存档数据变化时产生触发信号传递给业务内容实时审核过滤模块；

业务内容实时审核过滤模块，用于当检测到所述的触发信号时对存档数据中的用户业务内容进行实时审核过滤；

特征提取模块，用于对经过审核过滤后的存档数据进行用户特征、内容特征以及用户对内容的操作行为进行提取；

离线与在线推荐引擎模块，包括：离线推荐引擎模块，用于周期性地以批处理方式加工过去一段时间的提取的特征数据根据需要采用相应的推荐算法产生个性化推荐内容；在线推荐引擎模块根据实时产生的用户特征，计算新用户与历史用户的相似性以进行相似用户推荐，与此同时根据实时产生的如内容长度、浏览量、回复次数、回复人数、评论人数、评论次数、打开时长等内容特征计算内容热度，进行热点内容推荐，并计算新内容与历史内容的相似性，在用户对推荐内容进行反馈操作后进行即时响应式相似内容推荐；

在线推荐接口服务模块，用户获取该用户的个性化推荐、相似用户推荐、相似内容推荐以及热点推荐的全部内容，进行推荐去重、推荐排序和人工干预获得最终的推荐结果。

进一步地，本发明提供的智能推荐系统还进一步包括推荐效果评估模块，用于统计用户对推荐内容的访问率(包括浏览、打开、回复、评论、播放、关注、收藏等访问行为)、访问时长以及F1Score进行衡量推荐的有效性。

智能推荐系统的业务内容实时审核过滤模块，采用机器学习、规则定义和人工检验相结合的方法对涉政、涉黄、涉恐、涉暴的内容进行过滤确保后续推荐内容的合法性；同时、于在线推荐接口服务模块中设置人工干预接口对推荐内容的类型、优先级别、不同方式的推荐数量进行设定，确保了推荐内容的可控性。

附图说明

图1为现有的个性化推荐系统的典型框架图；

图2为本发明提供的智能推荐系统的框架图。

具体实施方式

为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。参照附图2，本发明提供一种多媒体内容环境下安全可控的智能推荐系统，用于在广播传媒领域对以视频、音频、图文等形式出现的音乐、语音、广告、帖子、商品等信息流内容进行智能推荐。该系统包括：

存档数据收集与监控模块21，用于对用户业务内容数据和行为进行收集、存档，并实时监控业务内容和用户日志的存档数据变化，当存档数据变化时(如新增存档数据)，产生触发信号传递给业务内容实时审核过滤模块；

业务内容实时审核过滤模块22，用于当检测到所述的触发信号时对存档数据中的用户业务内容进行实时审核过滤；

特征提取模块23，用于对经过审核过滤后的存档数据进行用户特征、内容特征以及用户对内容的操作行为进行提取；

离线与在线推荐引擎模块24，包括离线推荐引擎与在线推荐引擎；

其中、离线推荐引擎模块用于周期性地以批处理方式加工过去一段时间的提取的特征数据根据需要采用相应的推荐算法产生针对当前用户的个性化推荐内容；在线推荐引擎模块根据实时产生的用户特征，计算新用户与历史用户的相似性以进行相似用户推荐，与此同时根据实时产生的如内容长度、浏览量、回复次数、回复人数、评论人数、评论次数、打开时长等内容特征计算内容热度，进行热点内容推荐，并计算新内容与历史内容的相似性，在用户对推荐内容进行反馈操作后进行即时响应式相似内容推荐；

在线推荐接口服务模块25，用于获取该用户的个性化推荐、相似用户推荐、相似内容推荐以及热点推荐的全部内容，进行推荐去重、推荐排序和人工干预获得最终的推荐结果。

其中，业务内容的实时审核过滤模块，采用机器学习、规则定义和人工检验相结合的方法对涉政、涉黄、涉恐、涉暴的内容进行过滤，以确保后续推荐的内容不违法，不违反道德、社会公德等。

特征提取模块、对用户特征、内容特征以及用户对内容的操作行为提取。具体为：针对用户，从用户静态属性(职业、年龄、性别、标签、所在地等)、交互时间分布、交互方式分布、交互内容(所有交互内容集合)、交互用户等角度进行特征提取；针对内容，从内容发表时间、发表形式、具体内容、内容的交互情况等方面进行特征提取；针对用户对内容的操作行为，具体包括但不限于：发表、评论、回复、收听、点击(打开)、关注、收藏等方面进行描述。

离线与在在线推荐引擎模块，其中离线推荐引擎周期性地以批处理方式加工过去一段时间提取的特征数据；离线推荐引擎根据可以需要采用基于内容特征的推荐、基于关联规则的推荐、基于协同过滤的推荐等多种算法产生针对用户的个性化推荐内容。本发明优选采用基于协同过滤的推荐算法，根据用户对内容的历史操作行为建立用户与内容的喜好关系，并根据历史推荐中已被用户消费的内容，对喜好关系进行调整并根据所述喜好关系进行个性化推荐。在线推荐引擎，使用流式计算平台(kafka、spark streaming等)，根据实时产生的用户特征，计算新用户与历史用户的相似性以进行相似用户推荐，与此同时根据实时产生的内容特征计算新内容与历史内容的相似性，在用户对推荐内容进行反馈操作后进行即时响应式相似内容推荐，考虑到推荐内容应具有差异性，相似内容的界定应具有阈值。相似用户推荐的一个用途是解决新用户的冷启动问题，这样即使用户没有以前的操作记录，也可以根据用户的特点一开始为其找到相似用户进而提供相关推荐。另外，热点内容推荐根据用户对内容的操作信息(内容长度、浏览量、回复次数、回复人数、评论人数、评论次数、打开时长等)，对不同地域的内容从质量、新颖度、流行度、参与程度、喜欢程度等角度进行热度评价后产生相应的推荐内容。

在线推荐接口服务模块，其内在功能逻辑是根据用户实时推荐数据、实时反馈数据和用户信息，获取该用户的个性化推荐、相似用户的个性化推荐、反馈相似推荐、以及热点推荐的全部内容，进行推荐去重、推荐排序和人工干预获得最终的推荐结果。其中，推荐去重是根据推荐引擎输出的热点内容、相似内容、相似用户(进一步获得相似用户的个性化推荐)和个性化推荐内容，进行一致性去重。内容去重后，一方面对多种推荐算法得到的内容评分进行归一化处理；另一方面，在线获取用户对前一次离线推荐计算周期内的历史推荐结果，对归一化的内容评分进行调整。人工干预主要是指可对推荐内容的类型、优先级别、不同方式的推荐数量进行设定，进而让推荐内容可控，满足推荐系统的多种目标。

在线推荐接口服务模块具体执行的逻辑过程如下：a、获取用户登录的用户名、设备号、所在地信息、并根据上述信息生成用户的唯一标识；b、根据用户的唯一标识查询与该用户对应的相似用户列表(该相似用户列表为系统计算当前用户与以往登录用户的相似程度产生的，其包括相似用户的唯一标识和相似度)，根据该用户及其相似用户的唯一标识查询个性化推荐列表(该列表为系统根据以往用户个性化推荐内容以及用户反馈进行评价得到的，包括用户的唯一标识、推荐内容清单及对应的推荐评分)，将用户相似度与内容清单的推荐评分相乘得到相似度加权的个性化内容推荐清单；c、查询热点内容列表(该列表根据最近一段时间内对内容的访问量得到，其包括热点内容与热度值)，获得热点内容清单和热度值；d、根据用户唯一标识查询获得用户已推荐给该用户的内容清单和已操作过的内容清单；e、根据用户的唯一标识查询获得该用户操作过的推荐内容清单，并根据操作过的内容清单查询在线推荐引擎实时计算出的相似内容列表(所述相似内容列表包括内容标识、相似内容、相似程度以及推荐评分)得到相似内容推荐列表以及推荐评分；f、综合步骤b、c、e获得的推荐内容，去除步骤d的中的内容清单，并按照内容进行去重，然而对剩下推荐内容推荐评分、热度值进行归一化评分处理、排序，然而根据单次推荐数量，优先级、可对推荐内容的类型等设置，形成包含分数最高推荐内容的内容列表向用户进行推荐。

进一步地，在线推荐接口服务模块还设有管理配置接口以及推荐效果评估模块。其中、管理配置接口主要用于对内容审核规则、算法引擎、人工干预、推荐内容数量、优先级、推荐内容的类型等进行配置；推荐效果评估模块用于对用户对推荐内容的访问率(包括浏览、打开、回复、评论、播放、关注、收藏等访问行为)、访问时长、对F1Score等进行统计以衡量推荐的有效性。

与现有技术相比，本发明采用通用的模块化内容智能推荐架构，具有以下优点：

1.采用通用的模块化内容推荐框架，方便进行模块替换升级、算法升级更新、审核规则调整补充等，极大的提高了系统的可扩展性。本发明将整个系统抽象成内容审核、特征提取、推荐算法引擎、在线推荐服务、管理配置、推荐效果评估模块，从系统上实现了推荐系统的功能解耦。因此而来的好处是，能够根据不同的业务需求，可以方便的进行模块替换升级、算法升级更新、审核规则调整补充等，极大的提高系统可扩展性。

2.通过多种推荐算法的组合满足推荐多目标。本发明的推荐引擎模块目前包括热点内容推荐、相似内容推荐、相似用户推荐、个性化推荐；其中热点推荐会推荐流行度、参与度更高的内容；个性化推荐根据用户的历史行为，推荐出用户喜欢的内容来迎合用户；相似内容推荐基于用户在某段时间会关注相似内容考虑，用于当用户对推荐内容进行反馈的实时动态响应，提升用户体验；相似用户推荐，根据相似用户的个性化推荐内容扩展推荐的多样性和覆盖率。通过多种推荐算法的组合，满足用户满意度、内容多样性、推荐即时性、新颖性、惊喜性、实时性和覆盖率等多个推荐目标。

3.能及时评估推荐效果，推荐效果评估作为形成本发明智能推荐系统闭环中的必要一环，对推荐算法模型的有效性，推荐内容是否满足对推荐目标进行评估、并对推荐系统的演进提供指导。

Claims (8)

1.一种多媒体下安全可控的智能推荐系统，该智能推荐系统包括：

存数据收集及监控模块，用于对用户业务内容数据和行为数据进行收集、存档，并实时监控业务内容和用户日志的存档数据变化，当存档数据变化时产生触发信号传递给业务内容实时审核过滤模块；

业务内容实时审核过滤模块，用于当检测到所述的触发信号时，采用规则定义审核、机器学习审核以及人工审核的方式，对存档数据中的用户业务内容进行实时审核过滤；

特征提取模块，用于根据审核过滤后的存档数据提取用户特征、内容特征以及用户对内容的操作行为；

离线与在线推荐引擎模块，包括离线推荐引擎和在线推荐引擎，其中离线推荐引擎，用于产生针对所有历史用户的个性化推荐内容；在线推荐引擎，用于根据实时产生的特征数据计算新内容与历史内容、当前用户与历史用户之前的相似性，针对当前用户进行相似用户推荐和相似内容推荐，并进行热点内容推荐；

在线推荐接口服务模块，用于获取用户的个性化推荐、相似用户推荐、相似内容推荐以及热点推荐的全部内容，进行推荐去重、推荐排序和人工干预以获得最终的推荐结果向用户进行推荐。

2.如权利要求1所述的智能推荐系统，其中所述业务内容的实时审核过滤模块采用机器学习、规则定义和人工检验相结合的方法对涉政、涉黄、涉恐、涉暴的内容进行过滤，以确保后续推荐的内容不违法，不违反道德、社会公德等。

3.如权利要求1所述的智能推荐系统，其中离线推荐引擎采用的推荐算法包括基于内容特征的推荐算法、基于关联规则的推荐算法、基于协同过滤的推荐算法中的一种或多种。

4.如权利要求1或3所述的智能推荐系统，其中离线推荐引擎周期性地以批处理方式加工过去一段时间的提取的特征数据，基于协同过滤的推荐算法、根据用户对内容的历史操作行为建立用户与内容的喜好关系，并根据用户对推荐内容的消费情况，进一步调整个性化推荐内容。

5.如权利要求1中所述的智能推荐系统，其中在线推荐引擎对登录的新用户进行相似用户推荐以解决新用户的冷启动问题，并且其还可以在用户对推荐内容进行反馈操作后，根据相似内容对用户进行实时动态的响应式推荐。

6.如权利要求1所述的智能推荐系统，其中在线推荐接口服务模块中还设有管理配置接口以及推荐效果评估模块，所述管理配置接口主要用于对内容审核规则、算法引擎、人工干预进行配置；所述推荐效果评估模块用于对用户对推荐内容的访问率、访问时长、对F1Score等进行统计以衡量推荐的有效性。

7.如权利要求1或6所述的智能推荐系统，其中所述人工干预主要指设置推荐内容数量、优先级、推荐内容的类型等。

8.如权利要求1所述的智能推荐系统，在线推荐接口服务模块的具体实现的逻辑步骤包括：

a、获取用户登录的用户信息、设备信息、所在地信息、并根据上述信息生成用户的唯一标识；

b、根据用户的唯一标识查询与该用户对应的相似用户列表、该相似用户列表包括相似用户的唯一标识和相似度，根据该用户及其相似用户的唯一标识查询个性化推荐列表、该个性化推荐列表包括用户的唯一标识、推荐内容清单及对应的推荐评分，将用户相似度与内容清单的推荐评分相乘得到相似度加权的个性化内容推荐清单；

c、查询热点内容列表、其包括热点内容与热度值，获得热点内容清单和热度值；

d、根据用户唯一标识查询获得用户已推荐给该用户的内容清单和已操作过的内容清单；

e、根据用户的唯一标识查询获得该用户操作过的推荐内容清单，并根据操作过的内容清单查询在线推荐引擎实时计算出的相似内容列表，所述相似内容列表包括内容标识、相似内容、相似程度以及推荐评分，得到相似内容推荐列表以及推荐评分；

f、综合步骤b、c、e获得的推荐内容，去除步骤d的中的内容清单，并按照内容进行去重，然而对剩下推荐内容推荐评分、热度值进行归一化评分处理、排序，然而根据单次推荐数量，优先级、可对推荐内容的类型等设置，形成包含分数最高部分推荐内容的内容列表向用户推荐。