CN110825974B - 推荐系统内容排序方法及装置 - Google Patents

推荐系统内容排序方法及装置 Download PDF

Info

Publication number
CN110825974B
CN110825974B CN201911158803.9A CN201911158803A CN110825974B CN 110825974 B CN110825974 B CN 110825974B CN 201911158803 A CN201911158803 A CN 201911158803A CN 110825974 B CN110825974 B CN 110825974B
Authority
CN
China
Prior art keywords
content
sorting
model
sorted
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911158803.9A
Other languages
English (en)
Other versions
CN110825974A (zh
Inventor
陈方毅
黄益聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meishao Co ltd
Original Assignee
Xiamen Meishao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meishao Co ltd filed Critical Xiamen Meishao Co ltd
Priority to CN201911158803.9A priority Critical patent/CN110825974B/zh
Publication of CN110825974A publication Critical patent/CN110825974A/zh
Application granted granted Critical
Publication of CN110825974B publication Critical patent/CN110825974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了推荐系统内容排序方法及装置。涉及内容推荐领域，其中，方法通过获取召回的待排序内容，根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表，其中推荐模型包括DIN模型，排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。通过排序策略的结合，对内容进行有效排序，提高了召回内容后排序的准确性，避免标题党等内容影响用户使用体验，使内容平台针对用户提供更加个性化的定制内容推荐服务，更好更快地满足用户需求，提高用户粘性以及内容的转化率。

Description

推荐系统内容排序方法及装置
技术领域
本发明涉及内容推荐领域，尤其是一种推荐系统内容排序方法及装置。
背景技术
如今在很多互联网产品尤其是内容平台中，内容推荐系统是不可或缺的一部分，其能够在用户没有显式行为的条件下为用户提供优质的个性化推荐服务。例如用户打开资讯APP，首页出现用户感兴趣的内容文章，满足用户需求，既要通过一些新颖性推荐结果，起到流量分发的作用，同时需要给用户提供精准个性化推荐，从而缩短用户的商品选择时间，这就需要推荐系统进行多样、准确的内容选择。
一般通过召回策略从海量数据中得到与用户相关的内容作为推荐内容，由于在召回阶段，多种召回策略的内容是不具有可比性的，并且因为数据量太大也难以进行更加精确的偏好和质量评估，因此需要对召回结果进行统一的准确的打分排序。但是目前排序阶段的排序策略并不能得到有效准确的排序结果用于内容推荐，导致标题党等内容影响用户使用体验，因此需要提出一种更精准的排序算法模型用于召回后的内容排序，以提高内容推荐的准确性。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种用于推荐系统召回后精准的内容排序方法及装置。
本发明所采用的技术方案是：
第一方面，本发明提供一种推荐系统内容排序方法，包括：
获取召回的待排序内容；
根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表；
所述推荐模型包括DIN模型，所述排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。
进一步地，所述排序算法模型表示为：
Score＝a*f1+b*f2+c*f3
其中，Score表示所述待排序内容的得分，f1是所述推荐模型返回的分数，f2表示所述待排序内容的平均阅读完成率，f3表示所述待排序内容的平均阅读时长，a、b、c分别表示f1、f2、f3对应的权重值。
进一步地，所述阅读完成率指：根据用户在内容上停留时长判断是否为有效阅读，然后根据内容总字数和当前已曝光字数计算得到阅读完成率。
进一步地，通过对召回内容进行初筛得到所述待排序内容。
进一步地，所述初筛包括：曝光初筛和负评价初筛；
所述曝光初筛指：过滤已经给用户曝光过的内容；
所述负评价初筛指：获取用户历史负反馈信息，将与所述负反馈信息同类型的内容进行过滤。
第二方面，本发明还提供一种推荐系统内容排序装置，包括：
获取待排序内容模块，用于获取召回的待排序内容；
排序模块，用于根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表；
所述推荐模型包括DIN模型，所述排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。
进一步地，还包括：
内容初筛模块：用于对召回内容进行初筛得到待排序内容。
第三方面，本发明提供一种推荐系统内容排序设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明的有益效果是：
本发明通过获取召回的待排序内容，根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表，其中推荐模型包括DIN模型，排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。通过排序策略的结合，对内容进行有效排序，提高了召回内容后排序的准确性，避免标题党等内容影响用户使用体验，使内容平台针对用户提供更加个性化的定制内容推荐服务，更好更快地满足用户需求，提高用户粘性以及内容的转化率。
可广泛应用于内容推荐领域。
附图说明
图1是本发明中推荐系统内容排序方法的一具体实施例的实现流程图；
图2是本发明中推荐系统内容排序装置的一具体实施例的结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
实施例一：
本发明实施例一提供一种推荐系统内容排序方法，图1为本发明实施例提供的一种推荐系统内容排序方法的实现流程图，如图1所示，该方法包括以下步骤：
S1：对召回内容进行初筛得到待排序内容。
S2：获取经过初筛后的待排序内容；
S3：根据推荐模型对待排序内容进行排序得到初步排序列表，将初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表，其中，推荐模型包括DIN模型，排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。
本实施例中，经过推荐模型和排序算法模型两种排序策略的结合，根据初步排序列表的内容进行整合排序得到用于推荐的内容，即先使用推荐模型进行排序，例如使用DIN(deep interest network)模型，但是不做限定，其他能够实现推荐的算法均在本实施例的保护范围之内，例如经过DIN模型返回的100条内容的初步排序列表，再使用排序算法模型，按照阅读时长、阅读完成率、推荐模型din返回的分数，进行排序，最终生成包含100条内容的经过重新排序的推荐内容列表返回给用户。
具体的，步骤S1中，初筛包括：曝光初筛和负评价初筛；
其中，曝光初筛指：过滤已经给用户曝光过的内容。
例如，召回的内容中包含当前用户已经浏览过的内容，则称这部分内容为曝光过的内容，避免用户浏览到重复内容而影响使用体验，需要将这些内容进行过滤。
负评价初筛指：获取用户历史负反馈信息，将与负反馈信息同类型的内容进行过滤。
负反馈指用户根据反馈标签在历史浏览过程进行的负反馈，例如：“不感兴趣”、“内容质量低”、“不看该作者”、“不看哈士奇”、“不看狗”、“不看宝宝”等具体的根据实际应用场景确定的负反馈标签。例如用户选择“不感兴趣”，则将召回的内容中与这篇内容的负反馈标签相同或者相似的内容进行过滤，即过滤与当前用户曾经负反馈过的内容相似的且同类别的内容，或者当前用户屏蔽作者的内容等。
具体的，步骤S3中，排序算法模型表示为：
Score＝a*f1+b*f2+c*f3
其中，Score表示待排序内容的得分，f1是推荐模型返回的分数，f2表示待排序内容的平均阅读完成率，f3表示待排序内容的平均阅读时长，a、b、c分别表示f1、f2、f3对应的权重值。
其中，推荐模型采用DIN模型为深度兴趣网络(Deep Interest Network,DIN),是在阿里巴巴的广告推荐系统中研发并使用的模型，其受机器翻译模型中的attention机制的启发，DIN也是用兴趣权重来表示用户兴趣的多样性，并设计了一个attention-like的神经网络根据候选广告去激活相关的兴趣，跟候选广告有更强相关性的行为会获得更高的attention值，从而更显著地影响预测结果。本实施例中，将待排序内容输入到DIN模型中进行初步排序得到一个初步排序列表，每一个该列表中的待排序内容都有一个对应的attention值，即本实施例中的推荐模型返回的分数。
阅读完成率指：根据用户在内容上停留时长判断是否为有效阅读，然后根据内容总字数和当前已曝光字数计算得到阅读完成率。
例如可选的方式是对文本内容是通过阅读的字数预估完成率，对视频内容通过播放的时长预估完成率。例如一种具体实施方式中采用下面的方式：通过App客户端记录并上报用户在文章详情页上下滑动事件和停留的时间，阅读完成率会依据两个数据计算：1.文章详情页当前区域停留的时长(并与预设曝光时长阈值进行比较，例如设置为1.5s，可以根据实际需求进行更改)；2.文章详情页已曝光的内容。例如用户阅读一篇1000字的文章，点击进入详情页后，手机屏幕上只曝光了前600字内容，用户在这个页面停留8s后，向下滑动屏幕，又曝光200字内容，但是只停留1s就退出文章详情页。阅读完成率按有效曝光内容的占比计算，即600/1000＝60％，前600字内容，有效曝光且停留足够时长，认为是有效阅读；后200字内容有曝光，但是停留时长小于预设曝光时长阈值，不认为是有效阅读；最后200字内容无曝光，也不认为是有效阅读。
平均阅读时长排序指：根据每个内容的平均阅读时长进行排序，即使用同类人群对该篇文章阅读的统计时长，平均阅读时长为统计值，获取这篇内容曝光的用户数以及曝光时长统计得到平均阅读时长。
本实施例的排序算法可选的是google的wide&deep算法模型或者DIN(deepinterest network)模型进行建模，wide&deep算法模型是TensorFlow在2016年6月左右发布的用于分类和回归的模型，主要用于APP的推荐，wide是指广义线性模型(Wide LinearModel)deep是指深度神经网络(Deep Netural Network)，wide&deep模型的核心思想是结合线性模型的记忆能力(memorization)和DNN模型的泛化能力(generalization)，在训练过程中同时优化2个模型的参数，从而达到整体模型的预测能力最优，同时训练wide模型和deep模型，并将两个模型的结果的加权作为最终的预测结果。其中，记忆(memorization)即从历史数据中发现item或者特征之间的相关性，泛化(generalization)即相关性的传递，发现在历史数据中很少或者没有出现的新的特征组合。
本实施例通过获取召回的待排序内容，根据推荐算法和排序算法模型对待排序内容进行综合排序得到推荐内容，排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。
实施例二：
本实施例提供一种推荐系统内容排序装置，用于执行如实施例一所述的方法，如图2所示，为本实施例的推荐系统内容排序装置结构框图，包括：
内容初筛模块10：用于对召回内容进行初筛得到待排序内容。
获取待排序内容模块20，用于获取召回的待排序内容；
排序模块30，用于根据推荐模型对待排序内容进行排序得到初步排序列表，将初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表，推荐模型包括DIN模型，排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序。
另外，本发明还提供一种推荐系统内容排序设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
本发明通过排序策略的结合，对内容进行有效排序，提高了召回内容后排序的准确性，避免标题党等内容影响用户使用体验，使内容平台针对用户提供更加个性化的定制内容推荐服务，更好更快地满足用户需求，提高用户粘性以及内容的转化率。可广泛应用于内容推荐领域。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种推荐系统内容排序方法，其特征在于，包括：
获取召回的待排序内容；
根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表；
所述推荐模型包括DIN模型，所述排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序；
所述排序算法模型表示为：
Score＝a*f1+b*f2+c*f3
其中，Score表示所述待排序内容的得分，f1是所述推荐模型返回的分数，f2表示所述待排序内容的平均阅读完成率，f3表示所述待排序内容的平均阅读时长，a、b、c分别表示f1、f2、f3对应的权重值。
2.根据权利要求1所述的一种推荐系统内容排序方法，其特征在于，所述阅读完成率指：根据用户在内容上停留时长判断是否为有效阅读，若为有效阅读，根据内容总字数和当前已曝光字数计算得到阅读完成率。
3.根据权利要求1所述的一种推荐系统内容排序方法，其特征在于，通过对召回内容进行初筛得到所述待排序内容。
4.根据权利要求3所述的一种推荐系统内容排序方法，其特征在于，所述初筛包括：曝光初筛和负评价初筛；
所述曝光初筛指：过滤已经给用户曝光过的内容；
所述负评价初筛指：获取用户历史负反馈信息，将与所述负反馈信息同类型的内容进行过滤。
5.一种推荐系统内容排序装置，其特征在于，包括：
获取待排序内容模块，用于获取召回的待排序内容；
排序模块，用于根据推荐模型对所述待排序内容进行排序得到初步排序列表，将所述初步排序列表使用排序算法模型进行二次排序，整合得到推荐内容列表；
所述推荐模型包括DIN模型，所述排序算法模型为：根据推荐模型分数、阅读完成率和内容阅读时长进行排序；
其中，所述排序算法模型表示为：
Score＝a*f1+b*f2+c*f3
其中，Score表示所述待排序内容的得分，f1是所述推荐模型返回的分数，f2表示所述待排序内容的平均阅读完成率，f3表示所述待排序内容的平均阅读时长，a、b、c分别表示f1、f2、f3对应的权重值。
6.根据权利要求5所述的一种推荐系统内容排序装置，其特征在于，还包括：
内容初筛模块：用于对召回内容进行初筛得到待排序内容。
7.一种推荐系统内容排序设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述至少一个处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至4任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至4任一项所述的方法。
CN201911158803.9A 2019-11-22 2019-11-22 推荐系统内容排序方法及装置 Active CN110825974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158803.9A CN110825974B (zh) 2019-11-22 2019-11-22 推荐系统内容排序方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158803.9A CN110825974B (zh) 2019-11-22 2019-11-22 推荐系统内容排序方法及装置

Publications (2)

Publication Number Publication Date
CN110825974A CN110825974A (zh) 2020-02-21
CN110825974B true CN110825974B (zh) 2022-06-21

Family

ID=69558441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158803.9A Active CN110825974B (zh) 2019-11-22 2019-11-22 推荐系统内容排序方法及装置

Country Status (1)

Country Link
CN (1) CN110825974B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445282B (zh) * 2020-03-20 2023-02-10 支付宝(杭州)信息技术有限公司 基于用户行为的业务处理方法、装置及设备
CN112435091B (zh) * 2020-11-23 2024-03-29 百果园技术(新加坡)有限公司 推荐内容的选择方法、装置、设备及存储介质
CN112801760A (zh) * 2021-03-30 2021-05-14 南京蓝鲸人网络科技有限公司 一种内容个性化推荐系统的排序优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095949A (zh) * 2016-06-14 2016-11-09 东北师范大学 一种基于混合推荐的数字化图书馆资源个性化推荐方法与系统
CN107679564A (zh) * 2017-09-20 2018-02-09 北京百度网讯科技有限公司 样本数据推荐方法及其装置
CN109086439A (zh) * 2018-08-15 2018-12-25 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN110263189A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 媒体内容的推荐方法、装置、存储介质和计算机设备
CN110442796A (zh) * 2019-08-14 2019-11-12 北京思维造物信息科技股份有限公司 一种推荐策略分桶方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536728B2 (en) * 2009-08-18 2020-01-14 Jinni Content classification system
US9348899B2 (en) * 2012-10-31 2016-05-24 Open Text Corporation Auto-classification system and method with dynamic user feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095949A (zh) * 2016-06-14 2016-11-09 东北师范大学 一种基于混合推荐的数字化图书馆资源个性化推荐方法与系统
CN107679564A (zh) * 2017-09-20 2018-02-09 北京百度网讯科技有限公司 样本数据推荐方法及其装置
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN109086439A (zh) * 2018-08-15 2018-12-25 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN110263189A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 媒体内容的推荐方法、装置、存储介质和计算机设备
CN110442796A (zh) * 2019-08-14 2019-11-12 北京思维造物信息科技股份有限公司 一种推荐策略分桶方法、装置及设备

Also Published As

Publication number Publication date
CN110825974A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN111008278B (zh) 内容推荐方法及装置
CN110825974B (zh) 推荐系统内容排序方法及装置
CN110321422A (zh) 在线训练模型的方法、推送方法、装置以及设备
CN108510402A (zh) 险种信息推荐方法、装置、计算机设备及存储介质
CN110647696B (zh) 一种业务对象的排序方法及装置
CN106651544B (zh) 最少用户交互的会话式推荐系统
CN107507016A (zh) 一种消息推送方法和系统
CN110532468B (zh) 一种网站资源的推荐方法、装置和计算设备
CN112348629A (zh) 一种商品信息推送方法和装置
CN110941762B (zh) 一种个性化推荐系统排序结果的改进方法
CN110990695A (zh) 推荐系统内容召回方法及装置
CN110008397B (zh) 一种推荐模型训练方法及装置
CN110033342A (zh) 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN107330727A (zh) 一种基于隐语义模型的个性化推荐方法
CN108595493A (zh) 媒体内容的推送方法和装置、存储介质、电子装置
CN110874787A (zh) 推荐模型的效果评测方法和相关装置
CN108509499A (zh) 一种搜索方法及装置，电子设备
CN111949887A (zh) 物品推荐方法、装置及计算机可读存储介质
US20150348059A1 (en) System and method for determining the shopping phase of a shopper
CN113761347A (zh) 一种商品推荐方法、装置、存储介质及系统
CN113407854A (zh) 一种应用推荐方法、装置、设备及计算机可读存储介质
CN110263973B (zh) 预测用户行为的方法及装置
CN111461827A (zh) 产品评价信息的推送方法和装置
CN110942376A (zh) 一种音频类产品的实时多召回策略的融合方法
CN111415222B (zh) 一种物品推荐方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant