CN111143688B - 一种基于移动新闻客户端的评估方法及其系统 - Google Patents
一种基于移动新闻客户端的评估方法及其系统 Download PDFInfo
- Publication number
- CN111143688B CN111143688B CN201911409113.6A CN201911409113A CN111143688B CN 111143688 B CN111143688 B CN 111143688B CN 201911409113 A CN201911409113 A CN 201911409113A CN 111143688 B CN111143688 B CN 111143688B
- Authority
- CN
- China
- Prior art keywords
- content
- recommended
- evaluation
- data
- contents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于移动新闻客户端的评估方法及其系统,涉及互联网新闻信息运营和服务平台领域,所述方法包括:步骤1:推荐内容的获取:模拟用户画像向服务器请求数据,采集服务器返回的推送内容并储存在数据库中;步骤2:对推荐内容从质量和时效两个维度进行评估;步骤3:反馈评估的最终结果。与现有技术相比,本发明从移动新闻客户端APP侧进行个性化推荐内容评估,可以模拟根据不同的用户画像对不同用户推荐的内容进行实时采集;从时效、质量两个维度评估内容的可信程度,能够良好的反映新闻信息的实时性、信息覆盖面以及内容的质量。
Description
技术领域
本发明属于互联网新闻信息运营和服务平台领域,具体涉及一种基于移动新闻客户端的评估方法及其系统。
背景技术
近年来,随着人工智能技术的发展,个性化推荐算法逐步在新闻推送、网络直播、小视频推送、商品等场景中得到了广泛的应用。特别在新闻信息推荐领域,丰富的资讯资源、实时的信息推送和方便的社交互动被越来越多的用户认可。如何能够更好地评估新闻信息推荐系统成为了新的课题。
现有的技术方案一般为:
内容获取方法:根据获取到的新闻客户端的数量创建相同数量的线程,获取系统的中央处理器CPU的核心数量并根据预设规则将每个线程绑定在相应的CPU核心上;将同一CPU核心上的所有预置解析队列中的数据存储于对应的预置输出队列中,当接收到输出指令时则将预置输出队列中的数据传送于预置数据库中,以便基于预置数据库中的数据实现对新闻客户端数据的监管。
内容评估方法:推荐系统的评估指标一般从多个维度:用户感受、算法精度以及商业目标。
而这种方法会带来诸多问题,比如:
在内容获取方法上,直接获取每个新闻客户端的栏目内容的方式,难以针对推荐系统对每个用户的推荐内容进行评估;
在内容评估上,目前的评价指标都是基于通用的推荐算法的,并无专门针对新闻信息推荐系统进行评价的相关指标。
发明内容
针对现有技术中存在的诸多问题,本发明的目的是:提出了一种基于移动新闻客户端的评估方法及其系统,通过获取移动新闻客户端个性化推荐的内容,实时分析推荐内容,从多维度评估推荐内容的可信程度。
为了实现上述目的,本发明所采用的技术方案为:
一种基于移动新闻客户端的评估方法,包括:
步骤1:推荐内容的获取:模拟用户画像向服务器请求数据,采集服务器返回的推送内容并储存在数据库中;
步骤2:对推荐内容从质量和时效两个维度进行评估;
步骤3:反馈评估的最终结果。
进一步的,所述步骤1具体方法为:首先预先设定好用户操作指令,包括:刷新、阅读、点赞,然后模拟用户操作指令,通过adb方式传输给虚拟化的新闻客户端,新闻客户端根据指令通过模拟点击向服务器请求数据,服务器则向新闻客户端返回推送的个性化内容,最后利用hook服务器从新闻客户端中获取推荐内容,并将推荐内容保存到数据库中。
进一步的,所述步骤2中内容质量评估的具体方法为:首先进行不良内容识别:采用序列标注的方法,构建大量标记不良内容词汇的训练数据,进行模型训练;将获取到的推荐数据使用训练好的模型进行预测,判断是否包含不良内容词语,若包含则提取并记录,若不包含,则进行“标题党内容”识别;
所述“标题党”内容识别:采用二分类的模型,构建大量训练数据,将标题与文章正文共同作为模型输入,标题与文章相符的标记为1,标题与文章不符的标记为0,进行分类模型训练;将获取到的推荐数据的标题与文章正文输入到模型中,判断是否为“标题党”内容;
所述步骤2中时效评估的具体方法为:通过最近n天内容推荐率来评估系统的实时性,取n=3,即推荐内容生产时间为最近72小时内的推荐数量占总推荐数量,获取推荐内容的生产时间,计算生产时间为72小时内的数据占比
进一步的,计算步骤2中得到的时效指标和质量指标,取平均值作为最终结果。
本发明还提供了一种实现上述评估方法的系统,包括推荐内容获取模块、内容可信度评估模块和评估结果反馈模块;
推荐内容获取模块包括:模拟用户画像数据请求模块:模拟用户进行浏览、点击、分享行为,形成预设的户画像,按照预设的用户画像从新闻客户端向服务器请求数据;
服务器推送模块:服务器向新闻客户端推送个性化推荐的新闻信息内容;
内容采集模块:利用hook服务器从新闻客户端中获取推荐内容;
数据保存模块:将采集到的内容保存到数据库中;
所述内容可信度评估模块包括:时效评估模块:通过最近n天新闻推荐率来评估推荐系统的实时性,N<=3;
质量评估模块:检测推荐内容中是否含有不良内容或“标题党”内容。
与现有技术相比,本发明具有以下有益效果:
(1)内容获取方面,从移动新闻客户端APP侧进行个性化推荐内容获取,可以模拟根据不同的用户画像对不同用户推荐的内容进行实时获取;
(2)内容评估方面,从时效、质量两个维度评估内容的可信程度,能够良好的反映新闻信息的实时性、信息覆盖面以及内容的质量。
(3)实时反馈评估结果以及检测到的不良内容,方便平台进行管理。
附图说明
图1为现有技术中新闻客户端数据采集方法示意图;
图2为本发明的移动新闻客户端的评估系统示意图;
图3为本发明的评估系统中推荐内容获取模块示意图;
图4为本发明的评估方法中推荐内容获取方法流程图;
图5为本发明的评估方法中内容评估方法流程图。
具体实施方式
为了让技术人员更好的了解本发明,下面结合具体实施例对本发明进行详细说明。
如图1所示,现有技术中新闻客户端数据采集方法示意图,根据获取到的新闻客户端的数量创建相同数量的线程,获取系统的中央处理器CPU的核心数量并根据预设规则将每个线程绑定在相应的CPU核心上;将同一CPU核心上的所有预置解析队列中的数据存储于对应的预置输出队列中,当接收到输出指令时则将预置输出队列中的数据传送于预置数据库中,以便基于预置数据库中的数据实现对新闻客户端数据的监管。这种采集方法是直接获取每个新闻客户端的栏目内容的方式,导致难以针对推荐系统对每个用户的推荐内容进行评估。
如图2所示,本发明提供了一种基于移动新闻客户端的评估方法,包括:
步骤1:推荐内容的获取:模拟用户画像向服务器请求数据,采集服务器返回的推送内容并储存在数据库中;
步骤2:对推荐内容从质量和时效两个维度进行评估;
步骤3:反馈评估的最终结果。
如图3和图4所示,本发明的评估方法中推荐内容获取方法具体为:
首先预先设定好用户操作指令,包括:刷新、阅读、点赞,然后模拟用户操作指令,通过adb方式传输给虚拟化的新闻客户端,新闻客户端根据指令通过模拟点击向服务器请求数据,服务器则向新闻客户端返回推送的个性化内容,最后利用hook服务器从新闻客户端中获取推荐内容,并将推荐内容保存到数据库中。
如图5所示,本发明的评估方法中内容评估方法流程图,内容质量评估的具体方法为:
首先进行不良内容识别:采用序列标注的方法,构建大量标记不良内容词汇的训练数据,进行模型训练;将获取到的推荐数据使用训练好的模型进行预测,判断是否包含不良内容词语,若包含则提取并记录,若不包含,则进行“标题党内容”识别;
所述“标题党”内容识别:采用二分类的模型,构建大量训练数据,将标题与文章正文共同作为模型输入,标题与文章相符的标记为1,标题与文章不符的标记为0,进行分类模型训练;将获取到的推荐数据的标题与文章正文输入到模型中,判断是否为“标题党”内容;最后计算内容的质量指标,公式为:
其中:Q为某时刻检测不符合内容质量要求的推荐内容数量占总推荐数量的比率,U为模拟不同用户画像的总数量,qi为i用户画像获取到推荐内容中为不符合内容质量要求的数量,ALLi为i用户画像获取到推荐内容的总数量。
时效评估的具体方法为:
通过最近n天内容推荐率来评估系统的实时性,取n=3,即推荐内容生产时间为最近72小时内的推荐数量占总推荐数量,获取推荐内容的生产时间,计算生产时间为72小时内的数据占比,公式为:
其中,T为生产时间为72小时的推荐内容数量占总推荐内容的比率,U为模拟不同用户画像的总数量,ti为i用户画像获取到推荐内容中为不符合时效要求的数量,ALLi为i用户画像获取到推荐内容的总数量。
所述步骤3中,将每个时刻模拟不同用户画像获取到的数据经过上述评估方法得到时效指标和质量指标,取平均值作为最终结果反馈给监控平台。
本发明还提供了一种实现上述基于新闻客户端的评估和监控方法的系统,包括推荐内容获取模块、内容可信度评估模块和评估结果反馈模块;
所述推荐内容获取模块包括:
模拟用户画像数据请求模块:模拟用户进行浏览、点击、分享行为,形成预设的户画像,按照预设的用户画像从新闻客户端向服务器请求数据;
服务器推送模块:服务器向新闻客户端推送个性化推荐的新闻信息内容;
内容采集模块:利用hook服务器从新闻客户端中获取推荐内容;
数据保存模块:将采集到的内容保存到数据库中;
所述内容可信度评估模块包括:
时效评估模块:通过最近n天新闻推荐率来评估推荐系统的实时性,N<3;
质量评估模块:检测推荐内容中是否含有不良内容或“标题党”内容。
本发明公开的基于新闻客户端的评估方法,在内容采集方面,从移动新闻客户端APP侧进行个性化推荐内容采集,可以模拟根据不同的用户画像对不同用户推荐的内容进行实时采集,同类用户(用户画像相似的用户)的推荐内容无需全部采集,更加灵活,可以自由控制采集的内容规模,可以根据相关规则调整自由调整采集的个性化内容规模;在内容评估方面,从时效性、质量两个维度评估新闻信息推荐内容的可信程度,能够良好的反映新闻信息的实时性、文章内容的质量。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明的权利要求书的保护范围之内。本发明未涉及的技术均可通过现有技术加以实现。
Claims (4)
1.一种基于移动新闻客户端的评估方法,包括:
步骤一:推荐内容的获取:模拟用户画像向服务器请求数据,采集服务器返回的推送内容并储存在数据库中;
步骤二:对推荐内容从内容质量评估和时效评估两个维度进行评估;
步骤三:反馈评估的最终结果;
所述步骤二中内容质量评估的具体方法为:
首先进行不良内容识别:采用序列标注的方法,构建大量标记不良内容词汇的训练数据,进行模型训练;将获取到的推荐数据使用训练好的模型进行预测,判断是否包含不良内容词语,若包含则提取并记录,若不包含,则进行“标题党”内容识别;
所述“标题党”内容识别:采用二分类的模型,构建大量训练数据,将标题与文章正文共同作为模型输入,标题与文章相符的标记为1,标题与文章不符的标记为0,进行分类模型训练;将获取到的推荐数据的标题与文章正文输入到模型中,判断是否为“标题党”内容;
最后计算内容的质量指标,公式为:
其中:Q为某时刻检测不符合内容质量要求的推荐内容数量占总推荐数量的比率,U为模拟不同用户画像的总数量,qi为i用户画像获取到推荐内容中不符合内容质量要求的数量,ALLi为i用户画像获取到推荐内容的总数量;
所述步骤二中时效评估的具体方法为:
通过最近n天内容推荐率来评估系统的实时性,取n=3,即推荐内容生产时间为最近72小时内的推荐数量占总推荐数量的比例,获取推荐内容的生产时间,计算生产时间为72小时内的数据占比,公式为:
其中,T为生产时间为72小时的推荐内容数量占总推荐内容的比率,U为模拟不同用户画像的总数量,ti为i用户画像获取到推荐内容中不符合时效要求的数量,ALLi为i用户画像获取到推荐内容的总数量。
2.根据权利要求1所述的基于移动新闻客户端的评估方法,其特征在于,所述步骤一具体方法为:
首先预先设定好用户操作指令,包括:刷新、阅读、点赞,然后模拟用户操作指令,通过adb方式传输给虚拟化的新闻客户端,新闻客户端根据指令通过模拟点击向服务器请求数据,服务器则向新闻客户端返回推送的个性化内容,最后利用hook服务器从新闻客户端中获取推荐内容,并将推荐内容保存到数据库中。
3.根据权利要求1所述的基于移动新闻客户端的评估方法,其特征在于,所述步骤三具体方法为:
计算步骤二中得到的时效指标和质量指标,取平均值作为最终结果。
4.一种新闻客户端的评估系统,其特征在于:包括推荐内容获取模块、内容可信度评估模块和评估结果反馈模块;
所述推荐内容获取模块包括:
模拟用户画像数据请求子模块:模拟用户进行浏览、点击、分享行为,形成预设的用户画像,按照预设的用户画像从新闻客户端向服务器请求数据;
服务器推送子模块:服务器向新闻客户端推送个性化推荐的新闻信息内容;
内容采集子模块:利用hook服务器从新闻客户端中获取推荐内容;
数据保存子模块:将采集到的内容保存到数据库中;
所述内容可信度评估模块包括:
时效评估子模块:通过最近n天新闻推荐率来评估推荐系统的实时性,N<=3;
质量评估子模块:检测推荐内容中是否含有不良内容或“标题党”内容;
所述评估结果反馈模块,将每个时刻模拟不同用户画像获取到的数据经过评估得到时效指标和质量指标,取平均值作为最终结果反馈给监控平台;
所述时效评估子模块,具体为:通过最近n天内容推荐率来评估系统的实时性,取n=3,即推荐内容生产时间为最近72小时内的推荐数量占总推荐数量的比例,获取推荐内容的生产时间,计算生产时间为72小时内的数据占比,公式为:
其中,T为生产时间为72小时的推荐内容数量占总推荐内容的比率,U为模拟不同用户画像的总数量,ti为i用户画像获取到推荐内容中不符合时效要求的数量,ALLi为i用户画像获取到推荐内容的总数量;
所述质量评估子模块具体为:进行不良内容识别:采用序列标注的方法,构建大量标记不良内容词汇的训练数据,进行模型训练;将获取到的推荐数据使用训练好的模型进行预测,判断是否包含不良内容词语,若包含则提取并记录,若不包含,则进行“标题党”内容识别;
所述“标题党”内容识别:采用二分类的模型,构建大量训练数据,将标题与文章正文共同作为模型输入,标题与文章相符的标记为1,标题与文章不符的标记为0,进行分类模型训练;将获取到的推荐数据的标题与文章正文输入到模型中,判断是否为“标题党”内容;
最后计算内容的质量指标,公式为:
其中:Q为某时刻检测不符合内容质量要求的推荐内容数量占总推荐数量的比率,U为模拟不同用户画像的总数量,qi为i用户画像获取到推荐内容中不符合内容质量要求的数量,ALLi为i用户画像获取到推荐内容的总数量。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911409113.6A CN111143688B (zh) | 2019-12-31 | 2019-12-31 | 一种基于移动新闻客户端的评估方法及其系统 |
PCT/CN2020/082285 WO2021134944A1 (zh) | 2019-12-31 | 2020-03-31 | 一种基于移动新闻客户端的评估方法及其系统 |
AU2020335019A AU2020335019B2 (en) | 2019-12-31 | 2020-03-31 | Evaluation method based on mobile news client and system thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911409113.6A CN111143688B (zh) | 2019-12-31 | 2019-12-31 | 一种基于移动新闻客户端的评估方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111143688A CN111143688A (zh) | 2020-05-12 |
CN111143688B true CN111143688B (zh) | 2021-03-02 |
Family
ID=70522566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911409113.6A Active CN111143688B (zh) | 2019-12-31 | 2019-12-31 | 一种基于移动新闻客户端的评估方法及其系统 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN111143688B (zh) |
AU (1) | AU2020335019B2 (zh) |
WO (1) | WO2021134944A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291690B (zh) * | 2023-11-23 | 2024-06-07 | 五五海淘(上海)科技股份有限公司 | 一种基于数据分析的产品销售智能推荐方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8286176B1 (en) * | 2008-09-29 | 2012-10-09 | Amazon Technologies, Inc. | Optimizing resource configurations |
CN103365902B (zh) * | 2012-03-31 | 2017-06-20 | 北大方正集团有限公司 | 互联网新闻的评估方法和装置 |
US20150046425A1 (en) * | 2013-08-06 | 2015-02-12 | Hsiu-Ping Lin | Methods and systems for searching software applications |
US9992690B2 (en) * | 2013-10-11 | 2018-06-05 | Textron Innovations, Inc. | Placed wireless instruments for predicting quality of service |
CN107818156A (zh) * | 2017-10-31 | 2018-03-20 | 广东思域信息科技有限公司 | 一种实时个性化新闻推荐方法及系统 |
CN107968842B (zh) * | 2017-12-26 | 2020-12-08 | 百度在线网络技术(北京)有限公司 | 基于分布式系统的新闻推送方法、装置及设备 |
CN109684582A (zh) * | 2018-11-08 | 2019-04-26 | 张耀伦 | 一种信息资源的评测系统及方法 |
CN110413890A (zh) * | 2019-07-29 | 2019-11-05 | 武汉匠楚科技有限公司 | 一种新闻推荐系统聚合新闻呈现的方法 |
-
2019
- 2019-12-31 CN CN201911409113.6A patent/CN111143688B/zh active Active
-
2020
- 2020-03-31 AU AU2020335019A patent/AU2020335019B2/en active Active
- 2020-03-31 WO PCT/CN2020/082285 patent/WO2021134944A1/zh active Application Filing
Non-Patent Citations (1)
Title |
---|
"情感推荐系统研究";王巍等;《信息与控制》;20130228;全文 * |
Also Published As
Publication number | Publication date |
---|---|
AU2020335019B2 (en) | 2022-06-16 |
WO2021134944A1 (zh) | 2021-07-08 |
AU2020335019A1 (en) | 2021-07-15 |
CN111143688A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109033408B (zh) | 信息推送方法及装置、计算机可读存储介质、电子设备 | |
CN107862022B (zh) | 文化资源推荐系统 | |
KR20160055930A (ko) | 연속적인 소셜 커뮤니케이션에 사용되는 콘텐츠를 능동적으로 구성하기 위한 시스템 및 방법 | |
CN108829652B (zh) | 一种基于众包的图片标注系统 | |
CN105023165A (zh) | 社交网络平台中投放任务的控制方法、装置及系统 | |
CN107193974B (zh) | 基于人工智能的地域性信息确定方法和装置 | |
CN108446964B (zh) | 一种基于移动流量dpi数据的用户推荐方法 | |
CN111177559B (zh) | 文旅服务推荐方法、装置、电子设备及存储介质 | |
CN112104642A (zh) | 一种异常账号确定方法和相关装置 | |
CN112995690B (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
CN104486649A (zh) | 视频内容评级方法及装置 | |
CN111597446B (zh) | 基于人工智能的内容推送方法、装置、服务器和存储介质 | |
CN112163614A (zh) | 一种主播分类方法、装置、电子设备及存储介质 | |
WO2020237898A1 (zh) | 在线教育系统的个性化推荐方法、终端及存储介质 | |
CN111159561A (zh) | 根据用户行为和用户画像构建推荐引擎的方法 | |
CN111177500A (zh) | 数据对象分类方法、装置、计算机设备和存储介质 | |
CN114491149A (zh) | 信息处理方法及装置、电子设备、存储介质、程序产品 | |
CN105447148B (zh) | 一种Cookie标识关联方法及装置 | |
CN111143688B (zh) | 一种基于移动新闻客户端的评估方法及其系统 | |
CN111597361B (zh) | 多媒体数据处理方法、装置、存储介质及设备 | |
CN113111198A (zh) | 基于协同过滤算法的演示文稿推荐方法及相关设备 | |
US20230334314A1 (en) | Content recommendation method and apparatus, device, storage medium, and program product | |
CN110427620B (zh) | 基于社群系统的服务质量优化管理系统 | |
CN116956183A (zh) | 多媒体资源推荐方法、模型训练方法、装置及存储介质 | |
CN115114467B (zh) | 图片神经网络模型的训练方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |