CN110874787A - 推荐模型的效果评测方法和相关装置 - Google Patents
推荐模型的效果评测方法和相关装置 Download PDFInfo
- Publication number
- CN110874787A CN110874787A CN201911092072.2A CN201911092072A CN110874787A CN 110874787 A CN110874787 A CN 110874787A CN 201911092072 A CN201911092072 A CN 201911092072A CN 110874787 A CN110874787 A CN 110874787A
- Authority
- CN
- China
- Prior art keywords
- users
- objects
- user
- obtaining
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Abstract
本发明实施例公开了一种推荐模型的效果评测方法和相关装置,其中方法包括:获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种推荐模型的效果评测方法和相关装置。
背景技术
现有大部分推荐模型的优化都是基于各种技术指标,而没有考虑到用户的体验,因此在实际使用中,用户对推荐模型的使用体验很有可能与算法人员的预期不同,使得推荐模型的效果大打折扣。
发明内容
本发明实施例提供了一种推荐模型的效果评测方法和相关装置,有利于算法人员根据推荐模型的效果评测结果对推荐模型进行优化。
第一方面,本发明实施例提供了一种推荐模型的效果评测方法,包括:
获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,K、N和T都是正整数,且N大于T;
获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,其中,所述访问数据包括用户访问量、用户停留时长以及页面访问量。
第二方面,本发明实施例提供了一种推荐模型的效果评测装置,包括:
获取单元,用于获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,以及用于获取访问数据,所述访问数据包括用户访问量、用户停留时长以及页面访问量,K、N和T都是正整数,且N大于T;
评估单元,用于根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。
第三方面,本发明实施例提供了一种终端,所述终端包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面中所描述的部分或全部步骤。
第四方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储用于电子数据交换的计算机程序,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
可以看出,本申请实施例中通过获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种推荐模型的效果评测方法的流程示意图;
图2是本申请实施例提供的整体架构图;
图3是本申请实施例提供的第二页面示意图;
图4是本申请实施例提供的用户满意度统计图;
图5是本申请实施例提供的一个产品的评价等级比例的饼状图;
图6为本申请实施例提供的一种推荐模型的效果评测方法的流程示意图;
图7是本申请实施例提供的一种终端的结构示意图;
图8是本申请实施例提供的一种推荐模型的效果评估装置。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
如图1所示,图1为本申请实施例提供的一种推荐模型的效果评测方法的流程示意图,所述方法包括:
101、获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,K、N和T都是正整数,且N大于T。
其中,本申请实施例中推荐模型的效果评测方法应用于终端中,终端可以是手机、掌上电脑、平板电脑、可穿戴式设备等。推荐模型的表现形式为小程序,如微信小程序、支付宝小程序等。现有小程序中,因为各个商户彼此独立,所以需要通过扫码或者点击链接等形式进入各商户各自的小程序中,才能看到各商户各自的推荐产品的具体详情,无法在同一小程序中查看多个商户的多个推荐产品,并且现有的小程序在进行迭代时,会划分出一部分线上访问流量到新模型,另一部分流量访问旧模型来进行效果对比,使得成本加大,不利于快速迭代。最重要的是,现有小程序的评测都是基于技术指标如页面访问量等进行的,并未考虑到实际用户的主观感受。基于上述问题,提出本申请实施例所述的推荐模型的效果评测方法。
在进入小程序后,推荐模型将根据用户的行为数据向用户推荐他可能喜欢的若干个商户,如通过数据分析确定用户经常浏览并购买生活日化类产品,则可向用户主要推荐生活日化类商户,在用户选中其中一个商户后,终端将显示该商户下用户可能喜欢的若干个产品,终端所推荐的商户数量和产品数量可以预先设定,也可以不设定,且所推荐的商户的评分和产品的评分均高于预设评分,如对于商户的预设评分为4.8,对于产品的预设评分为4.7分,则低于4.8分的商户和低于4.7分的产品将不会被推荐。实际应用中,第一对象为商户,N个第一对象为该小程序中所有的商户,第二对象为产品,T个第二对象为该小程序中所有的商品。小程序中涵盖有各个行业的各个商家的各个产品,反馈结果为用户(评测人员)对小程序所推荐的商家和产品的评价等级以及评论,评论的信息可包括:是否经常购买、是否有购买其他关联产品的想法等,当用户对商家和产品进行评价之后,推荐模型将根据用户的评价实时更新相应的商家的评分和产品的评分以及相关评论。
102、获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,其中,所述访问数据包括用户访问量、用户停留时长以及页面访问量。
其中,在获取访问数据之后,会将访问数据和K个用户中所有用户的反馈结果存储到数据库中。访问数据中页面访问量包括各个商户的总访问量和各个商品的总访问量,用户访问量包括对各个商户的独立用户访问量和对各个商品的独立用户访问量,用户访问量比页面访问量更能真实准确地反映用户数量。
根据所有用户的反馈结果可以获得整体用户满意度、商户认可度和商品认可度,根据整体用户满意度、商户认可度、商品认可度和所述访问数据可对对推荐模型进行效果评估。
如图2所示,图2是本申请实施例提供的整体架构图,图中CGI为服务接口,KV为存储系统(数据库)。小程序通过后台CGI(服务接口)调用推荐模型获得推荐结果,通过终端屏幕显示推荐结果,用户的反馈结果(反馈数据)通过CGI上报,存储到KV中,供推荐模型后续评估和调优使用。
可以看出,本申请实施例中通过获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
在一个可能的示例中,所述获取K个用户中第一用户的反馈结果,包括:
A1、响应于推荐请求,显示第一页面,其中,所述第一页面包括X个第一对象,X为小于N的正整数;
A2、获取所述第一用户选取的第一目标对象,根据所述第一目标对象显示第二页面,其中,所述第一目标对象为所述X个第一对象中的任意一个对象,所述第二页面包括M个第二对象,M为正整数;
A3、获取所述第一用户对所述第一目标对象和所述M个第二对象的反馈结果;
A4、重复执行A2-A3,直至获取所述第一用户对所述N个第一对象和所述T个第二对象的反馈结果。
其中,在用户进入小程序后,终端即接收到推荐请求,显示包含各个推荐商户的第一页面,用户在第一页面中选取目标商户,进入该商户的详情页,即第二页面,第二页面中可包括对目标商户的详情介绍,如商户号、位置、人均消费、评分等,还可包括该商户下推荐产品,第一页面中显示的商户以及第二页面中显示的产品的评分均需要高于预设评分。其中,第二页面可参见图3,图3是用户在小程序中点击进入一个火锅商户后的第二页面,该页面包括商户号、门店号、数量、类型以及推荐产品,用户可滑动屏幕右侧边缘的滑条查看全部推荐结果,也可对其中每个推荐的产品进行评论,表明是否喜欢该推荐产品。
在A3中,获取所述第一用户对所述第一目标对象和所述M个第二对象的反馈结果,即用户对第一目标对象和所述M个第二对象进行评价。
重复执行A2-A3,最终将获取到第一用户对X个第一对象(商户)和X个第一对象下所有的第二对象(产品)的反馈结果,因为第一页面中出现的X个第一对象少于N个第一对象,因此,第一用户对于未出现的N-X个第一对象以及未出现的第二对象的反馈结果中评价等级均记为0,在计算各个商户和各个产品的评分时将评价等级为0的第一对象(商户)和第二对象(产品)不计入其内。
可见,在该实施例中可以获取评测人员中任意一人对推荐模型所推荐的所有商户和所有产品的评价等级和评论。
在一个可能的示例中,所述响应于推荐请求,显示第一页面,包括:
响应于所述推荐请求,获取所述第一用户的行为数据,根据所述行为数据从数据库中选取所述X个第一对象,其中,所述X个第一对象的评分高于预设分数;
按照评分从高到低显示所述X个第一对象,得到所述第一页面。
其中,用户进入小程序即触发推荐请求。数据库中存储了各个商户的基本信息(如商户名称、商户号、产品数量、评分等)、各个产品的基本信息(如评分、产品介绍等)和各个用户的行为数据等,行为数据包括用户的购买记录、收藏记录、页面停留时长超过预设值的产品记录等,可选的,行为数据可以是来自于其他应用的数据。
因为X个第一对象(商户)是基于用户的行为数据进行推荐的,所以可实现精准的个性化推荐。
类似的,所述根据所述第一目标对象显示第二页面,包括:
响应于第一推荐请求,获取所述第一用户的所述行为数据,根据所述行为数据从所述数据库中选取H个第二对象,其中,所述H个第二对象的评分高于预设分数,H为正整数;
按照评分从高到低显示所述H个第二对象,得到所述第二页面。
可见,通过获取用户行为数据选取推荐的第一对象,并将第一对象按照评分高低顺序显示,可在实现个性化推荐的同时,让用户最先看到质量最高的商户,从而给用户更好的体验,提高推荐准确性。
在一个可能的示例中,所述根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,包括:
根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分和整体用户满意度;
根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分;
根据所述N个第一对象中每个第一对象的评分、所述T个第二对象中每个第二对象的评分、所述整体用户满意度和所述访问数据对所述推荐模型进行效果评估。
其中,整体用户满意度表明用户对于推荐模型所推荐的结果是否满意,所述N个第一对象中每个第一对象的评分即每个商户的评分,该评分表明整体用户对各个商户的认可度,所述T个第二对象中每个第二对象的评分即每个产品的评分,该评分表明整体用户对各个产品的评分。若存在商户始终未出现在商户推荐页面(第一页面)或者产品始终未出现在产品推荐页面(第二页面),则其评分保持为0分,表示目前无人评论,在推荐模型的效果评估过程中不考虑评分为0的商户和产品。
可见,通过整体用户满意度、商户评分、产品评分和访问数据对推荐模型进行效果评估,即能从技术方面对推荐模型进行考量,又能从用户体验方面对推荐模型进行考量,优化了评测体验,提升了用户反馈效果,使得后续算法人员可根据效果评估结果对推荐模型进行修正,有助于推荐模型的迭代优化。
在一个可能的示例中,所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分,包括:
将所述K个用户中所有用户对所述N个第一对象的评价等级对应的数值取均值得到所述N个第一对象中每个第一对象的评分。
例如,评价等级一共有5个星级,对于一个第一对象,K=4,即评测人员有4名,其中只有3名评测人员对该商户进行评价,评价等级分别为四星、四星、五星,将这些评价等级转换为相应的数值:4、4、5,将第4名评测人员的评价等级记为0星,对于0星的评价不计入评分计算,则该商户的评分为:(4+4+5)/3=4.3分,用同样的方法计算得到N个第一对象中每个第一对象的评分。
可见,通过将每个第一对象的评价等级转换成对应的数值,并取均值后,可以得到推荐模型中每个第一对象的评分。
在一个可能的示例中,所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到整体用户满意度,包括:
根据所述K个用户中所有用户的用户满意度计算得到所述整体用户满意度,所述K个用户包括第r个用户,r为小于等于K的正整数;
其中,所述第r个用户的用户满意度由以下方法得到:
获取所述第r个用户对所述N个第一对象的评价等级,根据所述第r个用户对所述N个第一对象的评价等级进行加权计算得到所述第r个用户的用户满意度。
例如:评价等级一共有5个星级:一星级、二星级、三星级、四星级、五星级,分别对应权重1、2、3、4、5,一个用户一共给出过4个四星级,1个五星级,则该用户的满意度为:(4×4+5)/(4+1)=4.2。计算K个用户的用户满意度,可得到图4,图4中K=5。对K个用户的用户满意度取均值得到整体用户满意度。
可见,通过获取用户满意度可充分考虑到每个测评人员对于测评模型所推荐的商户的满意程度,从而可帮助后续算法人员对推荐模型进行修正和迭代。
在一个可能的示例中,所述根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分,包括:
获取所述T个第二对象中每个第二对象在第一评价等级的用户比例,根据所述用户比例得到所述T个第二对象中每个第二对象的评分,其中,所述T个第二对象的评价等级包括a个评价等级,a为大于等于3的正整数,所述第一评价等级为所述a个评价等级中最高的评价等级。
其中,所述T个第二对象中每个第二对象的评分即每个产品的评分,如图5所示,图5是本申请实施例提供的一个产品的评价等级比例的饼状图,在该图中,评价等级有5个,分别为:很想买、挺喜欢、没感觉、不喜欢和很讨厌,其中,很想买的比例为22.22%,挺喜欢的比例为55.56%,若选取评价等级最高的“很想买”所占的比例来计算得分,可将22.22%直接转化为10分制中对应的得分:2.2分,可选的,可以选取评价等级最高的“很想买”和评价等级次高的“挺喜欢”来计算得分,最后得分为7.8分。若没有用户对其评价,则其评分为0。通过这种方法可得到每个第二对象的评分。
可见,计算第二对象的评分可将用户对产品的主观感受考虑进推荐模型的评估中,可提高评估的精确性。
如图6所示,图6为本申请实施例提供的一种推荐模型的效果评测方法的流程示意图,所述方法包括:
601、获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,K、N和T都是正整数,且N大于T;
602、获取访问数据,将所述访问数据和所述K个用户中所有用户的反馈结果存储到所述数据库中;
603、根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分和整体用户满意度;
604、根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分;
605、根据所述N个第一对象中每个第一对象的评分、所述T个第二对象中每个第二对象的评分、所述整体用户满意度和所述访问数据对所述推荐模型进行效果评估。
其中,本实施例中大部分步骤已在上一实施例中进行阐述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
可以看出,本申请实施例中通过获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
请参阅图7,图7是本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行。所述程序包括用于执行以下步骤的指令:
获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,K、N和T都是正整数,且N大于T;
获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,其中,所述访问数据包括用户访问量、用户停留时长以及页面访问量。
在一个可能的示例中,在所述获取K个用户中第一用户的反馈结果方面,所述程序包括用于执行以下步骤的指令:
A1、响应于推荐请求,显示第一页面,其中,所述第一页面包括X个第一对象,X为小于N的正整数;
A2、获取所述第一用户选取的第一目标对象,根据所述第一目标对象显示第二页面,其中,所述第一目标对象为所述X个第一对象中的任意一个对象,所述第二页面包括M个第二对象,M为正整数;
A3、获取所述第一用户对所述第一目标对象和所述M个第二对象的反馈结果;
A4、重复执行A2-A3,直至获取所述第一用户对所述N个第一对象和所述T个第二对象的反馈结果。
在一个可能的示例中,在所述响应于推荐请求,显示第一页面方面,所述程序包括用于执行以下步骤的指令:
响应于所述推荐请求,获取所述第一用户的行为数据,根据所述行为数据从数据库中选取所述X个第一对象,其中,所述X个第一对象的评分高于预设分数;
按照评分从高到低显示所述X个第一对象,得到所述第一页面。
在一可能的示例中,在所述根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估方面,所述程序还包括用于执行以下步骤的指令:
根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分和整体用户满意度;
根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分;
根据所述N个第一对象中每个第一对象的评分、所述T个第二对象中每个第二对象的评分、所述整体用户满意度和所述访问数据对所述推荐模型进行效果评估。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分方面,所述程序还包括用于执行以下步骤的指令:
将所述K个用户中所有用户对所述N个第一对象的评价等级对应的数值取均值得到所述N个第一对象中每个第一对象的评分。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到整体用户满意度方面,所述程序还包括用于执行以下步骤的指令:
根据所述K个用户中所有用户的用户满意度计算得到所述整体用户满意度,所述K个用户包括第r个用户,r为小于等于K的正整数;
其中,所述第r个用户的用户满意度由以下方法得到:
获取所述第r个用户对所述N个第一对象的评价等级,根据所述第r个用户对所述N个第一对象的评价等级进行加权计算得到所述第r个用户的用户满意度。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分方面,所述程序还包括用于执行以下步骤的指令:
获取所述T个第二对象中每个第二对象在第一评价等级的用户比例,根据所述用户比例得到所述T个第二对象中每个第二对象的评分,其中,所述T个第二对象的评价等级包括a个评价等级,a为大于等于3的正整数,所述第一评价等级为所述a个评价等级中最高的评价等级。
在一可能的示例中,在所述获取访问数据之后,所述程序还包括用于执行以下步骤的指令:
将所述访问数据和所述K个用户中所有用户的反馈结果存储到所述数据库中。
可以看出,本申请实施例中通过获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
上述主要从方法执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图8,图8是本申请实施例提供的一种推荐模型的效果评估装置。包括获取单元801、评估单元802,其中:
获取单元801,用于获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,以及用于获取访问数据,所述访问数据包括用户访问量、用户停留时长以及页面访问量,K、N和T都是正整数,且N大于T;
评估单元802,用于根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。
在一可能的示例中,在所述获取K个用户中第一用户的反馈结果方面,所述获取单元801具体用于:
A1、响应于推荐请求,显示第一页面,其中,所述第一页面包括X个第一对象,X为小于N的正整数;
A2、获取所述第一用户选取的第一目标对象,根据所述第一目标对象显示第二页面,其中,所述第一目标对象为所述X个第一对象中的任意一个对象,所述第二页面包括M个第二对象,M为正整数;
A3、获取所述第一用户对所述第一目标对象和所述M个第二对象的反馈结果;
A4、重复执行A2-A3,直至获取所述第一用户对所述N个第一对象和所述T个第二对象的反馈结果。
在一可能的示例中,在所述响应于推荐请求,显示第一页面方面,所述获取单元801具体用于:
响应于所述推荐请求,获取所述第一用户的行为数据,根据所述行为数据从数据库中选取所述X个第一对象,其中,所述X个第一对象的评分高于预设分数;
按照评分从高到低显示所述X个第一对象,得到所述第一页面。
在一可能的示例中,在所述根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估方面,所述评估单元802具体用于:
根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分和整体用户满意度;
根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分;
根据所述N个第一对象中每个第一对象的评分、所述T个第二对象中每个第二对象的评分、所述整体用户满意度和所述访问数据对所述推荐模型进行效果评估。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分方面,所述评估单元802具体用于:
将所述K个用户中所有用户对所述N个第一对象的评价等级对应的数值取均值得到所述N个第一对象中每个第一对象的评分。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到整体用户满意度方面,所述评估单元802具体用于:
根据所述K个用户中所有用户的用户满意度计算得到所述整体用户满意度,所述K个用户包括第r个用户,r为小于等于K的正整数;
其中,所述第r个用户的用户满意度由以下方法得到:
获取所述第r个用户对所述N个第一对象的评价等级,根据所述第r个用户对所述N个第一对象的评价等级进行加权计算得到所述第r个用户的用户满意度。
在一可能的示例中,在所述根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分方面,所述评估单元802具体用于:
获取所述T个第二对象中每个第二对象在第一评价等级的用户比例,根据所述用户比例得到所述T个第二对象中每个第二对象的评分,其中,所述T个第二对象的评价等级包括a个评价等级,a为大于等于3的正整数,所述第一评价等级为所述a个评价等级中最高的评价等级。
可以看出,本申请实施例中通过获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果;获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。通过本发明实施例可精确的获得用户的体验反馈,结合访问数据可对推荐模型进行效果评估,从而优化推荐模型。
本申请实施例还提供一种计算机可读存储介质,存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种推荐模型的效果评测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种推荐模型的效果评测方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种推荐模型的效果评测方法,其特征在于,所述方法包括:
获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,K、N和T都是正整数,且N大于T;
获取访问数据,根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,其中,所述访问数据包括用户访问量、用户停留时长以及页面访问量。
2.根据权利要求1所述的方法,其特征在于,所述获取K个用户中第一用户的反馈结果,包括:
A1、响应于推荐请求,显示第一页面,其中,所述第一页面包括X个第一对象,X为小于N的正整数;
A2、获取所述第一用户选取的第一目标对象,根据所述第一目标对象显示第二页面,其中,所述第一目标对象为所述X个第一对象中的任意一个对象,所述第二页面包括M个第二对象,M为正整数;
A3、获取所述第一用户对所述第一目标对象和所述M个第二对象的反馈结果;
A4、重复执行A2-A3,直至获取所述第一用户对所述N个第一对象和所述T个第二对象的反馈结果。
3.根据权利要求2所述的方法,其特征在于,所述响应于推荐请求,显示第一页面,包括:
响应于所述推荐请求,获取所述第一用户的行为数据,根据所述行为数据从数据库中选取所述X个第一对象,其中,所述X个第一对象的评分高于预设分数;
按照评分从高到低显示所述X个第一对象,得到所述第一页面。
4.根据权利要求1所述的方法,其特征在于,所述根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估,包括:
根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分和整体用户满意度;
根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分;
根据所述N个第一对象中每个第一对象的评分、所述T个第二对象中每个第二对象的评分、所述整体用户满意度和所述访问数据对所述推荐模型进行效果评估。
5.根据权利要求4所述的方法,其特征在于,所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到所述N个第一对象中每个第一对象的评分,包括:
将所述K个用户中所有用户对所述N个第一对象的评价等级对应的数值取均值得到所述N个第一对象中每个第一对象的评分。
6.根据权利要求4所述的方法,其特征在于,所述根据所述K个用户中所有用户对所述N个第一对象的评价等级得到整体用户满意度,包括:
根据所述K个用户中所有用户的用户满意度计算得到所述整体用户满意度,所述K个用户包括第r个用户,r为小于等于K的正整数;
其中,所述第r个用户的用户满意度由以下方法得到:
获取所述第r个用户对所述N个第一对象的评价等级,根据所述第r个用户对所述N个第一对象的评价等级进行加权计算得到所述第r个用户的用户满意度。
7.根据权利要求4所述的方法,其特征在于,所述根据所述K个用户中所有用户对所述T个第二对象的评价等级得到所述T个第二对象中每个第二对象的评分,包括:
获取所述T个第二对象中每个第二对象在第一评价等级的用户比例,根据所述用户比例得到所述T个第二对象中每个第二对象的评分,其中,所述T个第二对象的评价等级包括a个评价等级,a为大于等于3的正整数,所述第一评价等级为所述a个评价等级中最高的评价等级。
8.根据权利要求1所述的方法,其特征在于,在所述获取访问数据之后,所述方法还包括:
将所述访问数据和所述K个用户中所有用户的反馈结果存储到所述数据库中。
9.一种推荐模型的效果评测装置,其特征在于,包括:
获取单元,用于获取K个用户中第一用户的反馈结果,直至获取K个用户中所有用户的反馈结果,其中,所述K个用户为评测人员,所述第一用户为所述K个用户中任意一个用户,所述反馈结果是用户对N个第一对象和T个第二对象的评价等级,以及用于获取访问数据,所述访问数据包括用户访问量、用户停留时长以及页面访问量,K、N和T都是正整数,且N大于T;
评估单元,用于根据所述K个用户中所有用户的反馈结果和所述访问数据对所述推荐模型进行效果评估。
10.一种终端,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-8任一项所述的方法中的步骤的指令。
11.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911092072.2A CN110874787A (zh) | 2019-11-08 | 2019-11-08 | 推荐模型的效果评测方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911092072.2A CN110874787A (zh) | 2019-11-08 | 2019-11-08 | 推荐模型的效果评测方法和相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110874787A true CN110874787A (zh) | 2020-03-10 |
Family
ID=69717939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911092072.2A Pending CN110874787A (zh) | 2019-11-08 | 2019-11-08 | 推荐模型的效果评测方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110874787A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784481A (zh) * | 2020-08-03 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 扫码下单方法、业务码创建方法、装置和电子设备 |
CN111882347A (zh) * | 2020-06-28 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 模型性能的检测方法、装置、计算机设备及存储介质 |
CN112218126A (zh) * | 2020-10-12 | 2021-01-12 | 广州欢网科技有限责任公司 | 基于终端的内容推荐效果反馈方法、系统及设备 |
CN113538114A (zh) * | 2021-09-13 | 2021-10-22 | 东莞市疾病预防控制中心 | 一种基于小程序的口罩推荐平台及方法 |
CN113553105A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术(北京)有限公司 | 引导页面的生成方法和装置 |
CN113641408A (zh) * | 2020-04-23 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 快捷入口的生成方法和装置 |
WO2022057658A1 (zh) * | 2020-09-15 | 2022-03-24 | 腾讯科技(深圳)有限公司 | 推荐模型训练方法、装置、计算机设备及存储介质 |
-
2019
- 2019-11-08 CN CN201911092072.2A patent/CN110874787A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553105A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术(北京)有限公司 | 引导页面的生成方法和装置 |
CN113641408A (zh) * | 2020-04-23 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 快捷入口的生成方法和装置 |
CN111882347A (zh) * | 2020-06-28 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 模型性能的检测方法、装置、计算机设备及存储介质 |
CN111784481A (zh) * | 2020-08-03 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 扫码下单方法、业务码创建方法、装置和电子设备 |
CN111784481B (zh) * | 2020-08-03 | 2023-08-08 | 支付宝(中国)网络技术有限公司 | 扫码下单方法、业务码创建方法、装置和电子设备 |
WO2022057658A1 (zh) * | 2020-09-15 | 2022-03-24 | 腾讯科技(深圳)有限公司 | 推荐模型训练方法、装置、计算机设备及存储介质 |
CN112218126A (zh) * | 2020-10-12 | 2021-01-12 | 广州欢网科技有限责任公司 | 基于终端的内容推荐效果反馈方法、系统及设备 |
CN113538114A (zh) * | 2021-09-13 | 2021-10-22 | 东莞市疾病预防控制中心 | 一种基于小程序的口罩推荐平台及方法 |
CN113538114B (zh) * | 2021-09-13 | 2022-03-04 | 东莞市疾病预防控制中心 | 一种基于小程序的口罩推荐平台及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110874787A (zh) | 推荐模型的效果评测方法和相关装置 | |
CN106485562B (zh) | 一种基于用户历史行为的商品信息推荐方法及系统 | |
CN110796477A (zh) | 广告展示方法、装置、电子设备及可读存储介质 | |
CN108769159A (zh) | 一种电子菜谱智能推荐方法 | |
CN110647696B (zh) | 一种业务对象的排序方法及装置 | |
CN108230009B (zh) | 一种用户偏好的预测方法及装置,电子设备 | |
WO2018214503A1 (zh) | 一种样本权重设置方法及装置、电子设备 | |
CN109685537B (zh) | 用户行为的分析方法、装置、介质和电子设备 | |
CN112330358A (zh) | 产品销量预测的方法和装置、存储介质和电子设备 | |
CN112015996B (zh) | 业务资源推荐方法、装置、计算机设备及存储介质 | |
CN112784039A (zh) | 一种分配在线客服的方法、装置和存储介质 | |
CN110825974B (zh) | 推荐系统内容排序方法及装置 | |
CN111861605A (zh) | 业务对象推荐方法 | |
KR20140115430A (ko) | 온라인 판매자 평가정보 제공방법 | |
CN107767152A (zh) | 产品购买倾向分析方法及服务器 | |
CN110570271A (zh) | 信息推荐方法、装置、电子设备及可读存储介质 | |
CN111582394A (zh) | 一种群体评估方法、装置、设备及介质 | |
CN109460778B (zh) | 活动评估方法、装置、电子设备及存储介质 | |
CN110633418A (zh) | 商品推荐方法及装置 | |
CN110910201A (zh) | 信息推荐的控制方法、装置、计算机设备及存储介质 | |
CN111861623A (zh) | 信息推荐方法、装置和设备 | |
CN116127188A (zh) | 目标反馈值确定方法、装置、电子设备及存储介质 | |
CN106296253A (zh) | 一种广告数据安全控制和发布的方法及系统 | |
CN112734531B (zh) | 物品推荐方法、装置、电子设备及存储介质 | |
CN115271866A (zh) | 一种产品推荐方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022095 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |