CN112989276A - 信息推送系统的评价方法和装置 - Google Patents
信息推送系统的评价方法和装置 Download PDFInfo
- Publication number
- CN112989276A CN112989276A CN201911273205.6A CN201911273205A CN112989276A CN 112989276 A CN112989276 A CN 112989276A CN 201911273205 A CN201911273205 A CN 201911273205A CN 112989276 A CN112989276 A CN 112989276A
- Authority
- CN
- China
- Prior art keywords
- evaluation index
- result
- pushing
- push
- pushed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 217
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005065 mining Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computational Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种信息推送系统的评价方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取指定时间段内的推送数据及评价指标集合，推荐数据包括推荐结果及其采用率，评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标，并使用目标评价指标对信息推送系统进行评价。该实施方式通过选择出与推送结果采用率具有强关联性的目标评价指标，既可以增强信息推送系统推送策略的可解释性，又可以为信息推送系统的优化配置提供数据支持。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息推送系统的评价方法和装置。
背景技术
随着计算机和网络技术的飞速发展，每天都会有海量的数据产生，为了能够给用户在海量数据中找到自己感兴趣的内容，信息推送系统应运而生，信息推送系统能够有效解决信息过载的问题。信息推送系统可以给用户推送其感兴趣的信息，例如：搜索条目、文章、商品、优惠券，等等。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
对于现有的信息推送系统，并没有完整、系统的评价体系来对推送结果进行评价，并且，对于进一步进行推送算法优化或系统优化来说，仅仅关注推送结果的采用率是远远不够的，不能有效的判断出哪些推送结果是用户更喜爱的，且在进行信息推送系统的优化配置时也无法提供有效的数据支持。
发明内容
有鉴于此，本发明实施例提供一种信息推送系统的评价方法和装置，能够选择出与推送结果采用率具有强关联性的目标评价指标以对信息推荐系统进行评价，既可以增强信息推送系统推送策略的可解释性，又可以为信息推送系统的优化配置提供数据支持。
为实现上述目的，根据本发明实施例的一个方面，提供了一种信息推送系统的评价方法。
一种信息推送系统的评价方法，包括：获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
可选地，根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度包括：按照推送结果的采用率从高到低对所述推送结果进行第一排序，并计算第一排序后的推送结果对应的第一得分；对每个评价指标，分别根据所述评价指标对应的评价规则计算每个推送结果对应的评价指标值，并按照所述评价指标值由大到小对所述推送结果进行第二排序，并计算第二排序后的推送结果对应的第二得分；根据所述第一得分和所述第二得分确定每个评价指标与推送结果的采用率之间的关联度。
可选地，计算第一排序后的推送结果对应的第一得分包括：根据第一排序后每个推送结果在得到的第一队列中的第一位置计算第一排序后每个推送结果对应的得分；通过将所述第一排序后每个推送结果对应的得分进行求和以得到第一排序后的推送结果对应的第一得分。
可选地，第一排序后的推送结果对应的第一得分通过以下公式计算得到：
其中，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
可选地，计算第二排序后的推送结果对应的第二得分包括：根据第二排序后每个推送结果在得到的第二队列中的第二位置与所述推送结果在所述第一队列中的第一位置，计算第二排序后每个推送结果对应的得分；通过将所述第二排序后每个推送结果对应的得分进行求和以得到第二排序后的推送结果对应的第二得分。
可选地，所述第二排序后每个推送结果对应的得分通过以下公式计算得到：
其中，m为第二排序后每个推送结果在得到的第二队列中的第二位置，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
可选地，根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标之后，还包括：根据所述目标评价指标进行信息推送系统的模型训练。
根据本发明实施例的另一方面，提供了一种信息推送系统的评价装置。
一种信息推送系统的评价装置，包括：数据获取模块，用于获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；关联计算模块，用于根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；指标选取模块，用于根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
根据本发明实施例的又一方面，提供了一种评价信息推送系统的电子设备。
一种评价信息推送系统的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的信息推送系统的评价方法。
根据本发明实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的信息推送系统的评价方法。
上述发明中的一个实施例具有如下优点或有益效果：通过获取指定时间段内的推送数据及评价指标集合，推送数据包括推送结果及其采用率，评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标，并使用目标评价指标对信息推送系统进行评价，可以实现基于序列关联性算法对每个评价指标与推送结果采用率的关联度进行判断，进而选择出与推送结果采用率具有强关联性的目标评价指标以进行信息推送系统的评价，既可以增强信息推送系统推送策略的可解释性，又可以为信息推送系统的优化配置提供数据支持。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的信息推送系统的评价方法的主要步骤示意图；
图2是根据本发明实施例的信息推送系统的评价装置的主要模块示意图；
图3是本发明实施例可以应用于其中的示例性系统架构图；
图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在信息推送系统领域，对于推送效果的评价分析最常见的是进行AB测试，AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。通过AB测试方法中对推送结果的采用率来进行对比，可以看出信息推送系统的提升情况。为此，即需要确定与推送结果密切相关的评价指标，并通过这些评价指标来对信息推送系统的推送结果的采用情况进行更好地评价，以及根据这些评价指标来对信息推送系统进行优化。
为了解决现有技术中存在的该技术问题，本发明提供了一种信息推送系统的评价方法和装置，可以基于序列关联性评价算法，构建信息推送系统的推送结果评价体系，既增强了信息推送系统给出推送结果的可解释性，又为信息推送系统的优化配置提供了数据支持。
图1是根据本发明实施例的信息推送系统的评价方法的主要步骤示意图。如图1所示，本发明实施例的信息推送系统的评价方法主要包括如下的步骤S101至步骤S103。
步骤S101：获取指定时间段内的推送数据及预设的评价指标集合，推送数据包括推送结果及其采用率，评价指标是通过对底层数据进行训练得到的；
步骤S102：根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；
步骤S103：根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标，并使用目标评价指标对所述信息推送系统进行评价。
根据本发明的实施例，通过对业务场景以及信息推送系统的底层数据进行训练，可以预设评价指标集合。以电商平台的优惠券推送系统对用户推送优惠券为例，通过从推送系统的底层数据中提取需要处理的订单信息、优惠券信息以及用户信息等等，结合具体的业务场景进行统计训练，即可得出可以对优惠券推送结果的采用率产生影响的评价指标集合，例如包括：优惠券的折扣力度、优惠券对应商品的热销度、优惠券对应商品价格的稳定度、优惠券发放的时间、优惠券发放的人群画像、优惠券发放时的天气因素或季节因素，等等评价指标。而针对这些评价指标，会对这些评价指标进行预定义，以及给出这些评价指标对应的评价规则，等等。之后，即可从这些预设的评价指标集合中选择对优惠券的采用率影响较大的一些评价指标作为要选取的目标评价指标。
另外，根据本发明的实施例，对于推送结果的采用率的衡量，不光局限于是否使用了该推送结果，也就是说不光局限于用户的使用操作，还可以包括用户的点击、浏览、领取等等与推送结果相关的操作。据此，在获取指定时间段内的推送数据时，即可从用户对推送结果的点击、浏览、领取、使用等多方面来获取数据。并且，获取到的推送数据中即包括了推送结果以及对推送结果的采用率数据等。
在本发明的一个实施例中，指定时间段例如是最近一个月，或者最近一周等等时间段，具体可根据业务需要来设定。以对优惠券的投放结果的采用率为例，需要获取的数据例如可以包括：
a、不同渠道下各优惠券的采用率数据，通常情况下，优惠券会从不同的渠道进行投放，例如弹窗页、空购物车、会员频道等，统计指定时间段内各渠道下，曝光量、点击量、领取量、使用量占比排名靠前的各优惠券，并分别计算各优惠券的采用率，例如：可包括曝光率、点击率、领取率、使用率，等等；
b、在指定日期范围内，统计各个优惠券从曝光→点击→领取→使用的数据漏斗状情况，并展示这四种行为下，每种优惠券的数量的占比情况，通过优惠券的漏斗状分析，可以找出每天贡献度最高的优惠券，即分别找出曝光量、点击量、领取量、使用量排名靠前的优惠券；
c、每日各个优惠券投放渠道的AB算法点击率、领取率、使用率等的数据；
d、在指定日期范围内，按优惠券维度查询的指定优惠券的曝光、点击、领取、使用以及优惠券总下单金额的详情信息；
e、在指定日期范围内，按优惠券维度，优惠金额占比靠前以及优惠券的优惠力度占比靠前的数据。
根据以上获取到的推送数据，即可得到指定时间段内每个优惠券的采用率。之后，即可计算每个评价指标与优惠券的采用率之间的关联度。
根据本发明的一个实施例，步骤S102在根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度时，具体可以按照以下步骤执行：
步骤S1021：按照推送结果的采用率从高到低对推送结果进行第一排序，并计算第一排序后的推送结果对应的第一得分；
步骤S1022：对每个评价指标，分别根据评价指标对应的评价规则计算每个推送结果对应的评价指标值，并按照评价指标值由大到小对推送结果进行第二排序，并计算第二排序后的推送结果对应的第二得分；
步骤S1023：根据第一得分和第二得分确定每个评价指标与推送结果的采用率之间的关联度。
根据本发明的另一个实施例，步骤S1021中在计算第一排序后的推送结果对应的第一得分时，具体可以是：
根据第一排序后每个推送结果在得到的第一队列中的第一位置计算第一排序后每个推送结果对应的得分；
通过将第一排序后每个推送结果对应的得分进行求和以得到第一排序后的推送结果对应的第一得分。
其中，第一排序后的推送结果对应的第一得分通过以下公式计算得到：
其中，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
根据本发明的又一个实施例，步骤S1022中在计算第二排序后的推送结果对应的第二得分时，具体可以是：
根据第二排序后每个推送结果在得到的第二队列中的第二位置与所述推送结果在第一队列中的第一位置，计算第二排序后每个推送结果对应的得分；
通过将第二排序后每个推送结果对应的得分进行求和以得到第二排序后的推送结果对应的第二得分。
其中，第二排序后每个推送结果对应的得分通过以下公式计算得到：
其中，m为第二排序后每个推送结果在得到的第二队列中的第二位置，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
下面以确定对优惠券的推送系统进行评价的目标评价指标为例，推送给用户的优惠券即为推送结果。假设预设的评价指标集合包括：优惠券的折扣力度、优惠券对应商品的热销度、优惠券对应商品价格的稳定度、优惠券发放的时间、优惠券发放的人群画像、优惠券发放时的天气因素或季节因素，等等评价指标。现在要从这些评价指标中选取指定个数或指定比例个数的评价指标作为目标评价指标。如此，即需要根据序列关联性算法计算每个评价指标对推送结果的采用率的影响程度或与推送结果的采用率的关联程度。主要过程如下。
1、针对指定时间段内的推送数据，按照推送结果的采用率从高到低对推送结果进行第一排序。针对该指定时间段内的已经发放的优惠券，按照其采用率(假设以使用率来衡量采用率，根据需要也可以其他数据来衡量)由高到低的顺序对这些优惠券进行第一排序，并得到第一队列，每个优惠券(即：每种优惠券)在第一队列中都对应有其第一位置。其中，记领取了优惠券的用户数为X，使用了优惠券的用户数为Y，则优惠券的使用率为Y/X。
2、计算第一排序后的推送结果对应的第一得分。假设总的优惠券个数为N，对于该第一排序后的推送结果，根据每个优惠券在该第一队列中的第一位置k来为该优惠券进行打分，位置越靠前，得分就越高。例如：对某优惠券A，若其排在第一队列中的第一位置k＝1，则该优惠券A的得分为((N-k)+1)/N＝1。同理，若某优惠券B排在第一队列中的第一位置k＝2，则该优惠券B的得分为((N-2)+1)/N。如此，即可得到第一排序后每一个优惠券对应的得分。然后，将这些优惠券对应的得分进行求和即可得到第一排序后的推送结果对应的第一得分为：
其中，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
3、对每个评价指标，分别根据该评价指标对应的评价规则计算每个推送结果对应的评价指标值，并按照评价指标值由大到小对推送结果进行第二排序。以评价指标“优惠券对应商品价格的稳定度”为例，来介绍根据该评价指标对应的评价规则计算每个推送结果对应的评价指标值的过程。其中，商品价格的稳定度可根据以下步骤来判断：
(1)取最近一段时间(如：最近3个月)内，每一位下单用户中的每一个商品的标价减去实际优惠后价格得到的价差；
(2)计算每一个商品中总下单用户的价差之和除以总下单用户数，记为每一个商品价格是否虚浮的阈值；
(3)在该指定时间段内，计算每一个商品的下单数量中的标价总和与实际优惠后价格总和，然后分别除以总下单用户数，再计算两者之差，若小于等于步骤(2)中对应商品价格是否虚浮的阈值，则记为该商品价格不虚浮，即价格稳定度高；反之，则记为该商品价格虚浮，即价格稳定度低。
之后，即可根据该评价指标“优惠券对应商品价格的稳定度”对应的评价规则，统计每个优惠券对应的商品中，商品价格稳定度高的商品数量，并将统计得到的商品数量作为每个优惠券对应的评价指标值。
然后，根据每个优惠券对应的评价指标值由大到小对优惠券进行第二排序，以得到第二队列。
4、计算第二排序后的推送结果对应的第二得分。在计算第二得分时，需要根据第二排序后每个推送结果在第二队列中的第二位置m与对应的推送结果在第一队列中的第一位置k来计算每个推送结果对应的得分，然后求和得到第二排序后的推送结果对应的第二得分。具体地，第二排序后，每个推送结果(即：优惠券)对应的得分通过以下公式计算得到：
其中，m为第二排序后每个推送结果在得到的第二队列中的第二位置，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
那么，相应地，第二排序后的推送结果对应的第二得分即为：
假设有5个优惠券，对评价指标“优惠券对应商品价格的稳定度”来说，其对应的第一排序结果及其第一得分，与第二排序结果及第二得分的关系如下表1所示。
表1
其中，第一得分是：1+4/5+3/5+2/5+1/5＝3，第二得分是：
5、根据第一得分和第二得分计算每个评价指标与推送结果的采用率之间的关联度。在计算关联度时，可根据实际应用的需要灵活设定计算方法，例如：以第二得分与第一得分之比作为关联度等。
之后，即可根据每个评价指标与推送结果的采用率之间的关联度选取指定个数或者指定比例的评价指标作为目标评价指标，以用于对信息推送系统进行评价和优化。具体地，对于优惠券推送系统来说，能够对已经投放的优惠券给出建议，对优惠券的推送策略进行调整，避免造成曝光流量的浪费，让数据指标更合适的优惠券能够更多地曝光给用户；当制定新的优惠券计划时能够提供参考，例如在创建优惠券计划时，该优惠券下的价格虚浮商品太多，可以调整该优惠券计划的相关配置。同时，当对优惠券推送算法优化时，也可以加入监控指标的特征维度，并且序列关联性得分较高的特征属于模型中的强特征，可以对特征偏好进行改进。亦即：根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标之后，还可以根据目标评价指标进行信息推送系统的模型训练。
针对本发明所提出的基于序列关联性算法来确定信息推送系统的评价指标的数据监控体系，相比于现有技术存在以下的优势：
1、可以选取与推送结果采用率强关联性的评价指标。评价一个信息推送系统模型的好坏通常是根据推送结果的采用率来进行评估的，但对于信息推送系统来说，仅考虑采用率远远不够，本发明根据推送结果的采用率对推送结果进行排序，并基于序列关联性算法对每个评价指标与推送结果采用率的关联度进行判断，可以选择出与推送结果采用率具有强关联性的目标评价指标；
2、增强信息推送系统推送策略的可解释性，以及为信息推送系统的优化配置提供数据支持；
3、可拓展性，在本发明所提出的数据监控体系中，可以增加更多与推送结果采用率强相关的数据指标。组件化的构建思路可以提升数据监控体系的拓展性以及降低工程开发的难度。
图2是根据本发明实施例的信息推送系统的评价装置的主要模块示意图。如图2所示，本发明实施例的信息推送系统的评价装置200主要包括数据获取模块201、关联计算模块202和指标选取模块203。
数据获取模块201，用于获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；
关联计算模块202，用于根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；
指标选取模块203，用于根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
根据本发明的一个实施例，关联计算模块202还可以用于：
按照推送结果的采用率从高到低对所述推送结果进行第一排序，并计算第一排序后的推送结果对应的第一得分；
对每个评价指标，分别根据所述评价指标对应的评价规则计算每个推送结果对应的评价指标值，并按照所述评价指标值由大到小对所述推送结果进行第二排序，并计算第二排序后的推送结果对应的第二得分；
根据所述第一得分和所述第二得分确定每个评价指标与推送结果的采用率之间的关联度。
根据本发明的另一个实施例，关联计算模块202在计算第一排序后的推送结果对应的第一得分时，还可以用于：
根据第一排序后每个推送结果在得到的第一队列中的第一位置计算第一排序后每个推送结果对应的得分；
通过将所述第一排序后每个推送结果对应的得分进行求和以得到第一排序后的推送结果对应的第一得分。
根据本发明的又一个实施例，第一排序后的推送结果对应的第一得分通过以下公式计算得到：
其中，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
根据本发明的另一个实施例，关联计算模块202在计算第二排序后的推送结果对应的第二得分时，还可以用于：
根据第二排序后每个推送结果在得到的第二队列中的第二位置与所述推送结果在所述第一队列中的第一位置，计算第二排序后每个推送结果对应的得分；
通过将所述第二排序后每个推送结果对应的得分进行求和以得到第二排序后的推送结果对应的第二得分。
根据本发明的又一个实施例，第二排序后每个推送结果对应的得分通过以下公式计算得到：
其中，m为第二排序后每个推送结果在得到的第二队列中的第二位置，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
根据本发明的再一个实施例，信息推送系统的评价装置200还可以包括指标训练模块(图中未示出)，用于在根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标之后，根据所述目标评价指标进行信息推送系统的模型训练。
根据本发明实施例的技术方案，通过获取指定时间段内的推送数据及评价指标集合，推送数据包括推送结果及其采用率，评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标，并使用目标评价指标对信息推送系统进行评价，可以实现基于序列关联性算法对每个评价指标与推送结果采用率的关联度进行判断，进而选择出与推送结果采用率具有强关联性的目标评价指标以进行信息推送系统评价，既可以增强信息推送系统推送策略的可解释性，又可以为信息推送系统的优化配置提供数据支持。
图3示出了可以应用本发明实施例的信息推送系统的评价方法或信息推送系统的评价装置的示例性系统架构300。
如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的信息推送系统的评价方法一般由服务器305执行，相应地，信息推送系统的评价装置一般设置于服务器305中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图4，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统400的结构示意图。图4示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、关联计算模块和指标选取模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取模块还可以被描述为“用于获取指定时间段内的推送数据及评价指标集合的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
根据本发明实施例的技术方案，通过获取指定时间段内的推送数据及评价指标集合，推送数据包括推送结果及其采用率，评价指标是通过对底层数据进行训练得到的；根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；根据每个评价指标与推送结果的采用率之间的关联度从评价指标集合中选取目标评价指标，并使用目标评价指标对信息推送系统进行评价，可以实现基于序列关联性算法对每个评价指标与推送结果采用率的关联度进行判断，进而选择出与推送结果采用率具有强关联性的目标评价指标以对信息推送系统进行评价，既可以增强信息推送系统推送策略的可解释性，又可以为信息推送系统的优化配置提供数据支持。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种信息推送系统的评价方法，其特征在于，包括：
获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；
根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；
根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
2.根据权利要求1所述的方法，其特征在于，根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度包括：
按照推送结果的采用率从高到低对所述推送结果进行第一排序，并计算第一排序后的推送结果对应的第一得分；
对每个评价指标，分别根据所述评价指标对应的评价规则计算每个推送结果对应的评价指标值，并按照所述评价指标值由大到小对所述推送结果进行第二排序，并计算第二排序后的推送结果对应的第二得分；
根据所述第一得分和所述第二得分确定每个评价指标与推送结果的采用率之间的关联度。
3.根据权利要求2所述的方法，其特征在于，计算第一排序后的推送结果对应的第一得分包括：
根据第一排序后每个推送结果在得到的第一队列中的第一位置计算第一排序后每个推送结果对应的得分；
通过将所述第一排序后每个推送结果对应的得分进行求和以得到第一排序后的推送结果对应的第一得分。
4.根据权利要求3所述的方法，其特征在于，第一排序后的推送结果对应的第一得分通过以下公式计算得到：
其中，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
5.根据权利要求3所述的方法，其特征在于，计算第二排序后的推送结果对应的第二得分包括：
根据第二排序后每个推送结果在得到的第二队列中的第二位置与所述推送结果在所述第一队列中的第一位置，计算第二排序后每个推送结果对应的得分；
通过将所述第二排序后每个推送结果对应的得分进行求和以得到第二排序后的推送结果对应的第二得分。
6.根据权利要求5所述的方法，其特征在于，所述第二排序后每个推送结果对应的得分通过以下公式计算得到：
其中，m为第二排序后每个推送结果在得到的第二队列中的第二位置，k为第一排序后每个推送结果在得到的第一队列中的第一位置，N为推送结果总数。
7.根据权利要求1所述的方法，其特征在于，根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标之后，还包括：
根据所述目标评价指标进行信息推送系统的模型训练。
8.一种信息推送系统的评价装置，其特征在于，包括：
数据获取模块，用于获取指定时间段内的推送数据及评价指标集合，所述推送数据包括推送结果及其采用率，所述评价指标是通过对底层数据进行训练得到的；
关联计算模块，用于根据序列关联性评价算法确定每个评价指标与推送结果的采用率之间的关联度；
指标选取模块，用于根据每个评价指标与推送结果的采用率之间的关联度从所述评价指标集合中选取目标评价指标，并使用所述目标评价指标对所述信息推送系统进行评价。
9.一种评价信息推送系统的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273205.6A CN112989276A (zh) | 2019-12-12 | 2019-12-12 | 信息推送系统的评价方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273205.6A CN112989276A (zh) | 2019-12-12 | 2019-12-12 | 信息推送系统的评价方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989276A true CN112989276A (zh) | 2021-06-18 |
Family
ID=76331514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911273205.6A Pending CN112989276A (zh) | 2019-12-12 | 2019-12-12 | 信息推送系统的评价方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989276A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827985A (zh) * | 2021-08-12 | 2021-12-24 | 中投国信(北京)科技发展有限公司 | 一种大数据的业务信息评价方法及系统 |
| CN114493019A (zh) * | 2022-01-29 | 2022-05-13 | 建信金融科技有限责任公司 | 发送方式的确定方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536983A (zh) * | 2014-12-08 | 2015-04-22 | 北京掌阔技术有限公司 | 一种预测广告点击率的方法和装置 |
| CN105678317A (zh) * | 2015-12-30 | 2016-06-15 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及服务器 |
| CN105701216A (zh) * | 2016-01-13 | 2016-06-22 | 北京三快在线科技有限公司 | 一种信息推送方法及装置 |
| CN106327227A (zh) * | 2015-06-19 | 2017-01-11 | 北京航天在线网络科技有限公司 | 一种信息推荐系统及信息推荐方法 |
| WO2017219317A1 (zh) * | 2016-06-23 | 2017-12-28 | 北京三快在线科技有限公司 | 一种基于搜索内容的信息推送方法及装置 |
| CN108304428A (zh) * | 2017-04-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 信息推荐方法及装置 |
| CN109255070A (zh) * | 2018-08-01 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 推荐信息处理方法、装置、计算机设备及存储介质 |
| CN109492160A (zh) * | 2018-10-31 | 2019-03-19 | 北京字节跳动网络技术有限公司 | 用于推送信息的方法和装置 |
| EP3506124A1 (en) * | 2017-12-29 | 2019-07-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for processing fusion data and information recommendation system |
-
2019
- 2019-12-12 CN CN201911273205.6A patent/CN112989276A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104536983A (zh) * | 2014-12-08 | 2015-04-22 | 北京掌阔技术有限公司 | 一种预测广告点击率的方法和装置 |
| CN106327227A (zh) * | 2015-06-19 | 2017-01-11 | 北京航天在线网络科技有限公司 | 一种信息推荐系统及信息推荐方法 |
| CN105678317A (zh) * | 2015-12-30 | 2016-06-15 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及服务器 |
| CN105701216A (zh) * | 2016-01-13 | 2016-06-22 | 北京三快在线科技有限公司 | 一种信息推送方法及装置 |
| WO2017121251A1 (zh) * | 2016-01-13 | 2017-07-20 | 北京三快在线科技有限公司 | 一种信息推送方法及装置 |
| WO2017219317A1 (zh) * | 2016-06-23 | 2017-12-28 | 北京三快在线科技有限公司 | 一种基于搜索内容的信息推送方法及装置 |
| CN108304428A (zh) * | 2017-04-27 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 信息推荐方法及装置 |
| EP3506124A1 (en) * | 2017-12-29 | 2019-07-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for processing fusion data and information recommendation system |
| CN109255070A (zh) * | 2018-08-01 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 推荐信息处理方法、装置、计算机设备及存储介质 |
| CN109492160A (zh) * | 2018-10-31 | 2019-03-19 | 北京字节跳动网络技术有限公司 | 用于推送信息的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827985A (zh) * | 2021-08-12 | 2021-12-24 | 中投国信(北京)科技发展有限公司 | 一种大数据的业务信息评价方法及系统 |
| CN114493019A (zh) * | 2022-01-29 | 2022-05-13 | 建信金融科技有限责任公司 | 发送方式的确定方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111125574B (zh) | 用于生成信息的方法和装置 | |
| CN105677881A (zh) | 一种信息推荐方法、装置及服务器 | |
| CN109299356B (zh) | 基于大数据的活动推荐方法、装置、电子设备及存储介质 | |
| CN110363604B (zh) | 页面生成方法和装置 | |
| CN110111167A (zh) | 一种确定推荐对象的方法和装置 | |
| CN113095893A (zh) | 确定物品销量的方法和装置 | |
| CN111311294A (zh) | 数据处理方法、装置、介质及电子设备 | |
| CN112989276A (zh) | 信息推送系统的评价方法和装置 | |
| CN111798261A (zh) | 信息更新的方法和装置 | |
| CN113327146A (zh) | 一种信息追踪方法和装置 | |
| CN112287208A (zh) | 用户画像生成方法、装置、电子设备及存储介质 | |
| CN110766431A (zh) | 判断用户对优惠券是否敏感的方法和装置 | |
| CN107357847B (zh) | 数据处理方法及其装置 | |
| CN110858335A (zh) | 一种计算促销弹性的方法和装置 | |
| CN115099865A (zh) | 一种数据处理方法和装置 | |
| CN110766488A (zh) | 一种自动确定主题场景的方法和装置 | |
| CN111125514B (zh) | 用户行为分析的方法、装置、电子设备和存储介质 | |
| CN113379433A (zh) | 一种广告投放方法和装置 | |
| CN112418898A (zh) | 基于多时间窗口融合的物品需求数据分析方法和装置 | |
| CN109583922B (zh) | 分析购买需求的方法和装置 | |
| CN113220983A (zh) | 基于深度学习的选品方法和装置 | |
| CN112784213A (zh) | 一种生成信息的方法和装置 | |
| CN113763080A (zh) | 推荐物品的确定方法、装置、电子设备和存储介质 | |
| CN113434754A (zh) | 确定推荐api服务的方法、装置、电子设备和存储介质 | |
| CN113496386A (zh) | 一种合并计费的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |