CN112348542A - 一种检测推荐系统性能的方法、装置及计算机设备 - Google Patents
一种检测推荐系统性能的方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112348542A CN112348542A CN201910730847.8A CN201910730847A CN112348542A CN 112348542 A CN112348542 A CN 112348542A CN 201910730847 A CN201910730847 A CN 201910730847A CN 112348542 A CN112348542 A CN 112348542A
- Authority
- CN
- China
- Prior art keywords
- data
- recommendation system
- recommended
- satisfaction
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003993 interaction Effects 0.000 claims abstract description 164
- 239000013598 vector Substances 0.000 claims description 49
- 230000002452 interceptive effect Effects 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 abstract description 13
- 230000014759 maintenance of location Effects 0.000 description 34
- 238000013461 design Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006399 behavior Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Abstract
本公开是关于一种检测推荐系统性能的方法、装置及计算机设备，涉及通信技术领域，用于解决确定推荐系统的推荐性能的准确性较低的问题。本公开方法包括：获取推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；根据每一个待检测数据中的即时互动数据，确定针对推荐系统推荐的对象的第一满意度；以及，根据每一个待检测数据中的在即时互动后的预定时间内的互动数据，确定针对推荐系统推荐的对象的第二满意度；根据针对推荐系统推荐的对象的第一满意度和第二满意度，计算针对推荐系统推荐的对象的综合满意度，综合满意度用于指示推荐系统的推荐性能。
Description
技术领域
本公开涉及通信技术领域，尤其涉及一种检测推荐系统性能的方法、装置及计算机设备。
背景技术
目前，推荐系统在现有产品(例如短视频推荐产品、文章推荐产品等)中扮演着核心角色，推荐系统的推荐性能的好坏直接决定了用户体验，而用户体验影响产品的推广，因而需要检测推荐系统的推荐性能。
相关技术中检测推荐系统的推荐性能的方式是根据用户对推荐结果的满意度来对应确定推荐系统的推荐性能。相关技术中具体确定满意度的方式一般是进行满意度问卷调查。然而，这样的方式，由于一般是在第三方的审视下获得的满意度，因而不能准确的反应用户的使用体验，且这样确定出的满意度仅关注用户当下的满意度，因而这样的方式确定出的满意度的准确性较低，从而导致确定推荐系统的推荐性能的准确性较低。
可见，相关技术中确定推荐系统的推荐性能的准确性较低。
发明内容
本公开提供一种检测推荐系统性能的方法、装置及计算机设备，以解决相关技术中确定推荐系统的推荐性能的准确性较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种检测推荐系统性能的方法，包括：
获取所述推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与所述推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；
根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，其中，所述第一满意度用于表征用户当下浏览所述推荐系统推荐的对象的满意类信息反馈参数；以及，
根据所述每一个待检测数据中的在即时互动后的预定时间内的互动数据，确定针对所述推荐系统推荐的对象的第二满意度，其中，所述第二满意度用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数；
根据针对所述推荐系统推荐的对象的第一满意度和第二满意度，计算针对所述推荐系统推荐的对象的综合满意度，所述综合满意度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，所述根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，包括：
确定所述即时互动数据中每类数据对应的贡献参数，其中，所述贡献参数用于表征一类数据对所述即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数的贡献程度；
将所述即时互动数据中每类数据与所述每类数据对应的贡献参数进行加权求和计算，以确定针对所述推荐系统推荐的对象的第一满意度。
在一种可能的设计方式中，所述确定所述即时互动数据中每类数据对应的贡献参数，包括：
获取所述即时互动数据中每类数据的历史互动数据；
根据所述每类数据的历史互动数据，从留存率统计图中确定出与所述每类数据对应的留存值，其中，所述留存值用于表征用户针对所述推荐系统推荐的对象的继续浏览的百分比；
将所述每类数据的历史互动数据加预定值获得参考互动数据，并确定所述参考互动数据对应的参考留存值；
确定所述留存值与所述参考留存值之间的差值；
将所述差值除以所述预定值，以获得所述即时互动数据中每类数据对应的贡献参数。
在一种可能的设计方式中，所述根据所述每一个待检测数据中的预定时间内的互动数据，确定针对所述推荐系统的对象的第二满意度，包括：
确定所述预定时间内的互动数据中每类数据对应的预设权重值；
将所述每类数据对应的预设权重值与所述预定时间内的互动数据进行加权求和计算，以获得针对所述推荐系统推荐的对象的第二满意度。
在一种可能的设计方式中，还包括：
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述推荐系统推荐的对象新颖奇特类信息反馈参数；
将所述新奇度和所述综合满意度相乘，获得针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，所述确定针对所述推荐系统推荐的对象的新奇度，包括：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
在一种可能的设计方式中，所述方法还包括：
获得对推荐系统推荐的对象的多个综合满意度的均值；
若所述均值高于预定阈值，则确定所述推荐系统的推荐性能优于所述预定阈值对应的推荐系统的推荐性能。
根据本公开实施例的第二方面，提供一种检测推荐系统性能的方法，所述方法包括：
确定针对所述推荐系统推荐的对象的满意度，其中，所述满意度为根据即时互动数据确定的值，用于表征用户对所述推荐系统推荐的对象当时的满意程度；
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述对象的新颖奇特类信息的反馈参数；
根据所述满意度和所述新奇度确定针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，确定针对所述推荐系统推荐的对象的新奇度，包括：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
根据本公开实施例的第三方面，提供一种检测推荐系统性能的装置，所述装置包括：
获取单元，被配置为执行获取所述推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与述推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；
第一确定单元，被配置为执行根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，其中，所述第一满意度用于表征用户当下浏览所述推荐系统推荐的对象的满意类信息反馈参数；以及，
第二确定单元，被配置为执行根据所述每一个待检测数据中的在即时互动后预定时间内的互动数据，确定针对所述推荐系统推荐的对象的第二满意度，其中，所述第二满意度是用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数；
处理单元，被配置为执行根据针对所述推荐系统推荐的对象的第一满意度和第二满意度，计算针对所述推荐系统推荐的对象的综合满意度，所述综合满意度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，所述第一确定单元，被配置为执行：
确定所述即时互动数据中每类数据对应的贡献参数，其中，所述贡献参数用于表征一类数据对所述即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数的贡献程度；
将所述即时互动数据中每类数据与所述每类数据对应的贡献参数进行加权求和计算，以确定针对所述推荐系统推荐的对象的第一满意度。
在一种可能的设计方式中，所述第一确定单元，被配置为执行：
获取所述即时互动数据中每类数据的历史互动数据；
根据所述每类数据的历史互动数据，从留存率统计图中确定出与所述每类数据对应的留存值，其中，所述留存值用于表征用户针对所述推荐系统推荐的对象的继续浏览的百分比；
将所述每类数据的历史互动数据加预定值获得参考互动数据，并确定所述参考互动数据对应的参考留存值；
确定所述留存值与所述参考留存值之间的差值；
将所述差值除以所述预定值，以获得所述即时互动数据中每类数据对应的贡献参数。
在一种可能的设计方式中，所述第二确定单元，被配置为执行：
确定所述预定时间内的互动数据中每类数据对应的预设权重值；
将所述每类数据对应的预设权重值与所述预定时间内的互动数据进行加权求和计算，以获得针对所述推荐系统推荐的对象的第二满意度。
在一种可能的设计方式中，所述检测推荐系统性能的装置还包括第三确定单元，被配置为执行：
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述推荐系统推荐的对象新颖奇特类信息反馈参数；
将所述新奇度和所述综合满意度相乘，获得针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，所述第三确定单元被配置为执行：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
在一种可能的设计方式中，所述处理单元被配置为执行：
获得对推荐系统推荐的对象的综合满意度的均值；
若所述均值高于预定阈值，则确定所述推荐系统的推荐性能优于所述预定阈值对应的推荐系统的推荐性能。
根据本公开实施例的第四方面，提供一种检测推荐系统性能的装置，所述装置包括：
满意度确定单元，被配置为执行确定针对所述推荐系统推荐的对象的满意度，其中，所述满意度为根据即时互动数据确定的值，用于表征用户对所述推荐系统推荐的对象当时的满意程度；
新奇度确定单元，被配置为执行确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述对象的新颖奇特类信息的反馈参数；
执行单元，被配置为执行根据所述满意度和所述新奇度确定针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，所述新奇度确定单元，被配置为执行：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
根据本公开实施例的第五方面，提供一种计算机设备，所述计算机设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法，或者实现本公开实施例上述第二方面以及第二方面涉及的任一可能涉及的方法。
根据本公开实施例的第六方面，提供一种存储介质，当存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法，或者，使得计算机设备能够执行本公开实施例上述第二方面以及第二方面涉及的任一可能涉及的方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法，或者，使得计算机设备能够执行本公开实施例上述第二方面以及第二方面涉及的任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，可以获取推荐系统的至少一个待检测数据，每一个待检测数据包括针对推荐系统推荐的对象(例如视频)的即时互动数据和预定时间内的互动数据，然后可以根据与推荐系统推荐的对象相关的即时互动数据，确定针对推荐系统推荐的对象的第一满意度，以及根据与推荐系统推荐的对象相关的预定时间内(例如一周)的互动数据，确定针对推荐系统推荐的对象的第二满意度，然后根据第一满意度和第二满意度计算出综合满意度，从而可以根据综合满意度确定推荐系统的推荐性能。
也就是说，在本公开实施例中，从推荐系统推荐中获取针对推荐系统推荐的互动数据，这样的话，可以保证获取的互动数据的真实性和有效性，可以客观的反应对推荐系统推荐的对象的反馈信息。并且，还可以根据结合当下对推荐的对象的满意程度和在预定时间内对推荐的对象的满意程度来确定对推荐的对象的综合满意度，从而根据综合满意度确定推荐系统的推荐性能，这样的方式，不仅考虑到当下用户的反馈，还考虑到对推荐的对象的中长期的反馈信息，且较长时间的满意度具有一定的稳定性，从而使得确定出的综合满意可以较为贴近用户真实的使用反馈，进而可以更全面、更准确的指示推荐系统的推荐性能，以实现检测推荐系统的推荐性能的目的。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的应用场景示意图；
图2是根据一示例性实施例示出的一种检测推荐系统性能的方法的流程图；
图3是根据一示例性实施例示出的点赞类数据的留存率统计图；
图4是根据一示例性实施例示出的一种检测推荐系统性能的方法的另一流程图；
图5是根据一示例性实施例示出的一种检测推荐系统性能的装置的结构框图；
图6是根据一示例性实施例示出的一种检测推荐系统性能的装置的另一结构框图；
图7为根据一示例性实施例示出的计算机设备的结构示意图；
图8为根据一示例性实施例示出的计算机设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释：
1、本公开实施例中术语“互动数据”是基于用户针对推荐系统推荐的对象的互动行为产生的数据；其中，互动行为一般指的是用户对推荐系统推荐的对象的进行的点赞、关注、评论、转发、完播、复播等正向行为，以及减少对推荐对象的浏览时长、选择减少推荐系统推荐的类似的对象的推荐的操作等负向行为。
2、在本公开实施例中术语“关注、点赞、评论、转发、复播、完播”进行解释，具体如下：
1)关注：应用推荐系统的平台中的账户与账户之间建立关联关系，例如：用户A关注了用户B，则用户B发布的作品和动态可以被用户A在推荐系统的专有页面上看到，也可以收到推荐系统的通知。
2)点赞：应用推荐系统的平台中的账户对某一个账户发布的视频标记对作品的喜欢，一般该作品被多少人标记为喜欢是公开的，但具体哪些用户标记可以是公开的也可以是仅作者可见。
3)评论：应用推荐系统的平台中的账户对某一个账户发布的视频的使用文本进行主观或客观的阐述，具体的，该文本既可以是公开的，也可以是仅作者或者好友间能看到。
4)转发：应用推荐系统的平台中的账户将某一个账户发布的视频转送到别的平台或自己的账户。
5)完播：用推荐系统的平台中的账户对某一个账户发布的视频进行的一次完整的浏览。
6)复播：用推荐系统的平台中的账户对某一个账户发布的视频多次完整的浏览。
3、本公开实施例中术语“对象”可以指推荐系统推荐的文章、视频、书籍、动图等。
4、本公开实施例中术语“取关、特别关注、短视频观看率、短视频互动率、直播订阅、直播独占性、直播打赏、主动私信次数、直播、私信”的含义如下：
1)取关：应用推荐系统的平台中的账户与账户之间取消关联关系。比如，用户对作者取消关注，表示用户对进行取消关注的作者发布的对象不再感兴趣。
2)特别关注：应用推荐系统的平台中的账户与账户之间建立特定的关联关系，建立有该特定的关联关系的账户发布的作品会优先展示。该关联关系表示用户特别喜欢和重视某一作者的发布的对象，用户在特别关注某一作者后，用户特别关注的作者的新作品/直播会推送给用户，且会在关注页置顶展示。
3)短视频观看率：用户看某一作者的短视频的数量，占该作者预定时间内发布的所有短视频的数量的比例。
4)短视频互动率：用户对某一作者短视频的互动次数，占该作者预定时间内发布所有短视频的发布次数的比例。
5)直播订阅：用户订阅某一作者的直播，用户订阅直播的作者开播后会将直播推送给用户，且在关注页置顶展示。
6)直播独占性：用户观看某一作者的直播，占用户观看直播总时长的比例。
7)直播打赏：应用推荐系统的平台中的账户对某一个账户实时发布的视频进行奖励。直播打赏类数据用于表征用户对某一作者直播打赏的次数占用户观看直播总打赏次数的比例。
8)主动私信次数：用户主动向作者发私信沟通的次数。
9)直播：应用推荐系统的平台中的账户将在现场随着事件的发生、发展进程实时同步制作和发布信息，具有双向流通过程的视频的发布方式。
10)私信：应用推荐系统的平台中的特定账户与特定账户之间能够互相发送信息的通信方式。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
如前所述，相关技术中存在当检测推荐系统性能时，只注重当下推荐时的用户针对推荐的对象的反馈来确定用户对推荐的对象的满意度，这样确定出的满意度的准确性比较低，从而导致对推荐系统进行性能检测的时，检测结果准确性较低。需要说明的是，用户或推荐系统对应平台中的账户对推荐系统推荐的对象的正向和负向反馈被记录为满意度或者满意类反馈参数。
鉴于此，本公开实施例提供一种检测推荐系统性能的方法，通过该方法可以将用户对推荐系统推荐的对象的即时满意度和用户对推荐系统推荐的对象的中长期满意度结合起来，共同确定用户对推荐系统推荐的对象的满意度，这样的方式，可以使得检测的结果准确性比较高。
在介绍完本公开实施例的设计思想之后，下面对本公开实施例中的技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本公开实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本公开实施例提供的技术方案。
请参见图1所示的一种应用场景，如图1所示，推荐系统部署于电脑、平板电脑、手机等终端设备上，当用户使用终端设备浏览推荐系统推荐的对象(例如视频)时，终端设备将用户与推荐系统推荐的对象产生的互动数据发送给数据库服务器，然后检测推荐系统的检测系统可以从数据库服务器中获取到互动数据，从而实现对推荐系统的检测，其中，检测系统可以部署到如图1所示的计算机设备上，也可以部署到其它的计算机设备上，本公开实施例中不做限定。
下面结合说明书附图介绍本发明实施例提供的技术方案。
图2是一种检测推荐系统性能的方法的流程图，如图2所示，该方法可以应用于前述的任一计算机设备。图2所示的流程图描述如下。
在步骤S21中，获取推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据。
在本公开实施例中，获取的每一个待检测数据可以为一个用户对推荐系统推荐的多个对象的即时互动数据和在即时互动后的预定时间内的互动数据，或者还可以为多个用户对推荐系统推荐的多个对象的即时互动数据和在即时互动后的预定时间内的互动数据，当然，也可以是多个用户对推荐系统推荐的一个对象的即时互动数据和在即时互动后的预定时间内的互动数据，本公开实施例中不做限定。
需要说明的是，在本公开实施例中，为了便于理解，后文中以对象是视频为例来对本公开的技术方案进行说明。此外，为了便于描述，后文中将以每个待检测数据为一个用户对推荐系统推荐的一个视频的即时互动数据和在即时互动后的预定时间内的互动数据为例，来对本公开提供的确定第一满意度和第二满意度的技术方案进行说明。
在本公开实施例中，可以将用户在首次针对推荐系统推荐的视频进行点赞、关注、评论、转发、复播、完播等互动行为产生的数据称为即时互动数据，当用户在即时互动后的预定时间内(例如一周)，针对用户推荐的该视频进行的互动行为产生的数据称为在即时互动后的预定时间内的互动数据，在本公开实施例中，预定时间内可以为一周内，也可以为半个月内、还可以是三周等，本公开实施例中不做限制。
在步骤S22中，可以根据获取的每一个待检测数据中的即时互动数据，确定针对推荐系统推荐的视频的第一满意度，其中，第一满意度用于表征用户当下浏览推荐系统推荐的对象的满意类信息反馈参数。
在本公开实施例中，可以确定即时互动数据中每类数据对应的贡献参数，其中，贡献参数用于表征一类数据对即时互动后的预定时间内浏览推荐系统推荐的对象的满意类信息反馈参数的贡献程度，然后将即时互动数据中每类数据与每类数据对应的贡献参数进行加权求和计算，以确定针对推荐系统推荐的对象的第一满意度。
这样的方式，充分的考虑到了同样的互动行为对于不同用户对推荐系统推荐的视频的第一满意度的贡献差异，例如，频繁点赞的用户A的一次点赞对推荐系统推荐的视频的第一满意度的贡献，可以认为明显小于点赞较少的用户B一次点赞对推荐系统推荐的视频的第一满意度的贡献，即一次点赞对用户A对推荐系统推荐的视频的第一满意度的贡献和对用户B对推荐系统推荐的视频的第一满意度的贡献是有差异的。因而，这样的方式确定出的第一满意度的客观性较强，从而根据第一满意度确定推荐系统的推荐性能的准确性较高。
在具体实施过程中，可以获取即时互动数据中每类数据的历史互动数据，其中，即时互动数据的类型可以分为点赞、关注、评论、转发、复播、完播这六类数据，例如，获取的即时互动数据中每类数据的历史互动数据分别为一个周的点赞数为30个、关注数为2个、评论数为20条、复播数为10个以及完播数为30个。
进一步地，可以根据每类数据的历史互动数据，从留存率统计图中确定出与每类数据对应的留存值，其中，留存值用于表征用户针对推荐系统推荐的对象的继续浏览的百分比，再将每类数据的历史互动数据加预定值获得参考互动数据，并确定参考互动数据对应的参考留存值。然后可以确定留存值与参考留存值之间的差值，再将差值除以预定值，从而可以获得即时互动数据中每类数据对应的贡献参数。
请参见图3，图3为留存率统计图中的点赞类数据的留存率统计图，例如，当历史互动数据为点赞数为10时，则可以对应确定点赞数10的留存值为0.65，预定值为2，则确定点赞数为12时的参考留存值为0.68，则可以获得留存值和参考留存值之间的差值为0.03，在将0.03除以2，即可以获得该用户的即时互动数据中点赞类数据对应的贡献参数为0.015。
也就是说，在本公开实施例中，在衡量用户对推荐系统推荐的视频的满意度时，针对当前忽略用户个体间互动行为对满意度贡献差异的情况，提出了基于细分人群留存归因分析来刻画各种互动行为在不同细分人群上对满意度的贡献的技术方案，从而提高衡量满意度的准确性。
在本公开实施例中，需要说明的是，留存率统计图包括互动数据中每类数据分别对应的统计图，即每类数据分别对应一个留存率统计图，即时互动数据中的每类数据即关注、转发、评论、完播、复播类数据的贡献参数的确定都可以采用上述的方式，这里不再赘述。
在步骤S23中，根据每一个待检测数据中的预定时间内的互动数据，确定针对推荐系统推荐的对象的第二满意度，其中，第二满意度用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数。
前述步骤23中确定第二满意度的方式，引入了用户浏览推荐系统推荐的视频后一段时间内持续互动行为产生的数据即在即时互动后的预定时间内的互动数据，来刻画中长期满意度即第二满意度，也就是说，确定针对推荐系统推荐的视频的满意度时，在根据即时互动数据确定满意度的基础上增加了新的确定参数即在即时互动后的预定时间内的互动数据，可以使得确定的准确性和有效性更高。
在本公开实施例中，需要说明的是，步骤S22和步骤S23中没有步骤的先后之分，即可以先确定第一满意度然后确定第二满意度，也可以先确定第二满意度再确定第一满意度。
在本公开实施例中，可以确定预定时间内的互动数据中每类数据对应的预设权重值，然后将每类数据对应的预设权重值与预定时间内的互动数据进行加权求和计算，从而获得针对推荐系统推荐的对象的第二满意度。
为了便于本领域技术人员理解，以下列举几种可能的方式来说明如何获得针对推荐系统推荐的对象的第二满意度，应该理解的是，以下举例只是示意性的说明，其并不对本发明实施例构成限定，除去以下所列举的方式，在具体实施过程中还可以再采用其它的方式，本文中并不穷举。
在一种可能的实施中，可以根据预先统计确定出的权重值，来对应确定预定时间内的互动数据中每类数据对应的预设权重值，其中，在即时互动后的预定时间内的互动数据可以分为视频观看率、视频互动率、直播订阅、直播独占性、直播打赏、私信次数这几类，然后分别对应确定相应的权重值，然后将每类数据对应的预设权重值与预定时间内的互动数据进行加权求和计算，从而获得针对推荐系统推荐的对象的第二满意度。
例如，预先确定的在即时互动后的预定时间内的互动数据中视频观看率类数据的权重值为0.3、视频互动率类数据的权重值为0.4、直播订阅类数据的权重值为0.2、直播独占性类数据的权重值为0.6、直播打赏类数据的权重值为0.9、私信次数类数据的权重值为0.7，则当确定预定时间内的互动数据中视频观看率类数据为0.4、视频互动率类数据为0.3、直播订阅类数据为1、直播独占性类数据为0.5、直播打赏类数据1、私信次数类数据1，则可以确定出第二满意度为0.3*0.4+0.4*0.3+0.2*1+0.6*0.5+0.9*1+0.7*1＝2.14。
这样的方式，由于是根据预先确定的权重值进行对应计算，从而可以直接且迅速的确定出第二满意度，即确定第二满意度的效率较高。
在另一种可能的实施方式中，还可以是根据具体的类别数据对应确定权重值。在具体的实施过程中，在即时互动后的预定时间内的互动数据可以分为取关、特别关注、视频观看率、视频互动率、直播订阅、直播独占性、直播打赏、私信次数这几类，其中，若用户取关则确定该类数据的权重值做打折(即权重值小于1的值，例如0.5)，特别关注类数据则取权重值大于1的值为权重值(例如1.5)，具体的值则根据实际其它参数情况来对应确定，除这两类外的数据可以根据对应随机拍数据确定。即每项具体权重系数的大小，可以根据该种行为在平台内发生的概率来调整，对较难发生的行为给予较大权重，对较易发生的行为给予较小权重。
进一步地，根据前述方式确定的在即时互动后的预定时间内的互动数据中每类数据对应的预设权重值，可以将每类数据对应的预设权重值与预定时间内的互动数据进行加权求和计算，从而获得针对推荐系统推荐的对象的第二满意度，具体的公式计算如下：
(M*m)*(N*n)*(A*a+B*b+C*c+D*d+E*e+F*f)＝S
其中，M表征取关类数据的权重值，m表征在即时互动后的预定时间内的取关类数据对应的互动数据；N表征特别关注类数据的权重值，n表征在即时互动后的预定时间内的特别关注类数据对应的互动数据；A表征视频观看率类数据的权重值，a表征在即时互动后的预定时间内的视频观看率数据对应的互动数据；B表征视频互动率类数据的权重值，b表征在即时互动后的预定时间内的视频互动率数据对应的互动数据；C表征直播订阅类数据的权重值，c表征在即时互动后的预定时间内的直播订阅类数据对应的互动数据；D表征直直播独占性类数据的权重值，d表征在即时互动后的预定时间内的直播独占性类数据对应的互动数据；E表征直播打赏类数据的权重值，e表征在即时互动后的预定时间内的直播打赏类数据对应的互动数据；F表征私信次数类数据的权重值，f表征在即时互动后的预定时间内的私信次数类数据对应的互动数据；S表征第二满意度。
例如，在即时互动后的预定时间内的互动数据中取关的权重值为0.5，当互动数据中取关类数据为1(即用户未取关)时，则权重值为0.5，特别关注的权重值为1.5，当互动数据中特别关注类数据为1时，则权重值为1.5，视频观看率类数据的权重值为0.3、视频互动率类数据的权重值为0.4、直播订阅类数据的权重值为0.2、直播独占性类数据的权重值为0.6、直播打赏类数据的权重值为0.9、私信次数类数据的权重值为0.7，则当确定预定时间内的互动数据中视频观看率类数据为0.4、视频互动率类数据为0.3、直播订阅类数据为1、直播独占性类数据为0.5、直播打赏类数据1、私信次数类数据1，则可以确定第二满意度为：0.5*1.5*(0.3*0.4+0.4*0.3+0.2*1+0.6*0.5+0.9*1+0.7*1)＝1.605。
这样的方式，由于考虑到了取关类数据和特别关注类数据对用户针对推荐系统推荐的视频的第二满意度的影响，且其它类数据的权重值是实时调整确定的，即确定出的第二满意度的准确性比较高。
在步骤S24中，根据针对推荐系统推荐的对象的第一满意度和第二满意度，计算针对推荐系统推荐的对象的综合满意度，综合满意度用于指示推荐系统的推荐性能。
在本公开实施例中，可以根据针对推荐系统推荐的对象的第一满意度和第二满意度，计算出针对推荐系统推荐的对象的综合满意度，其中，综合满意度用来表征用户对推荐系统推荐的视频的整体满意度，综合满意度用于指示推荐系统的推荐性能。
在具体实施过程中，若是采用如前所述的第一种获得第二满意的方式即预先统计的得出的权重值对应确定的第二满意度，则可以直接将第一满意度和第二满意度相乘，从而计算出综合满意度。这样的方式，由于是根据预先确定的权重值来确定综合满意度，从而计算综合满意度的速度较快，即确定推荐系统性能的速度较快。
在具体实施过程中，若是采用如前所述的第二种方式即针对取关和特别关注这两类数据对应确定的权重值，对应确定出第二满意度，则可以将第二满意度与第一满意度中关注类互动数据相乘和第一满意度中其它类数据对应贡献参数值和即时互动数据相乘的值相加，从而计算出综合满意度。这样的方式，充分考虑了特别关注和取消关注这两类数据对用户对推荐系统推荐的视频的综合满意度的影响，且是实时确定的权重值，确定的时效性和准确性较强。
在本公开实施例中，还可以确定针对推荐系统推荐的对象的新奇度，其中，新奇度用于表征用户对推荐系统推荐的对象的新颖奇特类信息的反馈参数；然后将新奇度和综合满意度相乘，获得针对推荐系统推荐的对象的惊喜度，惊喜度用于指示推荐系统的推荐性能。
这样的方式，在现有的仅仅考虑满意度对推荐系统推荐性能的衡量上，还增加了新奇度的衡量因素，从而可以更为准确和全面的检测推荐系统的推荐性能。
在本公开实施例中，可以从推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的历史偏好对象的数据的第一特征向量，其中，第一特征向量用于表征每个用户的历史偏好对应的特征信息；然后确定推荐系统推荐的对象的数据的第二特征向量，并将第一特征向量与第二特征向量进行内积运算，从而可以获得针对推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征推荐系统推荐的对应的特征信息，进而根据相似度，从预设的相似度和新奇度的对应关系中确定针对推荐系统推荐的对象的新奇度。其中，新奇度用于表示用户对推荐系统推荐的对象的正向满意参数。
在具体的实施过程中，前述的特征向量的确定，可以是通过监督学习的方式，即采用多目标学习的DNN((Deep Neural Networks，深度神经网络)网络结构训练对短视频的点击率、点赞率、关注率、完播率、复播率、评论率等的特征向量的获取，然后，通过反向传播训练，从而能够得到每个视频的特征向量。还可以是CNN(Convolutional Neural Networks,卷积神经网络)等神经网络来基于内容抽取确定特征向量，如选择视频中的多帧采用ResNet残差网络抽取每帧的特征向量，在进行相应的处理，具体采用哪一种特征向量的确定方法，本申请实施例中不做限定。
在具体的实施过程中，当获得相似度之后，可以从预设的相似度和新奇度的对应关系中确定针对推荐系统推荐的对象的新奇度，其中，预设的相似度和新奇度的对应关系可以为理解1.0/(k+S)，其中，K为预定值，S用来表征相似度，即为相似度越低，则新奇度越高。
在一种可能的实施方式中，还可以获得对推荐系统推荐的对象的综合满意度的均值；若均值高于预定阈值，则确定推荐系统的推荐性能优于预定阈值对应的推荐系统的推荐性能。即在本公开实施例中，还可以针对不同的推荐系统进行系统推荐性能检测，从而确定出推荐系统推荐性能较优的推荐系统。
基于同一发明构思，本公开施例还提供一种检测推荐系统性能的方法，请参见图4，该检测推荐系统性能的方法例如可以由如图1中的计算机设备执行。前述的检测推荐系统性能的方法的流程描述如下：
在步骤S41中，确定针对推荐系统推荐的对象的满意度，其中，满意度为根据即时互动数据确定的值，用于表征用户对推荐系统推荐的对象当时的满意程度。
在步骤S42中，确定针对推荐系统推荐的对象的新奇度，其中，新奇度为用于表征用户对对象的新颖奇特类信息的反馈参数。
在步骤S43中，根据满意度和新奇度确定针对推荐系统推荐的对象的惊喜度，惊喜度用于指示推荐系统的推荐性能。
在本公开实施例中，在衡量推荐系统的推荐性能时，针对相关技术中仅针对根据即时互动数据确定的满意度来检测推荐系统的方式，提供了一种新的参考因素即新奇度，可以将用户对推荐系统的推荐的对象的新奇度与满意度结合起来，以准确的确定对推荐系统的推荐性能。
在一种可能的实施方式中，可以从推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的历史偏好对象的数据的第一特征向量；然后确定推荐系统推荐的对象的数据的第二特征向量，并将第一特征向量与第二特征向量进行内积运算，从而可以获得针对推荐的对象的数据与的历史偏好对象的数据的相似度，进而根据相似度，从预设的相似度和新奇度的对应关系中确定针对推荐系统推荐的对象的新奇度。
基于同一发明构思，本公开实施例提供了一种检测推荐系统性能的装置，该检测推荐系统性能的装置能够实现前述的检测推荐系统性能的方法对应的功能。该检测推荐系统性能的装置可以是硬件结构、软件模块、或硬件结构加软件模块。该检测推荐系统性能的装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该检测推荐系统性能装置包括获取单元501、第一确定单元502、第二确定单元503以及处理单元504。其中：
获取单元501，被配置为执行获取所述推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与述推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；
第一确定单元502，被配置为执行根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，其中，所述第一满意度用于表征用户当下浏览所述推荐系统推荐的对象的满意类信息反馈参数；以及，
第二确定单元503，被配置为执行根据所述每一个待检测数据中的在即时互动后预定时间内的互动数据，确定针对所述推荐系统推荐的对象的第二满意度，其中，所述第二满意度是用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数；
处理单元504，被配置为执行根据针对所述推荐系统推荐的对象的第一满意度和第二满意度，计算针对所述推荐系统推荐的对象的综合满意度，所述综合满意度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，第一确定单元502，被配置为执行：
确定所述即时互动数据中每类数据对应的贡献参数，其中，所述贡献参数用于表征一类数据对所述即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数的贡献程度；
将所述即时互动数据中每类数据与所述每类数据对应的贡献参数进行加权求和计算，以确定针对所述推荐系统推荐的对象的第一满意度。
在一种可能的设计方式中，第一确定单元502，被配置为执行：
获取所述即时互动数据中每类数据的历史互动数据；
根据所述每类数据的历史互动数据，从留存率统计图中确定出与所述每类数据对应的留存值，其中，所述留存值用于表征用户针对所述推荐系统推荐的对象的继续浏览的百分比；
将所述每类数据的历史互动数据加预定值获得参考互动数据，并确定所述参考互动数据对应的参考留存值；
确定所述留存值与所述参考留存值之间的差值；
将所述差值除以所述预定值，以获得所述即时互动数据中每类数据对应的贡献参数。
在一种可能的设计方式中，第二确定单元503，被配置为执行：
确定所述预定时间内的互动数据中每类数据对应的预设权重值；
将所述每类数据对应的预设权重值与所述预定时间内的互动数据进行加权求和计算，以获得针对所述推荐系统推荐的对象的第二满意度。
在一种可能的设计方式中，检测检测推荐系统性能的装置还包括第三确定单元，被配置为执行：
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述推荐系统推荐的对象新颖奇特类信息反馈参数；
将所述新奇度和所述综合满意度相乘，获得针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
在一种可能的设计方式中，第三确定单元被配置为执行：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
在一种可能的设计方式中，处理单元被配置为执行：
获得对推荐系统推荐的对象的综合满意度的均值；
若所述均值高于预定阈值，则确定所述推荐系统的推荐性能优于所述预定阈值对应的推荐系统的推荐性能。
前述的如图2所示检测推荐系统性能的方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的检测推荐系统性能的装置所对应的功能模块的功能描述，在此不再赘述。
基于同一发明构思，本发明实施例还提供一种检测推荐系统性能装置。请参见图6所示，该检测推荐系统性能装置包括满意度确定单元601、新奇度确定单元602以及执行单元603。其中：
满意度确定单元601，被配置为执行确定针对所述推荐系统推荐的对象的满意度，其中，所述满意度为根据即时互动数据确定的值，用于表征用户对所述推荐系统推荐的对象当时的满意程度；
新奇度确定单元602，被配置为执行确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述对象的新颖奇特类信息的反馈参数；
执行单元603，被配置为执行根据所述满意度和所述新奇度确定针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
前述如图4的检测推荐系统性能的方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明实施例中的检测推荐系统性能的装置所对应的功能单元的功能描述，在此不再赘述。
本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
基于同一发明构思，本公开实施例还提供一种计算机设备，如图7所示，本公开实施例中的计算机设备包括至少一个处理器701，以及与至少一个处理器701连接的存储器702和通信接口703，本公开实施例中不限定处理器701与存储器702之间的具体连接介质，图7中是以处理器701和存储器702之间通过总线700连接为例，总线700在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线700可以分为地址总线、数据总线、控制总线等，为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行前述的检测推荐系统性能的方法中所包括的步骤。
其中，处理器701是计算机设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，处理器701主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通信接口703是能够用于进行通信的传输接口，可以通过通信接口703接收数据或者发送数据，例如可以通过通信接口703接收其它设备发送的工业产品的原始产品图像，以及，还可以通过该通信接口703将获得的故障检测结果发送给其它设备。
参见图8所示的计算机设备的进一步地的结构示意图，该计算机设备还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)801、用于存储操作系统802、应用程序803和其他程序模块804的大容量存储设备805。
基本输入/输出系统801包括有用于显示信息的显示器806和用于用户输入信息的诸如鼠标、键盘之类的输入设备807。其中显示器806和输入设备807都通过连接到系统总线700的基本输入/输出系统801连接到处理器701。所述基本输入/输出系统801还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备805通过连接到系统总线700的大容量存储控制器(未示出)连接到处理器701。所述大容量存储设备805及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备805可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线700上的通信接口703连接到网络808，或者说，也可以使用通信接口703来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器702，上述指令可由装置的处理器701执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些可能的实施方式中，本公开提供的检测推荐系统性能的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使该计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的检测推荐系统性能的方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
需要说明的是，本方案涉及的用户的信息、账户的信息均是经过用户授权而采集，并进行后续处理分析的。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种检测推荐系统性能的方法，其特征在于，所述方法包括：
获取所述推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与所述推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；
根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，其中，所述第一满意度用于表征用户当下浏览所述推荐系统推荐的对象的满意类信息反馈参数；以及，
根据所述每一个待检测数据中的在即时互动后的预定时间内的互动数据，确定针对所述推荐系统推荐的对象的第二满意度，其中，所述第二满意度用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数；
根据针对所述推荐系统推荐的对象的第一满意度和第二满意度，计算针对所述推荐系统推荐的对象的综合满意度，所述综合满意度用于指示所述推荐系统的推荐性能。
2.如权利要求1所述的方法，其特征在于，所述根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，包括：
确定所述即时互动数据中每类数据对应的贡献参数，其中，所述贡献参数用于表征一类数据对所述即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数的贡献程度；
将所述即时互动数据中每类数据与所述每类数据对应的贡献参数进行加权求和计算，以确定针对所述推荐系统推荐的对象的第一满意度。
3.如权利要求1所述的方法，其特征在于，所述根据所述每一个待检测数据中的预定时间内的互动数据，确定针对所述推荐系统的对象的第二满意度，包括：
确定所述预定时间内的互动数据中每类数据对应的预设权重值；
将所述每类数据对应的预设权重值与所述预定时间内的互动数据进行加权求和计算，以获得针对所述推荐系统推荐的对象的第二满意度。
4.如权利要求1所述的方法，其特征在于，还包括：
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述推荐系统推荐的对象新颖奇特类信息反馈参数；
将所述新奇度和所述综合满意度相乘，获得针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
5.一种检测推荐系统性能的方法，其特征在于，所述方法包括：
确定针对所述推荐系统推荐的对象的满意度，其中，所述满意度为根据即时互动数据确定的值，用于表征用户对所述推荐系统推荐的对象当时的满意程度；
确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述对象的新颖奇特类信息的反馈参数；
根据所述满意度和所述新奇度确定针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
6.如权利要求5所述的方法，其特征在于，确定针对所述推荐系统推荐的对象的新奇度，包括：
从所述推荐系统中获取至少一个用户的历史偏好对象的数据，并确定每个用户的所述历史偏好对象的数据的第一特征向量，所述第一特征向量用于表征每个用户的历史偏好对应的特征信息；
确定所述推荐系统推荐的对象的数据的第二特征向量，并将所述第一特征向量与所述第二特征向量进行内积运算，获得针对所述推荐系统推荐的对象的相似度，其中，所述第二特征向量用于表征所述推荐系统推荐的对应的特征信息；
根据所述相似度，从预设的相似度和新奇度的对应关系中确定针对所述推荐系统推荐的对象的新奇度。
7.一种检测推荐系统性能的装置，其特征在于，所述装置包括：
获取单元，被配置为执行获取所述推荐系统的至少一个待检测数据，其中，每一个待检测数据包括用户与述推荐系统推荐的对象的即时互动数据和在即时互动后的预定时间内的互动数据；
第一确定单元，被配置为执行根据所述每一个待检测数据中的即时互动数据，确定针对所述推荐系统推荐的对象的第一满意度，其中，所述第一满意度用于表征用户当下浏览所述推荐系统推荐的对象的满意类信息反馈参数；以及，
第二确定单元，被配置为执行根据所述每一个待检测数据中的在即时互动后预定时间内的互动数据，确定针对所述推荐系统推荐的对象的第二满意度，其中，所述第二满意度是用于表征用户在即时互动后的预定时间内浏览所述推荐系统推荐的对象的满意类信息反馈参数；
处理单元，被配置为执行根据针对所述推荐系统推荐的对象的第一满意度和第二满意度，计算针对所述推荐系统推荐的对象的综合满意度，所述综合满意度用于指示所述推荐系统的推荐性能。
8.一种检测推荐系统性能的装置，其特征在于，所述装置包括：
满意度确定单元，被配置为执行确定针对所述推荐系统推荐的对象的满意度，其中，所述满意度为根据即时互动数据确定的值，用于表征用户对所述推荐系统推荐的对象当时的满意程度；
新奇度确定单元，被配置为执行确定针对所述推荐系统推荐的对象的新奇度，其中，所述新奇度用于表征用户对所述对象的新颖奇特类信息的反馈参数；
执行单元，被配置为执行根据所述满意度和所述新奇度确定针对所述推荐系统推荐的对象的惊喜度，所述惊喜度用于指示所述推荐系统的推荐性能。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1-6中任一项所述的检测推荐系统性能的方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由数据生成计算机设备的处理器执行时，使得数据生成计算机设备能够执行根据权利要求1-6中任一项所述的检测推荐系统性能的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910730847.8A CN112348542A (zh) | 2019-08-08 | 2019-08-08 | 一种检测推荐系统性能的方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910730847.8A CN112348542A (zh) | 2019-08-08 | 2019-08-08 | 一种检测推荐系统性能的方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348542A true CN112348542A (zh) | 2021-02-09 |
Family
ID=74366835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910730847.8A Pending CN112348542A (zh) | 2019-08-08 | 2019-08-08 | 一种检测推荐系统性能的方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348542A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781158A (zh) * | 2021-08-23 | 2021-12-10 | 湖南大学 | 商品组合的推荐方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015032353A1 (zh) * | 2013-09-06 | 2015-03-12 | 北京奇虎科技有限公司 | 视频推荐方法及装置 |
| CN106488267A (zh) * | 2016-11-21 | 2017-03-08 | 武汉斗鱼网络科技有限公司 | 一种直播间推荐策略的评估方法、用户设备和服务器系统 |
| CN107729542A (zh) * | 2017-10-31 | 2018-02-23 | 咪咕音乐有限公司 | 一种信息评分方法及装置和存储介质 |
| CN109559208A (zh) * | 2019-01-04 | 2019-04-02 | 平安科技（深圳）有限公司 | 一种信息推荐方法、服务器及计算机可读介质 |
-
2019
- 2019-08-08 CN CN201910730847.8A patent/CN112348542A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015032353A1 (zh) * | 2013-09-06 | 2015-03-12 | 北京奇虎科技有限公司 | 视频推荐方法及装置 |
| CN106488267A (zh) * | 2016-11-21 | 2017-03-08 | 武汉斗鱼网络科技有限公司 | 一种直播间推荐策略的评估方法、用户设备和服务器系统 |
| CN107729542A (zh) * | 2017-10-31 | 2018-02-23 | 咪咕音乐有限公司 | 一种信息评分方法及装置和存储介质 |
| CN109559208A (zh) * | 2019-01-04 | 2019-04-02 | 平安科技（深圳）有限公司 | 一种信息推荐方法、服务器及计算机可读介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781158A (zh) * | 2021-08-23 | 2021-12-10 | 湖南大学 | 商品组合的推荐方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11361047B2 (en) | Website creation system for creating websites having at least one series of directional webpages and related methods | |
| JP6561181B2 (ja) | プラットフォーム番組ページ | |
| US9838743B2 (en) | Techniques for context aware video recommendation | |
| US20210303654A1 (en) | Website creation system for creating websites having at least one series of directional webpages and related methods | |
| US20240028933A1 (en) | Determining intent based on user interaction data | |
| US20170017986A1 (en) | Tracking digital design asset usage and performance | |
| US20170213242A1 (en) | Computer-implemented method of and system for running a marketing campaign | |
| CA2843056A1 (en) | User-initiated boosting of social networking objects | |
| US20190104331A1 (en) | Dynamically providing digital content to client devices by analyzing insertion points within a digital video | |
| CN108460627A (zh) | 营销活动方案推送方法、装置、计算机设备及存储介质 | |
| US9881318B1 (en) | Attributing web-based user actions to multivariate test parameters associated with publisher content | |
| JP2016538634A (ja) | メディア・アクション・ボタン | |
| US20180089715A1 (en) | System and method for analyzing and predicting emotion reaction | |
| JP2016535900A (ja) | フェイスパイル統合通信 | |
| KR101981612B1 (ko) | 인플루언서 마케팅 실행 결과의 분석 서비스 제공 방법 | |
| CN107637085B (zh) | 用于多媒体推广和对内容优先排序的系统和方法 | |
| EP3806017A1 (en) | Methods, platforms and systems for paying persons for use of their personal intelligence profile data | |
| Onișor et al. | How advertising avoidance affects visual attention and memory of advertisements | |
| CN112348542A (zh) | 一种检测推荐系统性能的方法、装置及计算机设备 | |
| US20190005552A1 (en) | Providing coupons based on information associated with content providers | |
| CN111865753B (zh) | 媒体信息的参数确定方法和装置、存储介质、电子装置 | |
| US20180150886A1 (en) | Controlling a content auction with a threshold value | |
| US20140067523A1 (en) | System and method for online submission, collection, and distribution of product and shopping related information | |
| CN113850416A (zh) | 广告推广合作对象确定方法和装置 | |
| CN111506643B (zh) | 用于生成信息的方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |