CN109614301A - 一种信息的评估方法和装置 - Google Patents
一种信息的评估方法和装置 Download PDFInfo
- Publication number
- CN109614301A CN109614301A CN201811372716.9A CN201811372716A CN109614301A CN 109614301 A CN109614301 A CN 109614301A CN 201811372716 A CN201811372716 A CN 201811372716A CN 109614301 A CN109614301 A CN 109614301A
- Authority
- CN
- China
- Prior art keywords
- virtual user
- user
- operation behavior
- proportion
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006399 behavior Effects 0.000 claims description 169
- 230000004044 response Effects 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 4
- 208000027418 Wounds and injury Diseases 0.000 abstract description 8
- 230000006378 damage Effects 0.000 abstract description 8
- 208000014674 injury Diseases 0.000 abstract description 8
- 239000000463 material Substances 0.000 description 58
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000009471 action Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 230000002354 daily effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005007 materials handling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种信息的评估方法和装置，该方法包括：获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户的至少一个操作行为；当任一虚拟用户执行操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为；从而完成用户的线下培养，根据线下培养的用户获取由推荐策略推荐的信息，并确定推荐策略的优劣性，从而能够线下对推荐策略进行评估，减少对用户的伤害行为。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息的评估方法和装置。
背景技术
目前互联网行业中，针对信息流而推荐策略采用的是评估校验方式。然而，该评估方式是根据用户实际反馈进行衡量来推荐策略的，且被评估的推荐策略不能线下预知，同时需要一定时间来收集线上指标数据，如果被测推荐策略不优秀，将对于线上用户带来一定伤害。
发明内容
本发明实施例提供一种信息的评估方法和装置，能够线下对推荐策略进行评估，减少对用户的伤害行为。
一方面，本发明实施例提供了一种信息的评估方法，应用在评估服务器端，包括：获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户对应的至少一个操作行为；当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该操作行为对应的虚拟用户的类型相关联；当多个虚拟用户中的每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，获取每个虚拟用户的推荐信息；根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
另一方面，本发明实施例提供了一种信息的评估装置，应用在评估服务器端，包括：第一获取单元，获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户对应的至少一个操作行为；执行单元，当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该操作行为对应的虚拟用户的类型相关联；第二获取单元，当多个虚拟用户中的每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，获取每个虚拟用户的推荐信息；确定单元，根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
上述技术方案具有如下有益效果：获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户的至少一个操作行为；当任一虚拟用户执行操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为；从而完成用户的线下培养，根据线下培养的用户获取由推荐策略推荐的信息，并确定推荐策略的优劣性，从而能够线下对推荐策略进行评估，减少对用户的伤害行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中的一种信息的评估方法的流程图；
图2为本发明一实施例中的一种信息的评估装置的结构示意图；
图3为本发明一优选实施例中的培养账号中的设置配比的示意图；
图4为本发明一优选实施例中的评估系统的示意图；
图5为本发明一优选实施例中的培养账号中的执行培养任务的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明一实施例中一种信息的评估方法，应用在评估服务器端，包括以下步骤：
101：获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取该虚拟用户的至少一个操作行为。
102：当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该操作行为对应的虚拟用户的类型相关联。
103：当多个虚拟用户中的每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，获取每个虚拟用户的推荐信息。
104：根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
在一些实例中，该方法进一步包括：获取不同的兴趣、操作行为、操作内容以及操作时间的多个真实用户；根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
优选地，根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户，包括：将多个待创建的虚拟用户划分为多组，并设置每组中的多个待创建的虚拟用户的兴趣配比，且每组中的多个虚拟用户具有预定比例的相同兴趣；根据每个待创建的虚拟用户设置的兴趣，统计相同兴趣的真实用户的操作行为、操作内容以及操作时间；根据统计的真实用户的操作行为、操作内容以及操作时间，设置每个待创建的虚拟用户的操作行为配比、操作内容配比以及操作时间配比；根据设置的待创建的虚拟用户的兴趣配比、操作行为配比、操作内容配比、操作时间配比以及真实用户的操作行为、操作内容以及操作时间，创建多组中多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
在一些实例中，该方法进一步包括：根据每个虚拟用户的兴趣、操作行为、操作内容以及操作时间，设置每个虚拟用户在预置周期中不同时间段内执行不同操作行为的次数，作为所述次数阈值；当所述时间段到达时，执行所述获取每个虚拟用户对应的至少一个操作行为的步骤；当在所述预置周期内的所有时间段内，每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，执行所述获取每个虚拟用户的推荐信息的步骤。
优选地，通过该虚拟用户执行对应的操作行为，包括：选取该虚拟用户的类型对应的操作对象，向业务服务器发送操作行为请求，操作行为请求携带该虚拟用户的标识信息以及操作对象，以使业务服务器响应该操作行为请求并记录该虚拟用户的标识信息、操作行为以及操作对象；接收业务服务器返回的响应数据。其中，虚拟用户的类型根据虚拟用户的兴趣确定；
优选地，获取每个虚拟用户的推荐信息，包括：向业务服务器发送推荐信息的获取请求，所述获取请求携带虚拟用户的标识信息，以使所述业务服务器根据该虚拟用户的标识信息确定推荐信息；接收业务服务器返回的推荐信息。
优选地，根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性，包括：针对多个虚拟用户中的每个虚拟用户，统计多次推荐的推荐信息的数目、类型以及展示位置；当统计后的统计信息满足对应不同组内的多个虚拟用户或一组内的多个虚拟用户的兴趣配比的阈值，则确定业务服务器的推荐策略是优异的。
如图2所示，为本发明另一实施例中一种信息的评估装置，应用在评估服务器端，包括以下单元：
第一获取单元201，获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取该虚拟用户对应的至少一个操作行为。
执行单元202，当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该该操作行为对应的虚拟用户的类型相关联。
第二获取单元203，当每个虚拟用户执行所述至少一个操作行为的次数达到所述次数阈值时，获取每个虚拟用户的推荐信息。
确定单元204，根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
在一些实例中，该装置进一步包括：第三获取单元，获取不同的兴趣、操作行为、操作内容以及操作时间的多个真实用户；创建单元，根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
优选地，创建单元包括：划分模块，将多个待创建的虚拟用户划分为多组，并设置每组中的多个待创建的虚拟用户的兴趣配比，且每组中的多个虚拟用户具有预定比例的相同兴趣；统计模块，根据为每个待创建的虚拟用户设置的兴趣，统计相同兴趣的真实用户的操作行为、操作内容以及操作时间；设置模块，根据统计的真实用户的操作行为、操作内容以及操作时间，设置每个待创建的虚拟用户的操作行为配比、操作内容配比以及操作时间配比；创建模块，根据设置的待创建的虚拟用户的兴趣配比、操作行为配比、操作内容配比、操作时间配比以及真实用户的操作行为、操作内容以及操作时间，创建多组中多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
在一些实例中，该装置进一步包括：设置单元，根据每个虚拟用户的兴趣、操作行为、操作内容以及操作时间，设置每个虚拟用户在预置周期中不同时间段内执行不同操作行为的次数，作为所述次数阈值；当所述时间段到达时，所述执行单元执行所述获取每个虚拟用户对应的至少一个操作行为的步骤；当在所述预置周期内的所有时间段内，每个虚拟用户执行对应操作行为的次数均达到所述次数阈值时，第二获取单元执行获取每个虚拟用户的推荐信息的步骤。
优选地，执行单元202包括：选取模块，选取该虚拟用户的类型对应的操作对象，向所述业务服务器发送操作行为请求，操作行为请求携带该虚拟用户的标识信息以及操作对象，以使业务服务器响应该操作行为请求并记录该虚拟用户的标识信息、操作行为以及操作对象；接收模块，接收业务服务器返回的响应数据。其中，虚拟用户的类型根据虚拟用户的兴趣确定。
优选地，第二获取单元203，包括：发送模块，向所述业务服务器发送推荐信息的获取请求，所述获取请求携带虚拟用户的标识信息，以使所述业务服务器根据该虚拟用户的标识信息确定推荐信息；接收模块，接收所述业务服务器返回的推荐信息。
优选地，确定单元204包括：统计模块，针对多个虚拟用户中的每个虚拟用户，统计多次推荐的推荐信息的数目、类型以及展示位置；确定模块，当统计后的统计信息满足对应不同组内的多个虚拟用户或一组内的多个虚拟用户的兴趣配比的阈值，则确定业务服务器的推荐策略是优异的。
本发明实施例上述技术方案具有如下有益效果：获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户的至少一个操作行为；当任一虚拟用户执行操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为；从而完成用户的线下培养，根据线下培养的用户获取由推荐策略推荐的信息，并确定推荐策略的优劣性，从而能够线下对推荐策略进行评估，减少对用户的伤害行为。
需要说明的是，本申请的实施例中可以通过独立物理服务器实现，也可以通过服务器集群实现，当通过服务器集群实现时，可将服务器集群视为一个信息的评估系统，可以包括多个服务器。
以下结合应用实例对本发明实施例上述技术方案进行详细说明：
本发明应用实例旨是能够线下对推荐策略进行评估，减少对用户的伤害行为。
如图1所示，例如，可以通过评估服务器创建多个微博虚拟账号，包括微博账号ID以及密码，针对每个账号都需要根据微博线上真实用户的微博数据以及真实用户的注册信息对虚拟用户进行培养，如图3所示，针对多个虚拟账户中的每个账户，分为4个等级建立培养，可以包括：兴趣配比、行为配比、操作内容配比以及操作时间配比(即执行时间配比)。其中，兴趣配比为，将批量的微博虚拟账号分为多个账号组，每个虚拟账号组主兴趣一致，配比策略数据可调配，如，虚拟账号组1有50个账号，这个虚拟账号组1的主兴趣为“旅游”，其中账号组1中的虚拟账号1“旅游”兴趣占比90％，即操作的微博内容中90％是旅游相关，关注的账号中90％是旅游账号类型等等，剩下10％可以是美食以及宠物等，虚拟账号2“旅游”兴趣占比80％，剩下10％可以是美食以及宠物等，虚拟账号3“旅游”兴趣占比75％，剩下25％可以是美食、运动以及宠物等，虚拟账号4“旅游”兴趣占比70％，剩下10％可以是美食以及宠物等，其中，占比90％、80％、75％以及70％等的策略数据是人工设定。行为配比是指虚拟用户的兴趣获取方式，主要通过虚拟用户操作行为数据作为主要原始特征值。操作行为可分为三个维度，对“物料”(如，微博内容信息流)的操作，对“用户”的操作，对“标签”的操作。每种操作的行为，又分为正负两个方面。对物料操作而言，发物料、转发物料、评论物料、点赞物料等均为正面操作行为。删除物料、负反馈物料以及屏蔽物料等为负面操作行为，对用户操作而言，关注其他用户为正面操作，取消关注为负面操作，对标签操作而言，可以选择兴趣标签为正面操作，取消兴趣标签为负面操作。其中操作的策略数据(发物料条数，转发条数，关注用户的个数、取消用户的个数、选择兴趣标签个数以及取消兴趣标签个数等等)可参考线上服务相应的真实数据，可以分别统计线上高频、中频、低频用户每天的正负操作行为数据。操作内容配比是指针对正面操作行为，用户可表达自己不同的观点，包括正面观点、负面观点、中立即无观点。对微博内容信息流而言，用户评论旅游相关的微博，70％为正面，10％为负面，剩余为无观点。其中，占比70％、10％策略数据可参考线上服务相应的真实数据。执行时间点配比是指虚拟用户操作行为时间点不同，根据时间点不同可以将虚拟用户设置用户类别，如，正常用户通常早晚高峰操作，如，早8:00至10:00，晚20:00至22：00点，而营销类账号操作时间比较平均，可以根据时间点设置虚拟用户为全勤用户、高频用户以及低频用户等。全勤用户是天天登录的用户，高频用户是预置周期内登录次数高于高频阈值，低频用户是预置周期内登录次数低于高频阈值，高于低频阈值的用户。
在设置对待培养的虚拟账号进行属性设置完成后，对各个虚拟账号进行行为培养。如图5所示，评估服务器每天8:00:00定时触发培养系统加载策略数据配置文件confs，或者根据每天执行操作任务的时间来定时加载策略数据配置文件confs，配置文件包括两部分：第一部分设置各类虚拟账号一天各种动作操作总量以及每个时间段操作数量，同时初始化每个虚拟账号一天动作操作数据，也可以称之为每个虚拟账号的计数板，将每个计数板归零。策略数据配置文件为json格式，设置的内容可以为{{“type”：“全勤用户”，“动作1”：10，“动作2”：12，“动作3”：5，……，“t1”：10，“t2”：18，……}，{“type”：“高频用户”，“动作1”：8，……，“t1”：7，“t2”：16，……}，{“type”：“低频用户”，……}}。每个虚拟账号计数板采用redis进行存储，初始化虚拟账号可以为{“uid”:5058030579,“type”：“全勤用户”，“动作1”：[总数10，已完成0]，“动作2”：[总数12，已完成0]，……}。第二部分设置动作操作任务执行时间段，如，t[t1(t1～t1`),t2(t2～t2`),t3(t3～t3`),……]，即在t1～t1`，t2～t2`，t3～t3`等时间段内执行任务，也可以在这些时间到来时，触发培养系统加载策略数据配置文件confs。启动守护进程(一旦启动则只有评估服务器或评估系统关闭才停止)，判断当前时间整点是否在设置的操作时间范围内，如果在范围内，即当前小时h∈t[t1(t1～t1`),t2(t2～t2`),t3(t3～t3`),……]，则启动执行虚拟账号培养任务进程。账号培养任务进程是从账号池中批量获取已设置好的虚拟账号，启动多线程，即多账号并发执行。多线程中的每个线程执行任务内容为，虚拟账号通过微博业务服务器登录成功后，从“动作池”中随机获取一项动作，如，发一条微博，查询动作数量是否达到总值，“动作发微博”：[总数10，已完成0]中已完成动作还未0，未到达10，此虚拟账号操作该动作发一条微博，并且计数板对应动作“已完成”的数量加1，如果此动作数量达到总值10，再次从“动作池”中随机获取其他动作进行执行，循环直到本次所有动作次数达到t时间段内设置的数目，结束此虚拟账号培养任务线程。当所有账号线程任务结束，则本次t时间段内的培养任务进程结束。.在设置的每个时间段内，虚拟账号培养任务进程均执行完毕，则一天的培养任务结束。通过上述对虚拟账号的动作培养能够让培养账号行为更具有随机性，尽量模拟现实中用户的实际行为。其中，type为用户类型，uid为虚拟用户ID。
已经完成兴趣培养的虚拟账号，分别向微博业务服务器发送获取请求，该获取请求携带虚拟用户的标识可以为虚拟用户ID，以获取微博业务服务器推荐的微博内容，此时微博业务服务器可以设置多个业务服务器，一部分微博业务服务器配置了线上已有的推荐服务，如已有的推荐策略(或已有推荐算法)和一部分微博业务服务器配置了线上新的推荐服务，如新的推荐策略(或新推荐算法)，用于推荐微博，根据各个虚拟账号获取到的推荐微博内容，统计推荐的物料各个属性值，如，微博内容类型、数量以及各个微博在推荐信息中的位置，该位置可以反映该微博的重要度，来最终判断新推荐策略或新推荐算法的优劣。统计内容主要为：本次请求虚拟账号的属性值，如，该虚拟账号所述账号组以及兴趣类型，请求次数、返回的推荐物料标签或类型、物料在信息流的位置以及物料条数等信息。针对虚拟账号请求推荐服务结束条件，可人工设置请求结束次数，或是根据信息流策略特点进行服务请求结束。根据策略不同，从不同的维度进行分析。如，可从标签维度统计，主兴趣为“旅游”的一个虚拟账号请求服务后，推荐的物料中70％的标签为“旅游”，若该虚拟账号的旅游占比为80％且该旅游推荐率可以在阈值范围内，则视为新推荐策略是优异的，若不在则视为新推荐策略差。也可从兴趣百分比维度统计，例如虚拟账号每种兴趣从100％至10％衰减，推荐物料分类与请求账号兴趣一致的分布，也是从100％至10％衰减，或者在一定的阈值范围内，则可视为新推荐策略是优异的，否则视为新推荐策略差等等。
本技术方案基于获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户的至少一个操作行为；当任一虚拟用户执行操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为；从而完成用户的线下培养，根据线下培养的用户获取由推荐策略推荐的信息，并确定推荐策略的优劣性，从而能够线下对推荐策略进行评估，减少对用户的伤害行为。
需要说明的是，当虚拟账号执行相应动作时，可以从物料池中获取与该虚拟账号的属性信息相对类型的物料，如，虚拟账号2“旅游”兴趣占比80％，剩下10％可以是美食以及宠物等，则可以获取类型为旅游、美食或宠物的微博内容进行操作，如发表微博内容等。
其中，信息流：是一种数据展现格式，基于用户的兴趣或关注动态，依照特定策略进行信息聚合，并不断向用户提供更新内容(例如微博采用Feed信息流格式)。
推荐物料：信息流中单条消息可称为物料。基于用户兴趣，通过机器学习算法推荐给用户的物料称为推荐物料。其中机器学习算法也可称为推荐策略。
账号培养：通过人工线下操作培养，将一批测试账号的兴趣映射到互联网各个领域。
物料统计：统计推荐的物料数目、标签类型、信息流中的位置等信息数据。
操作对象可以包括微博内容。
如图4所示，.物料池可以通过物料池构建系统构建，该物料池构建系统可以在评估服务器实现，也可以在物料池构建服务器实现。其中，在构建物料池时，通过中间件从大数据相关部门获取线上真实数据作为物料，同时获取相应数据的标签作为物料的分类，依据分类，数据入库物料池。以微博举例，通过测试管理机mcq推送真实微博内容以及标签，.物料，如微博内容，按照“标签”分类入库：每日入库量为约为1000条。如果服务推送过来的微博内容标签为“旅游”，则此数据入库物料池的分类则为“旅游”。
为精准培养账号兴趣，要求物料池中的数据分类准确。通过数据相关部门计算物料标签分类会有百分比误差。所以为尽量减少分类误差，需要审核。评估服务器中的物料审核模块根据接收到的筛选条件查询物料，人工评判物料与已有标签是否一致，不一致则进行修改标签。
物料数据内容中如果出现敏感词、特定词为不影响线上数据以及相关功能，定时任务进行物料内容扫描，如果出现违规内容，则自动发邮件相关人员进行处理。同时定时任务会清理部分标签下的“过时”物料数据。以微博举例，垂直领域“新闻”，“社会”，“时事”等标签下的物料，定时任务会删除3天前物料数据。
需要说明的是，图4中的物料池构建系统、账号兴趣培养系统以及推送算法测评系统或推送策略测评系统可以分别由不同的服务器来实现，可以至少两个服务器组成服务器集群来实现本申请的实施例。
在一些实例中，该方法进一步包括：获取不同的兴趣、操作行为、操作内容以及操作时间的多个真实用户；根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
优选地，根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户，包括：将多个待创建的虚拟用户划分为多组，并设置每组中的多个待创建的虚拟用户的兴趣配比，且每组中的多个虚拟用户具有预定比例的相同兴趣；根据每个待创建的虚拟用户设置的兴趣，统计相同兴趣的真实用户的操作行为、操作内容以及操作时间；根据统计的真实用户的操作行为、操作内容以及操作时间，设置每个待创建的虚拟用户的操作行为配比、操作内容配比以及操作时间配比；根据设置的待创建的虚拟用户的兴趣配比、操作行为配比、操作内容配比、操作时间配比以及真实用户的操作行为、操作内容以及操作时间，创建多组中多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
其中，操作行为可以包括但不限于：发微博、点赞微博、转发微博等。操作内容包括评论微博内容。
例如，根据前文所述，根据线上真实用户作为参考依据，将批量的微博虚拟账号分为多个账号组，每个虚拟账号组主兴趣一致，配比策略数据可人为调配，如，虚拟账号组1有50个账号，这个虚拟账号组1的主兴趣为“旅游”，其中账号组1中的虚拟账号1“旅游”兴趣占比90％，即操作的微博内容中90％是旅游相关，关注的账号中90％是旅游账号类型等等，剩下10％可以是美食以及宠物等，虚拟账号2“旅游”兴趣占比80％，剩下10％可以是美食以及宠物等，虚拟账号3“旅游”兴趣占比75％，剩下25％可以是美食、运动以及宠物等，虚拟账号4“旅游”兴趣占比70％，剩下10％可以是美食以及宠物等，其中，占比90％、80％、75％以及70％等的策略数据是人工设定。行为配比是指虚拟用户的兴趣获取，主要通过虚拟用户操作行为数据作为主要原始特征值。操作行为可分为三个维度，对“物料”(如，微博内容信息流)的操作，对“用户”的操作，对“标签”的操作。每种操作的行为，又分为正负两个方面。对物料操作而言，发物料、转发物料、评论物料、点赞物料等均为正面操作行为。删除物料、负反馈物料以及屏蔽物料等为负面操作行为，对用户操作而言，关注其他用户为正面操作，取消关注为负面操作，对标签操作而言，可以选择兴趣标签为正面操作，取消兴趣标签为负面操作。其中操作的策略数据(发物料条数，转发条数，关注用户的个数、取消用户的个数、选择兴趣标签个数以及取消兴趣标签个数等等)可参考线上服务相应的真实数据，可以分别统计线上高频、中频、低频用户每天的正负操作行为数据。操作内容配比是指针对正面操作行为，用户可表达自己不同的观点，包括正面观点、负面观点、中立即无观点。对微博内容信息流而言，用户评论旅游相关的微博，70％为正面，10％为负面，剩余为无观点。其中，占比70％、10％策略数据可参考线上服务相应的真实数据。执行时间点配比是指虚拟用户操作行为时间点不同，根据时间点不同可以将虚拟用户设置用户类别，如，正常用户通常早晚高峰操作，如，早8:00至10:00，晚20:00至22：00点，而营销类账号操作时间比较平均，可以根据时间点设置虚拟用户为全勤用户、高频用户以及低频用户等。
在一些实例中，该方法进一步包括：根据每个虚拟用户的兴趣、操作行为、操作内容以及操作时间，设置每个虚拟用户在预置周期中不同时间段内执行不同操作行为的次数，作为所述次数阈值；当所述时间段到达时，执行所述获取每个虚拟用户对应的至少一个操作行为的步骤；当在所述预置周期内的所有时间段内，每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，执行获取每个虚拟用户的推荐信息的步骤。
优选地，获取每个虚拟用户的推荐信息，包括：向业务服务器发送推荐信息的获取请求，获取请求携带虚拟用户的标识信息，以使业务服务器根据该虚拟用户的标识信息确定推荐信息；接收业务服务器返回的推荐信息。
其中，推荐信息可以为推荐微博内容。
例如，根据前文所述，参考线上真实用户的实际操作以及不同虚拟用户的兴趣、操作行为、操作内容以及操作时间，可以设置虚拟用户的内容可以为{{“type”：“全勤用户”，“动作1”：10，“动作2”：12，“动作3”：5，……，“t1”：10，“t2”：18，……}，{“type”：“高频用户”，“动作1”：8，……，“t1”：7，“t2”：16，……}，{“type”：“低频用户”，……}}。每个虚拟账号计数板采用redis进行存储，初始化虚拟账号可以为{“uid”:5058030579,“type”：“全勤用户”，“动作1”：[总数10，已完成0]，“动作2”：[总数12，已完成0]，……}。设置动作操作任务执行时间段，如，t[t1(t1～t1`),t2(t2～t2`),t3(t3～t3`),……]，即在t1～t1`，t2～t2`，t3～t3`等时间段内执行任务，当前小时h∈t[t1(t1～t1`),t2(t2～t2`),t3(t3～t3`),……]，则启动执行虚拟账号培养任务进程。账号培养任务进程是从账号池中批量获取已设置好的虚拟账号，启动多线程，即多账号并发执行。多线程中的每个线程执行任务内容为，虚拟账号通过微博业务服务器登录成功后，从“动作池”中随机获取一项动作，如，发一条微博，查询动作数量是否达到总值，“动作发微博”：[总数10，已完成0]中已完成动作还未0，未到达10，此虚拟账号操作该动作发一条微博，并且计数板对应动作“已完成”的数量加1，如果此动作数量达到总值10，再次从“动作池”中随机获取其他动作进行执行，循环直到本次所有动作次数达到t时间段内设置的数目，结束此虚拟账号培养任务线程。当所有账号线程任务结束，则本次t时间段内的培养任务进程结束。.在设置的每个时间段内，虚拟账号培养任务进程均执行完毕，则一天的培养任务结束。
已经完成兴趣培养的虚拟账号，通过评估服务器分别向微博业务服务器发送获取请求，该获取请求携带虚拟用户的标识可以为虚拟用户ID，以获取微博业务服务器推荐的微博内容，此时微博业务服务器可以设置多个服务器，一部分微博业务服务器配置了线上已有的推荐服务，如已有的推荐策略(或已有推荐算法)和一部分微博业务服务器配置了线上新的推荐服务，如新的推荐策略(或新推荐算法)，用于推荐微博。当业务服务器接收到该获取请求，根据虚拟用户的ID，通过对应的推荐策略推荐微博内容给虚拟用户。
优选地，通过该虚拟用户执行对应的操作行为，包括：选取该虚拟用户的类型对应的操作对象，向业务服务器发送操作行为请求，操作行为请求携带该虚拟用户的标识信息以及操作对象，以使业务服务器响应该操作行为请求并记录该虚拟用户的标识信息、操作行为以及操作对象；接收业务服务器返回的响应数据。
其中，虚拟用户的类型根据虚拟用户的兴趣确定，例如，虚拟用户A的兴趣配比为80％旅游、10％宠物以及10％美食，那么虚拟用户A的类型也可以是80％旅游、10％宠物以及10％美食。选取该虚拟用户的类型对应的操作对象可以为选取该虚拟用户的兴趣对应的操作对象，如选取虚拟用户A的兴趣旅游对应的微博内容。
例如，根据前文所述，从物料池中选取与虚拟用户的标签“旅游”相对应的微博内容，并发送发表请求至微博业务服务器，该发表请求携带虚拟用户的ID以及微博内容，微博业务服务器接收到该请求后，对请求进行记录同时将微博内容推送至对应的其他用户，以便其他用户可以查看，返回发表成功的响应数据，该响应数据还可以携带该微博内容使得该虚拟用户查看到。
优选地，根据获取到的多个虚拟用户的推荐信息，确定用于推荐推荐信息的推荐策略的优劣性，包括：针对多个虚拟用户中的每个虚拟用户，统计多次推荐的推荐信息的数目、类型以及展示位置；当统计后的统计信息满足对应不同组内的多个虚拟用户或一组内的多个虚拟用户的兴趣配比的阈值，则确定业务服务器的推荐策略是优异的。
例如，根据前文所述，根据各个虚拟账号获取到的推荐微博内容，统计推荐的物料各个属性值，如，微博内容类型、数量以及各个微博在推荐信息中的位置，该位置可以反映该微博的重要度，来最终判断新推荐策略或新推荐算法的优劣。统计内容主要为：本次请求虚拟账号的属性值，如，该虚拟账号所述账号组以及兴趣类型，请求次数、返回的推荐物料标签或类型、物料在信息流的位置以及物料条数等信息。针对虚拟账号请求推荐服务结束条件，可人工设置请求结束次数，或是根据信息流策略特点进行服务请求结束。根据策略不同，从不同的维度进行分析。如，可从标签维度统计，主兴趣为“旅游”的一个虚拟账号请求服务后，推荐的物料中70％的标签为“旅游”，若该虚拟账号的旅游占比为80％且该旅游推荐率可以在阈值范围内，则视为新推荐策略是优异的，若不在则视为新推荐策略差。也可从兴趣百分比维度统计，例如虚拟账号每种兴趣从100％至10％衰减，推荐物料分类与请求账号兴趣一致的分布，也是从100％至10％衰减，或者在一定的阈值范围内，则可视为新推荐策略是优异的，否则视为新推荐策略差等等。
.在一些实例中，该方法还可以包括：对失败操作行为的修复：当虚拟账号进行操作行为失败，则将失败消息推送至失败队列，启动定时任务，检测失败队列中的失败消息进行程序漏洞的修复。此时，操作行为会继续进行直到操作行为次数满足条件为止。
在一些实例中，该方法还可以包括针对培养的用户虚拟账号进行增、删、改、查操作，当接收到增、删、改、查的相应命令或指令，则对虚拟账号进行增、删、改、查等。
本申请的实施例最大限度模拟真实用户行为。预知推荐算法的准确性，评估算法的优劣，从而减少对线上真实实验组用户的体验伤害。
本发明实施例提供了一种信息的评估装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种信息的评估方法，其特征在于，应用在评估服务器端，包括：
获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户对应的至少一个操作行为；
当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该操作行为对应的虚拟用户的类型相关联；
当多个虚拟用户中的每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，获取每个虚拟用户的推荐信息；
根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
获取不同的兴趣、操作行为、操作内容以及操作时间的多个真实用户；
根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
3.根据权利要求2所述的方法，其特征在于，所述根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户，包括：
将多个待创建的虚拟用户划分为多组，并设置每组中的多个待创建的虚拟用户的兴趣配比，且每组中的多个虚拟用户具有预定比例的相同兴趣；
根据为每个待创建的虚拟用户设置的兴趣，统计相同兴趣的真实用户的操作行为、操作内容以及操作时间；
根据统计的真实用户的操作行为、操作内容以及操作时间，设置每个待创建的虚拟用户的操作行为配比、操作内容配比以及操作时间配比；
根据设置的待创建的虚拟用户的兴趣配比、操作行为配比、操作内容配比、操作时间配比以及真实用户的操作行为、操作内容以及操作时间，创建多组中多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
根据每个虚拟用户的兴趣、操作行为、操作内容以及操作时间，设置每个虚拟用户在预置周期中不同时间段内执行不同操作行为的次数，作为所述次数阈值；
当所述时间段到达时，执行所述获取每个虚拟用户对应的至少一个操作行为的步骤；
当在所述预置周期内的所有时间段内，每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，执行所述获取每个虚拟用户的推荐信息的步骤。
5.根据权利要求1所述的方法，其特征在于，所述通过该虚拟用户执行对应的操作行为，包括：
选取该虚拟用户的类型对应的操作对象，向所述业务服务器发送操作行为请求，所述操作行为请求携带该虚拟用户的标识信息以及所述操作对象，以使所述业务服务器响应该操作行为请求并记录该虚拟用户的标识信息、操作行为以及操作对象；其中，虚拟用户的类型根据虚拟用户的兴趣确定；
接收所述业务服务器返回的响应数据。
6.根据权利要求1所述的方法，其特征在于，所述获取每个虚拟用户的推荐信息，包括：
向所述业务服务器发送推荐信息的获取请求，所述获取请求携带虚拟用户的标识信息，以使所述业务服务器根据该虚拟用户的标识信息确定推荐信息；
接收所述业务服务器返回的推荐信息。
7.根据权利要求3所述的方法，其特征在于，所述根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性，包括：
针对多个虚拟用户中的每个虚拟用户，统计多次推荐的推荐信息的数目、类型以及展示位置；
当统计后的统计信息满足对应不同组内的多个虚拟用户或一组内的多个虚拟用户的兴趣配比的阈值，则确定业务服务器的推荐策略是优异的。
8.一种信息的评估装置，其特征在于，应用在评估服务器端，包括：
第一获取单元，获取多个虚拟用户，并针对多个虚拟用户中的每个虚拟用户，获取每个虚拟用户对应的至少一个操作行为；
执行单元，当多个虚拟用户中的任一虚拟用户执行对应的操作行为的次数小于次数阈值时，通过该虚拟用户执行对应的操作行为，其中，每个操作行为对应的操作对象与该该操作行为对应的虚拟用户的类型相关联；
第二获取单元，当多个虚拟用户中的每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，获取每个虚拟用户的推荐信息；
确定单元，根据获取到的多个虚拟用户的推荐信息，确定用于推荐所述推荐信息的推荐策略的优劣性。
9.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：
第三获取单元，获取不同的兴趣、操作行为、操作内容以及操作时间的多个真实用户；
创建单元，根据所述多个真实用户，创建多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
10.根据权利要求9所述的装置，其特征在于，所述创建单元包括：
划分模块，将多个待创建的虚拟用户划分为多组，并设置每组中的多个待创建的虚拟用户的兴趣配比，且每组中的多个虚拟用户具有预定比例的相同兴趣；
统计模块，根据为每个待创建的虚拟用户设置的兴趣，统计相同兴趣的真实用户的操作行为、操作内容以及操作时间；
设置模块，根据统计的真实用户的操作行为、操作内容以及操作时间，设置每个待创建的虚拟用户的操作行为配比、操作内容配比以及操作时间配比；
创建模块，根据设置的待创建的虚拟用户的兴趣配比、操作行为配比、操作内容配比、操作时间配比以及真实用户的操作行为、操作内容以及操作时间，创建多组中多个不同的兴趣配比、操作行为配比、操作内容配比以及操作时间配比的虚拟用户。
11.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：
设置单元，根据每个虚拟用户的兴趣、操作行为、操作内容以及操作时间，设置每个虚拟用户在预置周期中不同时间段内执行不同操作行为的次数，作为所述次数阈值；
当所述时间段到达时，所述执行单元执行所述获取每个虚拟用户对应的至少一个操作行为的步骤；
当在所述预置周期内的所有时间段内，每个虚拟用户执行对应的操作行为的次数均达到所述次数阈值时，第二获取单元执行所述获取每个虚拟用户的推荐信息的步骤。
12.根据权利要求8所述的装置，其特征在于，所述执行单元包括：
选取模块，选取该虚拟用户的类型对应的操作对象，向所述业务服务器发送操作行为请求，所述操作行为请求携带该虚拟用户的标识信息以及所述操作对象，以使所述业务服务器响应该操作行为请求并记录该虚拟用户的标识信息、操作行为以及操作对象；其中，虚拟用户的类型根据虚拟用户的兴趣确定；
接收模块，接收所述业务服务器返回的响应数据。
13.根据权利要求8所述的装置，其特征在于，所述第二获取单元，包括：
发送模块，向所述业务服务器发送推荐信息的获取请求，所述获取请求携带虚拟用户的标识信息，以使所述业务服务器根据该虚拟用户的标识信息确定推荐信息；
接收模块，接收所述业务服务器返回的推荐信息。
14.根据权利要求10所述的装置，其特征在于，所述确定单元包括：
统计模块，针对多个虚拟用户中的每个虚拟用户，统计多次推荐的推荐信息的数目、类型以及展示位置；
确定模块，当统计后的统计信息满足对应不同组内的多个虚拟用户或一组内的多个虚拟用户的兴趣配比的阈值，则确定业务服务器的推荐策略是优异的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811372716.9A CN109614301B (zh) | 2018-11-19 | 2018-11-19 | 一种信息的评估方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811372716.9A CN109614301B (zh) | 2018-11-19 | 2018-11-19 | 一种信息的评估方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109614301A true CN109614301A (zh) | 2019-04-12 |
| CN109614301B CN109614301B (zh) | 2024-01-26 |
Family
ID=66003403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811372716.9A Active CN109614301B (zh) | 2018-11-19 | 2018-11-19 | 一种信息的评估方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614301B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223163A (zh) * | 2019-06-06 | 2019-09-10 | 杭州奕奕网络科技有限公司 | 中介管理系统及反欺诈数据分析方法 |
| WO2020211840A1 (zh) * | 2019-04-18 | 2020-10-22 | 第四范式（北京）技术有限公司 | 物料推荐方法和系统 |
| CN112035303A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 一种数据测试方法、装置、计算机及可读存储介质 |
| CN112487261A (zh) * | 2020-10-30 | 2021-03-12 | 贝壳技术有限公司 | 数据的获取方法、装置、电子设备和介质 |
| WO2021090142A1 (en) * | 2019-11-05 | 2021-05-14 | International Business Machines Corporation | Intelligent agent to simulate customer data |
| CN113159810A (zh) * | 2020-01-22 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 策略评估方法、装置、设备及存储介质 |
| CN114201412A (zh) * | 2022-02-16 | 2022-03-18 | 广东数源智汇科技有限公司 | 一种搜索引擎的千人千面程度测评方法 |
| US11461793B2 (en) | 2019-11-05 | 2022-10-04 | International Business Machines Corporation | Identification of behavioral pattern of simulated transaction data |
| US11461728B2 (en) | 2019-11-05 | 2022-10-04 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for consortium sharing |
| US11475467B2 (en) | 2019-11-05 | 2022-10-18 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for realistic modeling |
| US11475468B2 (en) | 2019-11-05 | 2022-10-18 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for detection model sharing across entities |
| US11488172B2 (en) | 2019-11-05 | 2022-11-01 | International Business Machines Corporation | Intelligent agent to simulate financial transactions |
| US11488185B2 (en) | 2019-11-05 | 2022-11-01 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for consortium sharing |
| US11494835B2 (en) | 2019-11-05 | 2022-11-08 | International Business Machines Corporation | Intelligent agent to simulate financial transactions |
| US11556734B2 (en) | 2019-11-05 | 2023-01-17 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for realistic modeling |
| US11599884B2 (en) | 2019-11-05 | 2023-03-07 | International Business Machines Corporation | Identification of behavioral pattern of simulated transaction data |
| US11676218B2 (en) | 2019-11-05 | 2023-06-13 | International Business Machines Corporation | Intelligent agent to simulate customer data |
| US11842357B2 (en) | 2019-11-05 | 2023-12-12 | International Business Machines Corporation | Intelligent agent to simulate customer data |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030115278A1 (en) * | 2001-12-13 | 2003-06-19 | Goker Mehmet H. | Method and system for personalizing content to be delivered to a group factoring into account individual interests of each group member |
| WO2011142615A2 (ko) * | 2010-05-14 | 2011-11-17 | Kim Ji Woong | 가상 가치지표를 이용한 댓글 추천 방법, 그 시스템, 웹 서버, 및 웹 서비스시스템 |
| CN102446192A (zh) * | 2010-09-30 | 2012-05-09 | 国际商业机器公司 | 在虚拟世界中评估关注度的方法和装置 |
| CN102855241A (zh) * | 2011-06-28 | 2013-01-02 | 上海迈辉信息技术有限公司 | 一种多指标专家推荐系统及其实现方法 |
| CN104572937A (zh) * | 2014-12-30 | 2015-04-29 | 杭州云象网络技术有限公司 | 一种基于室内生活圈的线下好友推荐方法 |
| CN105208409A (zh) * | 2015-08-28 | 2015-12-30 | 北京奇艺世纪科技有限公司 | 一种信息推荐方法及装置 |
| CN105893350A (zh) * | 2016-03-31 | 2016-08-24 | 重庆大学 | 一种电子商务中文本评论质量的评价方法与系统 |
| CN106844769A (zh) * | 2017-02-27 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 结合穿越模式以及限时阅读模式的信息流推荐方法和装置 |
| CN107391692A (zh) * | 2017-07-26 | 2017-11-24 | 腾讯科技（北京）有限公司 | 一种推荐效果的评估方法及装置 |
| CN107657034A (zh) * | 2017-09-28 | 2018-02-02 | 武汉大学 | 一种社交信息增强的事件社交网络推荐算法 |
-
2018
- 2018-11-19 CN CN201811372716.9A patent/CN109614301B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030115278A1 (en) * | 2001-12-13 | 2003-06-19 | Goker Mehmet H. | Method and system for personalizing content to be delivered to a group factoring into account individual interests of each group member |
| WO2011142615A2 (ko) * | 2010-05-14 | 2011-11-17 | Kim Ji Woong | 가상 가치지표를 이용한 댓글 추천 방법, 그 시스템, 웹 서버, 및 웹 서비스시스템 |
| CN102446192A (zh) * | 2010-09-30 | 2012-05-09 | 国际商业机器公司 | 在虚拟世界中评估关注度的方法和装置 |
| CN102855241A (zh) * | 2011-06-28 | 2013-01-02 | 上海迈辉信息技术有限公司 | 一种多指标专家推荐系统及其实现方法 |
| CN104572937A (zh) * | 2014-12-30 | 2015-04-29 | 杭州云象网络技术有限公司 | 一种基于室内生活圈的线下好友推荐方法 |
| CN105208409A (zh) * | 2015-08-28 | 2015-12-30 | 北京奇艺世纪科技有限公司 | 一种信息推荐方法及装置 |
| CN105893350A (zh) * | 2016-03-31 | 2016-08-24 | 重庆大学 | 一种电子商务中文本评论质量的评价方法与系统 |
| CN106844769A (zh) * | 2017-02-27 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 结合穿越模式以及限时阅读模式的信息流推荐方法和装置 |
| CN107391692A (zh) * | 2017-07-26 | 2017-11-24 | 腾讯科技（北京）有限公司 | 一种推荐效果的评估方法及装置 |
| CN107657034A (zh) * | 2017-09-28 | 2018-02-02 | 武汉大学 | 一种社交信息增强的事件社交网络推荐算法 |
Non-Patent Citations (1)
| Title |
|---|
| 王丹: "在线个性化推荐系统用户采纳影响因素研究", no. 07, pages 157 - 100 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020211840A1 (zh) * | 2019-04-18 | 2020-10-22 | 第四范式（北京）技术有限公司 | 物料推荐方法和系统 |
| CN110223163A (zh) * | 2019-06-06 | 2019-09-10 | 杭州奕奕网络科技有限公司 | 中介管理系统及反欺诈数据分析方法 |
| US11494835B2 (en) | 2019-11-05 | 2022-11-08 | International Business Machines Corporation | Intelligent agent to simulate financial transactions |
| US11475468B2 (en) | 2019-11-05 | 2022-10-18 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for detection model sharing across entities |
| WO2021090142A1 (en) * | 2019-11-05 | 2021-05-14 | International Business Machines Corporation | Intelligent agent to simulate customer data |
| US11599884B2 (en) | 2019-11-05 | 2023-03-07 | International Business Machines Corporation | Identification of behavioral pattern of simulated transaction data |
| US11676218B2 (en) | 2019-11-05 | 2023-06-13 | International Business Machines Corporation | Intelligent agent to simulate customer data |
| US11842357B2 (en) | 2019-11-05 | 2023-12-12 | International Business Machines Corporation | Intelligent agent to simulate customer data |
| GB2605054A (en) * | 2019-11-05 | 2022-09-21 | Ibm | Intelligent agent to simulate customer data |
| US11461793B2 (en) | 2019-11-05 | 2022-10-04 | International Business Machines Corporation | Identification of behavioral pattern of simulated transaction data |
| US11461728B2 (en) | 2019-11-05 | 2022-10-04 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for consortium sharing |
| US11475467B2 (en) | 2019-11-05 | 2022-10-18 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for realistic modeling |
| US11556734B2 (en) | 2019-11-05 | 2023-01-17 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for realistic modeling |
| US11488172B2 (en) | 2019-11-05 | 2022-11-01 | International Business Machines Corporation | Intelligent agent to simulate financial transactions |
| US11488185B2 (en) | 2019-11-05 | 2022-11-01 | International Business Machines Corporation | System and method for unsupervised abstraction of sensitive data for consortium sharing |
| CN113159810B (zh) * | 2020-01-22 | 2024-06-04 | 百度在线网络技术（北京）有限公司 | 策略评估方法、装置、设备及存储介质 |
| CN113159810A (zh) * | 2020-01-22 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 策略评估方法、装置、设备及存储介质 |
| CN112035303A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 一种数据测试方法、装置、计算机及可读存储介质 |
| CN112487261B (zh) * | 2020-10-30 | 2022-12-30 | 贝壳技术有限公司 | 数据的获取方法、装置、电子设备和介质 |
| CN112487261A (zh) * | 2020-10-30 | 2021-03-12 | 贝壳技术有限公司 | 数据的获取方法、装置、电子设备和介质 |
| CN114201412B (zh) * | 2022-02-16 | 2022-05-06 | 广东数源智汇科技有限公司 | 一种搜索引擎的千人千面程度测评方法 |
| CN114201412A (zh) * | 2022-02-16 | 2022-03-18 | 广东数源智汇科技有限公司 | 一种搜索引擎的千人千面程度测评方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109614301B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614301A (zh) | 一种信息的评估方法和装置 | |
| US20160210657A1 (en) | Real-time marketing campaign stimuli selection based on user response predictions | |
| CN109285075A (zh) | 一种理赔风险评估方法、装置及服务器 | |
| CN109767259A (zh) | 基于埋点数据的运营活动推广方法、装置、设备及介质 | |
| US20130262188A1 (en) | Social media brand management | |
| CN109685559A (zh) | 基于大数据分析的抽奖方法、装置、设备及存储介质 | |
| CN109767188A (zh) | 基于区块链的员工激励方法、装置、设备及存储介质 | |
| CN107851105A (zh) | 具有副本位置选择的分布式存储系统 | |
| CN106803975B (zh) | 广告测试方法和装置、测试平台 | |
| CN106663258A (zh) | 通过混合的基于统计和用户测量方法测量多屏幕互联网用户概况、交易行为和用户群体结构 | |
| CN106874316A (zh) | 一种用户汇总数据的展示方法、装置及服务器 | |
| Grinshpan | Solving enterprise applications performance puzzles: queuing models to the rescue | |
| CN108074158A (zh) | 共享租赁平台的用户推荐页面展示方法、装置及服务器 | |
| CN109948882A (zh) | 基于区块数据结构的任务处理方法及相关设备 | |
| CN108629560A (zh) | 任务派发方法、电子设备及存储介质 | |
| CN108415970B (zh) | 检索结果排序方法、装置、电子设备及存储介质 | |
| CN109815421A (zh) | 一种信息的生成方法、系统和装置 | |
| JP2002109187A (ja) | 営業管理方法、営業管理システム及び記録媒体 | |
| CN110162609A (zh) | 用于向用户推荐咨询问题的方法及装置 | |
| CN107273112A (zh) | 一种礼物榜单信息显示方法及装置 | |
| CN108021996A (zh) | 一种预约体验美容资源的方法及服务平台 | |
| CN107241389A (zh) | 服务处理方法和装置 | |
| CN107093092A (zh) | 数据分析方法和装置 | |
| CN106020732A (zh) | 节点的磁盘空间确定方法及系统 | |
| CN108694610A (zh) | 优惠券门槛影响范围计算方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |