CN106598741A - 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 - Google Patents
个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 Download PDFInfo
- Publication number
- CN106598741A CN106598741A CN201611169838.9A CN201611169838A CN106598741A CN 106598741 A CN106598741 A CN 106598741A CN 201611169838 A CN201611169838 A CN 201611169838A CN 106598741 A CN106598741 A CN 106598741A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- personalized recommendation
- flow
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 111
- 230000008569 process Effects 0.000 claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种个性化推荐系统的分布式A/B测试方法，包括，数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
Description
技术领域
本发明涉及视频播放技术领域，特别是涉及一种个性化推荐系统的分布式A/B测试方法、系统及视频推荐系统。
背景技术
中国专利105913145 A公开了一种基于数据驱动的A/B测试方法，其采用的A/B测试设计是采用基于数据驱动基于模块化的测试，多种组合情况，需要构建多种模块，测试系统开发量和系统构建比较复杂，随着测试用例的增加，系统维护的成本也慢慢的增加，即对多组合情况测试支持不好。同时对应反馈的数据统计设计不够灵活，只能针对于模块为单位进行编码统计，即版本组合整体情况进行统计和效果测试，无法内部细节难以进行测试对比，即难以找出版本组合之间是因为那个具体流程中的方法导致其衡量指标的下降，查询问题细节还需要再次进行A/B测试，无形中由于设计的不合理，增加了工作量。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种个性化推荐系统的分布式A/B测试方法和装置，可以清楚的知道系统或模块改变After/Before的整体效果和模块内部各个流程的效果变化情况。
为实现本发明的目的所采用的技术方案是：
一种个性化推荐系统的分布式A/B测试方法，包括，
数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；
客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。
所述的模块内或者系统内流程包括召回流程、配比流程、排序流程、和谐性处理流程。
所述的再分流步骤在配比流程中进行。
服务器对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
一种个性化推荐系统的分布式A/B测试系统，包括
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
所述的模块内或者系统内的流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行。
还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
一种具有所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。
与现有技术相比，本发明的有益效果是：
本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪。对用户请求使用的数据进行数据打TAG，TAG的设计即为数据DNA，记录其是从哪个流量、哪个召回模型、哪个配比、哪个排序、哪个和谐性处理的方法编号产生的，然后通过行为点的类别打TAG，如展示、点击等通过日志把数据DNA透传回来，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
附图说明
图1所示为本发明的个性化推荐系统的分布式A/B测试方法的数据分流流程架构图
图2所示为数据打标识的流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
个性化推荐系统从数据流程来看，包括召回模型、配比、排序、和谐性处理，对于每个流程模块都会存在很多版本或者方法，流程模块之间的组合情况也是成倍的增长，通过对各种方法组合进行效果对比测试，挑选出衡量指标比较好的方法，作为优化方向，成为个性化推荐系统快速找出迭代和优化方向重要手段。本发明可以支持多个版本组合和细节方法测试的A/B测试系统成为其解决方案。
如图所示，本发明的个性化推荐系统的分布式A/B测试方法，包括，
步骤101，数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
在数据上增加模块或系统的标识，一般该标识即为系统或模块的版本号，即相当于在数据上打TAG,建立数据DNA，实现数据的全程各细节轨迹可溯。以个性化视频推荐系统为例，对于分流控制这步，是在新老版本模块进行分流，
步骤102，数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
针对个性化推荐系统，一般内部流程模块包括召回流程、配比流程、排序流程、和谐性处理流程，模块内部的分流控制在配比流程进行控制，因为配比流程上承召回流程，即推荐数据源，下承对数据源的加工，如排序流程、和谐性处理流程。性化推荐系统的A/B测试通过两部分的分流控制可以控制模块间的分流控制，对于模块内部也按流程步骤进行分流控制，增加分流控制的灵活性。同时，在每次分流产生不同时都增加了TAG，构建了完整轨迹式DNA，实现了模块间组合、模块内各流程步骤组合的分别记载，在后续数据处理后可进行各种组合的统计分析；
对于个性化推荐系统，通过对不同模块或者个性化推荐系统整体的版本进行构建版本号，个性化推荐系统内部，为四个数据流程的方法也进行编码，即推荐结果的数据经过个性化推荐加工后，会打上这样的一个TAG，它是有那个版本的推荐系统或者模块产生的、模块内是通过那个召回模型、那个配比方法、那个排序方法、那个和谐性处理方法产生的，即通过模块ID，召回模型ID、配比方法ID、排序方法ID，和谐性处理ID和推荐结果其他信息构建该推荐数据的DNA，DNA和推荐结果数据是一一对应的关系。
通过分流控制，不同的用户会走相同模块的After/Before版本，在模块内部，又走相同的数据流程的不同的方法，模块内部可以灵活的控制多种组合，代码和工程维护成本相对来说比较简单点。推荐结构通过分流策略和模块内部的数据加工流程，其推荐结果的数据都会附带DNA数据，便于后续分析统计。
步骤103，客户端采集用户行为点数据并与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
对于日志追踪这块，经过两次分流的推荐结果及其结果对应的推荐DNA数据通过API接口暴露给客户端，客户端通过监听用户的行为点，如展示、点击观影、点击不喜欢等行为点，将行为点的ID和数据的DNA进行组合上传到服务器，如日志手机服务器。服务器对上报上来的数据进行格式化处理，进行日志相关统计，即进行衡量指标的统计和展示，通过数据分析，找出前后的差异对效果的差异，并找出差异产生的原因，进行分析，明确接下来迭代和优化方向。
本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪。对用户请求使用的数据进行数据打TAG，TAG的设计即为数据DNA，记录其是从哪个流量、哪个召回模型、哪个配比、哪个排序、哪个和谐性处理的方法编号产生的，然后通过行为点的类别打TAG，如展示、点击等通过日志把数据DNA透传回来，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
作为一个具体实时方式，当用户触发一个有效行为，为其产生新的推荐结果，推荐数据加上展示信息我们称之为卡片。有效行为进入推荐系统产生推荐结果中的转化流程和数据记录到DNA中，该DNA格式为：G；N；T；P；pointer；vid:site；...，其中P记录了各个流程的编号信息，其中P的数据格式为：000,000,000,000，从左往右算，第一个三个位数代表模板版本编号、第二个三位数代表排序编号、第三个三位数代表配比模型编号，最后三位位数代表召回模型编号。
本发明还公开了一种个性化推荐系统的分布式A/B测试系统，包括，
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；所述的模块内或者系统内流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异，并找出差异产生的原因，进行，明确接下来迭代和优化方向。任一项所述的
现有的A/B测试系统设计重点看其中一个因素变化产生一个新的模块整体的效果，即通过整体模块测试衡量改因素变化的效果，来衡量该改变是好还是不好。而本发明的个性化推荐推荐系统，同时还着眼于纵向的数据流程，从召回模型、配比、排序、和谐性处理层面入手，将流程中的方法的变更或者组合方式变更均考虑其中，通过数据流轨迹上的标识记录可清晰记载各种不同的组合和变化，可借助最终的结果分析看各个流程自身的变化情况和对其他流程的影响。实现了对这些细节流程进行有效的测试、对比和得出结论。即对个性化推荐系统从召回模型、配比、排序、和谐性处理等四个流程都进行详细的A/B测试，看看每个流程在该方法或者改变后，前后效果变法。四个流程可以看做四个维度，每个维度都有很多方法，本发明实现了一次同时在线支持多维度多方法的A/B测试，可以在线支持多版本的模块间和模块内的A/B测试。
同时，本发明还公开了具有所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。
个性化视频推荐系统，是一个千人千面的系统，当推荐方法越来越细化，推荐越精准，其推荐效果也比较好。本发明分布式的A/B测试方案，在构建分布式推荐系统中，也避免了A/B测试方案的单点问题，促使的分布式个性化推荐系统的开发难点的下降。而且在线支持多版本的模块间和模块内的A/B测试，可以快速定位问题，进行迅速的迭代开发，提高了工作效率。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种个性化推荐系统的分布式A/B测试方法，其特征在于，包括，
数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；
客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。
2.如权利要求1所述的个性化推荐系统的分布式A/B测试方法，其特征在于，所述的模块内或者系统内流程包括召回流程、配比流程、排序流程、和谐性处理流程。
3.如权利要求2所述的个性化推荐系统的分布式A/B测试方法，其特征在于，所述的再分流步骤在配比流程中进行。
4.如权利要求1所述的个性化推荐系统的分布式A/B测试方法，其特征在于，服务器对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
5.一种个性化推荐系统的分布式A/B测试系统，其特征在于，包括
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
6.如权利要求5所述的个性化推荐系统的分布式A/B测试装置，其特征在于，所述的模块内或者系统内的流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行。
7.如权利要求5所述的个性化推荐系统的分布式A/B测试装置，其特征在于，还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
8.一种具有权利要求5-7任一项所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169838.9A CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169838.9A CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106598741A true CN106598741A (zh) | 2017-04-26 |
| CN106598741B CN106598741B (zh) | 2024-03-01 |
Family
ID=58600924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611169838.9A Active CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106598741B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330744A (zh) * | 2017-07-21 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票衍生产品的推荐方法及系统 |
| CN108933709A (zh) * | 2017-05-27 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 测试服务器性能的方法和装置 |
| CN109753424A (zh) * | 2017-11-06 | 2019-05-14 | 北京京东尚科信息技术有限公司 | Ab测试的方法和装置 |
| CN109885504A (zh) * | 2019-03-15 | 2019-06-14 | 网易（杭州）网络有限公司 | 推荐系统的测试方法、装置、介质及电子设备 |
| CN110019945A (zh) * | 2017-12-28 | 2019-07-16 | 飞狐信息技术（天津）有限公司 | 视频推荐方法及装置、存储介质及电子设备 |
| CN110688293A (zh) * | 2018-07-05 | 2020-01-14 | 飞狐信息技术（天津）有限公司 | 一种软件测试方法及系统 |
| CN111125518A (zh) * | 2019-12-10 | 2020-05-08 | 海尔优家智能科技（北京）有限公司 | 家电信息推荐的系统及方法 |
| CN112882929A (zh) * | 2021-02-02 | 2021-06-01 | 网易（杭州）网络有限公司 | 测试方法、装置、计算机设备和存储介质 |
| CN113434432A (zh) * | 2021-07-20 | 2021-09-24 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050108414A1 (en) * | 2003-11-14 | 2005-05-19 | Taylor Thomas M. | System and method for transmitting data in computer systems using virtual streaming |
| CN101158917A (zh) * | 2007-11-09 | 2008-04-09 | 中兴通讯股份有限公司 | 一种软件版本升级安装测试系统及方法 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
| CN104394439A (zh) * | 2014-11-20 | 2015-03-04 | 合一网络技术(北京)有限公司 | 基于动态配置的视频推荐分流的系统 |
| CN104539481A (zh) * | 2014-12-26 | 2015-04-22 | 刘永健 | 一种测试网站用的方法及装置 |
| CN104572446A (zh) * | 2014-12-17 | 2015-04-29 | 北京京东尚科信息技术有限公司 | 一种自动化测试方法及系统 |
| CN105740304A (zh) * | 2014-12-12 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 可视化页面编辑方法、装置及a/b测试方法、装置 |
-
2016
- 2016-12-16 CN CN201611169838.9A patent/CN106598741B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050108414A1 (en) * | 2003-11-14 | 2005-05-19 | Taylor Thomas M. | System and method for transmitting data in computer systems using virtual streaming |
| CN101158917A (zh) * | 2007-11-09 | 2008-04-09 | 中兴通讯股份有限公司 | 一种软件版本升级安装测试系统及方法 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
| CN104394439A (zh) * | 2014-11-20 | 2015-03-04 | 合一网络技术(北京)有限公司 | 基于动态配置的视频推荐分流的系统 |
| CN105740304A (zh) * | 2014-12-12 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 可视化页面编辑方法、装置及a/b测试方法、装置 |
| CN104572446A (zh) * | 2014-12-17 | 2015-04-29 | 北京京东尚科信息技术有限公司 | 一种自动化测试方法及系统 |
| CN104539481A (zh) * | 2014-12-26 | 2015-04-22 | 刘永健 | 一种测试网站用的方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108933709A (zh) * | 2017-05-27 | 2018-12-04 | 腾讯科技（深圳）有限公司 | 测试服务器性能的方法和装置 |
| CN108933709B (zh) * | 2017-05-27 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 测试服务器性能的方法、装置和计算机可读存储介质 |
| CN107330744A (zh) * | 2017-07-21 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票衍生产品的推荐方法及系统 |
| CN109753424B (zh) * | 2017-11-06 | 2022-08-12 | 北京京东尚科信息技术有限公司 | Ab测试的方法和装置 |
| CN109753424A (zh) * | 2017-11-06 | 2019-05-14 | 北京京东尚科信息技术有限公司 | Ab测试的方法和装置 |
| CN110019945A (zh) * | 2017-12-28 | 2019-07-16 | 飞狐信息技术（天津）有限公司 | 视频推荐方法及装置、存储介质及电子设备 |
| CN110688293A (zh) * | 2018-07-05 | 2020-01-14 | 飞狐信息技术（天津）有限公司 | 一种软件测试方法及系统 |
| CN110688293B (zh) * | 2018-07-05 | 2023-05-16 | 飞狐信息技术（天津）有限公司 | 一种软件测试方法及系统 |
| CN109885504A (zh) * | 2019-03-15 | 2019-06-14 | 网易（杭州）网络有限公司 | 推荐系统的测试方法、装置、介质及电子设备 |
| CN111125518A (zh) * | 2019-12-10 | 2020-05-08 | 海尔优家智能科技（北京）有限公司 | 家电信息推荐的系统及方法 |
| CN111125518B (zh) * | 2019-12-10 | 2023-12-22 | 海尔优家智能科技（北京）有限公司 | 家电信息推荐的系统及方法 |
| CN112882929A (zh) * | 2021-02-02 | 2021-06-01 | 网易（杭州）网络有限公司 | 测试方法、装置、计算机设备和存储介质 |
| CN112882929B (zh) * | 2021-02-02 | 2023-08-08 | 网易（杭州）网络有限公司 | 测试方法、装置、计算机设备和存储介质 |
| CN113434432A (zh) * | 2021-07-20 | 2021-09-24 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106598741B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106598741A (zh) | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 | |
| CN110991486A (zh) | 多人协作图像标注质量控制的方法和装置 | |
| CN105100789A (zh) | 一种视频质量评价方法 | |
| CN106611298A (zh) | 一种基于排队论模型的医院人力资源量化配置方法 | |
| CN107483397A (zh) | 一种基于bs架构的考生自我测评方法 | |
| CN108959736A (zh) | 一种基于bim的桥梁技术状况评定方法 | |
| CN109711377A (zh) | 标准化考场监控的单帧图像中考生定位和计数方法 | |
| CN108256832A (zh) | 建筑设计招投标系统 | |
| CN101847218A (zh) | 人流计数系统及其方法 | |
| CN107330534A (zh) | 一种健身培训排课系统 | |
| CN109615572A (zh) | 基于大数据的人员亲密度分析的方法及系统 | |
| CN105163106A (zh) | 一种多重数据处理的视频质量评价系统 | |
| CN107945876A (zh) | 学生体质健康大数据分析系统 | |
| Alvarez et al. | Studying elections: data quality and pitfalls in measuring the effects of voting technologies | |
| CN106384316A (zh) | 一种考试院实名制验证系统 | |
| CN108549840A (zh) | 一种多模拟仪表同步快速识别的方法及装置 | |
| CN108960758A (zh) | 建筑工程过程控制管理系统 | |
| WO2020114179A1 (zh) | 一种路基压实数字化施工系统 | |
| CN115204678B (zh) | 一种基于景区旅游平台的旅游评价分析系统 | |
| CN106375796A (zh) | 一种收视率统计方法及系统 | |
| CN108959607A (zh) | 一种数学学习调查装置及其调查方法 | |
| Daas et al. | Quality framework for the evaluation of administrative data | |
| Chow et al. | Developing a forecast system for hotel occupancy rate using integrated ARIMA models | |
| CN103957434B (zh) | 推荐节目的方法和设备 | |
| CN105608534A (zh) | 基于大数据分析的训练评估模型构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |