CN106598741B - 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 - Google Patents
个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 Download PDFInfo
- Publication number
- CN106598741B CN106598741B CN201611169838.9A CN201611169838A CN106598741B CN 106598741 B CN106598741 B CN 106598741B CN 201611169838 A CN201611169838 A CN 201611169838A CN 106598741 B CN106598741 B CN 106598741B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- flow
- recommendation
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000004069 differentiation Effects 0.000 abstract description 3
- 102000053602 DNA Human genes 0.000 description 13
- 108020004414 DNA Proteins 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种个性化推荐系统的分布式A/B测试方法，包括，数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
Description
技术领域
本发明涉及视频播放技术领域，特别是涉及一种个性化推荐系统的分布式A/B测试方法、系统及视频推荐系统。
背景技术
中国专利105913145 A公开了一种基于数据驱动的A/B测试方法，其采用的A/B测试设计是采用基于数据驱动基于模块化的测试，多种组合情况，需要构建多种模块，测试系统开发量和系统构建比较复杂，随着测试用例的增加，系统维护的成本也慢慢的增加，即对多组合情况测试支持不好。同时对应反馈的数据统计设计不够灵活，只能针对于模块为单位进行编码统计，即版本组合整体情况进行统计和效果测试，无法内部细节难以进行测试对比，即难以找出版本组合之间是因为那个具体流程中的方法导致其衡量指标的下降，查询问题细节还需要再次进行A/B测试，无形中由于设计的不合理，增加了工作量。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种个性化推荐系统的分布式A/B测试方法和装置，可以清楚的知道系统或模块改变After/Before的整体效果和模块内部各个流程的效果变化情况。
为实现本发明的目的所采用的技术方案是：
一种个性化推荐系统的分布式A/B测试方法，包括，
数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；
客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器。
所述的模块内或者系统内流程包括召回流程、配比流程、排序流程、和谐性处理流程。
所述的再分流步骤在配比流程中进行。
服务器对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
一种个性化推荐系统的分布式A/B测试系统，包括
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
所述的模块内或者系统内的流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行。
还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
一种具有所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。
与现有技术相比，本发明的有益效果是：
本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪。对用户请求使用的数据进行数据打TAG，TAG的设计即为数据DNA，记录其是从哪个流量、哪个召回模型、哪个配比、哪个排序、哪个和谐性处理的方法编号产生的，然后通过行为点的类别打TAG，如展示、点击等通过日志把数据DNA透传回来，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
附图说明
图1所示为本发明的个性化推荐系统的分布式A/B测试方法的数据分流流程架构图
图2所示为数据打标识的流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
个性化推荐系统从数据流程来看，包括召回模型、配比、排序、和谐性处理，对于每个流程模块都会存在很多版本或者方法，流程模块之间的组合情况也是成倍的增长，通过对各种方法组合进行效果对比测试，挑选出衡量指标比较好的方法，作为优化方向，成为个性化推荐系统快速找出迭代和优化方向重要手段。本发明可以支持多个版本组合和细节方法测试的A/B测试系统成为其解决方案。
如图所示，本发明的个性化推荐系统的分布式A/B测试方法，包括，
步骤101，数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
在数据上增加模块或系统的标识，一般该标识即为系统或模块的版本号，即相当于在数据上打TAG,建立数据DNA，实现数据的全程各细节轨迹可溯。以个性化视频推荐系统为例，对于分流控制这步，是在新老版本模块进行分流，
步骤102，数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
针对个性化推荐系统，一般内部流程模块包括召回流程、配比流程、排序流程、和谐性处理流程，模块内部的分流控制在配比流程进行控制，因为配比流程上承召回流程，即推荐数据源，下承对数据源的加工，如排序流程、和谐性处理流程。性化推荐系统的A/B测试通过两部分的分流控制可以控制模块间的分流控制，对于模块内部也按流程步骤进行分流控制，增加分流控制的灵活性。同时，在每次分流产生不同时都增加了TAG，构建了完整轨迹式DNA，实现了模块间组合、模块内各流程步骤组合的分别记载，在后续数据处理后可进行各种组合的统计分析；
对于个性化推荐系统，通过对不同模块或者个性化推荐系统整体的版本进行构建版本号，个性化推荐系统内部，为四个数据流程的方法也进行编码，即推荐结果的数据经过个性化推荐加工后，会打上这样的一个TAG，它是有那个版本的推荐系统或者模块产生的、模块内是通过那个召回模型、那个配比方法、那个排序方法、那个和谐性处理方法产生的，即通过模块ID，召回模型ID、配比方法ID、排序方法ID，和谐性处理ID和推荐结果其他信息构建该推荐数据的DNA，DNA和推荐结果数据是一一对应的关系。
通过分流控制，不同的用户会走相同模块的After/Before版本，在模块内部，又走相同的数据流程的不同的方法，模块内部可以灵活的控制多种组合，代码和工程维护成本相对来说比较简单点。推荐结构通过分流策略和模块内部的数据加工流程，其推荐结果的数据都会附带DNA数据，便于后续分析统计。
步骤103，客户端采集用户行为点数据并与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
对于日志追踪这块，经过两次分流的推荐结果及其结果对应的推荐DNA数据通过API接口暴露给客户端，客户端通过监听用户的行为点，如展示、点击观影、点击不喜欢等行为点，将行为点的ID和数据的DNA进行组合上传到服务器，如日志手机服务器。服务器对上报上来的数据进行格式化处理，进行日志相关统计，即进行衡量指标的统计和展示，通过数据分析，找出前后的差异对效果的差异，并找出差异产生的原因，进行分析，明确接下来迭代和优化方向。
本发明的分流策略支持多维度多方法的分流实现，数据流程进行多维度多方法的反馈数据的跟踪，便于多维度多方法区分统计。分流同时记录流程信息，即同时记录流程中的维度使用的方法,即对应数据跟踪。对用户请求使用的数据进行数据打TAG，TAG的设计即为数据DNA，记录其是从哪个流量、哪个召回模型、哪个配比、哪个排序、哪个和谐性处理的方法编号产生的，然后通过行为点的类别打TAG，如展示、点击等通过日志把数据DNA透传回来，各个细节处处理均在数据上打下标识，后续可处理性强，可满足不同层级的分析需求。
作为一个具体实时方式，当用户触发一个有效行为，为其产生新的推荐结果，推荐数据加上展示信息我们称之为卡片。有效行为进入推荐系统产生推荐结果中的转化流程和数据记录到DNA中，该DNA格式为：G；N；T；P；pointer；vid:site；...，其中P记录了各个流程的编号信息，其中P的数据格式为：000,000,000,000，从左往右算，第一个三个位数代表模板版本编号、第二个三位数代表排序编号、第三个三位数代表配比模型编号，最后三位位数代表召回模型编号。
本发明还公开了一种个性化推荐系统的分布式A/B测试系统，包括，
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；所述的模块内或者系统内流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器。
还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异，并找出差异产生的原因，进行，明确接下来迭代和优化方向。任一项所述的
现有的A/B测试系统设计重点看其中一个因素变化产生一个新的模块整体的效果，即通过整体模块测试衡量改因素变化的效果，来衡量该改变是好还是不好。而本发明的个性化推荐推荐系统，同时还着眼于纵向的数据流程，从召回模型、配比、排序、和谐性处理层面入手，将流程中的方法的变更或者组合方式变更均考虑其中，通过数据流轨迹上的标识记录可清晰记载各种不同的组合和变化，可借助最终的结果分析看各个流程自身的变化情况和对其他流程的影响。实现了对这些细节流程进行有效的测试、对比和得出结论。即对个性化推荐系统从召回模型、配比、排序、和谐性处理等四个流程都进行详细的A/B测试，看看每个流程在该方法或者改变后，前后效果变法。四个流程可以看做四个维度，每个维度都有很多方法，本发明实现了一次同时在线支持多维度多方法的A/B测试，可以在线支持多版本的模块间和模块内的A/B测试。
同时，本发明还公开了具有所述的个性化推荐系统的分布式A/B测试装置的视频推荐系统。
个性化视频推荐系统，是一个千人千面的系统，当推荐方法越来越细化，推荐越精准，其推荐效果也比较好。本发明分布式的A/B测试方案，在构建分布式推荐系统中，也避免了A/B测试方案的单点问题，促使的分布式个性化推荐系统的开发难点的下降。而且在线支持多版本的模块间和模块内的A/B测试，可以快速定位问题，进行迅速的迭代开发，提高了工作效率。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种个性化推荐系统的分布式A/B测试方法，其特征在于，包括，
数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
数据在模块内或系统内进行流程间再分流，再分流同时在数据上增加对应流程的标识；
客户端采集用户行为点数据并与对应的带有模块或系统标识及流程标识的数据整合上传服务器，所述的模块内或者系统内流程包括召回流程、配比流程、排序流程、和谐性处理流程，个性化推荐系统内部，为四个数据流程的方法也进行编码，推荐结果的数据经过个性化推荐加工后，会打上一个TAG，通过模块ID，召回模型ID、配比方法ID、排序方法ID，和谐性处理ID和推荐结果其他信息构建推荐数据的DNA，DNA和推荐结果数据是一一对应的关系。
2.如权利要求1所述的个性化推荐系统的分布式A/B测试方法，其特征在于，所述的再分流步骤在配比流程中进行。
3.如权利要求1所述的个性化推荐系统的分布式A/B测试方法，其特征在于，服务器对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
4.一种个性化推荐系统的分布式A/B测试系统，其特征在于，包括
分流器，用以控制数据进行模块或系统间的分流，同时在数据上增加模块或系统的标识；
再分流器，用以控制数据在模块内或系统内进行流程模块间再分流，再分流同时在数据上增加对应流程模块的标识；
日志追踪器，用以采集客户端用户的行为点数据并将其与对应的带有模块或系统标识及流程模块标识的数据整合上传服务器，其中，所述的模块内或者系统内的流程模块包括召回模块、配比模块、排序模块、和谐性处理模块，所述的再分流步骤在配比模块中进行，个性化推荐系统内部，为四个数据流程的方法也进行编码，推荐结果的数据经过个性化推荐加工后，会打上一个TAG，通过模块ID，召回模型ID、配比方法ID、排序方法ID，和谐性处理ID和推荐结果其他信息构建推荐数据的DNA，DNA和推荐结果数据是一一对应的关系。
5.如权利要求4所述的个性化推荐系统的分布式A/B测试系统，其特征在于，还包括统计分析器，用以对对上报上来的数据进行格式化处理，进行衡量指标的统计和展示，通过数据分析，找出并分析前后的差异对效果的差异。
6.一种具有权利要求4-5任一项所述的个性化推荐系统的分布式A/B测试系统的视频推荐系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169838.9A CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611169838.9A CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106598741A CN106598741A (zh) | 2017-04-26 |
| CN106598741B true CN106598741B (zh) | 2024-03-01 |
Family
ID=58600924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611169838.9A Active CN106598741B (zh) | 2016-12-16 | 2016-12-16 | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106598741B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108933709B (zh) * | 2017-05-27 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 测试服务器性能的方法、装置和计算机可读存储介质 |
| CN107330744A (zh) * | 2017-07-21 | 2017-11-07 | 携程旅游网络技术（上海）有限公司 | 机票衍生产品的推荐方法及系统 |
| CN109753424B (zh) * | 2017-11-06 | 2022-08-12 | 北京京东尚科信息技术有限公司 | Ab测试的方法和装置 |
| CN110019945A (zh) * | 2017-12-28 | 2019-07-16 | 飞狐信息技术（天津）有限公司 | 视频推荐方法及装置、存储介质及电子设备 |
| CN110688293B (zh) * | 2018-07-05 | 2023-05-16 | 飞狐信息技术（天津）有限公司 | 一种软件测试方法及系统 |
| CN109885504B (zh) * | 2019-03-15 | 2022-09-30 | 网易（杭州）网络有限公司 | 推荐系统的测试方法、装置、介质及电子设备 |
| CN111125518B (zh) * | 2019-12-10 | 2023-12-22 | 海尔优家智能科技（北京）有限公司 | 家电信息推荐的系统及方法 |
| CN112882929B (zh) * | 2021-02-02 | 2023-08-08 | 网易（杭州）网络有限公司 | 测试方法、装置、计算机设备和存储介质 |
| CN113434432B (zh) * | 2021-07-20 | 2022-11-08 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101158917A (zh) * | 2007-11-09 | 2008-04-09 | 中兴通讯股份有限公司 | 一种软件版本升级安装测试系统及方法 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
| CN104394439A (zh) * | 2014-11-20 | 2015-03-04 | 合一网络技术(北京)有限公司 | 基于动态配置的视频推荐分流的系统 |
| CN104539481A (zh) * | 2014-12-26 | 2015-04-22 | 刘永健 | 一种测试网站用的方法及装置 |
| CN104572446A (zh) * | 2014-12-17 | 2015-04-29 | 北京京东尚科信息技术有限公司 | 一种自动化测试方法及系统 |
| CN105740304A (zh) * | 2014-12-12 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 可视化页面编辑方法、装置及a/b测试方法、装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050108414A1 (en) * | 2003-11-14 | 2005-05-19 | Taylor Thomas M. | System and method for transmitting data in computer systems using virtual streaming |
-
2016
- 2016-12-16 CN CN201611169838.9A patent/CN106598741B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101158917A (zh) * | 2007-11-09 | 2008-04-09 | 中兴通讯股份有限公司 | 一种软件版本升级安装测试系统及方法 |
| CN104102576A (zh) * | 2013-04-12 | 2014-10-15 | 阿里巴巴集团控股有限公司 | 一种多版本测试方法和装置 |
| CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
| CN104394439A (zh) * | 2014-11-20 | 2015-03-04 | 合一网络技术(北京)有限公司 | 基于动态配置的视频推荐分流的系统 |
| CN105740304A (zh) * | 2014-12-12 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 可视化页面编辑方法、装置及a/b测试方法、装置 |
| CN104572446A (zh) * | 2014-12-17 | 2015-04-29 | 北京京东尚科信息技术有限公司 | 一种自动化测试方法及系统 |
| CN104539481A (zh) * | 2014-12-26 | 2015-04-22 | 刘永健 | 一种测试网站用的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106598741A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106598741B (zh) | 个性化推荐系统的分布式a/b测试方法、系统及视频推荐系统 | |
| CN103198010B (zh) | 软件测试方法、装置及系统 | |
| CN108959059B (zh) | 一种测试方法以及测试平台 | |
| CN104268064B (zh) | 产品日志的异常诊断方法和装置 | |
| CN106021079A (zh) | 一种基于用户频繁访问序列模型的Web应用性能测试方法 | |
| CN111737646B (zh) | 广告推广的效果评估数据处理方法、系统和存储介质 | |
| CN109587008A (zh) | 检测异常流量数据的方法、装置及存储介质 | |
| CN111105628A (zh) | 一种停车场画像构建方法和装置 | |
| CN106776339A (zh) | 自动化测试方法及装置 | |
| CN111984442A (zh) | 计算机集群系统的异常检测方法及装置、存储介质 | |
| CN104270674A (zh) | 视频播放检测方法和装置 | |
| CN111400505A (zh) | 一种用电信息采集系统匹配故障消缺方案的方法及系统 | |
| CN109885390B (zh) | 分子对接云计算流程控制方法 | |
| CN113704077A (zh) | 测试用例生成方法及装置 | |
| CN113806343B (zh) | 一种车联网数据质量的评估方法和系统 | |
| CN111831545A (zh) | 测试用例生成方法、生成装置、计算机设备和存储介质 | |
| CN114325232B (zh) | 一种故障定位方法和装置 | |
| CN114064480A (zh) | 一种软件质量管理方法和系统 | |
| WO2002099756A1 (fr) | Procede unifie d'evaluation de l'efficacite de systemes a grande echelle et dispositif automatise permettant la mise en oeuvre dudit procede | |
| CN112732773A (zh) | 一种继电保护缺陷数据的唯一性校核方法及系统 | |
| CN109583842A (zh) | 一种监理月报生成方法、装置、电子设备及计算机存储介质 | |
| CN113784131B (zh) | 视频编码自动化辅助系统及方法 | |
| CN115209134B (zh) | 基于视频的健康度监测方法及系统 | |
| CN107315684A (zh) | 一种基于基本块的软件可靠性评估方法 | |
| CN109710876B (zh) | 一种信息推荐方法及装置、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |