CN106909497B - 测试方法和装置 - Google Patents

测试方法和装置 Download PDF

Info

Publication number
CN106909497B
CN106909497B CN201510974380.3A CN201510974380A CN106909497B CN 106909497 B CN106909497 B CN 106909497B CN 201510974380 A CN201510974380 A CN 201510974380A CN 106909497 B CN106909497 B CN 106909497B
Authority
CN
China
Prior art keywords
data
experimental
same
objects
update rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510974380.3A
Other languages
English (en)
Other versions
CN106909497A (zh
Inventor
倪静
王豆豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510974380.3A priority Critical patent/CN106909497B/zh
Publication of CN106909497A publication Critical patent/CN106909497A/zh
Application granted granted Critical
Publication of CN106909497B publication Critical patent/CN106909497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供了一种测试方法和装置，通过获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据之后，针对属于基准对象与实验对象之间的交集的相同对象，计算更新率，进而根据各相同对象的更新率进行统计，获得统计数据，根据该统计数据，生成差异程度的测试结果，该测试结果能够衡量出实验数据和基准数据的差异程度，相较于现有技术无需进行人工抽样，提高了测试效率。

Description

测试方法和装置
技术领域
本发明涉及计算机技术，尤其涉及一种测试方法和装置。
背景技术
算法程序的执行效率是对算法程序进行测试的考核指标之一。具体可以将基于相似数据池所构建的两不同算法程序在不同时间点上所获得的输出数据进行比较，当获得两组差异极小的输出数据时，对比输出这两组输出数据时算法程序的运行时间，运行时间较短的算法程序执行效率较高。相似的，还可以将同一算法程序在不同时间点上所获得的输出数据进行比较，从而随着该算法程序的运行时间的延长，所获得的输出数据差异极小时，则可以将输出数据差异极小时该算法程序的运行时间用来衡量该算法程序的执行效率。
例如：基准算法程序和实验算法程序均为向用户推荐喜好的商品，但基准算法程序需要运行4小时获得输出数据，而实验算法程序需要运行2小时就能获得输出数据，且两组输出数据之间的差异极小，也就是说相似度极高，则可以测试出实验算法程序的执行效率优于基准算法程序。
可见，对于两组算法程序的输出数据进行比较，从而确定两组输出数据之间的差异程度是对执行效率进行测试的必要指标。现有技术中，可以通过人工抽样的方式进行，通过对于部分输出数据进行抽烟核对数据变化情况，来确定差异程度，但这种方式不仅需要耗费大量人工，能核对的数据量也相对较小，同时，这种方式也不能够全面反映出两组输出数据之间的差异，因而效率较低。
发明内容
本发明提供一种测试方法和装置，用于解决现有技术中确定不同组输出数据之间的差异程度的方法效率较低的技术问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种测试方法，包括：
获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据；
对比所述基准对象以及所述实验对象，获得属于基准对象与实验对象之间的交集的相同对象；
针对每一个相同对象，计算更新率；其中更新率用于指示实验数据相对于基准数据的变化比率；
针对各相同对象的更新率进行统计，获得统计数据；
根据所述统计数据，生成测试结果。
第二方面，提供了一种测试装置，包括：
获取模块，用于获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据；
对比模块，用于对比所述基准对象以及所述实验对象，获得属于基准对象与实验对象之间的交集的相同对象；
计算模块，用于针对每一个相同对象，计算更新率；其中更新率用于指示实验数据相对于基准数据的变化比率；
统计模块，用于针对各相同对象的更新率进行统计，获得统计数据；
生成模块，用于根据所述统计数据，生成测试结果。
本实施例中，通过获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据之后，针对属于基准对象与实验对象之间的交集的相同对象，计算更新率，进而根据各相同对象的更新率进行统计，获得统计数据，根据该统计数据，生成差异程度的测试结果。由于更新率用于指示实验数据相对于基准数据的变化比率，因而体现了基准算法程序和实验算法程序针对相同对象的处理结果之间的差异性，相较于现有技术无需进行人工抽样，提高了测试效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例一提供的一种测试方法的流程示意图；
图2为本发明实施例二提供的一种测试方法的流程示意图；
图3为本发明实施例三提供的一种测试装置的结构示意图；
图4为本发明实施例三提供的另一种测试装置的结构示意图；
图5为本发明实施例三提供的又一种测试装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面结合附图对本发明实施例提供的测试方法和装置进行详细描述。
实施例一
图1为本发明实施例一提供的一种测试方法的流程示意图，本实施例所提供的方法可以由算法评测平台(Algorithm Evaluation Carrier，AEC)执行，如图1所示，方法包括：
步骤101、获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据。
具体的，分别运行基准算法程序和实验算法程序，其中，选定基准算法程序的输入数据为针对基准对象bk所构建的数据集，选定实验算法程序的输入数据为针对实验对象tk所构建的数据集。将基准算法程序针对基准对象bk计算所获得的输出数据记为基准数据lbk，将实验算法程序针对实验对象tk计算所获得的输出数据记为实验数据ltk。
步骤102、对比基准对象以及实验对象，获得属于基准对象与实验对象之间的交集的相同对象。
具体的，取基准对象bk与实验对象tk之间的交集，获得相同对象k，该相同对象的个数记为Nk。另外，还可记基准对象bk的个数为Nbk，记实验对象tk的个数为Ntk。
步骤103、针对每一个相同对象，计算更新率。
其中，更新率用于指示实验数据相对于基准数据的变化比率。
具体的，统计相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk，将不同部分的数据个数Δlk与相同对象k的基准数据lbk中的数据个数Cbk的比值l，作为相同对象k的更新率ROClk(l)。
步骤104、针对各相同对象的更新率进行统计，获得统计数据。
具体的，根据各相同对象的更新率，将相同对象划分为各个组别，统计各组别中所包含的相同对象的个数，获得统计数据。作为一种可能的实现方式，通过确定各相同对象k的更新率ROClk(l)所属的更新率区间，将属于相同更新率区间的相同对象k划分为同一个组别i。统计获得每个组别i所包含的相同对象k的个数ΔNi，其中，i＝1,…,n，∑ΔNi＝Nk，n为自然数。
例如：针对相同对象k可以基于以下式进行计算，从而获得统计数据。
Figure BDA0000886867870000041
其中，ROClk(Δl1),ROClk(Δl2),...,ROClk(Δln)分别表示n个组别对应的更新率区间。
进一步，还可以统计基准对象bk与实验对象tk之间存在差异的差异对象个数，如相同对象k所构成的子集在基准对象bk集合中的绝对补集b中的对象个数Nb，以及相同对象k所构成的子集在实验对象tk集合中的绝对补集t中的对象个数Nt。
步骤105、根据统计数据，生成测试结果。
具体的，测试结果可以为ΔNi与Nbk的比值，即每个组别i所包含的相同对象k占全部基准对象bk的比例，以及Nb与Nbk的比值，即差异对象占全部基准对象bk的比例，以及Nt与Ntk的比值，即差异对象占全部实验对象tk的比例。
该测试结果中，相同对象的更新率的取值用于指示实验数据相对于基准数据的变化比率，因而体现了基准算法程序和实验算法程序针对相同对象的处理结果之间的差异性，另外，测试结果中各更新率区间内所包含的相同对象的数量又能够较为全面的反映更新率的分布情况，根据更新率的取值以及更新率的分布，则能够衡量出实验数据和基准数据的差异程度。
为了清楚说明本实施例，本实施例提供了两种可能的应用场景。
在一种可能的应用场景中，实验算法程序和基准算法程序是不同的，则采用本实施例中的方法所获得的测试结果能够体现不同算法程序针对相同对象所获得的处理结果之间差异性。
在另一种可能的应用场景中，实验算法程序和基准算法程序是相同的，算法程序针对用户进行计算，分别在不同时刻获得了基准数据和实验数据，例如：采用一算法程序，对用户群进行商品的推荐，但针对同样的用户群，在不同的时刻，该算法程序可能获得不同的推荐商品结果。采用本实施例中的方法所获得的测试结果能够体现同一算法程序在不同时刻所获得的处理结果之间差异性。
本实施例中，通过获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据之后，针对属于基准对象与实验对象之间的交集的相同对象，计算更新率，进而根据各相同对象的更新率进行统计，获得统计数据，根据该统计数据，生成差异程度的测试结果。由于更新率用于指示实验数据相对于基准数据的变化比率，因而体现了基准算法程序和实验算法程序针对相同对象的处理结果之间的差异性，相较于现有技术无需进行人工抽样，提高了测试效率。
实施例二
图2为本发明实施例二提供的一种测试方法的流程示意图，本实施例所提供的方法可以由AEC执行，用于基于更新率指标对实验算法程序进行测试。
在本实施例中，提供了一种具体的应用场景，实验算法和基准算法均为用于对网络用户推荐商品，在本实施例中，将实验算法所针对的网络用户记为实验对象tk，实验算法所获得的为网络用户推荐商品的集合记为实验数据ltk，将基准算法所针对的网络用户记为基准对象bk，基准算法所获得的为网络用户推荐商品的集合记为基准数据lbk。
如图2所示，具体方法包括：
步骤201、针对属于基准对象bk与实验对象tk之间的交集的相同对象k，以及针对相同对象k的实验数据ltk和基准数据lbk中的相同部分的数据进行标记。
步骤202、统计所标记的数据的个数Csk。
具体的，所统计获得的个数Csk，即为属于基准数据lbk和实验数据ltk中的相同部分的数据个数。
步骤203、利用该Csk，计算相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk。
具体的，根据公式Δlk＝(Cbk+Ctk-2×Csk)/2代入相同部分的数据个数Csk，以及相同对象k的基准数据lbk中的数据个数Cbk和实验数据ltk中的数据个数Ctk进行计算，获得相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk。
步骤204、利用该不同部分的数据个数Δlk，计算相同对象k的更新率ROClk(l)。
具体的，根据公式ROClk(l)＝Δlk/Cbk，代入不同部分的数据个数Δlk，以及相同对象k的基准数据lbk中的数据个数Cbk进行计算，获得相同对象k的更新率ROClk(l)。
步骤205、针对基准对象bk与实验对象tk之间存在差异的差异对象进行标记。
具体的，将属于基准对象bk，且不属于实验对象tk的差异对象，标记为消亡对象b，该消亡对象b属于相同对象k所构成的子集在基准对象bk集合中的绝对补集。
同时，将属于实验对象tk，且不属于基准对象bk的差异对象，标记为增长对象t，该增长对象t属于相同对象k所构成的子集在实验对象tk集合中的绝对补集。
通过对差异对象中的消亡对象的数量进行统计，若消亡对象的数量较多，则说明实验算法程序的覆盖性不佳。同时，在统计数据中增加差异对象的数量，能够体现相同对象所占比例，与各更新率区间内所包含相同对象的数量相辅助，提高了数据解释的意义。
步骤206、针对所标记的差异对象设置更新率。
具体的，设置消亡对象b的更新率ROClk(l)为-1，设置增长对象t的更新率ROClk(l)为+1。
步骤207、统计各预设更新率区间内的相同对象k和差异对象的个数。
具体的，根据所需统计的粒度，设置所需区间。例如：可以设置15个区间，更新率的取值在-1至+1之间，则可以在该取值范围内平均设置15个区间。
步骤208、将统计结果作为差异程度的测试结果。
进一步，在步骤208之后，为了便于分析，还可以根据各相同对象的更新率，计算更新率的最大值和/或更新率的最小值和/或更新率的平均值，获得分析结果，将该分析结果和步骤208所获得的统计结果均作为差异程度的测试结果。
本实施例中，通过获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据之后，针对属于基准对象与实验对象之间的交集的相同对象，计算更新率，进而根据各相同对象的更新率，将相同对象划分为各个组别，并统计各组别中所包含的相同对象的个数，以及统计基准对象与实验对象之间存在差异的差异对象个数，获得统计数据，根据该统计数据，生成差异程度的测试结果。由于更新率用于指示实验数据相对于基准数据的变化比率，因而体现了基准算法程序和实验算法程序针对相同对象的处理结果之间的差异性，另外，测试结果中各更新率区间内所包含的相同对象的数量又能够较为全面的反映更新率的分布情况，根据更新率的取值以及更新率的分布，则能够衡量出实验数据和基准数据的差异程度，相较于现有技术无需进行人工抽样，提高了测试效率。另外，还可以通过对差异对象中的消亡对象的数量进行统计，从而当消亡对象的数量较多时，则测试出实验算法程序的覆盖性不佳。
实施例三
图3为本发明实施例三提供的一种测试装置的结构示意图，该装置可以如图3所示，包括：获取模块31、对比模块32、计算模块33、统计模块34和生成模块35。
获取模块31，用于获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据。
对比模块32，用于对比所述基准对象以及所述实验对象，获得属于基准对象与实验对象之间的交集的相同对象。
计算模块33，用于针对每一个相同对象，计算更新率。
其中，更新率用于指示实验数据相对于基准数据的变化比率。
统计模块34，用于针对各相同对象的更新率进行统计，获得统计数据。
生成模块35，用于根据所述统计数据，生成测试结果。
进一步，本发明实施例三还提供了另一种测试装置，图4为本发明实施例三提供的另一种测试装置的结构示意图，如图4所示，在图3所提供的测试装置的基础上，计算模块33包括：计数单元331和计算单元332。
计数单元331，用于统计相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk。
计算单元332，用于将所述不同部分的数据个数Δlk与所述相同对象k的基准数据lbk中的数据个数Cbk的比值，作为所述相同对象k的更新率。
进一步，计数单元331，还可以包括：对比子单元3311和计算子单元3312。
对比子单元3311，用于对比针对所述相同对象k的基准数据lbk和实验数据ltk，获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk。
具体的，对比子单元3311具体用于对比所述相同对象k的基准数据lbk和实验数据ltk，对属于基准数据lbk和实验数据ltk中的相同部分的数据进行标记；统计所标记的数据的个数获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk。
计算子单元3312，用于根据公式Δlk＝(Cbk+Ctk-2×Csk)/2进行计算，获得所述相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk，其中Ctk为实验数据ltk中的数据个数。
进一步，本发明实施例三还提供了又一种测试装置，图5为本发明实施例三提供的又一种测试装置的结构示意图，如图5所示，在图4所提供的测试装置的基础上，统计模块34，包括：分组单元341和统计单元342。
分组单元341，用于根据各相同对象的更新率，将所述相同对象划分为各个组别。
统计单元342，用于统计各组别中所包含的所述相同对象的个数，获得所述统计数据。
进一步，分组单元341，包括：确定子单元3411和分组子单元3412。
确定子单元3411，用于确定各相同对象的更新率所属的更新率区间；
分组子单元3412，用于将属于相同更新率区间的所述相同对象划分为同一个组别。
进一步，统计单元342，还用于统计所述基准对象与所述实验对象之间存在差异的差异对象个数。
统计单元342，包括：标记子单元3421和计数子单元3422。
标记子单元3421，用于将属于所述基准对象，且不属于所述实验对象的所述差异对象，标记为消亡对象；将属于所述实验对象，且不属于所述基准对象的所述差异对象，标记为增长对象。
计数子单元3422，用于分别统计所述消亡对象的个数，以及所述增长对象的个数，以及统计各组别中所包含的所述相同对象的个数，获得所述统计数据。
进一步，生成模块35，包括：第一生成单元351和第二生成单元352。
第一生成单元351，用于根据所述统计数据，计算各组别中所包含的所述相同对象占全部所述基准对象的比例，以及计算所述差异对象占全部所述基准对象的比例，获得计算结果；将所述计算结果作为所述测试结果。
第二生成单元352，用于根据各相同对象的更新率，计算更新率的最大值和/或更新率的最小值和/或更新率的平均值，获得分析结果；将所述分析结果作为所述测试结果。
本实施例中，通过获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据之后，针对属于基准对象与实验对象之间的交集的相同对象，计算更新率，进而根据各相同对象的更新率，将相同对象划分为各个组别，并统计各组别中所包含的相同对象的个数，以及统计基准对象与实验对象之间存在差异的差异对象个数，获得统计数据，根据该统计数据，生成差异程度的测试结果。由于更新率用于指示实验数据相对于基准数据的变化比率，因而体现了基准算法程序和实验算法程序针对相同对象的处理结果之间的差异性，另外，测试结果中各更新率区间内所包含的相同对象的数量又能够较为全面的反映更新率的分布情况，根据更新率的取值以及更新率的分布，则能够衡量出实验数据和基准数据的差异程度，相较于现有技术无需进行人工抽样，提高了测试效率。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种测试方法，其特征在于，包括：
获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据；
对比所述基准对象以及所述实验对象，获得属于基准对象与实验对象之间的交集的相同对象；
针对每一个相同对象，计算更新率；其中更新率用于指示实验数据相对于基准数据的变化比率；
针对各相同对象的更新率进行统计，获得统计数据；
根据所述统计数据，生成测试结果，
所述针对每一个相同对象，计算更新率包括：
统计相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk；
将所述不同部分的数据个数Δlk与所述相同对象k的基准数据lbk中的数据个数Cbk的比值，作为所述相同对象k的更新率。
2.根据权利要求1所述的测试方法，其特征在于，所述统计相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk，包括：
对比针对所述相同对象k的基准数据lbk和实验数据ltk，获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk；
根据公式Δlk＝(Cbk+Ctk-2×Csk)/2进行计算，获得所述相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk，其中Ctk为实验数据ltk中的数据个数。
3.根据权利要求2所述的测试方法，其特征在于，所述对比针对所述相同对象k的基准数据lbk和实验数据ltk，获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk，包括：
对比所述相同对象k的基准数据lbk和实验数据ltk，对属于基准数据lbk和实验数据ltk中的相同部分的数据进行标记；
统计所标记的数据的个数获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk。
4.根据权利要求1所述的测试方法，其特征在于，所述针对各相同对象的更新率进行统计，获得统计数据，包括：
根据各相同对象的更新率，将所述相同对象划分为各个组别；
统计各组别中所包含的所述相同对象的个数，获得所述统计数据。
5.根据权利要求4所述的测试方法，其特征在于，所述根据各相同对象的更新率，将所述相同对象划分为各个组别，包括：
确定各相同对象的更新率所属的更新率区间；
将属于相同更新率区间的所述相同对象划分为同一个组别。
6.根据权利要求4所述的测试方法，其特征在于，所述统计各组别中所包含的所述相同对象的个数之后，还包括：
统计所述基准对象与所述实验对象之间存在差异的差异对象个数。
7.根据权利要求6所述的测试方法，其特征在于，所述统计所述基准对象与所述实验对象之间存在差异的差异对象个数，包括：
将属于所述基准对象，且不属于所述实验对象的所述差异对象，标记为消亡对象；
将属于所述实验对象，且不属于所述基准对象的所述差异对象，标记为增长对象；
分别统计所述消亡对象的个数，以及所述增长对象的个数。
8.根据权利要求6或7所述的测试方法，其特征在于，所述根据所述统计数据，生成测试结果，包括：
根据所述统计数据，计算各组别中所包含的所述相同对象占全部所述基准对象的比例，以及计算所述差异对象占全部所述基准对象的比例，获得计算结果；
将所述计算结果作为所述测试结果。
9.根据权利要求8所述的测试方法，其特征在于，所述获得计算结果之后，还包括：
根据各相同对象的更新率，计算更新率的最大值和/或更新率的最小值和/或更新率的平均值，获得分析结果；
将所述分析结果作为所述测试结果。
10.一种测试装置，其特征在于，包括：
获取模块，用于获取基准算法程序针对基准对象计算所获得的基准数据，以及获取实验算法程序针对实验对象计算所获得的实验数据；
对比模块，用于对比所述基准对象以及所述实验对象，获得属于基准对象与实验对象之间的交集的相同对象；
计算模块，用于针对每一个相同对象，计算更新率；其中更新率用于指示实验数据相对于基准数据的变化比率；
统计模块，用于针对各相同对象的更新率进行统计，获得统计数据；
生成模块，用于根据所述统计数据，生成测试结果，
所述计算模块包括：
计数单元，用于统计相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk；
计算单元，用于将所述不同部分的数据个数Δlk与所述相同对象k的基准数据lbk中的数据个数Cbk的比值，作为所述相同对象k的更新率。
11.根据权利要求10所述的测试装置，其特征在于，所述计数单元，包括：
对比子单元，用于对比针对所述相同对象k的基准数据lbk和实验数据ltk，获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk；
计算子单元，用于根据公式Δlk＝(Cbk+Ctk-2×Csk)/2进行计算，获得所述相同对象k的基准数据lbk和实验数据ltk之间不同部分的数据个数Δlk，其中Ctk为实验数据ltk中的数据个数。
12.根据权利要求11所述的测试装置，其特征在于，
所述对比子单元，具体用于对比所述相同对象k的基准数据lbk和实验数据ltk，对属于基准数据lbk和实验数据ltk中的相同部分的数据进行标记；统计所标记的数据的个数获得属于基准数据lbk和实验数据ltk中的相同部分的数据个数Csk。
13.根据权利要求10所述的测试装置，其特征在于，所述统计模块，包括：
分组单元，用于根据各相同对象的更新率，将所述相同对象划分为各个组别；
统计单元，用于统计各组别中所包含的所述相同对象的个数，获得所述统计数据。
14.根据权利要求13所述的测试装置，其特征在于，所述分组单元，包括：
确定子单元，用于确定各相同对象的更新率所属的更新率区间；
分组子单元，用于将属于相同更新率区间的所述相同对象划分为同一个组别。
15.根据权利要求13所述的测试装置，其特征在于，
所述统计单元，还用于统计所述基准对象与所述实验对象之间存在差异的差异对象个数。
16.根据权利要求15所述的测试装置，其特征在于，所述统计单元，包括：
标记子单元，用于将属于所述基准对象，且不属于所述实验对象的所述差异对象，标记为消亡对象；将属于所述实验对象，且不属于所述基准对象的所述差异对象，标记为增长对象；
计数子单元，用于分别统计所述消亡对象的个数，以及所述增长对象的个数，以及统计各组别中所包含的所述相同对象的个数，获得所述统计数据。
17.根据权利要求15或16所述的测试装置，其特征在于，所述生成模块，包括：
第一生成单元，用于根据所述统计数据，计算各组别中所包含的所述相同对象占全部所述基准对象的比例，以及计算所述差异对象占全部所述基准对象的比例，获得计算结果；将所述计算结果作为所述测试结果。
18.根据权利要求17所述的测试装置，其特征在于，所述生成模块，还包括：
第二生成单元，用于根据各相同对象的更新率，计算更新率的最大值和/或更新率的最小值和/或更新率的平均值，获得分析结果；将所述分析结果作为所述测试结果。
CN201510974380.3A 2015-12-22 2015-12-22 测试方法和装置 Active CN106909497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510974380.3A CN106909497B (zh) 2015-12-22 2015-12-22 测试方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510974380.3A CN106909497B (zh) 2015-12-22 2015-12-22 测试方法和装置

Publications (2)

Publication Number Publication Date
CN106909497A CN106909497A (zh) 2017-06-30
CN106909497B true CN106909497B (zh) 2021-01-19

Family

ID=59199963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510974380.3A Active CN106909497B (zh) 2015-12-22 2015-12-22 测试方法和装置

Country Status (1)

Country Link
CN (1) CN106909497B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695025B (zh) * 2019-03-12 2023-06-02 百度在线网络技术（北京）有限公司 用于小流量实验系统的信息推送方法及装置
CN113553256B (zh) * 2021-06-18 2023-07-14 北京百度网讯科技有限公司 一种ab测试方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544216A (zh) * 2013-09-23 2014-01-29 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
US20140278234A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Method and a system for a statistical equivalence test
CN104281611A (zh) * 2013-07-08 2015-01-14 阿里巴巴集团控股有限公司 网站测试系统中的用户流量分配方法及装置
US20150310358A1 (en) * 2014-04-25 2015-10-29 Mohammad Iman Khabazian Modeling consumer activity
CN105095473A (zh) * 2015-08-11 2015-11-25 北京思特奇信息技术股份有限公司 一种对差异数据进行分析的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278234A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Method and a system for a statistical equivalence test
CN104281611A (zh) * 2013-07-08 2015-01-14 阿里巴巴集团控股有限公司 网站测试系统中的用户流量分配方法及装置
CN103544216A (zh) * 2013-09-23 2014-01-29 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
US20150310358A1 (en) * 2014-04-25 2015-10-29 Mohammad Iman Khabazian Modeling consumer activity
CN105095473A (zh) * 2015-08-11 2015-11-25 北京思特奇信息技术股份有限公司 一种对差异数据进行分析的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《推荐系统评价指标综述》;朱郁筱,吕琳媛;《电子科技大学学报》;20120331;第41卷(第2期);全文 *

Also Published As

Publication number Publication date
CN106909497A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
US10496730B2 (en) Factor analysis device, factor analysis method, and factor analysis program
Zhang et al. Applications and comparisons of four time series models in epidemiological surveillance data
Rousselet et al. Improving standards in brain-behavior correlation analyses
CN107203467A (zh) 一种分布式环境下监督学习算法的基准测试方法和装置
CN108319981A (zh) 一种基于密度的时序数据异常检测方法及装置
CN108777873A (zh) 基于加权混合孤立森林的无线传感网络异常数据检测方法
CN112148955A (zh) 一种物联网时序数据异常检测方法及系统
CN106528111B (zh) 一种数据结构作业程序相似性度量方法
CN103559303A (zh) 一种对数据挖掘算法的评估与选择方法
CN111339633B (zh) 基于数据变化特征模糊度量的热量表性能退化评估方法
CN106909497B (zh) 测试方法和装置
US9400868B2 (en) Method computer program and system to analyze mass spectra
CN110580217A (zh) 软件代码健康度的检测方法、处理方法、装置及电子设备
CN103995963A (zh) 一种产品可靠性的计算方法
Alexander et al. Capturing discrete latent structures: choose LDs over PCs
CN104850624B (zh) 近重复记录的相似度评估方法
CN110008972A (zh) 用于数据增强的方法和装置
Bala et al. Use of the multiple imputation strategy to deal with missing data in the ISBSG repository
JP6394787B2 (ja) 製品検査装置、製品検査方法及びコンピュータプログラム
Wang et al. Compositional segmentation and complexity measurement in stock indices
EP2998760B1 (en) Method, user equipment, system and computer readable medium for localizing an user equipment
CN106772306B (zh) 一种目标物的检测方法及服务器
Yimprayoon Sample size determination and power analysis for modified Cohen’s Kappa statistic
CN104050070B (zh) 一种分布式系统中高维流量数据变化点检测方法
Ali et al. Application of partial least squares based structural equation modelling (PLS-SEM) in hospitality research

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant