CN110727590B - 异常试验方案的确定方法、设备及计算机可读存储介质 - Google Patents

异常试验方案的确定方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110727590B
CN110727590B CN201910957966.7A CN201910957966A CN110727590B CN 110727590 B CN110727590 B CN 110727590B CN 201910957966 A CN201910957966 A CN 201910957966A CN 110727590 B CN110727590 B CN 110727590B
Authority
CN
China
Prior art keywords
test
scheme
determining
abnormal
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957966.7A
Other languages
English (en)
Other versions
CN110727590A (zh
Inventor
吴宏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910957966.7A priority Critical patent/CN110727590B/zh
Publication of CN110727590A publication Critical patent/CN110727590A/zh
Application granted granted Critical
Publication of CN110727590B publication Critical patent/CN110727590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3471—Address tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开实施例提供一种异常试验方案的确定方法、设备及计算机可读存储介质，包括获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；根据第一试验方案、第二试验方案的试验指标确定检测点；基于预设规则在检测点中确定异常点，并根据异常点确定出异常方案。本公开实施例提供的方法、设备及计算机可读存储介质，通过两两比对试验方案的试验指标，从而确定出异常的试验方案。由于单一的试验指标不具有稳定性，在短时间内直接根据一个试验方案的试验指标无法确定出异常方案，而本公开实施例提供的方案，通过方案之间比对的方式，能够快速确定异常方案，从而及时停止异常试验方案造成的负面影响。

Description

异常试验方案的确定方法、设备及计算机可读存储介质
技术领域
本公开实施例涉及试验方案的检测技术，尤其涉及一种异常试验方案的确定方法、设备及计算机可读存储介质。
背景技术
目前，当提出一种新的方案B后，需要对方案进行试验，从而确定该方案的可行性。
现有技术中，可以进行AB测试，从而确定方案B的可行性。AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。
但是，这种试验方式需要在线上进行试验，通过多个方案同时向多组用户提供服务，在这一过程中，方案本身就会对用户体验造成影响。并且，在一过程中，若方案本身有问题，还会造成直接的收入损失。因此，就需要对方案进行监控，确定出异常的试验方案。
发明内容
本公开实施例提供一种异常试验方案的确定方法、设备及计算机可读存储介质，以实现在进行在线试验时，能够在试验方案中确定异常方案的目的。
第一方面，本公开实施例提供一种异常试验方案的确定方法，包括：
获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点；
基于预设规则在所述检测点中确定异常点，并根据所述异常点确定出异常方案。
第二方面，本公开实施例提供一种异常试验方案的确定设备，包括：
获取模块，用于获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
检测点确定模块，用于根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点；
异常确定模块，基于预设规则在所述检测点中确定异常点，并根据所述异常点确定出异常方案。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的异常试验方案的确定方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的涉及所述的异常试验方案的确定方法。
本公开实施例提供的异常试验方案的确定方法、设备及计算机可读存储介质，包括获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；根据第一试验方案、第二试验方案的试验指标确定检测点；基于预设规则在检测点中确定异常点，并根据异常点确定出异常方案。本公开实施例提供的方案，通过两两比对试验方案的试验指标，从而确定出异常的试验方案。由于单一的试验指标不具有稳定性，在短时间内直接根据一个试验方案的试验指标无法确定出异常方案，而本公开实施例提供的方案，通过方案之间比对的方式，能够快速确定异常方案，从而及时停止异常试验方案造成的负面影响。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的异常试验方案的确定方法流程示意图一；
图2为本公开实施例提供的异常试验方案的确定方法流程示意图二；
图3为本公开实施例提供的异常点的确定方法流程示意图；
图4为本公开实施例提供的异常试验方案的确定设备的结构框图；
图5为适于用来实现本公开实施例的电子设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
其中，在提出一种新的方案时，可以直接在线上进行测试，从而确定该方案的可行性。同时，为了确定出较为优选的方案，还可以同时在线上测试多个方案。具体可以将用户进行分组，使得组间用户相似，并针对不同组采用不同的试验方案。例如，在一平台中，可以设置多个广告策略试验方案，针对不同组用户采用不同的广告播放策略。并根据各个试验方案获取的收益，确定试验方案的优劣。
在试验过程中，若存在异常方案，会对用户带来较差的用户体验，还会造成收益损失。因此，需要根据试验情况检测其中是否包括异常方案，从而及时止损。
但是，由于各试验方案的收益指标不具有稳定性，短时间内正常方案与异常方案之间的收益指标没有明显区别。因此，根据收益指标无法快速且直接的在试验方案中确定出异常方案。
参考图1，图1为本公开实施例提供的异常试验方案的确定方法流程示意图一。
步骤101，获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标。
本公开实施例提供的方法可以由具备计算功能的电子设备执行，例如计算机。
其中，该电子设备可以是一平台的后台服务器，该平台还可以设置一前端，前端可以设置在用户终端中，例如一APP。该后台服务器用于提供前端所需要实现的功能。
具体的，需要对新方案进行试验时，可以在后台服务器中设置相应策略，例如策略1、策略2、策略3等。可以将用户进行分组，采用不同的策略向不同的用户组提供服务。
当一用户终端向后台服务器发送请求后，可以根据该用户终端的用户所属分组，基于对应的策略向其提供相应功能。例如，对于用户甲，可以基于策略1对其请求进行处理。
进一步的，可以设置用户分组策略，以使分组后的每组用户情况相似，从而避免由于分组不均导致的试验结果间出现差异。
实际应用时，可以在平台中持续试验一段时间，例如24小时。在这一过程中，可以划分多个时间窗口，获取每个时间窗口对应的试验方案的试验指标。
其中，可以根据预设长度划分时间窗口，例如，每半个小时为一个时间窗口。则可以每半个小时，获取试验方案的试验指标。从而根据获取的试验指标及时确定异常的试验方案。
具体的，试验指标例如可以是收入指标，可以获取在一个时间窗口内，多个试验方案中的第一试验方案、第二试验方案在每时刻对应的收入值，进而得到该试验方案在对应的时间窗口内的试验指标。此处的时刻例如可以是每秒，或者是一段时长，如5秒、10秒、1分钟等。
对于一个试验方案来说，其既可以是第一试验方案，也可以是第二试验方案，第一、第二仅用于区分比对指标的两试验方案，并不是对其进行限定。
试验指标是一向量，例如试验指标X，其中可以包括x1、x2、x3…xn多个向量值，具体n的数值与在上述时间窗口中获取的指标值数量有关。例如，时间窗口是30分钟，每分钟获取一个指标值，则n是30。
进一步的，试验指标例如还可以是点击指标，例如试验方案用于向用户推荐广告，则试验指标可以是用户点击广告的次数。例如，基于试验方案1向用户提供策略时，在某一时刻用户点击广告的次数。
步骤102，根据第一试验方案、第二试验方案的试验指标确定检测点。
实际应用时，本公开实施例提供的方案，可以比对试验方案之间的指标，从而在其中确定出异常的方案。具体可以比对第一试验方案、第二试验方案的试验指标。例如，设置有试验方案A、B，A可以是此前确定的稳定方案，B是一待测试方案，则可以根据方案A和方案B的试验指标，确定方案B是否异常。若方案B的指标与方案A相差过多，则可以认为方案B是一异常方案。
其中，一般情况下，提出的新方案是对原有方案的优化，因此，其能够带来的正向收益并不会很大，但是，其出现失败的概率会较大，当待测试方案的指标与一稳定方案的指标相差较大时，该待测试方案可以被认为是一异常方案。
具体的，可以同时试验多个方案，例如50个、100个。针对其中的每两个试验方案，都可以构建一个方案组合，即包括第一试验方案、第二试验方案的组合。例如试验方案A与试验方案B，再例如试验方案A与试验方案C。
进一步的，根据方案组合中包括的方案的试验指标，可以确定检测点。例如，一个检测点中可以包括试验方案A的试验指标，还包括试验方案B的试验指标。第二个检测点中可以包括试验方案A的试验指标，还可以包括试验方案C的试验指标。
步骤103，基于预设规则在检测点中确定异常点，并根据异常点确定出异常试验方案。
实际应用时，可以设置一预设规则，该预设规则用于在检测点中筛选出异常点。
其中，可以根据检测点中包括的试验指标确定数据特征，再根据每个数据特征在多个检测点中筛选出异常点。例如，可以计算检测点中，两个试验指标的差异性，例如，试验指标是收益时，可以计算在一个时间窗口内，试验方案1的总收益，试验方案2的总收益，再计算收益差值，作为数据特征。
具体的，可以根据该数据特征对各个检测点进行聚类，从而确定出远离聚类中心的检测点。还可以根据孤立森林算法对检测点进行划分，确定出其中的异常点。例如，收益差值作为数据特征时，大部分检测点的数据特征较小，即两个试验方案得到的收益相近，而数据特征较大的检测点即是异常点。
进一步的，每个异常点中包括两组试验指标。可以根据这两组试验指标对应的试验方案确定异常方案。例如，若异常点中的试验指标对应于试验方案A、B，A是原有的稳定方案，则方案B是异常方案。再例如，若异常点中的试验指标对应于试验方案B、C，且试验方案A、C对应的检测点是正常的点，则可以认为试验方案C正常，试验方案B异常。
本公开实施例提供的方案用于检测试验方案中的异常方案，该方法由设置有本公开实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。
本公开实施例提供的异常试验方案的确定方法，包括：获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；根据第一试验方案、第二试验方案的试验指标确定检测点；基于预设规则在检测点中确定异常点，并根据异常点确定出异常方案。本实施例提供的方案，通过两两比对试验方案的试验指标，从而确定出异常的试验方案。由于单一的试验指标不具有稳定性，在短时间内直接根据一个试验方案的试验指标无法确定出异常方案，而本公开实施例提供的方案，通过方案之间比对的方式，能够快速确定异常方案，从而及时停止异常试验方案造成的负面影响。
参考图2，图2为本公开实施例提供的异常试验方案的确定方法流程示意图二。
本公开实施例提供的异常试验方案的确定方法，具体包括：
步骤201，获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标。
步骤201与步骤101的具体原理和实现方式类似，此处不再赘述。
步骤202，在第一试验方案、第二试验方案的试验指标包括的试验指标值中确定异常指标值。
步骤203，剔除试验指标中包括的异常指标值。
其中，本公开实施例中，获取的第一试验方案、第二试验方案对应的试验指标中包括多个试验指标值，例如，试验指标中包括一个时间窗口内每秒对应的收益值。为了避免其中包括的一些异常值对确定异常方案产生的影响，还可以剔除试验指标中的异常指标值。
具体的，例如试验指标中包括一些峰值，则可以剔除这些峰值。
进一步的，可以获取试验指标中包括的多个试验指标值；再根据试验指标值确定绝对中位差，并根据绝对中位差在试验指标值中确定异常指标值。
实际应用时，可以获取一个试验指标中包括的所有试验指标值，例如时间窗口为30分钟，每5秒钟获取一个试验指标值，则一个试验指标中包括360个试验指标值。可以根据这些试验指标值确定绝对中位差(Median Absolute Deviation)。
其中，在统计学中，绝对中位数MAD是对单变量数值型数据的样本偏差的一种鲁棒性测量。同时也可以表示由样本的MAD估计得出的总体参数。
MAD＝b×medianm∣Xi-medianmX)|)
其中，MAD是绝对中位差，median是一向量的中位数。例如一向量X包括x1、x2、x3…xn，则可以在其中确定出中位数(上式中的medianmX))xk，再计算每个值与该中位数的绝对偏差值(上式中的∣Xi-medianmX)∣)，例如x1＇、x2＇、x3＇…xn＇，并在绝对偏差值中，确定中位数xk＇，并计算b与xk＇的乘积，就是最终的绝对中位差MAD。b为一调整参数，可以根据需求进行设置。
具体的，再根据确定的绝对中位差在试验指标值中确定异常指标值。
进一步的，可以根据绝对中位差MAD确定一指标取值范围，若试验指标值属于这一范围，则可以认为该指标值是正常的，不是偶然情况。若试验指标值不属于这一范围，则可以认为该指标值是异常的。
实际应用时，指标取值范围可以是：
[medianmX)-3×MAD，medianmX)+3×MAD]。
步骤204，将剔除异常指标值之后的第一试验方案的试验指标、第二试验方案的试验指标的组合确定为一个检测点。
其中，可以将第一试验指标中剩余的正常指标值，以及第二试验指标中剩余的正常指标值组合为一个检测点。
针对每个第一试验方案、第二试验方案的组合，都可以得到对应的检测点。
步骤205，根据过滤规则在检测点中确定不稳定检测点。
其中，当检测点中包括数值较小的试验指标时，该检测点容易发生不稳定的情况。例如，检测点中第一个试验指标总值为0.1，第二个试验指标总值为1，虽然二者实际差值只有0.9，但是二者相差10倍。再例如，检测点中第一个试验指标总值为99，第二个试验指标总值为100，二者实际差值只有1，比上一个例子中还大，但是二者相差1.01倍。
具体的，试验指标总值是一个试验指标中包括的值的总和，例如，一个试验方案在一个时间窗口内的总收益值。
进一步的，为了避免由于试验指标总值较小，造成检测点中试验指标差异较大的问题，可以设置预设稳定条件，可以根据检测点中包括的第一试验指标、第二试验指标，确定检测点是否符合预设稳定条件，若不符合，则确定这个检测点是不稳定检测点。
实际应用时，预设稳定条件可以是：
|summA)-summB)|>200。
其中，summA)是试验方案A对应的试验指标总值，summB)是试验方案A对应的试验指标总值。一检测点中包括试验方案A、B对应的试验指标。
具体的，还可以预先设置预设置信度条件，若两个试验指标不满足预设置信度条件，则可以认为该检测点是一无稳定检测点。
预设置信度条件可以是：
KSTestmA,B).pValue≤0.05。
进一步的，针对上述预设稳定条件、预设置信度条件，若检测点不符合其中任一项条件，则认为该点不稳定，可以删除相应的检测点。
KSTest是柯尔莫哥洛夫-斯米尔诺夫检验(Колмогоров-Смирнов检验)基于累计分布函数，用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。
可以对删除不稳定的检测点之后的检测点，执行步骤206。
步骤206，在除不稳定检测点外的检测点中确定异常点。
其中，本实施例提供的方法中，可以在检测点中除不稳定检测点外的检测点中确定异常点。例如，可以剔除检测点中的异常点，再在剩余的检测点中确定异常点。
具体的，图2所示实施例中的步骤206，或图1所示实施例中步骤103中的基于预设规则在检测点中确定异常点可以进一步的包括步骤2061、步骤2062。
参考图3，图3为本公开实施例提供的异常点的确定方法流程示意图。
步骤2061，根据检测点中的第一试验指标、第二试验指标，确定检测点的数据特征。
实际应用时，剔除掉不稳定的检测点之后，可以根据剩余的检测点确定异常试验方案，以免不稳定的检测点对确定结果造成影响，例如，由于检测点不稳定导致将正常的试验方案确定为异常试验方案。
其中，可以对剩余的检测点进行处理，从而在其中确定出异常点。
具体的，可以确定检测点的数据特征，从而可以根据数据特征在检测点中确定异常点。
进一步的，数据特征可以包括多个维度，例如，可以包括以下至少一种：差异特征、波动比例特征、损失速度特征。
实际应用时，可以根据检测点中包括的两个试验指标，即第一试验指标和第二试验指标确定以上一个或者多个维度的数据特征。
其中，差异特征X1用于表征两个试验指标之间的差异，
可以根据下式计算：
X1＝KSDistancemA,B)。
具体的，本公开提供的方法可以通过KS距离来计算两个试验指标之间的差异。由于试验指标为一向量，因此，试验指标中包括多个向量值，在计算二者距离时，可以将对应的向量值相减，得到差异特征。
进一步的，波动比例特征X2用于表征两个试验指标之间的波动情况，具体可以采用下式确定X2：
X2＝summB)/summA)。
实际应用时，可以用一个时间窗口内，两个试验方案对应的试验指标总和的比值作为波动比例特征。若这个距离1较远，则可以认为这两个试验方案的指标波动较大。
其中，损失速度特征X3用于表示两个试验方案中，一个方案相较于另一个方案来说，指标下降的速度。具体可以根据下式进行计算：
X3＝msumB-sumA)/t。
具体的，t表示一指标A、B所对应的持续时间，例如可以是一窗口时间。若在数据指标内剔除了异常指标值，还可以根据剔除后的指标值确定时长t，例如，若指标A、B中被剔除一半的指标值，则t可以是窗口时间的一半。
步骤2062，采用孤立森林算法，根据数据特征对检测点所在的空间进行切割，根据切割结果在检测点中确定异常点。
在孤立森林算法miForest)中，异常被定义为“容易被孤立的离群点mmore likelyto be separated)”，可以将其理解为分布稀疏且离密度高的群体较远的点。在特征空间里，分布稀疏的区域表示事件发生在该区域的概率很低，因而可以认为落在这些区域里的数据是异常的。
在孤立森林中，递归地随机分割数据集，直到所有的样本点都是孤立的。在这种随机分割的策略下，异常点通常具有较短的路径。直观上来讲，那些密度很高的簇是需要被切很多次才能被孤立，但是那些密度很低的点很容易就可以被孤立。因此，可以通过对检测点所在的空间进行切割，并根据切割次数，确定出异常点。
例如，一个点被切割很多次才使得其独立在一个空间内，则认为该点是一个正常点，若一个点被切割很少次数就使得其独立在一个空间内，例如一次，则认为该点是一个异常点。
步骤206之后，还可以执行步骤207。
步骤207，根据异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合。
其中，若在试验过程中，存在人群分组不均的问题，则会导致一些试验方案产生的指标与其他方案产生的指标差异较大，进而错误的确定出一些异常点。因此，本公开实施例提供的方法中，在试验方案中设置有重复的方案。例如，设置两个试验方案A1、A2，这两个试验方案采用的策略相同，可以分别应用与两组人群，若人群分组均匀，那么这两个试验方案产生的数据指标应当相同，包括A1、A2对应的试验指标的检测点应当是正常的点。并且，若包括A1、B对应的试验指标的检测点是异常点，那么包括A2、B对应的试验指标的检测点也应当是异常点。因此，可以通过确定的异常点信息，确定出确定的异常点是否准确。
具体的，可以确定一异常点对应的异常方案组合，例如，若包括A1、B对应的试验指标的检测点是异常点，那么异常方案组合则是A1、B。由于设置有重复方案，因此，还可以根据组合中的方案确定对应的相似方案组合，例如，可以确定一相似方案组合为A2、B。
进一步的，重复方案可以包括多个，例如还可以设置有与A1、A2重复的A3、A4等，针对方案B，也可以具体包括B1、B2、B3、B4等。
步骤208，若相似方案组合对应的检测点均是异常点，则确定异常方案组合对应的异常点是真实异常点。
实际应用时，可以确定相似方案组合对应的检测点是否均为异常点，若是，则可以确定异常方案组合对应的异常点是真实异常点。
举一更加详细的例子说明本公开实施例，例如设置有重复试验方案A1、A2、A3，还设置有重复方案B1、B2。假设A1、B1对应的检测点是异常点，那么可以确定其相似方案组合A1、B1，A2、B1，A3、B1，A1、B2，A2、B2，A3、B2对应的检测点是否均为异常点，若是，则可以认为确定出的A1、B1对应的异常点确实是一异常点。
其中，若任一相似方案组合对应的检测点不是异常点，则可以过滤异常方案组合对应的异常点，可以认为该异常点的产生是由于数据波动引起，或是由于用户组分配不均引起的，能够避免将正常的试验方案确定为异常方案。
步骤209，根据异常点确定出异常方案。
步骤209与步骤103中确定异常方案的具体原理和实现方式类似，此处不再赘述。
对应于上文实施例的异常试验方案的确定方法，图4为本公开实施例提供的异常试验方案的确定设备的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图4，所述设备400包括：
获取模块41，用于获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
检测点确定模块42，用于根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点；
异常确定模块43，基于预设规则在所述检测点中确定异常点，并根据所述异常点确定出异常方案。
在本公开的一个实施例中，还包括第一过滤模块44，用于在所述检测点确定模块42根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之前：
在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值；
剔除所述试验指标中包括的所述异常指标值；
所述检测点确定模块42具体用于：
将剔除异常指标值之后的所述第一试验方案的试验指标、所述第二试验方案的所述试验指标的组合确定为一个所述检测点。
在本公开的一个实施例中，所述检测点确定模块42具体用于：
分别获取所述第一试验方案、所述第二试验方案的试验指标中包括的多个第一试验指标值、第二试验指标值；
根据所述第一试验指标值、所述第二试验指标值分别确定第一绝对中位差、第二绝对中位差；
根据所述第一绝对中位差在所述第一试验指标值中确定所述异常指标值，根据所述第二绝对中位差在所述第二试验指标值中确定所述异常指标值。
在本公开的一个实施例中，还包括第二过滤模块45，用于在检测点确定模块42根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之后：
根据过滤规则在所述检测点中确定不稳定检测点；
所述异常确定模块43具体用于：
在除不稳定检测点外的所述检测点中确定所述异常点。
在本公开的一个实施例中，所述过第二滤模块45具体用于：
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设稳定条件；
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设置信度条件；
若所述检测点不符合所述预设稳定条件、所述预设置信度条件中任一条件，则确定所述检测点为所述不稳定检测点。
在本公开的一个实施例中，所述异常确定模块43具体用于：
根据所述检测点中的第一试验指标、第二试验指标，确定所述检测点的数据特征；
采用孤立森林算法，根据所述数据特征对所述检测点所在的空间进行切割，根据切割结果在所述检测点中确定所述异常点。
在本公开的一个实施例中，所述数据特征包括以下至少一种：
差异特征、波动比例特征、损失速度特征。
在本公开的一个实施例中，所述第一试验方案和/或所述第二试验方案中包括多个重复方案；
所述设备还包括第三过滤模块46，用于在异常确定模块43基于预设规则在所述检测点中确定异常点之后：
根据所述异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合；
若所述相似方案组合对应的检测点均是异常点，则确定所述异常方案组合对应的所述异常点是真实异常点。
本公开实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本公开实施例此处不再赘述。
参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图，该电子设备500可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(Read Only Memory，简称ROM)502中的程序或者从存储装置508加载到随机访问存储器(Random Access Memory，简称RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种异常试验方案的确定方法，包括：
获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点；
基于预设规则在所述检测点中确定异常点；
根据所述异常点确定出异常方案。根据本公开的一个或多个实施例，
所述根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之前，还包括：
在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值；
剔除所述试验指标中包括的所述异常指标值；
所述根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点，包括：
将剔除异常指标值之后的所述第一试验方案的试验指标、所述第二试验方案的所述试验指标的组合确定为一个所述检测点。
根据本公开的一个或多个实施例，
所述在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值，包括：
分别获取所述第一试验方案、所述第二试验方案的试验指标中包括的多个第一试验指标值、第二试验指标值；
根据所述第一试验指标值、所述第二试验指标值分别确定第一绝对中位差、第二绝对中位差；
根据所述第一绝对中位差在所述第一试验指标值中确定所述异常指标值，根据所述第二绝对中位差在所述第二试验指标值中确定所述异常指标值。
根据本公开的一个或多个实施例，
所述根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之后，还包括：
根据过滤规则在所述检测点中确定不稳定检测点；
所述基于预设规则在所述检测点中确定异常点包括：
在除不稳定检测点外的所述检测点中确定所述异常点。
根据本公开的一个或多个实施例，所述根据过滤规则在所述检测点中确定不稳定检测点，包括：
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设稳定条件；
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设置信度条件；
若所述检测点不符合所述预设稳定条件、所述预设置信度条件中任一条件，则确定所述检测点为所述不稳定检测点。
根据本公开的一个或多个实施例，所述基于预设规则在所述检测点中确定异常点，包括：
根据所述检测点中的第一试验指标、第二试验指标，确定所述检测点的数据特征；
采用孤立森林算法，根据所述数据特征对所述检测点所在的空间进行切割，根据切割结果在所述检测点中确定所述异常点。
根据本公开的一个或多个实施例，所述数据特征包括以下至少一种：
差异特征、波动比例特征、损失速度特征。
根据本公开的一个或多个实施例，所述第一试验方案和/或所述第二试验方案中包括多个重复方案；
所述基于预设规则在所述检测点中确定异常点之后，还包括：
根据所述异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合；
若所述相似方案组合对应的检测点均是异常点，则确定所述异常方案组合对应的所述异常点是真实异常点。
第二方面，根据本公开的一个或多个实施例，提供了一种异常试验方案的确定设备，包括：
获取模块，用于获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
检测点确定模块，用于根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点；
异常确定模块，基于预设规则在所述检测点中确定异常点，并根据所述异常点确定出异常方案。
根据本公开的一个或多个实施例，还包括第一过滤模块，用于在所述检测点确定模块根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之前：
在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值；
剔除所述试验指标中包括的所述异常指标值；
所述检测点确定模块具体用于：
将剔除异常指标值之后的所述第一试验方案的试验指标、所述第二试验方案的所述试验指标的组合确定为一个所述检测点。
根据本公开的一个或多个实施例，所述检测点确定模块具体用于：
分别获取所述第一试验方案、所述第二试验方案的试验指标中包括的多个第一试验指标值、第二试验指标值；
根据所述第一试验指标值、所述第二试验指标值分别确定第一绝对中位差、第二绝对中位差；
根据所述第一绝对中位差在所述第一试验指标值中确定所述异常指标值，根据所述第二绝对中位差在所述第二试验指标值中确定所述异常指标值。
根据本公开的一个或多个实施例，还包括第二过滤模块，用于在检测点确定模块根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之后：
根据过滤规则在所述检测点中确定不稳定检测点；
所述异常确定模块具体用于：
在除不稳定检测点外的所述检测点中确定所述异常点。
根据本公开的一个或多个实施例，所述过第二滤模块具体用于：
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设稳定条件；
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设置信度条件；
若所述检测点不符合所述预设稳定条件、所述预设置信度条件中任一条件，则确定所述检测点为所述不稳定检测点。
根据本公开的一个或多个实施例，所述异常确定模块具体用于：
根据所述检测点中的第一试验指标、第二试验指标，确定所述检测点的数据特征；
采用孤立森林算法，根据所述数据特征对所述检测点所在的空间进行切割，根据切割结果在所述检测点中确定所述异常点。
根据本公开的一个或多个实施例，所述数据特征包括以下至少一种：
差异特征、波动比例特征、损失速度特征。
根据本公开的一个或多个实施例，所述第一试验方案和/或所述第二试验方案中包括多个重复方案；
所述设备还包括第三过滤模块，用于在异常确定模块基于预设规则在所述检测点中确定异常点之后：
根据所述异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合；
若所述相似方案组合对应的检测点均是异常点，则确定所述异常方案组合对应的所述异常点是真实异常点。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的异常试验方案的确定方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的异常试验方案的确定方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种异常试验方案的确定方法，其特征在于，包括：
获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标；
将所述第一试验方案、所述第二试验方案的所述试验指标的组合确定为检测点；
基于预设规则在所述检测点中确定异常点；
根据所述异常点确定出异常方案；
所述第一试验方案和/或所述第二试验方案中包括多个重复方案；
所述基于预设规则在所述检测点中确定异常点之后，还包括：
根据所述异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合；
若所述相似方案组合对应的检测点均是异常点，则确定所述异常方案组合对应的所述异常点是真实异常点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之前，还包括：
在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值；
剔除所述试验指标中包括的所述异常指标值；
所述将所述第一试验方案、所述第二试验方案的所述试验指标的组合确定为检测点，包括：
将剔除异常指标值之后的所述第一试验方案的试验指标、所述第二试验方案的所述试验指标的组合确定为一个所述检测点。
3.根据权利要求2所述的方法，其特征在于，所述在所述第一试验方案、所述第二试验方案的所述试验指标包括的试验指标值中确定异常指标值，包括：
分别获取所述第一试验方案、所述第二试验方案的试验指标中包括的多个第一试验指标值、第二试验指标值；
根据所述第一试验指标值、所述第二试验指标值分别确定第一绝对中位差、第二绝对中位差；
根据所述第一绝对中位差在所述第一试验指标值中确定所述异常指标值，根据所述第二绝对中位差在所述第二试验指标值中确定所述异常指标值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一试验方案、所述第二试验方案的所述试验指标确定检测点之后，还包括：
根据过滤规则在所述检测点中确定不稳定检测点；
所述基于预设规则在所述检测点中确定异常点包括：
在除不稳定检测点外的所述检测点中确定所述异常点。
5.根据权利要求4所述的方法，其特征在于，所述根据过滤规则在所述检测点中确定不稳定检测点，包括：
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设稳定条件；
根据所述检测点中包括的第一试验指标、第二试验指标，确定所述检测点是否符合预设置信度条件；
若所述检测点不符合所述预设稳定条件、所述预设置信度条件中任一条件，则确定所述检测点为所述不稳定检测点。
6.根据权利要求1所述的方法，其特征在于，所述基于预设规则在所述检测点中确定异常点，包括：
根据所述检测点中的第一试验指标、第二试验指标，确定所述检测点的数据特征；
采用孤立森林算法，根据所述数据特征对所述检测点所在的空间进行切割；
根据切割结果在所述检测点中确定所述异常点。
7.根据权利要求6所述的方法，其特征在于，所述数据特征包括以下至少一种：
差异特征、波动比例特征、损失速度特征。
8.一种异常试验方案的确定设备，其特征在于，包括：
获取模块，用于获取预设长度的时间窗口内，第一试验方案、第二试验方案对应的试验指标，所述第一试验方案和/或所述第二试验方案中包括多个重复方案；
检测点确定模块，用于将所述第一试验方案、所述第二试验方案的所述试验指标的组合确定为检测点；
异常确定模块，用于基于预设规则在所述检测点中确定异常点，并根据所述异常点确定出异常方案；
过滤模块，用于在所述异常确定模块基于预设规则在所述检测点中确定异常点之后，根据所述异常点确定对应的异常方案组合，并根据组合中的第一方案、第二方案及其对应的重复方案，确定相似方案组合；
若所述相似方案组合对应的检测点均是异常点，则确定所述异常方案组合对应的所述异常点是真实异常点。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的异常试验方案的确定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的异常试验方案的确定方法。
CN201910957966.7A 2019-10-10 2019-10-10 异常试验方案的确定方法、设备及计算机可读存储介质 Active CN110727590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957966.7A CN110727590B (zh) 2019-10-10 2019-10-10 异常试验方案的确定方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957966.7A CN110727590B (zh) 2019-10-10 2019-10-10 异常试验方案的确定方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110727590A CN110727590A (zh) 2020-01-24
CN110727590B true CN110727590B (zh) 2023-04-18

Family

ID=69219837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957966.7A Active CN110727590B (zh) 2019-10-10 2019-10-10 异常试验方案的确定方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110727590B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118306B (zh) * 2022-01-26 2022-04-01 北京普利莱基因技术有限公司 Sds凝胶电泳实验数据的分析方法、装置及sds凝胶试剂

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577660A (zh) * 2012-07-19 2014-02-12 腾讯科技（深圳）有限公司 灰度实验系统和方法
JP2014132397A (ja) * 2013-01-07 2014-07-17 Mitsubishi Electric Corp 試験結果判定支援装置
CN104503916A (zh) * 2015-01-05 2015-04-08 中国石油大学(华东) 一种系统界面可用性定量评估方法
CN108345539A (zh) * 2018-01-31 2018-07-31 北京云测信息技术有限公司 一种用于进行ab测试的方法和装置
CN109308255A (zh) * 2017-07-28 2019-02-05 北京京东尚科信息技术有限公司 一种用于a/b测试实验的方法和装置
CN109308552A (zh) * 2017-07-26 2019-02-05 北京嘀嘀无限科技发展有限公司 一种业务策略评估方法、装置及电子设备
CN109471795A (zh) * 2018-10-16 2019-03-15 平安普惠企业管理有限公司 分组测试方法、装置、计算机设备及存储介质
CN109948016A (zh) * 2017-10-31 2019-06-28 北京嘀嘀无限科技发展有限公司 应用信息推送方法、装置、服务器和计算机可读存储介质
US10372782B1 (en) * 2014-09-29 2019-08-06 Amazon Technologies, Inc. Content generation and experimentation using engagement tests
JP2021174066A (ja) * 2020-04-20 2021-11-01 株式会社日立製作所 テスト管理システム、テスト管理装置およびテスト管理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482477B2 (en) * 2013-03-15 2019-11-19 Netflix, Inc. Stratified sampling applied to A/B tests
US9792205B2 (en) * 2014-06-13 2017-10-17 Ebay Inc. A/B testing for mobile applications
US10432994B2 (en) * 2016-02-17 2019-10-01 The Nielsen Company (Us), Llc Content comparison testing on linear media streams
US20180158082A1 (en) * 2016-12-06 2018-06-07 Yahoo! Inc. Method and system for automatic detection and prevention of quality issues in online experiments
US11526421B2 (en) * 2018-01-21 2022-12-13 Microsoft Technology Licensing, Llc. Dynamic experimentation evaluation system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577660A (zh) * 2012-07-19 2014-02-12 腾讯科技（深圳）有限公司 灰度实验系统和方法
JP2014132397A (ja) * 2013-01-07 2014-07-17 Mitsubishi Electric Corp 試験結果判定支援装置
US10372782B1 (en) * 2014-09-29 2019-08-06 Amazon Technologies, Inc. Content generation and experimentation using engagement tests
CN104503916A (zh) * 2015-01-05 2015-04-08 中国石油大学(华东) 一种系统界面可用性定量评估方法
CN109308552A (zh) * 2017-07-26 2019-02-05 北京嘀嘀无限科技发展有限公司 一种业务策略评估方法、装置及电子设备
CN109308255A (zh) * 2017-07-28 2019-02-05 北京京东尚科信息技术有限公司 一种用于a/b测试实验的方法和装置
CN109948016A (zh) * 2017-10-31 2019-06-28 北京嘀嘀无限科技发展有限公司 应用信息推送方法、装置、服务器和计算机可读存储介质
CN108345539A (zh) * 2018-01-31 2018-07-31 北京云测信息技术有限公司 一种用于进行ab测试的方法和装置
CN109471795A (zh) * 2018-10-16 2019-03-15 平安普惠企业管理有限公司 分组测试方法、装置、计算机设备及存储介质
JP2021174066A (ja) * 2020-04-20 2021-11-01 株式会社日立製作所 テスト管理システム、テスト管理装置およびテスト管理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multivatiate Testing-Best Practices&Tools for MVT(A/B/n)Tests;Georgo Georgiew;《https://blog.analytics-toolkit.com/2017/multivariate-testing-practices-tools-mvt-abn-tests/》;全文 *
Twitter的A/B测试实战(二)：技术概述;Dmitriy Ryaboy;《https://www.infoq.cn/article/twitter-ab-test-practise-part02》;全文 *
基于聚类特征自适应机制的无线传感网异常节点检测算法;戴春妮;《微电子学与计算机》(第04期);全文 *

Also Published As

Publication number Publication date
CN110727590A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110704751B (zh) 数据处理方法、装置、电子设备及存储介质
US20160092516A1 (en) Metric time series correlation by outlier removal based on maximum concentration interval
US20150227409A1 (en) Anomaly detection service
CN113837596B (zh) 一种故障确定方法、装置、电子设备及存储介质
CN115277261B (zh) 基于工控网络病毒的异常机器智能识别方法、装置、设备
CN111144941A (zh) 商户评分的生成方法、装置、设备及可读存储介质
CN112037007A (zh) 针对小微企业信贷审批的方法及电子设备
CN113485931A (zh) 测试方法、装置、电子设备及计算机可读存储介质
CN110727590B (zh) 异常试验方案的确定方法、设备及计算机可读存储介质
CN115422028A (zh) 标签画像体系的可信度评估方法、装置、电子设备及介质
US20170068921A1 (en) Summarization of a recording for quality control
CN110490132B (zh) 数据处理方法和装置
CN109542743B (zh) 日志校验方法、装置、电子设备及计算机可读存储介质
CN112685799B (zh) 设备指纹生成方法、装置、电子设备和计算机可读介质
CN111427874B (zh) 医疗数据生产的质控方法、装置以及电子设备
CN114116480A (zh) 应用程序测试覆盖率的确定方法、装置、介质及设备
CN112966971A (zh) 一种项目工作量评估方法和装置
CN113032251A (zh) 应用程序服务质量的确定方法、设备和存储介质
CN111651753A (zh) 用户行为分析系统及方法
CN117290380B (zh) 异常维度数据生成方法、装置、设备和计算机可读介质
CN116225746A (zh) 系统问题的确定方法、装置、设备、存储介质及程序产品
CN113704322B (zh) 基于云边协同的数据采集方法、装置和介质
CN113420220B (zh) 一种服务推荐方法、装置、服务器及终端
CN115576850B (zh) 数据指标测试方法、装置、电子设备及存储介质
CN116596585B (zh) 一种用户满意度获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant