CN111782497B - 测试方法、测试装置、电子设备和可读存储介质 - Google Patents
测试方法、测试装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111782497B CN111782497B CN202010623973.6A CN202010623973A CN111782497B CN 111782497 B CN111782497 B CN 111782497B CN 202010623973 A CN202010623973 A CN 202010623973A CN 111782497 B CN111782497 B CN 111782497B
- Authority
- CN
- China
- Prior art keywords
- test
- user
- target
- flow layer
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 493
- 238000010998 test method Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种测试方法、测试装置、电子设备和可读存储介质。涉及数据采集及用户行为分析技术领域和云计算及云平台技术领域。具体实现方案为:接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;利用所述目标用户对所述目标对象执行所述第一测试。根据本申请的技术提高了测试的效率。
Description
技术领域
本申请涉及计算机技术中的数据采集及用户行为分析技术领域和云计算及云平台技术领域,尤其涉及一种测试方法、测试装置、电子设备和可读存储介质。
背景技术
在产品的多个优化方案上市前,为了选择其中相对较优的方案,需要对产品进行测试。例如,为了确定针对产品的某个特性或某一数据的优化效果较好的方案,需要在正式版本发布之前,提供多个不同的优化方案,并对这些方案进行测试,以确定不同方案针对特定的特性或数据的优化效果,以便选择针对该特性优化效果较佳的方案。
发明内容
本公开提供了一种测试方法、测试装置、电子设备和可读存储介质。
根据本公开的一方面,提供了一种测试方法,包括:
接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;
在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;
利用所述目标用户对所述目标对象执行所述第一测试。
根据本公开的另一方面,提供了一种测试装置,包括:
接收模块,用于接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;
选择模块,用于在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;
测试模块,用于利用所述目标用户对所述目标对象执行所述第一测试。
根据本公开的又一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上项所述的方法。
本公开的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行以上所述的方法。
根据本申请的技术提高了测试的效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请一实施例提供的测试方法的流程图;
图2是根据本申请一实施例提供的又一测试方法的流程图;
图3是本申请一实施例中的测试场景示意图;
图4是根据本申请一实施例提供的又一测试方法的流程图;
图5是根据本申请一实施例提供的测试装置的结构示意图;
图6是用来实现本申请实施例的测试方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请提供了一种测试方法。
本申请提供的测试方法用于针对产品进行测试,或称实验,具体的,例如可以应用于A/B测试(ABTest)中。该测试方法涉及数据采集及用户行为分析技术领域,主要用于进行数据采集获取用户数据,进一步根据用户数据对用户的行为进行分析。该测试方法还涉及云计算及云平台技术领域,可以基于云平台向用于提供通过云计算实现的测试服务。
如图1所示,在一个实施例中,该测试方法包括以下步骤。
步骤S101:接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件。
实施时,首先接收测试请求者提交的针对目标对象的测试请求,目标对象指的可以是应用程序等提供的服务,也可以理解为需要进行测试和优化的产品。
测试请求包括测试请求者根据需求提供的测试条件,例如,可以包括用户的年龄、性别、城市、使用的设备类型、活跃度等。
例如,某一应用程序针对的用户为男性用户,则可以将参与测试条件设定为男性用户参与测试;又如,某一应用程序针对位于A城市的用户,则可以将位置条件为A城市设置为测试条件。
由于每一测试请求测试的测试需求可能为一个,也可能为多个,因此,每一测试请求可能包括一个或多个测试条件,例如,某一应用程序可能需要了解男性用户和女性用户的使用需求,还需要了解30岁以下用户的使用需求和30岁以上用户的使用需求,则该测试请求中可以包括多个测试条件。
步骤S102:在测试流量层中选择符合所述第一测试的测试条件的目标用户。
每一测试流量层中通常包括大量的测试用户,也可以称作测试流量或测试流量。
本实施例中,测试流量层中存在正在进行的在先测试,且目标用户为在先测试未命中的用户。
相关技术中,进行测试时,一个测试需要占用测试流量层中的全部测试用户,这样的话,这样的话,只有当一个测试进行完毕之后,才能够进行下一个测试。同时,测试流量层中的一部分测试用户可能不符合本次测试的测试条件,这部分测试用户所能提供的测试资源因不会被使用而被浪费。
而本实施例中,目标用户为该测试流量层中,在先测试未命中的用户,也就是说,需要针对测试流量层中的测试用户进行筛选,将符合测试条件的用户筛选出来,然后进一步进行测试,这样,未被在先测试命中的用户,也就是不符合在先测试的测试条件的测试用户,还可以被其他测试所利用。
步骤S103:利用所述目标用户对所述目标对象执行所述第一测试。
在确定了目标用户之后,利用该目标测试执行针对目标对象的测试。
这样,本实施例中,在测试的时候不需要占用全部测试流量层,其他测试也可以同步进行,同时,由于所选择的测试用户均为符合测试条件的测试用户,减少了对抽样结果中不满足测试条件的测试用户的处理过程,有助于提高测试效率。
在本申请提供的测试方法的一个实施例中,与图1所示实施例的区别在于,还通过对在先测试进行检测以确定测试流量层中的目标用户。
具体的,如图2所示,在该实施例中,测试方法包括:
步骤S201:接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件。
本实施例中以第一测试设定的测试条件为男性用户和30岁以下的用户为例说明。
步骤S202:遍历目标测试流量层,其中,所述目标测试流量层为多个所述测试流量层中的一个。
实施时,首先确定是否存在在先测试,或称正在进行的测试,如果不存在在先测试,则可以直接选择一个测试流量层进行测试即可。
如果存在在先测试,则遍历测试流量层,以获取在先测试的测试条件。其中,测试进程包括多个测试流量层,每一测试流量层包括多个测试用户,各测试流量层的全量测试用户相同。应当理解的是,由于一次测试中包括多个具体的实验,针对每一个实验来说,需要在一个测试流量层中进行,因此,测试进程中,通常同时构建多个测试流量层,各个测试流量层中的全量测试用户是相同的。
步骤S203:若所述目标测试流量层中存在与所述第一测试的测试条件互斥的第二测试,则将所述目标测试流量层中,所述第二测试命中的用户之外的用户作为目标用户。
在遍历目标测试流量层并获取了在先测试的测试条件之后,进一步确定该在先测试的测试条件是否与第一测试的测试条件互斥。
测试条件互斥指的是两者不能同时成立,例如,第一测试的一个测试条件为男性用户,那么如果存在一个测试的测试条件为女性用户,那么这两个测试条件不能同时成立,所以这两个测试条件是互斥的;又如,一个测试的测试条件为30岁以下用户,另一个测试的测试条件为30岁以上用户,则这两个条件也是互斥的;又如,一个测试的调节是18岁以上用户,另一个测试的测试条件为30岁以下用户,则这两个条件可以同时成立,所以这两个测试条件不是互斥的。
这样,如果在目标测试流量层中存在与第一测试的测试条件互斥的第二测试,则第二测试所在的目标测试流量层中,符合第一测试的测试条件的测试用户不会被第二测试所用到,而利用这些测试用户进行测试,不需要新增测试流量层,可以直接进行,提高了测试流量层的利用率,同时,也避免对测试流量层中的测试流量造成浪费。
如图3所示,以设置有三个测试流量层为例说明,第一测试流量层301中正在进行的测试A的测试条件为男性用户,那么在该第一测试流量层301中还可以进行针对女性用户的测试B。测试C针对30岁以下用户,在第一测试流量层301中不存在与测试C的测试条件互斥的测试,因此,需要在其他测试流量层中进行测试,因此,在第二测试流量层302中进行针对30岁以下用户的测试C,进一步的该第二测试流量层302中还可以进行针对30岁以上用户的测试D。测试E针对全量用户,因此,需要进一步提供第N测试流量层303,以进行测试E。
也可以理解为,第一测试流量层301包括两个虚拟的流量层,即包括男性测试用户的男性流量层3011和包括女性测试用户的女性流量层3012,由于其测试条件是互斥的,所以测试用户仅能命中其中一个虚拟的流量层,也就是仅能命中其中的一个测试。
这样,本实施例的技术方案可以将测试流量最大化,为每个互斥的测试维度科学合理的分配测试用户,避免了互斥测试用户的浪费。
应当注意的是,不同测试流量层中的测试用户需要正交分配,例如,可以首先生成一正交表,然后按照该正交表进行正交抽样,以进行测试流量的分配,进一步的,在正交抽样的基础上,进一步对测试用户的属性进行挖掘,以确定满足测试条件的目标用户。
步骤S204:用所述目标用户对所述目标对象执行所述第一测试。
在一个可选的具体实施方式中,该步骤S204包括:
接收测试用户的访问请求;
根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户;
若所述测试用户为目标用户,则将所述第一测试下发至所述测试用户。
在测试用户使用目标对象时,根据测试用户的用户信息确定其所命中的测试。
如图3所示,用户A为一个28岁的男性用户,其满足测试A和测试C的测试条件,因此,确定该用户A命中测试A、测试C和测试E;用户B为一个32岁的男性用户,则确定该用户B命中测试A、测试D和测试E;用户C为一个25岁的女性用户,则确定该用户A命中测试B、测试C和测试E;用户D为一个35岁的女性用户,则确定该用户A命中测试B、测试D和测试E。
由于第一测试的测试条件为30岁以下用户和男性用户,所以用户A、B和C分别命中了第一测试中的一个或多个测试,为第一测试针对的目标用户,而用户D未命中第一测试中的测试,因此,用户D并非第一测试针对的目标用户。
在确定了目标用户之后,将具体的测试内容下发至目标用户,以供目标用户进行测试,最终,将测试结果反馈至测试发起方即可。
这样,针对测试用户,根据用户的身份信息确定其对应的测试,能够提高对于测试用户执行的测试任务的有效性,确保测试用户执行与其属性相关的测试,有助于减少浪费和提高测试效果。
进一步的,在根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户之前,还包括:
建立测试条件和所述测试用户的用户信息的映射表。
实施时,首先对测试用户的用户习惯和身份特征等用户信息进行挖掘,以确定测试用户的属性,具体的,例如包括测试用户的年龄、性别、所在地、行为习惯等测试过程中可能需要限定的条件。
进一步的,建立测试分支和用户信息的映射表(K-V表,key-value表),映射表中的一个用户在一个测试流量层中,对应一个测试条件,也就是说,在一个测试流量层中,仅对应一个测试实验,这样,也仅能返回一个测试结果。
所述根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户,包括:
对所述测试用户的用户标识进行哈希取模;
利用所述哈希取模根据所述映射表计算所述测试用户是否命中所述第一测试。
在对测试用户进行测试是,根据该测试用户的用户标识进行哈希取模,然后根据哈希取模的结果在映射表中进行检索,从而确定该测试用户命中第一测试,如果该测试用户命中了第一测试,则说明该测试用户为目标用户,进一步的将第一测试的相关测试信息下发给该目标用户进行测试。
这样,通过根据测试用户的用户标识确定其身份,以下发第一测试,能够使得测试用户充分参与和测试用户相关性更高的测试,有助于缩短整体测试周期,提升产品优化迭代效率。
如图4所示,本实施例的技术方案可以概括为实验请求方发起测试请求后,首先对需要对测试用户进行管理,具体的,按照正交表进行正交抽样和寻优抽样。
其中,正交抽样指的是依据正交表对测试用户进行抽样,以提高不同测试流量层中测试用户分布的均匀性。寻优抽样则指的是上述实施例中根据测试条件选择相关性较大的测试用户,实施时,可以通过测试条件的互斥判断在一个测试流量层内构件多个虚拟层。
进一步的,根据抽样结果建立映射表,其中,映射表可以正向检索也可以反向检索,也就是说,也可由测试条件检索相应的测试用户,也可以由测试用户检索相应的测试条件以确定需要进行的测试。
当测试用户进行测试时,载入所建立的映射表,根据测试用户的用户信息由映射表中检索符合测试条件的测试,进一步的,根据检索结果确定测试用户命中的测试,并将其他未命中的测试过滤掉,最后,向该测试用户下发测试信息,以供测试用户完成相应的测试。
本申请还提供了一种测试装置。
如图5所示,在一个实施例中,测试装置500包括:
接收模块501,用于接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;
选择模块502,用于在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;
测试模块503,用于利用所述目标用户对所述目标对象执行所述第一测试。
可选的,所述选择模块502包括:
遍历子模块,用于遍历目标测试流量层,其中,测试进程包括多个测试流量层,每一所述测试流量层包括多个测试用户,各所述测试流量层的全量测试用户相同,所述目标测试流量层为所述多个测试流量层中的一个;
选择子模块,用于若所述目标测试流量层中存在第二测试,且所述第二测试的测试条件与所述第一测试的测试条件互斥,则将所述目标测试流量层中,所述第二测试命中的用户之外的用户作为目标用户。
可选的,所述测试模块503包括:
接收子模块,用于接收测试用户的访问请求;
确定子模块,用于根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户;
下发子模块,用于若所述测试用户为目标用户,则将所述第一测试下发至所述测试用户。
可选的,还包括:
映射表建立模块,用于建立测试条件和所述测试用户的用户信息的映射表;
所述确定子模块包括:
取模单元,用于对所述测试用户的用户标识进行哈希取模;
计算单元,用于利用所述哈希取模根据所述映射表计算所述测试用户是否命中所述第一测试。
由于本实施例的测试装置500能够实现上述测试方法实施例的各个步骤,因此至少能实现与之相同或相近的技术效果,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是实现根据本申请实施例的测试方法电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的测试方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的测试方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的测试方法对应的程序指令/模块(例如,附图5所示的接收模块501、选择模块502和测试模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的测试方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
测试方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,在测试的时候不需要占用全部测试流量层,其他测试也可以同步进行,同时,由于所选择的测试用户均为符合测试条件的测试用户,减少了对抽样结果中不满足测试条件的测试用户的处理过程,有助于提高测试效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (6)
1.一种测试方法,包括:
接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;
在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;
利用所述目标用户对所述目标对象执行所述第一测试;
所述利用所述目标用户对所述目标对象执行所述第一测试,包括:
接收测试用户的访问请求;
根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户;
若所述测试用户为目标用户,则将所述第一测试下发至所述测试用户;
所述根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户之前,还包括:
建立测试条件和所述测试用户的用户信息的映射表,所述映射表中的一个用户在一个测试流量层中对应一个测试条件;
所述根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户,包括:
对所述测试用户的用户标识进行哈希取模;
利用所述哈希取模根据所述映射表计算所述测试用户是否命中所述第一测试。
2.根据权利要求1所述的方法,其中,所述在测试流量层中选择符合所述第一测试的测试条件的目标用户,包括:
遍历目标测试流量层,其中,测试进程包括多个测试流量层,每一所述测试流量层包括多个测试用户,各所述测试流量层的全量测试用户相同,所述目标测试流量层为所述多个测试流量层中的一个;
若所述目标测试流量层中存在第二测试,且所述第二测试的测试条件与所述第一测试的测试条件互斥,则将所述目标测试流量层中,所述第二测试命中的用户之外的用户作为目标用户。
3.一种测试装置,包括:
接收模块,用于接收针对目标对象的测试请求,所述测试请求包括第一测试的测试条件;
选择模块,用于在测试流量层中选择符合所述第一测试的测试条件的目标用户,其中,所述测试流量层中存在正在进行的在先测试,且所述目标用户为所述在先测试未命中的用户;
测试模块,用于利用所述目标用户对所述目标对象执行所述第一测试;
所述测试模块包括:
接收子模块,用于接收测试用户的访问请求;
映射表建立模块,用于建立测试条件和所述测试用户的用户信息的映射表,所述映射表中的一个用户在一个测试流量层中对应一个测试条件;
确定子模块,用于根据所述测试用户的用户信息确定所述测试用户是否命中所述第一测试的目标用户;
下发子模块,用于若所述测试用户为目标用户,则将所述第一测试下发至所述测试用户;
所述确定子模块包括:
取模单元,用于对所述测试用户的用户标识进行哈希取模;
计算单元,用于利用所述哈希取模根据所述映射表计算所述测试用户是否命中所述第一测试。
4.根据权利要求3所述的装置,其中,所述选择模块包括:
遍历子模块,用于遍历目标测试流量层,其中,测试进程包括多个测试流量层,每一所述测试流量层包括多个测试用户,各所述测试流量层的全量测试用户相同,所述目标测试流量层为所述多个测试流量层中的一个;
选择子模块,用于若所述目标测试流量层中存在第二测试,且所述第二测试的测试条件与所述第一测试的测试条件互斥,则将所述目标测试流量层中,所述第二测试命中的用户之外的用户作为目标用户。
5.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-2中任一项所述的方法。
6.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-2中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623973.6A CN111782497B (zh) | 2020-06-30 | 2020-06-30 | 测试方法、测试装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623973.6A CN111782497B (zh) | 2020-06-30 | 2020-06-30 | 测试方法、测试装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111782497A CN111782497A (zh) | 2020-10-16 |
CN111782497B true CN111782497B (zh) | 2023-08-11 |
Family
ID=72761060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010623973.6A Active CN111782497B (zh) | 2020-06-30 | 2020-06-30 | 测试方法、测试装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111782497B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1890235A1 (en) * | 2006-08-02 | 2008-02-20 | Microsoft Corporation | Test case management |
CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
CN106354621A (zh) * | 2015-07-14 | 2017-01-25 | 北京国双科技有限公司 | 网页测试的投放方法及装置 |
CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技(中国)有限公司 | 一种ab测试方法及装置 |
CN110413533A (zh) * | 2019-09-03 | 2019-11-05 | 江苏满运软件科技有限公司 | Ab测试方法、系统、设备及存储介质 |
CN110750436A (zh) * | 2018-07-23 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 分层测试方法、装置、计算机可读介质及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9116865B2 (en) * | 2012-12-05 | 2015-08-25 | Chegg, Inc. | Enhancing automated terms listings in HTML document publishing based on user searches |
US10652770B2 (en) * | 2018-01-29 | 2020-05-12 | Walmart Apollo, Llc | Shared experiment control |
-
2020
- 2020-06-30 CN CN202010623973.6A patent/CN111782497B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1890235A1 (en) * | 2006-08-02 | 2008-02-20 | Microsoft Corporation | Test case management |
CN104281611A (zh) * | 2013-07-08 | 2015-01-14 | 阿里巴巴集团控股有限公司 | 网站测试系统中的用户流量分配方法及装置 |
CN106354621A (zh) * | 2015-07-14 | 2017-01-25 | 北京国双科技有限公司 | 网页测试的投放方法及装置 |
CN110750436A (zh) * | 2018-07-23 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 分层测试方法、装置、计算机可读介质及电子设备 |
CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技(中国)有限公司 | 一种ab测试方法及装置 |
CN110413533A (zh) * | 2019-09-03 | 2019-11-05 | 江苏满运软件科技有限公司 | Ab测试方法、系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
Overlapping Experiment Infrastructure: More, Better, Faster Experimentation;Diane Tang等;KDD’2010;第17-26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111782497A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765024B (zh) | 模拟测试方法、装置、电子设备和计算机可读存储介质 | |
CN110865855B (zh) | 小程序处理方法及相关设备 | |
CN111741026B (zh) | 一种跨链事务请求处理方法、装置、设备以及存储介质 | |
US20210108931A1 (en) | Method and apparatus for determining hybrid travel route, device and storage medium | |
CN111639027B (zh) | 一种测试方法、装置及电子设备 | |
CN111177476B (zh) | 数据查询方法、装置、电子设备及可读存储介质 | |
CN111259205B (zh) | 一种图数据库遍历方法、装置、设备及存储介质 | |
CN111913998B (zh) | 数据处理方法、装置、设备和存储介质 | |
CN111752843A (zh) | 用于确定影响面的方法、装置、电子设备及可读存储介质 | |
CN113051446A (zh) | 拓扑关系查询方法、装置、电子设备和介质 | |
CN110619002A (zh) | 数据处理方法、装置及存储介质 | |
CN111831752B (zh) | 分布式数据库的空间整理方法、装置、设备以及存储介质 | |
CN111176838B (zh) | 为二分图中的节点分配嵌入向量的方法以及装置 | |
CN112069137B (zh) | 生成信息的方法、装置、电子设备及计算机可读存储介质 | |
CN111767149B (zh) | 调度方法、装置、设备及存储设备 | |
CN111782497B (zh) | 测试方法、测试装置、电子设备和可读存储介质 | |
CN112699314A (zh) | 热点事件确定方法、装置、电子设备及存储介质 | |
CN112069155A (zh) | 数据多维分析模型生成方法和装置 | |
CN111767442A (zh) | 数据更新方法、装置、搜索服务器、终端及存储介质 | |
CN111753330A (zh) | 数据泄露主体的确定方法、装置、设备和可读存储介质 | |
CN111177479A (zh) | 获取关系网络图中节点的特征向量的方法以及装置 | |
JP7316305B2 (ja) | グラフ計算の処理方法、装置、電子機器及び記憶媒体 | |
CN111782633B (zh) | 数据处理方法、装置及电子设备 | |
CN111506499B (zh) | 一种小程序中参数可用性检测方法、装置以及电子设备 | |
CN112446728B (zh) | 广告召回方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |