CN112882929A

CN112882929A - 测试方法、装置、计算机设备和存储介质

Info

Publication number: CN112882929A
Application number: CN202110144178.3A
Authority: CN
Inventors: 袁思思; 胡志鹏
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2021-06-01
Anticipated expiration: 2041-02-02
Also published as: CN112882929B

Abstract

本申请公开了一种测试方法、装置、计算机设备和存储介质。该方法包括：获取多个类别的待组合素材，并根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例，之后，生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数，接着提供多组用例组合给被测用户，以供被测用户进行选择，且保存被测用户针对用例组合的选择数据，从而保证了AB测试的准确性以及全面性。

Description

测试方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机应用领域，具体涉及一种测试方法、装置、计算机设备和存储介质。

背景技术

AB测试(A/BTesting)又称为分组测试或分桶测试，通过为网页或软件应用的界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

现有的AB测试通常是让被测者从多个版本中选择一个版本，之后统计每个版本共有多少个被测者选择，这种测试方法很容易让被测者有眼花缭乱的感觉，而导致测试结果并不准确，且该测试方法不够全面，例如，无法知道被测者针对多个版本中的其中两个版本更喜欢哪个版本。

发明内容

本申请实施例提供一种测试方法、装置、计算机设备和存储介质，可以提升测试结果的准确性以及全面性。

本申请实施例提供一种测试方法，该测试方法包括：

获取多个类别的待组合素材；

根据组合规则和所述多个类别对所述待组合素材进行组合，以得到多个第一测试用例；

生成多组用例组合，每个所述用例组合中包括所述多个第一测试用例中的至少两个第二测试用例，每个所述用例组合中第二测试用例的数量小于所述多个第一测试用例的总数；

提供所述多组用例组合给被测用户，以供所述被测用户进行选择，且保存被测用户针对所述用例组合的选择数据。

可选的，所述根据组合规则和所述多个类别对所述待组合素材进行组合，以得到多个第一测试用例，包括：

遍历每个类别中的任意一个待组合素材，根据组合规则进行组合，以得到所有不重复的第一测试用例。

可选的，所述生成多组用例组合，包括：

将所述多个第一测试用例中任意数量个第二测试用例进行组合，以得到多组用例组合，所述任意数量少于所述多个第一测试用例的总数。

可选的，所述生成多组用例组合，包括：

将所述多个第一测试用例中的每两个第二测试用例进行组合，以得到多组用例组合。

可选的，所述方法还包括：

当所述被测用户完成测试后，根据被测用户针对所有用例组合的选择数据生成表格。

本申请实施例还提供了一种测试装置，包括：

获取模块，用于获取多个类别的待组合素材；

组合模块，用于根据组合规则和所述多个类别对所述待组合素材进行组合，以得到多个第一测试用例；

生成模块，用于生成多组用例组合，每个所述用例组合中包括所述多个第一测试用例中的至少两个第二测试用例，每个所述用例组合中第二测试用例的数量小于所述多个第一测试用例的总数；

测试模块，用于提供所述多组用例组合给被测用户，以供所述被测用户进行选择，且保存所述被测用户针对所述用例组合的选择数据。

可选的，所述组合模块具体用于：

可选的，所述生成模块具体用于：

本申请实施例还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上述方法的步骤。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述方法的步骤。

本申请实施例提供了一种测试方法、装置、计算机设备和存储介质，通过根据用户提供的素材组合出多个测试用例，之后再将多个测试用例组合出多组用例组合，并将多组用例组合提供给被测用户进行测试，相较于现有AB测试中直接从多个测试用例中选择一个测试用例的方法，本申请的测试方法能够减少被测用户由于眼花缭乱而导致乱选情况的发生，提升了测试的准确性和测试结果的可靠性，同时，本申请保存了每个被测用户针对每个用例组合的选择数据，保证了测试数据的全面性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的测试装置的系统示意图。

图2是本申请实施例提供的测试方法的流程示意图；

图3是本申请实施例提供的测试方法的第一应用场景示意图；

图4是本申请实施例提供的测试方法的第二应用场景示意图；

图5是本申请实施例提供的测试方法的第三应用场景示意图；

图6是本申请实施例提供的测试方法的第四应用场景示意图；

图7是本申请实施例提供的测试方法的第五应用场景示意图；

图8是本申请实施例提供的测试方法的第六应用场景示意图；

图9是本申请实施例提供的测试装置的结构示意图；

图10是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种测试方法、装置、存储介质及计算机设备。具体地，本申请实施例的测试方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC，PersonalComputer)、个人数字助理(PersonalDigitalAssistant，PDA)等终端设备，终端还可以包括客户端。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

例如，当该测试方法运行于服务器时，服务器可以接收、发送以及存储测试数据。例如，服务器可以接收研究员导入的待组合素材，并将待组合素材组合成为测试用例，再将测试用例组合成为用例组合，服务器还可以将用例组合发送至被测用户的终端，接收并存储被测用户终端发送的测试数据。

例如，当该测试方法运行于终端时，终端可以接收、发送以及存储测试数据。例如，终端可以接收研究员导入的待组合素材，并将待组合素材组合成为测试用例，再将测试用例组合成为用例组合，终端还可以接收被测用户对的测试数据。

请参阅图1，图1为本申请实施例提供的测试装置的系统示意图。该系统可以包括至少一个终端1000，至少一个服务器2000，至少一个数据库3000，以及网络4000。用户持有的终端1000可以通过网络4000连接到不同的服务器。终端1000是具有计算硬件的任何设备，该计算硬件能够支持和执行与测试装置对应的软件产品。另外，终端1000具有用于感测和获得用户通过在一个或者多个触控显示屏的多个点执行的触摸或者滑动操作的输入的一个或者多个多触敏屏幕。另外，当系统包括多个终端1000、多个服务器2000、多个网络4000时，不同的终端1000可以通过不同的网络4000、通过不同的服务器2000相互连接。网络4000可以是无线网络或者有线网络，比如无线网络为无线局域网(WLAN)、局域网(LAN)、蜂窝网络、2G网络、3G网络、4G网络、5G网络等。另外，不同的终端1000之间也可以使用自身的蓝牙网络或者热点网络连接到其他终端或者连接到服务器等。另外，该系统可以包括多个数据库3000，多个数据库3000耦合到不同的服务器2000，并且可以将不同用户进行AB测试时产生的测试数据存储于数据库3000中。

请参阅图2，图2为本申请实施例提供的测试方法的流程示意图，该方法主要可以包括步骤101至步骤104，该方法所包含的各个步骤的执行主体可以相同也可以不同，该执行主体包括终端、服务器等，针对各个步骤的说明如下：

步骤101：获取多个类别的待组合素材。

具体地，该待组合素材可以为图像、文本、视频等。譬如，请参阅图3，图3为本申请实施例提供的测试方法的第一应用场景示意图。该终端1000上显示有图形用户界面，该图形用户界面可以为测试软件的客户端界面或测试网站页面等，以测试网站页面为例，研究员可以进入该测试网站页面，并以研究员的身份登录，进入研究员页面100，该研究员页面上显示有导入图标101，研究员可以点击该导入图标101，以导入待组合素材。该测试网站检测到研究员的导入操作，可以获取其导入的多个类别的待组合素材，在后续步骤对多个类别的待组合素材进行组合。

值得注意的是，可以将待组合素材依据类别进行分批次的导入，例如，当研究员点击导入图标101时，弹出选择界面200，该选择界面200显示有视频图标201、图片图标202和文字图标203，当研究员点击图片图标202时，可以导入图片类待组合素材，当研究员点击视频图标201时，可以导入视频类待组合素材。此外，还可以将多个类别的待组合素材一次性全部导入，之后，由系统自动对待组合素材的类别进行识别。

步骤102：根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例。

其中，组合规则可以由研究员进行设置，譬如，请参阅图5，图5为本申请实施例提供的测试方法的第三应用场景示意图，当研究员将所有类别的待组合素材全部导入后，终端300可以显示组合规则的设置页面300，譬如，研究员导入了图片类待组合素材和文字类待组合素材，该文字类待组合素材为多种字体，该设置界面300可以显示有这两类待组合素材，以供研究员设置这两类待组合素材的组合规则，例如，如图5所示，该设置界面上显示有图片示例301和文字示例302，图片示例301上设置有添加位置图标303，该添加位置图标303为可拖动图标，其拖动范围为整个图片示例301的范围，该图片示例301的大小可以根据研究员导入的图片类素材的大小自动确定，其中，文字示例302为可输入文本框，研究员可以在文字示例302处输入想要显示的文字，若不输入，可以为默认文字。值得注意的是，研究员还可以设置文字类素材的大小、颜色、间距、边框等，在此不作示例。

具体地，组合规则还可以是预设的。譬如，很多游戏在上线之前，需要选择界面适合的字体，通常，研究员会先通过AB测试了解玩家对各种字体的看法，但是，现有的方法为人工测试流程，比如，研究员会采用界面的图片，用修图软件为界面图片换上多种字体，之后拿给玩家看，并访谈玩家，比如问玩家喜欢哪个界面图片、为什么不喜欢其他界面图片等诸如此类的问题。但是，这种人工测试流程一次通常只能测试2至3个字体，且换字体、线下访谈以及统计过程导致人工测试流程较为繁琐，具有一定的局限性。采用本申请的测试方法，研究员可以将界面图片、字体导入至测试系统，该测试系统可以预设有多种组合规则，比如，将文字居中、横向设置在界面图片中，再比如，将文字靠左、竖向设置在界面图片中，等等。研究员可以选择预设规则，使界面图片和字体按照组合规则进行组合。

在一些实施例中，步骤102可以包括：遍历每个类别中的任意一个待组合素材，根据组合规则进行组合，以得到所有不重复的第一测试用例。

其中，组合规则为将不同类别的素材组合起来的方式，例如，若包括图片类素材和文字类素材，组合规则可以为：将文字类素材居中设置于图片类素材上。该组合规则可以内置于计算机设备中，也可以由用户自由设置。

譬如，研究员导入了一张界面图片(图片类待组合素材)和四种字体(文字类素材)，并通过图5的设置页面300将组合规则设置为：将我是文字(文字类素材)设置在在界面图片(图片类待组合素材)的居中位置，则得到四种不重复的第一测试用例，并将该四种第一测试用例显示在终端1000的图形用户界面上，以供研究员确认。比如，如图6所示，可以将四种第一测试用例(401、402、403和404)显示在用户界面400中，若研究员点击确认按钮，则进行后续步骤，若研究员点击返回按钮，则返回重新设置组合规则的界面中。

步骤103：生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数。

在本实施例中，步骤103主要可以包括：将多个第一测试用例中任意数量个第二测试用例进行组合，以得到多组用例组合，该任意数量少于多个第一测试用例的总数。

其中，该任意数量可以由研究员进行指定，也可以由测试系统的开发者预设在系统中。譬如，如图6所示的四个第一测试用例，若研究员指定将这四个第一测试用例中的任意三个第二测试用例进行组合，则可以得到四组用例组合，分别为组合1:401、402、403；组合2:401、402、404；组合3:401、403、404；组合4:402、403、404。

进一步地，步骤103主要可以包括：将多个第一测试用例中的每两个第二测试用例进行组合，以得到多组用例组合。

具体地，将第一测试用例中的每两个第二测试用例进行组合，得到多组用例组合，以在后续步骤中提供给用户进行选择，可以知道用户对任意两个测试用例的喜好情况，且被测用户只需要在两个选项中进行选择，降低了用户的选择难度，且两个选项的对比显著，避免了用户产生眼花缭乱的感觉，避免被测用户乱选而影响测试结果的准确性，一定程度上保障了测试结果的可靠性。

例如，如图6所示的四个第一测试用例，将第一测试用例中的每两个第二测试用例进行组合，可以得到六组用例组合，分别为组合1:401、402；组合2:401、403；组合3:401、404；组合4：402、403；组合5:402、404；组合6:403、404。

步骤104：提供多组用例组合给被测用户，以供被测用户进行选择，且保存被测用户针对用例组合的选择数据。

其中，步骤104具体的可以包括：获取测试指令，该测试指令携带被测用户标识；将多组用例组合提供给被测用户标识对应的被测用户。譬如，该被测用户标识可以为终端标识，则将多组用例组合发送至该终端标识对应的终端。具体地，可以将多组用例组合依次发送至终端，也可以将多组用例组合一次性全部发送至终端。比如，发送其中一组用例组合给终端后，接收终端返回的选择数据，再发送另外一组用例组合给终端，直至所有用例组合都发送至终端为止。

其中，每当被测用户针对一组用例组合选择完毕后，均生成被测用户的选择数据，比如，若用户针对用例组合1进行选择，该用例组合1包括两个测试用例(即两个选项，选项A和选项B)，则产生测试数据：用例组合1，A，T，B，F，300ms，该测试数据表示：用例组合编号，选项A，已选择，选项B，未选择,选择消耗300毫秒。具体地，将被测用户针对每个用例组合的选择数据保存下来，方便研究员对测试结果进行统计，且根据选择消耗的时间，可以判断该条选择数据是否值得参考，比如，若选择消耗时间非常短，则可以判定被测用户为不经思考的胡乱选择，则舍弃该条选择数据，进一步确保了测试的准确性。

在一些实施例中，该测试方法还可以包括：当被测用户完成测试后，根据被测用户针对所有用例组合的选择数据生成表格。

具体地，将被测用户针对所有用例组合的选择数据生成表格，可以使选择数据更加直观，方便研究员对测试结果进行统计。

本申请实施例提供的测试方法，通过获取多个类别的待组合素材，并根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例，之后，生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数，接着提供多组用例组合给被测用户，以供被测用户进行选择，且保存被测用户针对用例组合的选择数据，从而保证了AB测试的准确性以及全面性。

为便于更好的实施本申请实施例的测试方法，本申请实施例还提供一种测试装置。请参阅图9，图9为本申请实施例提供的测试装置的结构示意图。该测试装置10可以包括获取模块11，组合模块12、生成模块13以及测试模块14。

其中，获取模块11，用于获取多个类别的待组合素材。

组合模块12，用于根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例。

生成模块13，用于生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数。

测试模块14，用于提供多组用例组合给被测用户，以供被测用户进行选择，且保存被测用户针对用例组合的选择数据。

具体地，组合模块12主要可以用于：遍历每个类别中的任意一个待组合素材，根据组合规则进行组合，以得到所有不重复的第一测试用例。

在一些实施例中，生成模块13主要可以用于：将多个第一测试用例中任意数量个第二测试用例进行组合，以得到多组用例组合，任意数量少于多个第一测试用例的总数。

进一步地，生成模块13具体可以用于：将多个第一测试用例中的每两个第二测试用例进行组合，以得到多组用例组合。

在一些实施例中，测试装置10还可以包括统计模块，用于当被测用户完成测试后，根据被测用户针对所有用例组合的选择数据生成表格。

本申请实施例提供的测试装置10，通过获取模块11获取多个类别的待组合素材，之后组合模块12根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例，接着生成模块13生成多组用例组合，其中，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数，然后测试模块14提供多组用例组合给被测用户，以供被测用户进行选择，且保存被测用户针对用例组合的选择数据，从而保证了AB测试的准确性以及全面性。

此外，本申请实施例还提供一种计算机设备，该计算机设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，PersonalComputer)、个人数字助理(PersonalDigitalAssistant，PDA)等终端设备。如图10所示，图10为本申请实施例提供的计算机设备的结构示意图。该计算机设备1000包括有一个或者一个以上处理核心的处理器901、有一个或一个以上计算机可读存储介质的存储器902及存储在存储器902上并可在处理器上运行的计算机程序。其中，处理器901与存储器902电性连接。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器901是计算机设备1000的控制中心，利用各种接口和线路连接整个计算机设备1000的各个部分，通过运行或加载存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行计算机设备1000的各种功能和处理数据，从而对计算机设备1000进行整体监控。

在本申请实施例中，计算机设备1000中的处理器901会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现各种功能：

获取多个类别的待组合素材；

根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例；

生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数；

提供多组用例组合给多个被测用户，以供多个被测用户进行选择，且保存每个被测用户针对用例组合的选择数据。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图10所示，计算机设备1000还包括：触控显示屏903、射频电路904、音频电路905、输入单元906以及电源907。其中，处理器901分别与触控显示屏903、射频电路904、音频电路905、输入单元906以及电源907电性连接。本领域技术人员可以理解，图10示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏903可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏903可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，LiquidCrystalDisplay)、有机发光二极管(OLED，OrganicLight-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器901，并能接收处理器901发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器901以确定触摸事件的类型，随后处理器901根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏903而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏903也可以作为输入单元906的一部分实现输入功能。

在本申请实施例中，通过处理器901执行游戏应用程序在触控显示屏903上生成图形用户界面，图形用户界面上的虚拟场景中包括3D模型。

射频电路904可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。

音频电路905可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路905可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路905接收后转换为音频数据，再将音频数据输出处理器901处理后，经射频电路904以发送给比如另一计算机设备，或者将音频数据输出至存储器902以便进一步处理。音频电路905还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。

输入单元906可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源907用于给计算机设备1000的各个部件供电。可选的，电源907可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源907还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图10中未示出，计算机设备1000还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上可知，本实施例提供的计算机设备，获取多个类别的待组合素材，并根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例，之后，生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数，接着提供多组用例组合给多个被测用户，以供多个被测用户进行选择，且保存每个被测用户针对用例组合的选择数据，从而保证了AB测试的准确性以及全面性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种测试方法中的步骤。例如，该计算机程序可以执行如下步骤：获取多个类别的待组合素材，并根据组合规则和多个类别对待组合素材进行组合，以得到多个第一测试用例，之后，生成多组用例组合，每个用例组合中包括多个第一测试用例中的至少两个第二测试用例，每个用例组合中第二测试用例的数量小于多个第一测试用例的总数，接着提供多组用例组合给多个被测用户，以供多个被测用户进行选择，且保存每个被测用户针对用例组合的选择数据。

其中，该存储介质可以包括：只读存储器(ROM，ReadOnlyMemory)、随机存取记忆体(RAM，RandomAccessMemory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种测试方法中的步骤，因此，可以实现本申请实施例所提供的任一种测试方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种测试方法、装置、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种测试方法，其特征在于，包括：

获取多个类别的待组合素材；

2.根据权利要求1所述的测试方法，其特征在于，所述根据组合规则和所述多个类别对所述待组合素材进行组合，以得到多个第一测试用例，包括：

3.根据权利要求1所述的测试方法，其特征在于，所述生成多组用例组合，包括：

4.根据权利要求1所述的测试方法，其特征在于，所述生成多组用例组合，包括：

5.根据权利要求1所述的测试方法，其特征在于，所述方法还包括：

6.一种测试装置，其特征在于，包括：

获取模块，用于获取多个类别的待组合素材；

测试模块，用于提供所述多组用例组合给被测用户，以供所述被测用户进行选择，且保存被测用户针对所述用例组合的选择数据。

7.根据权利要求6所述的测试装置，其特征在于，所述组合模块具体用于：

8.根据权利要求6所述的测试装置，其特征在于，所述生成模块具体用于：

9.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。