CN115509909B - 测试方法、装置、电子设备和存储介质 - Google Patents
测试方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115509909B CN115509909B CN202211177307.XA CN202211177307A CN115509909B CN 115509909 B CN115509909 B CN 115509909B CN 202211177307 A CN202211177307 A CN 202211177307A CN 115509909 B CN115509909 B CN 115509909B
- Authority
- CN
- China
- Prior art keywords
- state
- random number
- initial sample
- different
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 107
- 238000010998 test method Methods 0.000 title claims description 24
- 238000005070 sampling Methods 0.000 claims abstract description 126
- 238000009826 distribution Methods 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 21
- 238000002474 experimental method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 12
- 239000011159 matrix material Substances 0.000 description 107
- 238000012952 Resampling Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000013643 reference control Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Abstract
本公开提供了一种测试方法、装置、电子设备和存储介质，涉及计算机技术领域，具体为数据处理和大数据领域。具体实现方案为：生成随机数集合；获取多个状态集合，不同状态集合对应不同场景条件；根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布；对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。本公开实施例可以提高测试结果的稳定性和抽样效率。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及数据处理和大数据领域，具体涉及一种测试方法、装置、电子设备和存储介质。
背景技术
场景条件对互联网产品和其他领域产品的影响至关重要。
因此，针对不同场景条件的测试对于场景条件的检验尤为重要。提升测试的检验功效就显得非常重要。
发明内容
本公开提供了一种测试方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种测试方法，包括：
生成随机数集合；
获取多个状态集合，不同状态集合对应不同场景条件；
根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布；
对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。
根据本公开的一方面，提供了一种测试装置，包括：
随机数集合生成模块，用于生成随机数集合；
状态集合获取模块，用于获取多个状态集合，不同状态集合对应不同场景条件；
状态分布确定模块，用于根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布；
测试结果确定模块，用于对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的测试方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的测试方法。
本公开实施例可以提高测试结果的稳定性和抽样效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例公开的一种测试方法的流程图；
图2是根据本公开实施例公开的另一种测试方法的流程图；
图3是根据本公开实施例公开的另一种测试方法的流程图；
图4是根据本公开实施例公开的另一种测试方法的流程图；
图5是根据本公开实施例公开的另一种测试方法的流程图；
图6是根据本公开实施例公开的另一种测试方法的流程图；
图7是根据本公开实施例公开的一种普通测试方法的场景图；
图8是根据本公开实施例公开的普通重抽样的抽样耗时统计图；
图9是根据本公开实施例公开的矩阵重抽样的抽样耗时统计图；
图10是根据本公开实施例公开的两种重抽样的抽样耗时对比图；
图11是根据本公开实施例公开的一种测试装置的结构图；
图12是用来实现本公开实施例的测试方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种测试方法的流程图，本实施例可以适用于对不同场景条件下不同状态集合进行比较测试的情况。本实施例方法可以由测试装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
S101、生成随机数集合。
随机数集合包括至少一个随机数。随机数集合用于指示对某个数据集合进行抽样。随机数集合中随机数用于指示在该数据集合中选择数据添加到新的数据集合中，在随机数集合中全部随机数抽样完成时，将该新的数据集合作为对该数据集合进行抽样形成的数据集合。其中，随机数可以是数字或字符串等，数据类型具体不做限定。示例性的，随机数为数字，且随机数的内容为数值，随机数的取值范围可以为0-99。示例性的，随机数也可以为字符串，随机数的内容可以为数值组成的字符串、字母组成的字符串或数值与字母组合组成的字符串等。随机数集合包括的随机数的数量可以设定。随机数集合可以通过对预先生成的多个随机数进行抽样得到，或者可以直接随机生成。随机数集合可以为随机矩阵或随机数数组等形式。
根据随机数在待抽样的数据集合中抽取数据，可以是根据随机数与数据集合中数据之间对应关系，抽取对应的数据，其中，该对应关系可以是随机数与数据在数据集合中的位置之间的对应关系，或者可以是随机数与数据在数据集合中的标识(特征或属性等)之间的对应关系。其中，可以在随机数集合生成之前或之后，建立随机数与数据集合中数据之间对应关系。一个随机数可以从待抽样的数据集合中选择某个或者某些数据，作为对应抽取的数据，添加到新的数据集合中与该随机数对应的位置处。
随机数集合中可以存在相同的随机数。可选的，可以采用有放回重抽样或无放回重抽样等。在每次获取的各随机数不同时，即实现无放回重抽样；在任意一次抽样过程中，获取的随机数存在两个相同随机数时，即实现有放回重抽样。
示例性的，设定待抽取数据的数量100个，随机数集合中包括随机数的数量为100*1000个，且随机数的取值范围为0-99。可以预先建立随机数的数值与待抽取的数据的之间的对应关系。具体的抽样过程为：可以在随机数集合中获取前100个随机数，根据随机数的内容，抽取对应的数据，形成新的数据集合，确定为第一次重抽样结果，继续在随机数集合中获取随后的100个随机数，根据随机数的内容，抽取对应的数据，形成新的数据集合，确定为第二次重抽样结果，以此类推，共进行1000次数抽样，最终得到1000个重抽样结果，每个重抽样结果中包括100个数据。
S102、获取多个状态集合，不同状态集合对应不同场景条件。
状态集合可以是在对应的场景条件下采集的对象的状态数据形成的集合。通常，可以对至少一个对象采集同一场景条件下的状态数据形成的集合，确定为状态集合。采集不同场景条件下生成的状态集合，得到对应不同场景条件的状态集合。
S103、根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布。
状态集合作为待抽样的数据集合，采用随机数集合对状态集合中数据进行抽样。
示例性的，设定状态集合为状态数组，可以根据随机数集合对状态数组进行抽样，抽取与随机数对应的数据，具体是依次根据随机数集合中各个随机数对状态集合中数据进行抽样，直至随机数集合中全部随机数抽样完毕为止。例如，随机数为0-99，随机数的数值分别对应状态集合不同数组的数据，即0对应第一个数组，1对应第二个数组，……，采用随机数集合中各随机数对状态集合进行依次抽样，直至随机数集合中的随机数全部抽样完毕为止。通过根据随机数集合对状态集合进行抽样，随机数集合中每一个随机数，对应状态集合中的数据。
状态分布可以是状态集合中的数据与抽样次数之间的分布关系。状态分布可以反应出同一场景条件下状态集合中数据的变化情况。可以根据抽取的状态集合中数据进行排列，得到状态分布。示例性的，可以按照抽取次序进行排列。根据不同的场景条件下的状态集合抽样结果，可以得到不同状态集合对应的状态分布。但是，随机数集合在生成之后是可以重复利用的，在同一对象集合和同一场景条件下得到的状态集合相同，根据同一随机数集合，可以实现复现状态集合对应的状态分布。进而，既保证了随机数的随机性，又保证了状态分布的数据的可复现性。
S104、对各所述状态集合的状态分布进行比较，确定不同场景条件的测试结果。
测试结果用于描述不同场景条件对对象状态的影响。可选的，测试结果可以包含场景条件对对象状态是否有影响，以及场景条件对对象状态的影响程度和影响方向等。测试结果还可以用于根据需要检测是否施加哪个或哪些个场景条件以达到更好的效果。例如，根据测试结果，选择效果更好的场景条件施加到对象上。在一个具体的例子中，根据测试结果可以确定新增应用功能对应用产品的影响，从而选择正向影响的应用功能增加到应用产品中。
具体的，可以对各状态集合的状态分布进行比较，根据比较结果，确定不同场景条件下的测试结果。比较结果可以包括差值或比值等。示例性的，可以求各施加场景条件的状态集合的状态分布，与未施加场景条件的状态集合的状态分布的差值，若差值小于差值阈值，则该场景条件对对象状态没有影响；若差值大于差值阈值且差值为正，则场景条件对对象状态的有影响，且为正向的影响；若差值大于差值阈值且差值为负，则场景条件对对象状态有影响，且为负向的影响。
可选的，还可以对测试结果的可靠程度进行验证。例如，可以采用置信度或均方根误差等的方式进行验证，并将验证结果，添加到测试结果中。示例性的，根据测试结果中验证结果，可以选择更可靠的结果，作为场景条件的选择依据。
根据本公开的技术方案，通过预先生成随机数集合，获取不同场景条件下的对应的状态集合，采用同一随机数集合重复对不同的状态集合分别进行抽样，避免了针对不同状态集合多次不同重抽样耗费时长，提高抽样效率以及测试效率，同时同一状态集合处理得到的状态集合采用预先生成的随机数集合进行抽样，既保证了抽样的随机性，又保证了多次检验都复用该随机数集合，确保同一批数据在每次查询的检验结果一致性，降低测试分析成本，可以保证重抽样过程随机且稳定，实现了测试结果的可复现性，从而在兼顾了随机性、均匀性和独立性的特征的同时，提高了测试结果的稳定性和抽样的效率。
图2是根据本公开实施例公开的另一种测试方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。获取多个状态集合，具体化为：获取多个对象集合，其中，不同对象集合对应不同场景条件；针对对象集合，将对象集合包括的对象划分到第一数量的初始样本组中，随机数集合包括的随机数的数量与第一数量成比例；在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，并将对象集合对应的场景条件作为状态集合对应的场景条件；获取各对象集合对应的状态集合。
S201、生成随机数集合。
S202、获取多个对象集合，其中，不同对象集合对应不同场景条件。
对象集合可以是需要对比测试的对象的集合。可选的，可以获取大量对象，并进行随机划分，得到至少两个对象集合。对象集合也可以为按照其他预设规则分配的至少两个对象集合。其中，对象可以包括用户、设备、功能、服务、业务或节点等，即对象集合包括用户集合或设备集合等。可选的，需要对比测试的对象集合为同一类型的对象集合，即为用户、设备、功能、服务、业务或节点等中的一种。场景条件用于将对象集合中对象置于某一场景中，得到该场景作用于该对象集合的结果。同一对象集合中对象对应相同场景条件，不同对象集合对应不同场景条件。
可以对不同对象集合选择是否施加场景条件，也可以对不同对象集合调整施加场景条件的程度。可选的，为达到对比测试的目的，可以设置场景条件为在初始条件中施加某一条件，以使得对象集合A置于某一场景中；同时，场景条件还可以是保持初始条件，不额外增加条件，以使得对象集合B置于另一场景中；此外，场景条件还可以是施加同一条件，但施加的程度与对象集合A对应的程度不同，以使得对象集合C置于与前述场景不同的场景中。
示例性的，若对象为用户，即对象集合为用户集合，则场景条件可以为产品性能等。其中，产品可以是应用程序。产品性能可以为应用程序的性能。可以将用户集合随机分为两组，对第一组用户不施加场景条件，即使用产品性能没有变化的应用程序，对第二组用户施加场景条件，即使用产品性能升级的应用程序。
示例性的，若对象用户为设备，即对象集合为设备集合，则场景条件可以为设备的环境条件等。其中，环境条件可以包括：温度、湿度、气体、粉尘和振动等条件。可选的，可以将设备集合随机分为多个设备集合，针对单个场景条件，对于不同设备集合施加不同程度的场景条件。例如，针对温度条件，对于随机分配的多个设备集合，施加不同温度区间的场景条件。可选的，也可以将设备随机分为多个设备集合，针对多个场景条件，对于不同设备集合施加多个场景条件的组合，其中，组合方式可以为施加或者不施加场景条件的组合，也可以为不同程度的场景条件的组合。例如，针对温度条件和湿度条件，温度条件按照不同程度可以分为：温度条件1、温度条件2和温度条件3；湿度条件按照不同程度可以分为：湿度条件1和湿度条件2。对于随机分配的多个设备集合，场景条件可以包括：单个温度条件、单个湿度条件和不同程度的温度条件与不同程度的湿度条件的组合。
通过对不同对象集合施加不同场景条件，实现了判断不同场景条件对各对象集合的影响程度。具体的，可以获取预先分配好的多个对象集合，对象集合的数量与施加场景条件的数量对应。
S203、针对对象集合，将对象集合包括的对象划分到第一数量的初始样本组中。
初始样本组的数量为第一数量。可以预设空的第一数量的初始样本组。将一个对象集合中包括的对象，随机划分到各初始样本组中，得到该对象集合对应的第一数量的初始样本组，此时初始样本组中包括所属对象集合中至少一个的对象。或者，还可以将一个对象集合中包括的对象，随机分类，形成第一数量的初始样本组。多个对象集合，可以得到多组的第一数量的初始样本组。例如，第一数量为100，3个对象集合可以对应得到3*100个初始样本组。可选的，对象集合中的对象的数量至少为第一数量。单个初始样本组中可以包含一个或多个对象。不同初始样本组中包括的对象的数量可以相同也可以不同。
具体的，可以将对象集合中的对象分配到的第一数量个初始样本组中。示例性的，设定第一数量为100，对象集合包括的对象的数量为150，可以将对象集合中的对象随机分为100组，一组对象，作为一个初始样本组，或者直接将对象随机分到100个初始样本组中，一个初始样本组分到至少一个对象。
S204、在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，并将对象集合对应的场景条件作为状态集合对应的场景条件。
对象状态数值用于表征对象在所属对象集合对应的场景条件下的状态数据。示例性的，对象为设备，场景条件为不同运行时长，对象状态数值为设备的运行状态，例如稳定性和耗电量；对象为设备，场景条件为不同天气，对象状态数值为设备置于不同天气中的设备实时状态，例如，设备温度和设备湿度等。对象状态数值的维度的数量可以为至少一个。可以根据需求选择单个维度或者多个维度的对象状态数值。可选的，对象为用户，对象状态数值可以包括：多个维度的交互行为的统计数值，例如，对应用程序的页面浏览量、用户浏览量、页面点击率和用户点击率等四个维度。可以根据需求选择对象集合对应的单个维度或者多个维度的对象状态数值。其中，页面浏览量可以为页面被浏览的次数。用户浏览量可以是浏览页面的用户数量。其中，同一个用户可能会多次浏览页面，页面浏览量会大于等于用户浏览量。用户点击率可以是对页面的交互行为的用户数量与用户总量的比值。其中，页面的交互行为可以为点赞、收藏、转发或评论等。页面点击率可以为对页面的交互行为的数量与用户数量的比值。可选的，对象为设备时，对象状态数值可以包括：耐受电压、绝缘电压、不间断电流和功率等，可以根据需求选择对象集合对应的单个维度或者多个维度的对象状态数值。
状态集合可以通过统计对象集合对应的初始样本组的对象状态值得到。可以分别计算各个初始样本组对应的对象状态数值，将各个初始样本组的对象状态数值进行统计，得到对象集合对应的状态集合。若初始样本组中包含多个对象的对象状态数值，则可以统计多个对象状态数值的均值或最大值。可选的，状态集合可以包括状态矩阵或状态数组。示例性的，可以按照多个维度的预设排列次序，可以将第一个初始样本组的对象状态数值进行排列，生成状态数组的第一个元素，将第二个初始样本组的对象状态数值生成状态数组的第二个元素，以此类推，得到对象集合对应的状态数组。
具体的，分别统计各初始样本组对应的对象状态数值，并根据初始样本组和对象状态数值的对应关系，生成对象集合的状态集合。示例性的，分别统计各初始样本组的对象状态数值，若初始样本组中仅包含一个对象，则将该对象的对象状态数值作为初始样本组的对象状态数值；若初始样本组中包含多个对象，则将多个对象的对象状态数值求均值或累加值等统计值，将统计值作为对应的初始样本组的对象状态数值。将各初始样本组分别对应为相应的元素，将对象状态数值计入相应的元素中，生成状态数组。状态数组第一个元素为第一个初始样本组的对象状态数值。也可以将各初始样本对应相应的行(或列)，将对象状态数值计入相应的行(或列)中，生成状态矩阵。状态矩阵的第一行(或列)为第一个初始样本的对象状态数值。
S205、获取各对象集合对应的状态集合。
具体的，将对象集合对应的场景条件作为状态集合对应的场景条件，获取对象集合对应的状态集合，相当于是获取不同场景条件下对应的状态集合。
S206、根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布，随机数集合包括的随机数的数量与第一数量成比例。
随机数集合包括的随机数的数量与第一数量成比例，表明可以对同一个对象集合对应的全部初始样本组的状态集合进行重抽样。具体的，可以选择分批抽取数据，例如，多次抽取，并且每次抽取第一数据个数据。随机数集合用于对同一对象集合对应的初始样本组的状态集合进行多次重抽样，且重抽样次数可以为是第一数量的倍数。
第一数量可以是每次抽取的数量。需要说明的是，如果一个随机数用于指示抽取一个数据，则第一数量为一次抽取的数据的数量，如果一个随机数用于指示抽取一组数据，该组包括p个数据，则第一数量为一次抽取的组数。其中，第一数量可以根据技术人员的实验数据进行设定和调整。
示例性的，从随机数集合中获取第一数量个随机数，并对应从状态集合中抽取第一数量个对象状态数值，作为该次的抽样结果；下一次抽取过程中，在随机数集合的剩余的随机数中获取第一数量个随机数，对应从状态集合中抽取第一数量个对象状态数值，作为该次的抽样结果；共重复多次，总共抽取第一数量的倍数个对象状态数值。
S207、对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。
现有的重抽样具体是，将用户集合包括的用户划分到多个桶中，对桶进行不同重抽样，并将重抽样得到的结果，置于对应的场景条件下，得到一次的状态集合，重复前述步骤多次，得到该用户集合的状态分布。针对多个用户集合，需要多次进行随机重抽样，导致重抽样的计算量和耗时剧增。
根据本公开的技术方案，通过获取多个对对应不同场景条件的对象集合，并针对每个对象集合，将对象集合包括的对象划分到第一数量的初始样本组中，在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，采用包括的随机数的数量与第一数量成比例的随机数集合，对各初始样本组的状态集合进行重抽样，避免了针对不同对象集合的状态集合多次不同重抽样耗费时长，提高抽样效率以及测试效率，同时采用同一随机数集合对不同对象集合的状态集合进行重抽样，可以复现不同对象集合的状态分布结果，实现测试结果的可复现性。
在本公开的一个可选实施例中，所述随机数的内容为所述随机数的数值，不同随机数的数值对应不同初始样本组。
随机数的数值对应不同初始样本组，表明随机数的数值与初始样本组之间存在对应关系。例如，随机数的数值与初始样本组的位置(次序)或标识存在对应关系。通过该对应关系，随机数的数值用于指示抽取对应的初始样本组所对应的数据。
示例性的，可以是将随机数的数值作为初始样本组的编号，实现随机数的数值与初始样本组建立对应关系。其中，随机数的不同取值的数量与初始样本组的数量一致，均为第一数量。又如，也可以是将随技术的数值作为初始样本组的位置数值，例如，随机数0对应排在第一位的是初始样本组，随机数1对应排在第二位的初始样本组。
通过随机数集合对状态集合进行抽样，可以是通过随机数与初始样本组的对应关系，通过随机数集合中的随机数的数值，可以确定与数值具有相同编号的初始样本组，将该初始样本组对应的对象状态数值，作为随机数集合中该随机数抽取的对象状态数值，从而实现基于该随机数指示在状态集合中进行抽样。
通过将不同随机数的数值对应不同初始样本组，实现了随机数的数值与初始样本组的对应关系，简化了通过随机数集合对状态集合进行抽样的过程，提高了抽样的效率。并通过对随机数集合的复用，实现了对相同状态集合的抽样过程的复现，既保证了抽样过程的可复现性和稳定性，又保证了随机性，提高了测试结果的稳定性。
图3是根据本公开实施例公开的另一种测试方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。生成随机数集合，具体化为：对各初始样本组标注标识信息，并组合确定标识取值范围；在标识取值范围内进行有放回随机取值，生成随机数集合。
S301、对各初始样本组标注标识信息，并组合确定标识取值范围。
标识信息用于区分不同初始样本组，或是用于唯一确定初始样本组。各标识信息和各初始样本组为一一对应关系。可选的，标识信息可以包括：数值、字符串、特定特征或特定形状等。标识取值范围可以是根据标识信息的集合确定。在标识信息为数值时，标识取值范围可以直接通过对初始样本组的标识信息进行组合得到。在标识信息为非数值时，可以建立标识信息与数值之间的一一对应关系，将各标识信息对应的数值进行组合得到标识取值范围。其中，初始样本组的数量为第一数量，初始样本组与标识信息一一对应，标识信息的数量也为第一数量。标识取值范围中包含第一数量个标识信息或第一数量个标识信息对应的数值。
具体的，可以采用任意方式对各初始样本组标注标识信息，其中，不同初始样本组的标识信息不同。将各初始样本组的标识信息进行组合形成的集合，确定标识取值范围。示例性的，将100个初始样本组随机排列，从序列首个初始样本组开始到序列尾个初始样本组结束，依次标注，0、1……99。将初始样本组的序号0-99形成的集合，确定为标识取值范围。
S302、在标识取值范围内进行有放回随机取值，生成随机数集合，所述随机数的内容为所述随机数的数值。
具体的，可以对标识取值范围内的数值进行有放回地随机抽样，具体是每次有放回随机抽取第一数量的数值，并抽取多次，形成的数值的集合，确定为随机数集合。
S303、获取多个对象集合，其中，不同对象集合对应不同场景条件。
S304、针对对象集合，将对象集合包括的对象划分到第一数量的初始样本组中，随机数集合包括的随机数的数量与第一数量成比例，不同随机数的数值对应不同初始样本组。
S305、在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，并将对象集合对应的场景条件作为状态集合对应的场景条件。
S306、获取各对象集合对应的状态集合。
S307、根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布。
S308、对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。
根据本公开的技术方案，通过对各初始样本组标注标识信息，实现了初始样本组与标识信息的一一对应关系，并通过将标识信息组合确定标识取值范围，实现了标识信息的整合，在标识取值范围内进行有放回随机取值，生成随机数集合，通过有放回随机抽样，不会每次抽样时破坏初始样本组的标识信息分布的情况，保证了抽样结果的准确性；同时，通过对标识取值范围内的数值进行随机取值，实现了随机数与标识信息的对应关系，从而实现了随机数与初始样本组的对应关系，以实现通过随机数集合可以对状态集合进行抽样，在保证了测试结果的随机性的同时，保证了测试结果的可复现性，提高了测试结果的稳定性。
图4是根据本公开实施例公开的另一种测试方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。随机数集合包括的随机数的数量具体化为第一数量与第二数量的乘积；根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布，具体化为：根据随机数集合，对状态集合进行第二数量的次数的抽样，且每次抽取的数量为第一数量，得到样本集合；在样本集合中将同一抽样次数的初始样本组的对象状态数值进行融合，确定状态集合的状态分布。
S401、生成随机数集合。
S402、获取多个对象集合，其中，不同对象集合对应不同场景条件。
S403、针对对象集合，将对象集合包括的对象划分到第一数量的初始样本组中，随机数集合包括的随机数的数量与第一数量成比例。
S404、在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，并将对象集合对应的场景条件作为状态集合对应的场景条件。
S405、获取各对象集合对应的状态集合。
S406、根据随机数集合，对状态集合进行第二数量的次数的抽样，且每次抽取的数量为第一数量，得到样本集合；随机数集合包括的随机数的数量具体化为第一数量与第二数量的乘积。
其中，随机数集合包括的随机数的数量为第一数量与第二数量的乘积，随机数集合用于指示进行第二数量的次数抽样，且每次抽取的数量为第一数量。第二数量可以是抽样次数。第二数量可以根据技术人员的实验数据进行设定和调整。
第一数量与第二数量的乘积个随机数，相应的，在一个随机数可以抽取一个数据的情况下，可以对应抽取第一数量与第二数量的乘积个数据。具体的，可以选择分批抽取数据，例如，分成第二数量的次数抽取，每次抽取第一数据个数据。相应的，可以在一次抽取过程中，从随机数集合中获取第一数量个随机数，并对应从状态集合中抽取第一数量个数据，作为该次的抽样结果；下一次抽取过程中，在随机数集合的剩余的随机数中获取第一数量个随机数，对应从状态集合中抽取第一数量个数据，作为该次的抽样结果；共重复第二数量的次数，从而实现从状态集合中抽取第一数量与第二数量的乘积个数据。
其中，基于随机数集合，对状态集合进行抽取数据，可以理解为，对状态集合进行第二数量的次数抽样，且每次抽取的数量为第一数量，可以理解为针对状态集合的第二数量的次数的重抽样过程。
样本集合为根据随机数集合对状态集合进行抽样得到的抽样结果。随机数集合中的随机数与初始样本组具有对应关系，随机数指向状态集合中的对象状态数值，该对象状态数值所属的初始样本组与该随机数对应。将随机数的位置替换为指向的对象状态数值，形成样本集合。
示例性的，随机数集合可以为：
其中，第一数量为2，第二数量为3，即每次抽取的数量为2，抽样次数为3。
状态集合可以为：
其中，a1为第一个初始样本组的对象状态数值的取值，a2为第二个初始样本组的对象状态数值的取值。第一行为第一个初始样本组，第二行为第二个初始样本组，每组中包含单个维度对象状态数值。
假设随机数0对应第一个初始样本组，随机数1对应第二个初始样本组。根据随机数集合对状态集合进行抽样，即为将随机数集合中的随机数替换为对应的初始样本组对应的对象状态数值。即将随机数集合中的随机数0替换为a1，随机数1替换为a2，形成样本集合。样本集合为：
S407、在样本集合中将同一抽样次数的初始样本组的对象状态数值进行融合，确定状态集合的状态分布。
基于前述抽样过程，随机数集合用于进行第二数量的次数抽样，且每次抽取的数量为第一数量，并且状态集合包括多个初始样本组的对象状态数值，随机数的内容与初始样本组对应，相应的，采用随机数集合对状态集合进行抽样，得到的样本集合中包括不同抽样次数的不同初始样本组的对象状态数值。
具体的，在样本集合中，存在抽样次数的维度和初始样本组的维度，同一抽样次数的初始样本组的对象状态数值，具体是每次抽样的不同初始样本组的对象状态数值。将同一抽样次数的初始样本组的对象状态数值进行融合，具体是将相同抽样次数且属于不同初始样本组的对象状态数值进行融合。同一抽样次数包含初始样本组的数量为第一数量。融合可以是将一些对象状态数值进行累加求和或求均值等计算。可以将该第一数量的初始样本组中的对象状态数值进行累计求和(或求均值)，得到同一抽样次数对应的融合后的对象状态数值。
可选的，对抽样后的随机数集合对应的初始样本组进行融合，可以包括：对同一抽样次数的初始样本组进行融合，即针对同一抽样次数，将初始样本组对象状态数值累计求和(或求均值)。其中，初始样本组的数量为第一数量。示例性的，随机数的抽样次数为1000次，每次抽取的数量为100个，可以将每次抽取的100个随机数对应的对象状态数值进行求和或求均值，即可得到1000次抽样分别对应的融合的对象状态数值。若对象状态数值为单个维度的对象状态数值，则直接将单个维度的对象状态数值进行求和或求均值，作为融合后的结果。若对象状态数值为多个维度的对象状态值，可以针对不同维度对各对象状态数值进行求和或求均值，得到不同维度的对象状态数值，作为融合后的结果；也可以先求多个维度的对象状态数值的均值，或者可以按照不同权重，求取多个维度的对象状态数值的加权平均值，作为多个维度的对象状态数值的综合值，再对综合值进行求和或求均值，作为融合后的对象状态数值。
示例性的，如上述示例，将同一抽样次数的初始样本组的对象状态数值进行融合。同一抽样次数包含2个对象样本组，可以将同一抽样次数的不同的2个初始样本组的对象状态数值进行融合(例如求和)，得到融合后的对象状态数值。例如，对第一次抽样的初始样本组进行融合，得到融合后的对象状态数值为a1+a2，对第二次抽样的初始样本组进行融合，得到融合后的对象状态数值为a1+a1，对第三次抽样的初始样本组进行融合，得到融合后的对象状态数值为a2+a2。
由此得到的状态分布包括状态集合处于不同抽样次数的对象状态数值，从而可以得到不同抽样次数与状态集合的对象状态数值之间的状态分布关系。
S408、对各对象集合的状态分布进行比较，确定不同场景条件的测试结果。
在本公开的一个可选实施例中，将统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，具体化为：按照第三数量的维度统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，第三数量根据各场景条件确定；将在样本集合中将同一抽样次数的不同初始样本组的对象状态数值进行融合，确定对象集合的状态分布，具体化为：在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布。
其中，按照第三数量的维度统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，第三数量根据各场景条件确定。
第三数量为对象状态数值的维度的数量。可选的，在不同的应用场景下，对象状态数值的维度的数量不同。例如，对象为用户，应用场景为内容推送机制测试，对象状态数值可以包括：对应用程序的页面浏览量、用户浏览量、页面点击率和用户点击率。对象状态数值的维度的数量为4个，即第三数量为4个。又如，对象为用户，应用场景应用程序的功能测试，对象状态数值可以包括：应用程序的下载量、功能模块的响应状态和页面加载时长。对象状态数值的维度的数量为3个，即第三数量为3个。其中，应用程序的下载量为每天应用程序的用户下载量。功能模块的响应状态可以是应用程序的功能模块是否可以响应并显示相应的页面。页面加载时长可以是加载各用户页面所需的平均时长。又如，对象为设备，应用场景为设备的电气性能测试，对象状态数值可以包括：耐受电压、绝缘电压、不间断电流和功率。对象状态数值的数量为4个，即第三数量为4个。又如，对象为设备，应用场景为设备的机械性能测试，对象状态数值可以包括：防护等级和防腐等级。其中，防护等级可以是设备防尘防水的等级。防腐等级可以是设备耐腐蚀的等级。对象状态数值的数量为2个，即第三数量为2个。
具体的，可以统计各初始样本组的多个维度的对象状态数值，若初始样本组中包含单个对象，则将单个对象的各个维度的对象状态数值直接作为该初始样本组对应的对象状态数值；若初始样本组中包含多个对象，则将多个对象的同一维度的对象状态数值的均值、累加求和值或最大值，并将计算后的各个维度的对象状态数值作为该初始样本组对应的对象状态数值，以及根据初始样本组和对象状态数值的对应关系，生成对象集合对应的状态集合。
示例性的，如上述示例，随机数集合为：
其中，第一数量为2，第二数量为3，即每次抽取的数量为2，抽样次数为3。
状态集合为：
其中，第三数量为4，初始样本组的对象状态数值的维度为4。bij为第i个初始样本组的第j个维度的对象状态数值。
其中，在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布。
具体的，可以在样本集合中，将同一维度的同一抽样次数的对象状态数值进行融合，具体可以将多个初始样本组的对象状态数值进行融合，即可以进行累计求和(或求均值)，进而得到多个维度下的抽样次数与对象集合的状态分布之间的关系。
示例性的，如上述示例，样本集合的第一页(即第1个维度)的对象状态数值为：
样本集合的第二页(即第2个维度)的对象状态数值为：
样本集合的第三页(即第3个维度)的对象状态数值为：
样本集合的第四页(即第4个维度)的对象状态数值为：
将第1个维度的第一次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b21+b11，将第1个维度的第二次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b11+b11，将第1个维度的第三次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b21+b21。将第2个维度的第一次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b22+b12，将第2个维度的第二次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b12+b12，将第2个维度的第二次抽样的对象状态数值进行融合，得到融合后的对象状态数值为b22+b22。第3个维度和第4个维度的同一抽样次数的对象状态数值的融合，与第1个维度和第2个维度相同，在此不做赘述。
可以针对每个维度，比较不同对象集合的状态分布，可以得到各维度的状态分布差异，从而得到每个维度的测试结果。
通过统计第三数量的维度的初始样本组的对象状态数值，得到对象集合对应的状态集合，实现了对多个维度的对象状态数值的统计，并通过在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布，确定了多个维度的状态分布与抽样次数之间的对应关系，进而确定了不同场景条件下不同维度的对象状态数值的统计，从不同维度考量了不同场景条件的测试结果，提高了测试结果的全面性和准确性。
在本公开的一个可选实施例中，随机数集合包括行数为第一数量，列数为第二数量的随机数矩阵，随机数矩阵的元素指向抽取的初始样本组；状态集合包括：行数为第三数量，列数为第一数量的状态矩阵，状态矩阵的元素指向初始样本组的对象状态数值。采用随机数集合对状态集合进行抽样，得到样本集合，具体化为：根据随机数矩阵中各元素，在状态矩阵中查询对应的对象状态数值；按照随机数矩阵的矩阵结构，根据随机数矩阵中各元素指向的对象状态数值，生成A*B*C的样本矩阵，并确定为样本集合，其中，A为第二数量，B为第一数量，C为第三数量。在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布，具体化为：在样本矩阵中，将同一行且同一页的不同列的元素进行累加，得到A*C的分布矩阵；根据分布矩阵，确定对象集合在各维度下的状态分布。
其中，随机数集合包括行数为第一数量，列数为第二数量的随机数矩阵，随机数矩阵的元素即随机数的内容指向初始样本组。
随机数矩阵的行数为第一数量，对应每次抽取的第一数量的随机数。随机数矩阵的列数为第二数量，对应抽样次数。随机数矩阵中的元素即为随机数矩阵中对应的随机数。可以将元素与初始样本组之间建立对应关系，即可以实现随机数矩阵的元素指向初始样本组。
其中，状态集合包括：行数为第三数量，列数为第一数量的状态矩阵，状态矩阵的元素指向初始样本组的对象状态数值。
状态矩阵的行数为对象状态数值的维度的数量，即包含第三数量的维度。状态矩阵的每一行对应某一维度的对象状态数值，不同行对应不同维度的对象状态数值。状态矩阵的列数为第一数量，状态矩阵的每一列对应同一初始样本组，不同列对应不同初始样本组。
其中，采用随机数集合对状态集合进行抽样，得到样本集合，具体包括如下子步骤：
步骤A、根据随机数矩阵中各元素，在状态矩阵中查询对应的对象状态数值。
根据随机数矩阵中的各个随机数，确定各随机数对应的初始样本组，并在状态矩阵中确定各初始样本组对应的多个维度的对象状态数值。
步骤B、按照随机数矩阵的矩阵结构，根据随机数矩阵中各元素指向的对象状态数值，生成A*B*C的样本矩阵，并确定为样本集合，其中，A为第二数量，B为第一数量，C为第三数量。
随机数矩阵的矩阵结构为随机数矩阵的行列结构，即随机数矩阵的行数为第一数量，随机数矩阵的列数为第二数量。具体的，根据随机数矩阵的矩阵结构，生成样本矩阵，即样本矩阵的行数也为第一数量，样本矩阵的列数也为第二数量。然后根据随机数矩阵中的随机数与初始样本组之间的对应关系，将初始样本组的第三数量的维度的对象状态数值，作为该随机数对应的对象状态数值，得到页数为第三数量的样本矩阵。原随机数矩阵的结构为A*B，即列数为第二数量A，行数为第一数量B。各初始样本组的对象状态数值的维度为第三数量C。最终得到样本矩阵的结构为A*B*C。
其中，在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布，具体包括如下子步骤：
步骤a、在样本矩阵中，将同一行且同一页的不同列的元素进行累加，得到A*C的分布矩阵。
具体的，可以将样本矩阵中，同一行(即同一抽样次数)，且同一页(即同一对象状态数值的维度)的不同列(即不同的初始样本组)的元素进行累加，即可以得到行数为抽样次数的第二数量A，列数为对象状态数值的维度数量C的分布矩阵。
步骤b、根据分布矩阵，确定对象集合在各维度下的状态分布。
具体的，可以根据抽样次数与对象状态数值的分布矩阵，确定各个维度的对象集合的状态分布。
通过将随机数集合具体化为随机数矩阵，并确定随机数矩阵的行数为第一数量，列数为第二数量，随机数矩阵的元素指向抽取的初始样本组，确定了随机数矩阵的结构。将状态集合具体化为状态矩阵，并确定状态矩阵的行数为第三数量，列数为第一数量，状态矩阵的元素指向初始样本组的对象状态数值，将随机数矩阵与状态矩阵通过初始样本组建立对应关系。根据随机数矩阵中的各元素，在状态矩阵中查询对应的对象状态数值，按照随机数矩阵的矩阵结构，根据随机数矩阵中各元素指向的对象状态数值，生成A*B*C的样本矩阵，并确定为样本集合，利用了随机数矩阵中的元素与初始样本组之间的对应关系，确定了各随机数对应的各维度的对象状态数值，从而确定了随机数矩阵对应的三维的样本矩阵。在样本矩阵中，将同一行且同一页的不同列的元素进行累加，得到A*C的分布矩阵，根据分布矩阵，确定对象集合在各维度下的状态分布，将同一抽样次数同一维度多个初始样本组的对象状态数值进行累加，得到抽样次数与各维度的对象状态数值之间的状态分布关系。利用三维的样本矩阵，随机数集合与状态集合之间的对应关系更加直观，多个维度的状态分布的结果显示更加直观，提高了测试结果统计的效率。并通过对多个维度的测试结果的比较分析，提高了测试结果的全面性和准确性。
根据本公开的技术方案，采用随机数集合对状态集合进行抽样，得到了包含对象状态数值的样本集合，实现了随机数集合与状态集合中对象状态数值的抽样，同时，通过在样本集合中将同一抽样次数的不同初始样本组的对象状态数值进行融合，确定对象集合的状态分布，确定了不同抽样次数与对象集合的状态分布之间的对应关系，实现了对多个抽样次数的对象集合的状态分布的统计，保证了状态分布统计结果的准确性，保障了不同场景条件下状态分布统计结果的准确性，进而提高了测试结果的准确性。
图5是根据本公开实施例公开的另一种测试方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。对各对象集合的状态分布进行比较，确定不同场景条件的测试结果，具体化为：在各对象集合中，获取实验集合和对照集合；将实验集合在目标维度下的对象状态分布，与对照集合在目标维度下的对象状态分布进行比较，得到目标维度的相对差异量；根据目标维度的相对差异量，确定实验集合对应的场景条件相对于对照集合对应的场景条件的目标维度的置信度检测结果。
S501、生成随机数集合。
S502、获取多个状态集合，不同状态集合对应不同场景条件。
S503、根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布。
S504、在各状态集合中，获取实验集合和对照集合。
实验集合可以是施加场景条件的一组对象集合。对照集合可以是未施加场景条件的一组对象集合。对照集合作为实验集合的参考对照集合。
具体的，可以将对象集合分为两组，分别为实验集合和对象集合。在对象集合中，获取对应的实验集合和对照集合。
S505、将所述实验集合的对象状态分布，与所述对照集合的对象状态分布进行比较，得到相对差异量。
相对差异量用于描述实验集合的状态分布与对照集合的状态分布之间的差异的程度，实际上，状态分布可以是对象状态数值与抽样次数之间的关系，相应的，相对差异量可以是对象状态数值的差异与抽样次数之间的关系。具体的，可以将实验集合的状态分布与对照集合的状态分布之间的差值作为相对差异量。或者可以将实验集合的状态分布与对照集合的状态分布之间的比值作为相对差异量。
可选的，对象状态数值存在多个维度。可以按照第三数量的维度统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，第三数量根据各场景条件确定。可以在多个维度中获取目标维度，可以依次选取各个维度，作为目标维度。获取实验集合在目标维度下的对象状态分布，以及对照集合在目标维度下的对象状态分布，并将二者进行比较，得到目标维度下的相对差异量。相对差异量可以为正值，也可以为负值。若相对差异量为正值，则目标维度对状态分布的影响显著上升；若相对差异量为负值，则目标维度对状态分布的影响显著下降。
S506、根据所述相对差异量，确定所述实验集合对应的场景条件相对于所述对照集合对应的场景条件的置信度检测结果，并作为不同场景条件的测试结果。
置信度检测结果可以为相对差异量的置信度的检测结果。置信度检测结果用于确定检测结果的可信度。可选的，置信度检测结果的区间在2.5％至97.5％之间，认为置信度检测结果的可信度为95％。其中，2.5％对应有相应的相对差异量的数值，即小于该数值的相对差异量占总体的相对差异量的比值为2.5％；97.5％也对应有相应的相对差异量的数值，小于该数值的相对差异量占总体的相对差异量的比值为97.5％。即认为在2.5％置信度对应的数值与在97.5％置信度对应的数值之间的相对差异量的数值具有95％的置信度，即检测结果是可信的。
根据相对差异量的数值，确定相对差异量的数值是否落入置信度2.5％至置信度97.5％对应的数值区间内。若相对差异量的数量落入该数值区间内，则认为该测试结果是有95％置信度的，即为可信的测试结果。
根据本公开的技术方案，将状态集合分为实验集合和对照集合，实现了对不同场景条件的测试，通过将实验集合与对照集合的目标维度下的状态分布进行比较，确定相对差异量，实现了对目标维度下的状态分布的测试结果的确定，并通过确定实验集合对应的场景条件相对于对照集合对应的场景条件下的目标维度的置信度检测结果的确定，进一步对测试结果的置信度进行确认，保证了测试结果的可信度，进而保证了测试结果的准确性。
在本公开的一个可选实施例中，图6提供了根据本公开实施例的另一种测试方法的流程图。如图6所示，该方法包括：
S601、生成M*N的随机数矩阵(即上述随机数集合)。
其中，随机生成一个列数为M，行数为N的随机数矩阵，每个元素的取值是随机有放回抽样的随机数，以N＝100为例，则生成的随机数取值范围为0～99；一次生成，多次复用。
S602、生成N*K的状态矩阵(即上述状态集合)。
将多个对象状态数值处理成状态矩阵，如对象状态数值个数为K个，每个对象状态数值有N个桶数据，则生成列数为N，行数为K的状态矩阵。
S603、根据随机数矩阵对状态矩阵进行抽样，得到M*N*K的三维的样本矩阵(即上述样本集合)。
将随机数矩阵作为状态矩阵的索引，选中状态矩阵中指定的元素，得到M*N*K的三维的样本矩阵，该样本矩阵即包含了K个对象状态数值重抽样M*N次的数据。
S604、在样本矩阵中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定状态集合在各维度下的状态分布。
通过矩阵运算将上述样本矩阵同一抽样次数的多个初始样本组进行汇总计算，得到M*K的状态分布，该状态分布代表K个对象状态数值进行M次重抽样得到的状态分布。
实验集合和对照集合分别执行S602-S604，得到实验集合的状态分布和对照集合的状态分布。
S605、基于相对差异量，计算置信度检测结果。
将实验集合的状态分布和对照集合的状态分布相减得到实验集合和对照集合的相对差异量，即得到了K个对象状态数值的样本个数为M的状态分布的相对差异量。基于上述M个状态分布的相对差异量，计算置信度为2.5％和97.5％分位点，给出95％置信区间对应的置信度检测结果。
图7是根据本公开实施例公开的一种普通测试方法的场景图，如图7所示，该方法如下：
在同一时间段内，将相似用户群体通过抽样拆分成对照集合和实验集合，对照集合不施加场景条件，实验集合施加场景条件。将对照集合和实验集合两组用户分别随机分到N个初始样本组，得到各自N个样本，N可以取100。在原有的样本中通过重抽样N次得到N个新样本，重抽样就是有放回的抽取，即一个样本有可以被重复抽取超过一次。基于产生的新样本，将N个新样本作为一个整体，计算需要统计的对象状态数值，根据实验集合和对照集合的计算状态分布的相对差异量。重复上述步骤M次，M至少取1000。计算上述M个相对差异量，可以得到实验集合和对照集合差值的状态分布，计算2.5％和97.5％分位点，给出95％置信区间。
图8是根据本公开实施例公开的普通重抽样的抽样耗时统计图，在重抽样步骤，用普通重抽样方法耗时较多，普通重抽样是指通过循环的方式对每个对象状态数值进行M次从N个样本中随机有放回抽取N次形成新的N个样本的抽样过程。
以N＝100，M＝1000为例，分别取指标个数为10，50，100，200，300，400，500，600，700，800，900，1000，在bucket bootstrap假设检验，采用普通重抽样，检验耗时如图8所示，平均每个指标检验耗时约0.832秒，100个指标耗时81.35秒，1000个指标耗时798.84秒，在指标个数较多时，无法满足实时查询要求。并且，由于重抽样是随机的，检验结果也有随机性，同一批数据下每次查询的检验结果不完全一致，在一定程度上增加了实验数据的分析成本和解释成本。
图9是根据本公开实施例公开的矩阵重抽样的抽样耗时统计图，矩阵抽样法，即本公开上述实施例中利用同一随时数集合对状态集合进行抽样的方法，适用于样本数量N固定的重抽样，可以应用于bucket bootstrap(桶自举)假设检验，而bootstrap(自举)方法的样本是用户级指标，N不固定，无法生成重抽样矩阵。
以N＝100，M＝1000为例，分别取指标个数为10，50，100，200，300，400，500，600，700，800，900，1000，用bucket bootstrap假设检验，采用矩阵抽样法，检验耗时如图9所示，平均每个指标检验耗时约0.0076秒，100个指标耗时0.61秒，1000个指标耗时7.92秒，效率大大提升，可以满足实时查询要求。
图10是根据本公开实施例公开的两种重抽样的抽样耗时对比图，如图10所示，矩阵抽样法抽样次数和耗时关系曲线与矩阵抽样法拟合的线性曲线较为接近。矩阵抽样法相比普通重抽样，检验时间平均缩短109倍,100个指标检验耗时从81.35秒缩短到0.61秒，1000个指标检验耗时从798.84秒缩短到7.92秒，极大提升了bucket bootstrap(桶自举)假设检验效率。此外，上述重抽样矩阵只在最开始生成一次，后续多次检验都复用该矩阵，这样可以保证每次重抽样的过程随机且稳定，保证同一数据的多次检验结果完全一致，从而达到检验结果稳定可复现。通过指定随机数矩阵，保证同一随机数矩阵下生成的伪随机数的数序相同，提高了抽样效率。既有随机性、均匀性、独立性的特征，又保证了结果稳定性。
根据本公开的实施例，图11是本公开实施例中的测试装置的结构图，本公开实施例适用于不同场景条件下不同状态集合进行比较测试的情况。本实施例装置可以执行测试方法，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
如图11所示的一种测试装置1100，包括：随机数集合生成模块1101、状态集合获取模块1102、状态分布确定模块1103和测试结果确定模块1104；其中，
随机数集合生成模块1101，用于生成随机数集合。
状态集合获取模块1102，用于获取多个状态集合，不同状态集合对应不同场景条件。
状态分布确定模块1103，用于根据随机数集合包括的随机数的内容，对状态集合进行抽样，得到状态集合的状态分布。
测试结果确定模块1104，用于对各状态集合的状态分布进行比较，确定不同场景条件的测试结果。
根据本公开的技术方案，通过预先生成随机数集合，获取不同场景条件下的对应的状态集合，采用同一随机数集合重复对不同的状态集合分别进行抽样，避免了针对不同状态集合多次不同重抽样耗费时长，提高抽样效率以及测试效率，同时同一状态集合处理得到的状态集合采用预先生成的随机数集合进行抽样，既保证了抽样的随机性，又保证了多次检验都复用该随机数集合，确保同一批数据在每次查询的检验结果一致性，降低测试分析成本，可以保证重抽样过程随机且稳定，实现了测试结果的可复现性，从而在兼顾了随机性、均匀性和独立性的特征的同时，提高了测试结果的稳定性和抽样的效率。
在本公开的一个可选实施例中，状态集合获取模块1102，包括：对象集合获取单元，用于获取多个对象集合，其中，不同对象集合对应不同场景条件。样本组划分单元，用于针对对象集合，将对象集合包括的对象划分到第一数量的初始样本组中，随机数集合包括的随机数的数量与第一数量成比例。状态集合确定单元，用于在对象集合对应的场景条件下，统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，并将对象集合对应的场景条件作为状态集合对应的场景条件。状态集合获取单元，用于获取各对象集合对应的状态集合。
在本公开的一个可选实施例中，不同随机数的数值对应不同初始样本组。
在本公开的一个可选实施例中，随机数集合生成模块1101，包括：标识信息标注单元，用于对各初始样本组标注标识信息，并组合确定标识取值范围；随机数集合生成单元，用于在标识取值范围内进行有放回随机取值，生成随机数集合。
在本公开的一个可选实施例中，随机数集合包括的随机数的数量为第一数量与第二数量的乘积；状态分布确定模块1103，包括：样本集合获取单元，用于根据随机数集合，对状态集合进行第二数量的次数的抽样，且每次抽取的数量为第一数量，得到样本集合；状态分布确定单元，用于在样本集合中将同一抽样次数的初始样本组的对象状态数值进行融合，确定状态集合的状态分布。
在本公开的一个可选实施例中，状态集合获取模块1102，包括：状态集合获取单元，用于按照第三数量的维度统计各初始样本组的对象状态数值，得到对象集合对应的状态集合，第三数量根据各场景条件确定；状态分布确定单元，包括：状态分布确定子单元，用于在样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定对象集合在各维度下的状态分布。
在本公开的一个可选实施例中，测试结果确定模块1104，包括：状态集合提取单元，用于在各状态集合中，获取实验集合和对照集合；相对差异量获取单元，用于将实验集合的对象状态分布，与对照集合的对象状态分布进行比较，得到相对差异量；检测结果确定单元，用于根据相对差异量，确定实验集合对应的场景条件相对于对照集合对应的场景条件的置信度检测结果，并作为不同场景条件的测试结果。
上述测试装置可执行本公开任意实施例所提供的测试方法，具备执行测试方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序对象。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如测试方法。例如，在一些实施例中，测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM1203并由计算单元1201执行时，可以执行上文描述的测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行测试方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准对象(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种测试方法，包括：
生成随机数集合；其中，所述随机数集合用于指示对数据集合进行抽样；
获取多个状态集合，不同状态集合对应不同场景条件；其中，所述状态集合为待抽样的数据集合；
根据所述随机数集合包括的随机数的内容，对所述状态集合进行抽样，得到所述状态集合的状态分布；
对各所述状态集合的状态分布进行比较，确定不同场景条件的测试结果；其中，所述测试结果用于描述不同场景条件对对象状态的影响。
2.根据权利要求1所述的方法，其中，所述获取多个状态集合，包括：
获取多个对象集合，其中，不同对象集合对应不同场景条件；
针对所述对象集合，将所述对象集合包括的对象划分到第一数量的初始样本组中，所述随机数集合包括的随机数的数量与所述第一数量成比例；
在所述对象集合对应的场景条件下，统计各所述初始样本组的对象状态数值，得到所述对象集合对应的状态集合，并将所述对象集合对应的场景条件作为所述状态集合对应的场景条件；
获取各所述对象集合对应的状态集合。
3.根据权利要求2所述的方法，其中，所述随机数的内容为所述随机数的数值，不同随机数的数值对应不同初始样本组。
4.根据权利要求3所述的方法，其中，所述生成随机数集合，包括：
对各所述初始样本组标注标识信息，并组合确定标识取值范围；
在所述标识取值范围内进行有放回随机取值，生成随机数集合。
5.根据权利要求2所述的方法，其中，所述随机数集合包括的随机数的数量为所述第一数量与第二数量的乘积；
所述根据所述随机数集合包括的随机数的内容，对所述状态集合进行抽样，得到所述状态集合的状态分布，包括：
根据所述随机数集合，对所述状态集合进行所述第二数量的次数的抽样，且每次抽取的数量为所述第一数量，得到样本集合；
在所述样本集合中将同一抽样次数的初始样本组的对象状态数值进行融合，确定所述状态集合的状态分布。
6.根据权利要求5所述的方法，其中，所述统计各所述初始样本组的对象状态数值，得到所述对象集合对应的状态集合，包括：
按照第三数量的维度统计各所述初始样本组的对象状态数值，得到所述对象集合对应的状态集合，所述第三数量根据各所述场景条件确定；
所述在所述样本集合中将同一抽样次数的不同初始样本组的对象状态数值进行融合，确定所述对象集合的状态分布，包括：
在所述样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定所述对象集合在各所述维度下的状态分布。
7. 根据权利要求1所述的方法，其中， 所述对各所述状态集合的状态分布进行比较，确定不同场景条件的测试结果，包括：
在各所述状态集合中，获取实验集合和对照集合；
将所述实验集合的对象状态分布，与所述对照集合的对象状态分布进行比较，得到相对差异量；
根据所述相对差异量，确定所述实验集合对应的场景条件相对于所述对照集合对应的场景条件的置信度检测结果，并作为不同场景条件的测试结果。
8.一种测试装置，包括：
随机数集合生成模块，用于生成随机数集合；其中，所述随机数集合用于指示对数据集合进行抽样；
状态集合获取模块，用于获取多个状态集合，不同状态集合对应不同场景条件；其中，所述状态集合为待抽样的数据集合；
状态分布确定模块，用于根据所述随机数集合包括的随机数的内容，对所述状态集合进行抽样，得到所述状态集合的状态分布；
测试结果确定模块，用于对各所述状态集合的状态分布进行比较，确定不同场景条件的测试结果；其中，所述测试结果用于描述不同场景条件对对象状态的影响。
9.根据权利要求8所述的装置，其中，状态集合获取模块，包括：
对象集合获取单元，用于获取多个对象集合，其中，不同对象集合对应不同场景条件；
样本组划分单元，用于针对所述对象集合，将所述对象集合包括的对象划分到第一数量的初始样本组中，所述随机数集合包括的随机数的数量与所述第一数量成比例；
状态集合确定单元，用于在所述对象集合对应的场景条件下，统计各所述初始样本组的对象状态数值，得到所述对象集合对应的状态集合，并将所述对象集合对应的场景条件作为所述状态集合对应的场景条件；
状态集合获取单元，用于获取各所述对象集合对应的状态集合。
10.根据权利要求9所述的装置，其中，不同随机数的数值对应不同初始样本组。
11.根据权利要求10所述的装置，其中，所述随机数集合生成模块，包括：
标识信息标注单元，用于对各所述初始样本组标注标识信息，并组合确定标识取值范围；
随机数集合生成单元，用于在所述标识取值范围内进行有放回随机取值，生成随机数集合。
12.根据权利要求9所述的装置，其中，所述随机数集合包括的随机数的数量为所述第一数量与第二数量的乘积；
所述状态分布确定模块，包括：
样本集合获取单元，用于根据所述随机数集合，对所述状态集合进行所述第二数量的次数的抽样，且每次抽取的数量为所述第一数量，得到样本集合；
状态分布确定单元，用于在所述样本集合中将同一抽样次数的初始样本组的对象状态数值进行融合，确定所述状态集合的状态分布。
13.根据权利要求12所述的装置，其中，所述状态集合获取模块，包括：
状态集合获取单元，用于按照第三数量的维度统计各所述初始样本组的对象状态数值，得到所述对象集合对应的状态集合，所述第三数量根据各所述场景条件确定；
所述状态分布确定单元，包括：
状态分布确定子单元，用于在所述样本集合中将同一维度且同一抽样次数的多个初始样本组的对象状态数值进行融合，确定所述对象集合在各所述维度下的状态分布。
14.根据权利要求8所述的装置，其中，所述测试结果确定模块，包括：
状态集合提取单元，用于在各所述状态集合中，获取实验集合和对照集合；
相对差异量获取单元，用于将所述实验集合的对象状态分布，与所述对照集合的对象状态分布进行比较，得到相对差异量；
检测结果确定单元，用于根据所述相对差异量，确定所述实验集合对应的场景条件相对于所述对照集合对应的场景条件的置信度检测结果，并作为不同场景条件的测试结果。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的测试方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211177307.XA CN115509909B (zh) | 2022-09-26 | 2022-09-26 | 测试方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211177307.XA CN115509909B (zh) | 2022-09-26 | 2022-09-26 | 测试方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115509909A CN115509909A (zh) | 2022-12-23 |
| CN115509909B true CN115509909B (zh) | 2023-11-07 |
Family
ID=84507074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211177307.XA Active CN115509909B (zh) | 2022-09-26 | 2022-09-26 | 测试方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115509909B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033806A (zh) * | 2010-12-14 | 2011-04-27 | 北京航空航天大学 | 一种实时嵌入式软件可靠性测试数据生成方法 |
| CN102999419A (zh) * | 2011-09-13 | 2013-03-27 | 百度在线网络技术（北京）有限公司 | 一种Android测试事件记录回放方法及装置 |
| CN108058172A (zh) * | 2017-11-30 | 2018-05-22 | 深圳市唯特视科技有限公司 | 一种基于自回归模型的机械手抓取方法 |
| CN110347581A (zh) * | 2019-05-20 | 2019-10-18 | 菜鸟智能物流控股有限公司 | 测试方法和装置以及电子设备 |
| CN110765023A (zh) * | 2019-10-29 | 2020-02-07 | 中国工商银行股份有限公司 | 基于混沌实验的分布式系统测试方法及系统 |
| CN111176979A (zh) * | 2019-11-20 | 2020-05-19 | 四川蜀天梦图数据科技有限公司 | 一种图数据库的测试用例生成方法和装置 |
| CN111426486A (zh) * | 2020-03-30 | 2020-07-17 | 中国标准化研究院 | 辅助驾驶系统的测试方法、装置、设备及存储介质 |
| CN111858927A (zh) * | 2020-06-09 | 2020-10-30 | 北京百度网讯科技有限公司 | 数据测试方法、装置、电子设备及存储介质 |
| CN113114504A (zh) * | 2021-04-13 | 2021-07-13 | 百度在线网络技术（北京）有限公司 | 用于分配资源的方法、装置、设备、介质和产品 |
| CN113109055A (zh) * | 2020-01-10 | 2021-07-13 | 上海汽车集团股份有限公司 | 测试场景等级计算方法、装置及计算机存储介质 |
| CN113297530A (zh) * | 2021-04-15 | 2021-08-24 | 南京大学 | 一种基于场景搜索的自动驾驶黑盒测试系统 |
| CN114036064A (zh) * | 2021-11-30 | 2022-02-11 | 北京奕斯伟计算技术有限公司 | 测试用例的汇编代码文件的生成方法、装置及电子设备 |
| CN114354219A (zh) * | 2022-01-07 | 2022-04-15 | 苏州挚途科技有限公司 | 自动驾驶车辆的测试方法及装置 |
| CN114564849A (zh) * | 2022-03-18 | 2022-05-31 | 吉林大学 | 一种基于数据驱动的车辆经济性仿真测试场景生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140053542A (ko) * | 2012-10-26 | 2014-05-08 | 삼성전자주식회사 | 내장형 소프트웨어의 자동 테스트 장치, 자동 테스트 방법 및 테스트 시나리오 작성방법 |
-
2022
- 2022-09-26 CN CN202211177307.XA patent/CN115509909B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033806A (zh) * | 2010-12-14 | 2011-04-27 | 北京航空航天大学 | 一种实时嵌入式软件可靠性测试数据生成方法 |
| CN102999419A (zh) * | 2011-09-13 | 2013-03-27 | 百度在线网络技术（北京）有限公司 | 一种Android测试事件记录回放方法及装置 |
| CN108058172A (zh) * | 2017-11-30 | 2018-05-22 | 深圳市唯特视科技有限公司 | 一种基于自回归模型的机械手抓取方法 |
| CN110347581A (zh) * | 2019-05-20 | 2019-10-18 | 菜鸟智能物流控股有限公司 | 测试方法和装置以及电子设备 |
| CN110765023A (zh) * | 2019-10-29 | 2020-02-07 | 中国工商银行股份有限公司 | 基于混沌实验的分布式系统测试方法及系统 |
| CN111176979A (zh) * | 2019-11-20 | 2020-05-19 | 四川蜀天梦图数据科技有限公司 | 一种图数据库的测试用例生成方法和装置 |
| CN113109055A (zh) * | 2020-01-10 | 2021-07-13 | 上海汽车集团股份有限公司 | 测试场景等级计算方法、装置及计算机存储介质 |
| CN111426486A (zh) * | 2020-03-30 | 2020-07-17 | 中国标准化研究院 | 辅助驾驶系统的测试方法、装置、设备及存储介质 |
| CN111858927A (zh) * | 2020-06-09 | 2020-10-30 | 北京百度网讯科技有限公司 | 数据测试方法、装置、电子设备及存储介质 |
| CN113114504A (zh) * | 2021-04-13 | 2021-07-13 | 百度在线网络技术（北京）有限公司 | 用于分配资源的方法、装置、设备、介质和产品 |
| CN113297530A (zh) * | 2021-04-15 | 2021-08-24 | 南京大学 | 一种基于场景搜索的自动驾驶黑盒测试系统 |
| CN114036064A (zh) * | 2021-11-30 | 2022-02-11 | 北京奕斯伟计算技术有限公司 | 测试用例的汇编代码文件的生成方法、装置及电子设备 |
| CN114354219A (zh) * | 2022-01-07 | 2022-04-15 | 苏州挚途科技有限公司 | 自动驾驶车辆的测试方法及装置 |
| CN114564849A (zh) * | 2022-03-18 | 2022-05-31 | 吉林大学 | 一种基于数据驱动的车辆经济性仿真测试场景生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115509909A (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559086B (zh) | 小程序页面渲染方法、装置、电子设备及可读存储介质 | |
| CN114095567B (zh) | 数据访问请求的处理方法、装置、计算机设备及介质 | |
| CN112907128A (zh) | 基于ab测试结果的数据分析方法、装置、设备及介质 | |
| CN114325400A (zh) | 电池剩余寿命的确定方法、装置、电子设备及存储介质 | |
| CN115509909B (zh) | 测试方法、装置、电子设备和存储介质 | |
| CN113904943A (zh) | 账号检测方法、装置、电子设备和存储介质 | |
| CN108683749B (zh) | 一种随机邮箱地址的判断方法、设备和介质 | |
| CN113590447B (zh) | 埋点处理方法和装置 | |
| CN114862479A (zh) | 信息推送方法、装置、电子设备和介质 | |
| CN114706610A (zh) | 一种业务流程图生成方法、装置、设备及存储介质 | |
| CN113052509A (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
| CN113361621A (zh) | 用于训练模型的方法和装置 | |
| CN115563964B (zh) | 短信文本正则生成方法、装置、电子设备及存储介质 | |
| CN114268557B (zh) | 一种故障检测方法、装置、设备和存储介质 | |
| CN113434508B (zh) | 用于存储信息的方法和装置 | |
| CN112632992B (zh) | 测试方法、测试装置、计算机设备和介质 | |
| EP4131022A1 (en) | Method and apparatus of determining location information, electronic device, storage medium, and program product | |
| CN114417886A (zh) | 热点数据的处理方法、装置、电子设备及存储介质 | |
| CN117455684A (zh) | 一种数据处理方法、装置、电子设备、存储介质及产品 | |
| CN117151779A (zh) | 用户资源确定方法、装置及电子设备 | |
| CN116452028A (zh) | 一种基于pr值离散度的低效组串评估方法及系统 | |
| CN111414397A (zh) | 报警事件故障定位方法、装置、计算机设备及存储介质 | |
| CN117785944A (zh) | 一种数据提取方法、装置、设备以及介质 | |
| CN115328793A (zh) | 针对应用程序的故障定位方法、装置以及设备 | |
| CN116204441A (zh) | 索引数据结构的性能测试方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |