CN117555812A - 一种云平台自动化测试方法及系统 - Google Patents
一种云平台自动化测试方法及系统 Download PDFInfo
- Publication number
- CN117555812A CN117555812A CN202410039348.5A CN202410039348A CN117555812A CN 117555812 A CN117555812 A CN 117555812A CN 202410039348 A CN202410039348 A CN 202410039348A CN 117555812 A CN117555812 A CN 117555812A
- Authority
- CN
- China
- Prior art keywords
- test
- software
- requirement
- items
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 715
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013522 software testing Methods 0.000 claims abstract description 19
- 238000010998 test method Methods 0.000 claims abstract description 12
- 238000012797 qualification Methods 0.000 claims description 35
- 238000011056 performance test Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 16
- 238000011156 evaluation Methods 0.000 description 16
- 230000006872 improvement Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011009 performance qualification Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种云平台自动化测试方法及系统，涉及数据处理技术领域。该方法包括获取软件测试需求，采集不同的需求测试项，形成需求测试项集；对需求测试项集中的需求测试项进行平行测试选择分析，确定需求测试项组；根据测试需求，确定测试输出参数以及影响每个测试输出参数对应的输入条件项，形成每个测试输出参数对应的输入条件项集；获取目标测试软件，对目标测试软件进行测试，并进行基于等级划分的结果分析，形成测试分析结果数据。该方法通过利用云平台建立对于满足软件测试需求的测试项，以高效的实现对软件的测试，并且借助平台测试系统可以保证测试结果分析所参考的标准的统一性，保证软件测试结果的合理性和准确性。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种云平台自动化测试方法及系统。
背景技术
软件测试是使用人工操作（手动测试）或者软件自动运行的方式（自动化测试）来检验软件是否满足用户需求的过程。随着技术的发展，软件的复杂程度也越来越大，同时伴随着更加规范化的软件测试方法以保证对复杂的软件性能的合理准确的验证。
当下，对于软件测试大多数采用人工进行测试作业，一方面测试的工作量大，需要耗费较大的人力资源，另一方面人工进行测试作业的效率相对较慢，并且在对测试结果的分析判断上存在人为因素的差别，因而对于软件测试的结果分析参差不齐。
因此，设计一种云平台自动化测试方法及系统，通过利用云平台建立对于满足软件测试需求的测试项，以高效的实现对软件的测试，并且借助平台测试系统可以保证测试结果分析所参考的标准的统一性，保证软件测试结果的合理性和准确性，是目前亟待解决的问题。
发明内容
本发明的目的在于提供一种云平台自动化测试方法，通过基于测试需求来建立满足需求的测试项以高效的利用云平台资源并实现对目标软件的测试。同时，通过不同集合合理的需求测试项组来完成对目标软件的测试，一方面可以避免单一测试项存在的测试误差，另一方面也能够更加合理且准确的利用不同测试项的测试结果对目标测试软件进行测试分析，提高对于目标测试软件测试分析的准确性。另外，在充分结合测试结果数据的基础上建立对于不同测试分析结果的对应处理方式，一方面可以帮助对目标测试软件进行测试未通过时的针对性检查，提高后续改进的效率，另一方面也为目标测试软件的性能进行综合测评，形成合理的性能评价结果，为后续目标软件基于测试性能所进行的一系列处理提供准确且合理的基础参考数据。
本发明的目的还在于提供一种云平台自动化测试系统，通过需求采集单元来确定需要为目标测试软件提供的测试项，进而合理高效的利用平台资源进行需求测试项的确定，测试项采集单元则提供一个测试项获取的途径，以快速的形成对应测试需求的测试项信息。测试选择单元能够充分的对获取的测试项进行合理的筛选，确定出最适用于目标测试软件的测试项，并通过测试分析单元对完成测试后取得的结果进行高效且准确的分析，以为测试提供准确且合理的分析结果数据。整个系统组成简单，运行高效，大大提高了对于软件测试的效率，同时也能够保证测试结果的准确性和合理性。
第一方面，本发明提供一种云平台自动化测试方法，包括获取软件测试需求，并根据软件测试需求采集不同的需求测试项，形成需求测试项集；对需求测试项集中的需求测试项进行平行测试选择分析，确定需求测试项组；根据测试需求，确定测试输出参数以及影响每个测试输出参数对应的输入条件项，形成每个测试输出参数对应的输入条件项集；获取目标测试软件，根据需求测试项组中的需求测试项对目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据。
在本发明中，该方法通过基于测试需求来建立满足需求的测试项以高效的利用云平台资源并实现对目标软件的测试。同时，通过不同集合合理的需求测试项组来完成对目标软件的测试，一方面可以避免单一测试项存在的测试误差，另一方面也能够更加合理且准确的利用不同测试项的测试结果对目标测试软件进行测试分析，提高对于目标测试软件测试分析的准确性。另外，在充分结合测试结果数据的基础上建立对于不同测试分析结果的对应处理方式，一方面可以帮助对目标测试软件进行测试未通过时的针对性检查，提高后续改进的效率，另一方面也为目标测试软件的性能进行综合测评，形成合理的性能评价结果，为后续目标软件基于测试性能所进行的一系列处理提供准确且合理的基础参考数据。
作为一种可能的实现方式，对需求测试项集中的需求测试项进行平行测试选择分析，确定需求测试项组，包括：对需求测试项集中所有的需求测试项进行组元素为2的无序排列组合，形成多个不同的无序测试组；对每个无序测试组，获取每个需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的无序测试组为需求测试项组。
在本发明中，软件测试工作上通常进行软件测试时基本都会采用一种测试项或者一套针对不同性能的测试项进行测试。这样的测试方式往往会因为测试项的单一无法进行有效的对比，进而直接将测试项的分析结果作为准确的结果数据进行分析判断，导致对于测试项存在的误差或者偏差的忽视。这里，在建立云平台上的自动化测试系统时，考虑信息处理上的高效快速的特点，对于获取到的针对测试需求的测试项采用保留合适的测试项形成测试项组来针对测试需求对目标测试软件进行测试。同一个测试需求取保有2个对应的测试方案来进行测试，大大提高了测试结果分析的准确性和合理性。
作为一种可能的实现方式，对每个无序测试组，获取每个需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的无序测试组为需求测试项组，包括：分别获取无序测试组中每个需求测试项对应的测试时长和/>，并确定两个测试时长的时长差/>，其中，n表示不同的无序测试组的编号；获取无序测试组中每个需求测试项所采用的性能测试步的数量/>和/>，并确定两个需求测试项所采用的性能测试步的等效项数量/>；根据时长差/>和等效项数量/>，确定对应的无序测试组的选择度Cn，其中，/>，/>和/>均为相关度因子；确定所有选择度Cn中数值最小的选择度对应的无序测试组，并标定为需求测试项组。
在本发明中，对于需求测试项的选择确定，这里主要考虑两个方面的内容。第一方面是为了保证测试的高效性所提出的需求测试项的测试时长的考虑，毕竟不同的测试项存在测试时间上的长短，需要合理的进行组合确定，形成在测试时间上占优势的需求测试项组合。另一方面考虑所选择确定的不同需求测试项如果在其所包含的测试小项上存在大部分的方式方法的等效，那么可以确定两种需求测试项本质上存在较大的相近，因而会导致选择测试项组进行目标测试软件所获得的不同测试结果信息失去对比性。需要说明的是，对于等效项即是在需求测试项中所采用到的不同测试步骤上或者不同测试层面以及测试顺序上所提供的具有实质上相同测试内容的测试小项。也即两个不同测试需求项在所包含的测试小项上应该具有采用不同方式取得同样的测试结果效果的目的。相关度因子可以根据实际情况来确定，总体上对时长和等效项建立正则的选择度数据具有较好且能够充分实现不同需求测试项选择的参考数据。
作为一种可能的实现方式，根据测试需求，确定测试输出参数以及影响每个测试输出参数对应的输入条件项，形成每个测试输出参数对应的输入条件项集，包括：确定测试需求的所有测试输出参数以及测试输出参数对应的合格参量范围，其中，i表示不同测试输出参数的编号；根据需求测试项组中的需求测试项，确定每个测试输出参数对应的输入条件项/>，m表示编号为i的测试输出参数对应的所有输入条件项的编号。
在本发明中，对根据测试需求所确定的需求测试项形成的输出结果参数，在结合需求测试项所进行的历史需求测试数据下确定出输出结果参数合理的视为判断测试合格的参量范围以及影响输出结果参数的具体输入条件项，一方面为后续进行针对目标测试软件的测试结果分析提供了重要且准确的参考数据，另一方面也为后续结合测试分析结果的基础上提供出便于后续针对不合格或者建议改进情况的基础参考信息，实现从输入到输出的数据控制调整，提高后续处理的效率。
作为一种可能的实现方式，获取目标测试软件，根据需求测试项组中的需求测试项对目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据，包括：获取目标测试软件测试形成的每个测试输出参数的实时测试值和/>，/>表示目标测试软件通过需求测试项组中的第一需求测试项的测试形成的编号为i的测试输出参数对应的实时测试值，/>表示目标测试软件通过需求测试项组中的第二需求测试项的测试形成的编号为i的测试输出参数对应的实时测试值；根据实时测试值/>和/>，并结合对应的合格参量范围/>进行测试合格性的分析，形成测试合格性判断结果数据；根据测试合格性判断结果数据，对实时测试值/>和/>进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据；根据同类参数差距判断结果数据，并结合对应的合格参量范围/>进行测试等级划分，形成测试等级划分结果数据。
在本发明中，对目标测试软件的测试分析是在取得目标测试软件所经过的需求测试项形成的测试结果后将测试结果进行三个方面的分析来完成的。第一方面是后续两个方面分析的基础，需要判断所经过的所有需求测试项的测试所形成的输出结果参数的实时测试值与大数据下确定的对应参数的合理范围的情况，以判断测试的基础合格程度。第二方面则是将不同需求测试项测试后形成的输出参数进行同类型参数的对比，以分析测试值差距性所具有的目标测试软件的性能合格性。第三方面则是在获取所有测试结果参数的情况下对测试结果进行综合评价，形成针对目标测试软件性能好坏的判断。
作为一种可能的实现方式，根据实时测试值和/>，并结合对应的合格参量范围/>进行测试合格性的分析，形成测试合格性判断结果数据，包括：将实时测试值/>和/>与对应的合格参量范围进行对比/>，若/>，且/>，则判定目标测试软件测试合格，反之则确定目标测试软件测试不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
在本发明中，对输出参数的分析，需要考虑如果目标测试软件为合格的产品，那么无论采用任何的合理的需求测试项进行测试都应该输出满足预设合格范围的输出结果。因而对形成的两组实时测试值均需要保证是处于对应的合格参量范围。
作为一种可能的实现方式，根据测试合格性判断结果数据，对实时测试值和进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据，包括：当测试合格性判断结果数据显示目标测试软件测试合格，则获取每个测试输出参数在不同需求测试项下形成的测试输出参数的实时差值/>；设定每个测试输出参数对应的差距判断阈值，并对所有的实时差值/>进行以下分析判断：若所有的实时差值/>满足/>，则确定目标测试软件差距判断合格，反之则确定目标测试软件差距判断不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
在本发明中，对于目标测试软件分别所进行的不同需求测试项的测试，需要理解的是，如果目标测试软件的性能正常，那么无论采用何种类型的需求测试项测试，其形成的结果差异性是较小的或者固定的。因而，对于不同需求测试项上取得的同类型输出参数的参量差距应处于合理的阈值限制内，这里对于差距判断阈值可以根据实际情况来确定。
作为一种可能的实现方式，根据同类参数差距判断结果数据，并结合对应的合格参量范围进行测试等级划分，形成测试等级划分结果数据，包括：当同类型差距判断结果数据显示目标测试软件的差距判断合格，则根据实时测试值/>和/>确定每个测试输出参数的平均实时测试值/>；根据平均实时测试值/>和对应的合格参量范围/>，确定目标测试软件的实时测试等级评定量/>；设定等级跃迁阈值/>，并结合实时测试等级评定量/>进行以下分析确定目标测试软件的性能等级：确定满足的k值，则确定目标测试软件的性能等级为k级，其中，k为非负整数，/>。
在本发明中，对于目标测试软件的性能好坏则是通过综合的输出参数分析取得的。综合性能指标下的合理性才能确保目标软件产品整体水平上的合格特性。
作为一种可能的实现方式，根据平均实时测试值和对应的合格参量范围/>，确定目标测试软件的实时测试等级评定量/>，包括：确定每个合格参量范围/>的消极边界值/>和积极边界值/>；对每个输出测试参数，根据平均实时测试值/>、消极边界值/>以及积极边界值/>，确定输出测试参数的实时范围占比/>，其中，，/>表示合格参量范围/>的范围值，/>表示平均实时测试值/>在合格参量范围/>的范围值；根据每个输出测试参数的实时范围占比/>，确定实时测试等级评定量/>，其中：/>。
在本发明中，这里对于结合所有测试输出参数进行综合测试性能的评价，采用归一化的手段进行。对于合格参量范围下的积极边界值即是参数值在趋近该边界值时目标测试软件的性能表现出逐渐的优越性，相反消极边界值则是参数值在趋近该边界值时目标测试软件的性能表现出逐渐的劣势性。
第二方面，本发明提供一种云平台自动化测试系统，应用于第一方面所说的一种云平台自动化测试方法，包括需求采集单元，用于获取软件测试需求；测试项采集单元，用于获取与需求采集单元所采集的软件测试需求相匹配的需求测试项；测试选择分析单元，用于获取测试项采集单元采集的需求测试项，并进行测试项选择分析，确定需求测试项组和对应的测试输出参数数据；测试分析单元，用于将目标测试软件通过测试选择分析单元形成的需求测试项组进行测试获取测试输出信息，并根据测试输出信息进行基于等级划分的结果分析。
在本发明中，该系统通过需求采集单元来确定需要为目标测试软件提供的测试项，进而合理高效的利用平台资源进行需求测试项的确定，测试项采集单元则提供一个测试项获取的途径，以快速的形成对应测试需求的测试项信息。测试选择单元能够充分的对获取的测试项进行合理的筛选，确定出最适用于目标测试软件的测试项，并通过测试分析单元对完成测试后取得的结果进行高效且准确的分析，以为测试提供准确且合理的分析结果数据。整个系统组成简单，运行高效，大大提高了对于软件测试的效率，同时也能够保证测试结果的准确性和合理性。
本发明提供的一种云平台自动化测试方法及系统的有益效果有：
该方法通过基于测试需求来建立满足需求的测试项以高效的利用云平台资源并实现对目标软件的测试。同时，通过不同集合合理的需求测试项组来完成对目标软件的测试，一方面可以避免单一测试项存在的测试误差，另一方面也能够更加合理且准确的利用不同测试项的测试结果对目标测试软件进行测试分析，提高对于目标测试软件测试分析的准确性。另外，在充分结合测试结果数据的基础上建立对于不同测试分析结果的对应处理方式，一方面可以帮助对目标测试软件进行测试未通过时的针对性检查，提高后续改进的效率，另一方面也为目标测试软件的性能进行综合测评，形成合理的性能评价结果，为后续目标软件基于测试性能所进行的一系列处理提供准确且合理的基础参考数据。
该系统通过需求采集单元来确定需要为目标测试软件提供的测试项，进而合理高效的利用平台资源进行需求测试项的确定，测试项采集单元则提供一个测试项获取的途径，以快速的形成对应测试需求的测试项信息。测试选择单元能够充分的对获取的测试项进行合理的筛选，确定出最适用于目标测试软件的测试项，并通过测试分析单元对完成测试后取得的结果进行高效且准确的分析，以为测试提供准确且合理的分析结果数据。整个系统组成简单，运行高效，大大提高了对于软件测试的效率，同时也能够保证测试结果的准确性和合理性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的云平台自动化测试方法的步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
软件测试是使用人工操作（手动测试）或者软件自动运行的方式（自动化测试）来检验软件是否满足用户需求的过程。随着技术的发展，软件的复杂程度也越来越大，同时伴随着更加规范化的软件测试方法以保证对复杂的软件性能的合理准确的验证。
当下，对于软件测试大多数采用人工进行测试作业，一方面测试的工作量大，需要耗费较大的人力资源，另一方面人工进行测试作业的效率相对较慢，并且在对测试结果的分析判断上存在人为因素的差别，因而对于软件测试的结果分析参差不齐。
参考图1，本发明实施例提供一种云平台自动化测试方法，该方法通过基于测试需求来建立满足需求的测试项以高效的利用云平台资源并实现对目标软件的测试。同时，通过不同集合合理的需求测试项组来完成对目标软件的测试，一方面可以避免单一测试项存在的测试误差，另一方面也能够更加合理且准确的利用不同测试项的测试结果对目标测试软件进行测试分析，提高对于目标测试软件测试分析的准确性。另外，在充分结合测试结果数据的基础上建立对于不同测试分析结果的对应处理方式，一方面可以帮助对目标测试软件进行测试未通过时的针对性检查，提高后续改进的效率，另一方面也为目标测试软件的性能进行综合测评，形成合理的性能评价结果，为后续目标软件基于测试性能所进行的一系列处理提供准确且合理的基础参考数据。
云平台自动化测试方法具体包括以下步骤：
S1：获取软件测试需求，并根据软件测试需求采集不同的需求测试项，形成需求测试项集。
结合测试需求来获取需求测试项可以高效且节约资源的进行针对目标测试软件的测试需求的处理。这里，对于需求测试项可以是人工进行上传的，也可以是基于大数据进行的自主学习所形成的，根据实际情况来确定。
S2：对需求测试项集中的需求测试项进行平行测试选择分析，确定需求测试项组。
对需求测试项集中的需求测试项进行平行测试选择分析，确定需求测试项组，包括：对需求测试项集中所有的需求测试项进行组元素为2的无序排列组合，形成多个不同的无序测试组；对每个无序测试组，获取每个需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的无序测试组为需求测试项组。
软件测试工作上通常进行软件测试时基本都会采用一种测试项或者一套针对不同性能的测试项进行测试。这样的测试方式往往会因为测试项的单一无法进行有效的对比，进而直接将测试项的分析结果作为准确的结果数据进行分析判断，导致对于测试项存在的误差或者偏差的忽视。这里，在建立云平台上的自动化测试系统时，考虑信息处理上的高效快速的特点，对于获取到的针对测试需求的测试项采用保留合适的测试项形成测试项组来针对测试需求对目标测试软件进行测试。同一个测试需求取保有2个对应的测试方案来进行测试，大大提高了测试结果分析的准确性和合理性。
对每个无序测试组，获取每个需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的无序测试组为需求测试项组，包括：分别获取无序测试组中每个需求测试项对应的测试时长和/>，并确定两个测试时长的时长差/>，其中，n表示不同的无序测试组的编号；获取无序测试组中每个需求测试项所采用的性能测试步的数量/>和/>，并确定两个需求测试项所采用的性能测试步的等效项数量/>；根据时长差/>和等效项数量/>，确定对应的无序测试组的选择度Cn，其中，，/>和/>均为相关度因子；确定所有选择度Cn中数值最小的选择度对应的无序测试组，并标定为需求测试项组。
对于需求测试项的选择确定，这里主要考虑两个方面的内容。第一方面是为了保证测试的高效性所提出的需求测试项的测试时长的考虑，毕竟不同的测试项存在测试时间上的长短，需要合理的进行组合确定，形成在测试时间上占优势的需求测试项组合。另一方面考虑所选择确定的不同需求测试项如果在其所包含的测试小项上存在大部分的方式方法的等效，那么可以确定两种需求测试项本质上存在较大的相近，因而会导致选择测试项组进行目标测试软件所获得的不同测试结果信息失去对比性。需要说明的是，对于等效项即是在需求测试项中所采用到的不同测试步骤上或者不同测试层面以及测试顺序上所提供的具有实质上相同测试内容的测试小项。也即两个不同测试需求项在所包含的测试小项上应该具有采用不同方式取得同样的测试结果效果的目的。相关度因子可以根据实际情况来确定，总体上对时长和等效项建立正则的选择度数据具有较好且能够充分实现不同需求测试项选择的参考数据。
S3：根据测试需求，确定测试输出参数以及影响每个测试输出参数对应的输入条件项，形成每个测试输出参数对应的输入条件项集。
根据测试需求，确定测试输出参数以及影响每个测试输出参数对应的输入条件项，形成每个测试输出参数对应的输入条件项集，包括：确定测试需求的所有测试输出参数以及测试输出参数对应的合格参量范围，其中，i表示不同测试输出参数的编号；根据需求测试项组中的需求测试项，确定每个测试输出参数对应的输入条件项/>，m表示编号为i的测试输出参数对应的所有输入条件项的编号。
对根据测试需求所确定的需求测试项形成的输出结果参数，在结合需求测试项所进行的历史需求测试数据下确定出输出结果参数合理的视为判断测试合格的参量范围以及影响输出结果参数的具体输入条件项，一方面为后续进行针对目标测试软件的测试结果分析提供了重要且准确的参考数据，另一方面也为后续结合测试分析结果的基础上提供出便于后续针对不合格或者建议改进情况的基础参考信息，实现从输入到输出的数据控制调整，提高后续处理的效率。
S4：获取目标测试软件，根据需求测试项组中的需求测试项对目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据。
获取目标测试软件，根据需求测试项组中的需求测试项对目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据，包括：获取目标测试软件测试形成的每个测试输出参数的实时测试值和/>，/>表示目标测试软件通过需求测试项组中的第一需求测试项的测试形成的编号为i的测试输出参数对应的实时测试值，/>表示目标测试软件通过需求测试项组中的第二需求测试项的测试形成的编号为i的测试输出参数对应的实时测试值；根据实时测试值/>和/>，并结合对应的合格参量范围/>进行测试合格性的分析，形成测试合格性判断结果数据；根据测试合格性判断结果数据，对实时测试值/>和/>进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据；根据同类参数差距判断结果数据，并结合对应的合格参量范围/>进行测试等级划分，形成测试等级划分结果数据。
对目标测试软件的测试分析是在取得目标测试软件所经过的需求测试项形成的测试结果后将测试结果进行三个方面的分析来完成的。第一方面是后续两个方面分析的基础，需要判断所经过的所有需求测试项的测试所形成的输出结果参数的实时测试值与大数据下确定的对应参数的合理范围的情况，以判断测试的基础合格程度。第二方面则是将不同需求测试项测试后形成的输出参数进行同类型参数的对比，以分析测试值差距性所具有的目标测试软件的性能合格性。第三方面则是在获取所有测试结果参数的情况下对测试结果进行综合评价，形成针对目标测试软件性能好坏的判断。
根据实时测试值和/>，并结合对应的合格参量范围/>进行测试合格性的分析，形成测试合格性判断结果数据，包括：将实时测试值/>和/>与对应的合格参量范围进行对比/>，若/>，且/>，则判定目标测试软件测试合格，反之则确定目标测试软件测试不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
对输出参数的分析，需要考虑如果目标测试软件为合格的产品，那么无论采用任何的合理的需求测试项进行测试都应该输出满足预设合格范围的输出结果。因而对形成的两组实时测试值均需要保证是处于对应的合格参量范围。
根据测试合格性判断结果数据，对实时测试值和/>进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据，包括：当测试合格性判断结果数据显示目标测试软件测试合格，则获取每个测试输出参数在不同需求测试项下形成的测试输出参数的实时差值/>；设定每个测试输出参数对应的差距判断阈值/>，并对所有的实时差值进行以下分析判断：若所有的实时差值/>满足/>，则确定目标测试软件差距判断合格，反之则确定目标测试软件差距判断不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
对于目标测试软件分别所进行的不同需求测试项的测试，需要理解的是，如果目标测试软件的性能正常，那么无论采用何种类型的需求测试项测试，其形成的结果差异性是较小的或者固定的。因而，对于不同需求测试项上取得的同类型输出参数的参量差距应处于合理的阈值限制内，这里对于差距判断阈值可以根据实际情况来确定。
根据同类参数差距判断结果数据，并结合对应的合格参量范围进行测试等级划分，形成测试等级划分结果数据，包括：当同类型差距判断结果数据显示目标测试软件的差距判断合格，则根据实时测试值/>和/>确定每个测试输出参数的平均实时测试值；根据平均实时测试值/>和对应的合格参量范围/>，确定目标测试软件的实时测试等级评定量/>；设定等级跃迁阈值/>，并结合实时测试等级评定量/>进行以下分析确定目标测试软件的性能等级：确定满足/>的k值，则确定目标测试软件的性能等级为k级，其中，k为非负整数，/>。
对于目标测试软件的性能好坏则是通过综合的输出参数分析取得的。综合性能指标下的合理性才能确保目标软件产品整体水平上的合格特性。
根据平均实时测试值和对应的合格参量范围/>，确定目标测试软件的实时测试等级评定量/>，包括：确定每个合格参量范围/>的消极边界值/>和积极边界值；对每个输出测试参数，根据平均实时测试值/>、消极边界值/>以及积极边界值，确定输出测试参数的实时范围占比/>，其中，/>，/>表示合格参量范围/>的范围值，/>表示平均实时测试值/>在合格参量范围/>的范围值；根据每个输出测试参数的实时范围占比/>，确定实时测试等级评定量/>，其中：/>。
这里对于结合所有测试输出参数进行综合测试性能的评价，采用归一化的手段进行。对于合格参量范围下的积极边界值即是参数值在趋近该边界值时目标测试软件的性能表现出逐渐的优越性，相反消极边界值则是参数值在趋近该边界值时目标测试软件的性能表现出逐渐的劣势性。
本发明还提供过一种云平台自动化测试系统，该系统采用本发明提供的云平台自动化测试方法，包括需求采集单元，用于获取软件测试需求；测试项采集单元，用于获取与需求采集单元所采集的软件测试需求相匹配的需求测试项；测试选择分析单元，用于获取测试项采集单元采集的需求测试项，并进行测试项选择分析，确定需求测试项组和对应的测试输出参数数据；测试分析单元，用于将目标测试软件通过测试选择分析单元形成的需求测试项组进行测试获取测试输出信息，并根据测试输出信息进行基于等级划分的结果分析。
该系统通过需求采集单元来确定需要为目标测试软件提供的测试项，进而合理高效的利用平台资源进行需求测试项的确定，测试项采集单元则提供一个测试项获取的途径，以快速的形成对应测试需求的测试项信息。测试选择单元能够充分的对获取的测试项进行合理的筛选，确定出最适用于目标测试软件的测试项，并通过测试分析单元对完成测试后取得的结果进行高效且准确的分析，以为测试提供准确且合理的分析结果数据。整个系统组成简单，运行高效，大大提高了对于软件测试的效率，同时也能够保证测试结果的准确性和合理性。
综上所述，本发明实施例提供的云平台自动化测试方法及装置的有益效果有：
该方法通过基于测试需求来建立满足需求的测试项以高效的利用云平台资源并实现对目标软件的测试。同时，通过不同集合合理的需求测试项组来完成对目标软件的测试，一方面可以避免单一测试项存在的测试误差，另一方面也能够更加合理且准确的利用不同测试项的测试结果对目标测试软件进行测试分析，提高对于目标测试软件测试分析的准确性。另外，在充分结合测试结果数据的基础上建立对于不同测试分析结果的对应处理方式，一方面可以帮助对目标测试软件进行测试未通过时的针对性检查，提高后续改进的效率，另一方面也为目标测试软件的性能进行综合测评，形成合理的性能评价结果，为后续目标软件基于测试性能所进行的一系列处理提供准确且合理的基础参考数据。
该系统通过需求采集单元来确定需要为目标测试软件提供的测试项，进而合理高效的利用平台资源进行需求测试项的确定，测试项采集单元则提供一个测试项获取的途径，以快速的形成对应测试需求的测试项信息。测试选择单元能够充分的对获取的测试项进行合理的筛选，确定出最适用于目标测试软件的测试项，并通过测试分析单元对完成测试后取得的结果进行高效且准确的分析，以为测试提供准确且合理的分析结果数据。整个系统组成简单，运行高效，大大提高了对于软件测试的效率，同时也能够保证测试结果的准确性和合理性。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种云平台自动化测试方法，其特征在于，包括：
获取软件测试需求，并根据所述软件测试需求采集不同的需求测试项，形成需求测试项集；
对所述需求测试项集中的所述需求测试项进行平行测试选择分析，确定需求测试项组；
根据所述测试需求，确定测试输出参数以及影响每个所述测试输出参数对应的输入条件项，形成每个所述测试输出参数对应的输入条件项集；
获取目标测试软件，根据所述需求测试项组中的所述需求测试项对所述目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据。
2.根据权利要求1所述的云平台自动化测试方法，其特征在于，所述对所述需求测试项集中的所述需求测试项进行平行测试选择分析，确定需求测试项组，包括：
对所述需求测试项集中所有的所述需求测试项进行组元素为2的无序排列组合，形成多个不同的无序测试组；
对每个所述无序测试组，获取每个所述需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的所述无序测试组为所述需求测试项组。
3.根据权利要求2所述的云平台自动化测试方法，其特征在于，所述对每个所述无序测试组，获取每个所述需求测试项的历史测试数据，进行基于测试需求的对比分析，并根据对比分析结果确定合适的所述无序测试组为所述需求测试项组，包括：
分别获取所述无序测试组中每个所述需求测试项对应的测试时长 和 /> ，并确定两个测试时长的时长差 /> ，其中，n 表示不同的所述无序测试组的编号；
获取所述无序测试组中每个所述需求测试项所采用的性能测试步的数量 和 /> ，并确定两个所述需求测试项所采用的性能测试步的等效项数量 /> ；
根据所述时长差 和所述等效项数量 />，确定对应的所述无序测试组的选择度Cn，其中，/> ，/> 和/> 均为相关度因子；
确定所有所述选择度Cn中数值最小的所述选择度对应的所述无序测试组，并标定为所述需求测试项组。
4.根据权利要求3所述的云平台自动化测试方法，其特征在于，所述根据所述测试需求，确定测试输出参数以及影响每个所述测试输出参数对应的输入条件项，形成每个所述测试输出参数对应的输入条件项集，包括：
确定所述测试需求的所有所述测试输出参数以及所述测试输出参数对应的合格参量范围 ，其中，i表示不同所述测试输出参数的编号；
根据所述需求测试项组中的所述需求测试项，确定每个所述测试输出参数对应的输入条件项 ，m表示编号为 i 的所述测试输出参数对应的所有所述输入条件项的编号。
5.根据权利要求4所述的云平台自动化测试方法，其特征在于，所述获取目标测试软件，根据所述需求测试项组中的所述需求测试项对所述目标测试软件进行测试，并根据测试形成的实时测试值进行基于等级划分的结果分析，形成测试分析结果数据，包括：
获取所述目标测试软件测试形成的每个所述测试输出参数的实时测试值 和 ，/> 表示所述目标测试软件通过所述需求测试项组中的第一需求测试项的测试形成的编号为i的所述测试输出参数对应的实时测试值，/> 表示所述目标测试软件通过所述需求测试项组中的第二需求测试项的测试形成的编号为i的所述测试输出参数对应的实时测试值；
根据所述实时测试值 和 /> ，并结合对应的所述合格参量范围 /> 进行测试合格性的分析，形成测试合格性判断结果数据；
根据所述测试合格性判断结果数据，对所述实时测试值 和 />进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据；
根据所述同类参数差距判断结果数据，并结合对应的所述合格参量范围进行测试等级划分，形成测试等级划分结果数据。
6.根据权利要求5所述的云平台自动化测试方法，其特征在于，所述根据所述实时测试值 和 /> ，并结合对应的所述合格参量范围 />进行测试合格性的分析，形成测试合格性判断结果数据，包括：
将所述实时测试值 和 /> 与对应的所述合格参量范围进行对比 /> ，若，且 /> ，则判定所述目标测试软件测试合格，反之则确定所述目标测试软件测试不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
7.根据权利要求6所述的云平台自动化测试方法，其特征在于，所述根据所述测试合格性判断结果数据，对所述实时测试值 和 /> 进行测试项的同类参数差距对比分析，形成同类参数差距判断结果数据，包括：
当所述测试合格性判断结果数据显示所述目标测试软件测试合格，则获取每个所述测试输出参数在不同需求测试项下形成的所述测试输出参数的实时差值 ；
设定每个所述测试输出参数对应的差距判断阈值 ，并对所有的所述实时差值 进行以下分析判断：
若所有的所述实时差值 满足 /> ，则确定所述目标测试软件差距判断合格，反之则确定所述目标测试软件差距判断不合格，并标定不满足要求的输出测试参数和对应的输入条件项集。
8.根据权利要求7所述的云平台自动化测试方法，其特征在于，所述根据所述同类参数差距判断结果数据，并结合对应的所述合格参量范围 进行测试等级划分，形成测试等级划分结果数据，包括：
当所述同类型差距判断结果数据显示所述目标测试软件的差距判断合格，则根据所述实时测试值 和 /> 确定每个所述测试输出参数的平均实时测试值 /> ；
根据所述平均实时测试值 和对应的所述合格参量范围 /> ，确定所述目标测试软件的实时测试等级评定量 /> ；
设定等级跃迁阈值 ，并结合所述实时测试等级评定量 /> 进行以下分析确定所述目标测试软件的性能等级：
确定满足 的k值，则确定所述目标测试软件的性能等级为k级，其中，k为非负整数，/> 。
9.根据权利要求8所述的云平台自动化测试方法，其特征在于，所述根据所述平均实时测试值 和对应的所述合格参量范围 /> ，确定所述目标测试软件的实时测试等级评定量 /> ，包括：
确定每个所述合格参量范围 的消极边界值 /> 和积极边界值/> ；
对每个所述输出测试参数，根据所述平均实时测试值 、所述消极边界值 />以及所述积极边界值 /> ，确定所述输出测试参数的实时范围占比 /> ，其中， ，/> 表示所述合格参量范围 /> 的范围值，/>表示所述平均实时测试值 /> 在所述合格参量范围 /> 的范围值；
根据每个所述输出测试参数的所述实时范围占比 ，确定所述实时测试等级评定量 ，其中：/> 。
10.一种云平台自动化测试系统，采用权利要求1-9任意一项所述云平台自动化测试方法，其特征在于，包括：
需求采集单元，用于获取软件测试需求；
测试项采集单元，用于获取与所述需求采集单元所采集的软件测试需求相匹配的需求测试项；
测试选择分析单元，用于获取所述测试项采集单元采集的需求测试项，并进行测试项选择分析，确定需求测试项组和对应的测试输出参数数据；
测试分析单元，用于将目标测试软件通过所述测试选择分析单元形成的需求测试项组进行测试获取测试输出信息，并根据测试输出信息进行基于等级划分的结果分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410039348.5A CN117555812B (zh) | 2024-01-11 | 2024-01-11 | 一种云平台自动化测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410039348.5A CN117555812B (zh) | 2024-01-11 | 2024-01-11 | 一种云平台自动化测试方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117555812A true CN117555812A (zh) | 2024-02-13 |
| CN117555812B CN117555812B (zh) | 2024-05-17 |
Family
ID=89815085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410039348.5A Active CN117555812B (zh) | 2024-01-11 | 2024-01-11 | 一种云平台自动化测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117555812B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279093A (zh) * | 2015-11-26 | 2016-01-27 | 上海斐讯数据通信技术有限公司 | 软件测试方法、装置及设备 |
| CA2948250A1 (en) * | 2015-11-20 | 2017-05-20 | General Electric Company | System and method for safety-critical software automated requirements-based test case generation |
| CN111651357A (zh) * | 2020-06-03 | 2020-09-11 | 厦门力含信息技术服务有限公司 | 一种基于云计算的软件自动化测试方法 |
| CN116069571A (zh) * | 2022-08-29 | 2023-05-05 | 苏州浪潮智能科技有限公司 | 存储设备性能自动化测试方法、装置、设备和存储介质 |
| CN117214561A (zh) * | 2023-08-17 | 2023-12-12 | 西北工业大学 | 一种自动测试运行系统的测试方法及信息共享平台 |
-
2024
- 2024-01-11 CN CN202410039348.5A patent/CN117555812B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2948250A1 (en) * | 2015-11-20 | 2017-05-20 | General Electric Company | System and method for safety-critical software automated requirements-based test case generation |
| CN105279093A (zh) * | 2015-11-26 | 2016-01-27 | 上海斐讯数据通信技术有限公司 | 软件测试方法、装置及设备 |
| CN111651357A (zh) * | 2020-06-03 | 2020-09-11 | 厦门力含信息技术服务有限公司 | 一种基于云计算的软件自动化测试方法 |
| CN116069571A (zh) * | 2022-08-29 | 2023-05-05 | 苏州浪潮智能科技有限公司 | 存储设备性能自动化测试方法、装置、设备和存储介质 |
| CN117214561A (zh) * | 2023-08-17 | 2023-12-12 | 西北工业大学 | 一种自动测试运行系统的测试方法及信息共享平台 |
Non-Patent Citations (1)
| Title |
|---|
| 陈琳;陈玮;: "软件测试中设计技法与测试过程的研究", 现代电子技术, no. 08, 25 April 2006 (2006-04-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117555812B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520357B (zh) | 一种线损异常原因的判别方法、装置及服务器 | |
| WO2019214309A1 (zh) | 模型测试的方法及装置 | |
| CN110572297B (zh) | 网络性能的评估方法、服务器及存储介质 | |
| US8170894B2 (en) | Method of identifying innovations possessing business disrupting properties | |
| US20190034518A1 (en) | Target class feature model | |
| CN106055464B (zh) | 数据缓存集群压力测试装置及方法 | |
| CN107992410B (zh) | 软件质量监测方法、装置、计算机设备和存储介质 | |
| CN108664690A (zh) | 基于深度信念网络的多应力下长寿命电子器件可靠性寿命评估方法 | |
| EP4120653A1 (en) | Communication network performance and fault analysis using learning models with model interpretation | |
| US20100004898A1 (en) | Method and system for pre-processing data using the Mahalanobis Distance (MD) | |
| CN109242363B (zh) | 一种基于多种质量控制模型的全生命周期测试管理平台 | |
| CN114355094B (zh) | 基于多源信息的产品可靠性薄弱环节综合评估方法和装置 | |
| CN116306806A (zh) | 故障诊断模型确定方法、装置及非易失性存储介质 | |
| CN111860698A (zh) | 确定学习模型的稳定性的方法和装置 | |
| CN113642209B (zh) | 基于数字孪生的结构植入故障响应数据获取及评判方法 | |
| CN112346962A (zh) | 一种应用于对照测试系统中的对照数据测试方法及装置 | |
| CN115794570A (zh) | 压力测试方法、装置、设备及计算机可读存储介质 | |
| CN114169460A (zh) | 样本筛选方法、装置、计算机设备和存储介质 | |
| CN111367782A (zh) | 回归测试数据自动生成的方法及装置 | |
| CN117555812B (zh) | 一种云平台自动化测试方法及系统 | |
| CN108446213A (zh) | 一种静态代码质量分析方法和装置 | |
| CN112529209A (zh) | 模型训练方法、装置以及计算机可读存储介质 | |
| CN114860617B (zh) | 一种智能压力测试方法及系统 | |
| CN112202630A (zh) | 一种基于无监督模型的网路质量异常检测方法及装置 | |
| CN114416410A (zh) | 一种异常分析方法、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |