CN105955889B - 一种图形界面自动化测试方法 - Google Patents

一种图形界面自动化测试方法 Download PDF

Info

Publication number
CN105955889B
CN105955889B CN201610309279.0A CN201610309279A CN105955889B CN 105955889 B CN105955889 B CN 105955889B CN 201610309279 A CN201610309279 A CN 201610309279A CN 105955889 B CN105955889 B CN 105955889B
Authority
CN
China
Prior art keywords
sequence
distance
image
graphical interfaces
automated testing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610309279.0A
Other languages
English (en)
Other versions
CN105955889A (zh
Inventor
潘敏学
黄嘉伟
程成
汤恩义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201610309279.0A priority Critical patent/CN105955889B/zh
Publication of CN105955889A publication Critical patent/CN105955889A/zh
Application granted granted Critical
Publication of CN105955889B publication Critical patent/CN105955889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图形界面自动化测试方法,包括以下步骤:对待测试软件自动生成随机测试用例,并对每个测试软件的功能模块生成操作序列的记录,保存运行截图;根据操作序列的记录计算操作序列之间的相似度,给出操作序列间操作的匹配关系;根据操作序列相似度对操作序列进行聚类;在每个类别中,任选一条序列人为标记对错;在每个类别中,将同类其他序列与标记序列进行图像比对;比对结果一致则可直接判定对错,否则视为待定;若存在待定序列,则返回聚类。本发明运用图像对比算法结合OCR对同类的操作进行图像比对,根据结果判定功能存在缺陷或重复迭代过程。用机器学习、图像比较技术减少人工干预,实现测试的自动化,提高软件测试的效率。

Description

一种图形界面自动化测试方法
技术领域
本发明涉及软件测试技术,及机器学习、图像技术在自动化软件测试中的应用。
背景技术
目前,软件测试一般需要大量的人为干预。测试工程师需要设计繁多的测试用例,而且大部分工作是重复、乏味、繁琐的;需求或设计变更时,就需要修改或重新设计测试用例;而且人工测试也难以对测试范围覆盖完全,还需要重复的回归测试。将繁重的测试任务自动化,就可以提高测试的准确性和测试人员的积极性,扩大测试的覆盖度,将测试人员解脱出来,节省人员、时间成本。
现在有不少自动测试工具,这些工具可以提高测试效率,代替人工输入。它们具有录制脚本、回放等功能,可以复用测试用例,来执行重复的自动化测试,让回归测试,或测试同一软件的新版本更加方便。但是这类工具不能自动生成测试用例,测试人员要手动录制脚本或按照测试用例编写脚本,再利用工具进行回放。
近年来,机器学习逐渐兴起。机器学习旨在让计算机能够模拟人类的学习行为。面对软件测试中情况的多样性、软件系统的复杂性,就需要让计算机自动“学习”。为了实现自动化测试,测试系统要能够处理不同类型的输入,实现智能化。机器学习就是人工智能的核心。机器学习具有几种类型:监督学习、无监督学习、半监督学习、增强学习。无监督学习是指训练集不需要人为标注,常见的无监督学习算法有聚类。这有助于减少人工干预、增强测试系统的自动性。
大部分的软件应用是基于图形界面的,而黑盒测试时,根据界面的显示结果就可以判断应用是否正确完成了相应的功能。当人工进行功能测试时,依靠人眼去观察界面识别错误容易让人疲劳,且十分枯燥。有很多图像匹配算法、OCR(光学字符识别)技术,可以实现比较图像及其中内容的相似度。图像匹配是一种对影像内容、特征、结构、关系、纹理及灰度等的对应关系,相似性和一致性的分析,寻求相似影像目标的方法;OCR能够对图像文件中进行分析识别处理,获取其中的文字及版面信息。结合这两种技术,就能够计算图像之间像素关系和文字内容的相似度。
发明内容
本发明的目的在于,提供一种基于图形界面的自动化测试方法,以减少人为干预,提高软件测试的效率。
为了实现上述目的,本发明的技术方案是,一种图形界面自动化测试方法,其特征在于,所述方法包括以下步骤:
对待测试软件自动生成随机测试用例,并对每个测试软件的功能模块生成操作序列的记录,保存运行截图;
根据操作序列的记录计算操作序列之间的相似度,给出操作序列间操作的匹配关系;
根据操作序列相似度对操作序列进行聚类;
在每个类别中,任选一条序列人为标记对错;
在每个类别中,将同类其他序列与标记序列进行图像比对;
比对结果一致则可直接判定对错,否则视为待定;
若存在待定序列,则返回聚类。
进一步,所述操作序列相似度的计算,由于序列长度可以不相同,重点在于序列间操作的匹配关系;这里使用DTW(Dynamic Time Warping,动态时间规整)将两条序列的操作进行对齐,DTW遵循边界性原则(两条序列的第一个和最后一个操作需要对齐)、单调性原则(某个操作对齐的操作必须是前个操作所对操作及之后的操作);一个操作可以对应多个操作,将所有对应操作之间的距离求和得到这两条序列的距离;通过动态调整上述的操作匹配方式找到最小的操作的序列距离,即操作序列的相似度。
进一步,所述操作序列的聚类,根据操作序列之间的距离,运用名称为DBSCAN机器学习算法进行聚类。DBSCAN是一个基于密度的聚类算法,需要两个参数:eps(扫描半径)、minPts(最小包含点数),聚类过程包括如下步骤:
1)任选一个未被访问过的对象(一条操作序列)p,检查其距离为eps的邻域,若包含的对象不小于minPts,建立新簇C,将其中所有的点加入候选集N;否则将p记为噪声;
2)对候选集N中所有未被处理的对象q,检查其邻域,若至少包含minPts个对象,则将这些对象加入N;如果q未被归入任何一个簇,则将q加入C;
3)重复步骤2),继续检查N中未处理的对象,当前候选集N为空;
4)重复步骤1)~3),直到所有对象都归入了某个簇或标记为噪声。
所述图像的比对,包括如下步骤:
1)首先比较运行截图基于两幅图像对应位置像素的强度值与各自图像整体强度值的差值计算出两幅图相似度的值,与预定阈值比较后,低于阈值则判定为图像不相似;
2)高于阈值再通过OCR手段比较对应位置字符,对应位置字符相似个数的比例大于阈值则判定为相似,否则判定为不相似。
进一步,所述操作序列间操作的匹配关系,由于动态调整后的匹配关系可以有一对多的关系,需要根据这些关系,找出两条序列中操作最相似的一对一关系,以便后续的图像比对。
进一步,运用图像对比算法结合OCR对匹配的操作进行图像比对,根据结果判定功能存在缺陷或重复迭代过程。与标记正确的序列的图像比对结果一致的序列判定为正确,与错误序列图像一致的序列则判定为错误,与正确序列或错误序列不一致的均视为待定(有一个图像比对不一致则为比对结果不一致)。
进一步,所述序列中单个操作的距离,利用编辑距离(Edit Distance)的方法计算。编辑距离又称Levenshtein距离,是指两个字符串之间,一个变为另一个所需要的最少编辑次数。这里的编辑操作包括替换一个字符、添加一个字符、删除一个字符。
本发明有益效果,通过采用迭代的方式来发现错误的序列:待定的序列返回聚类一步,重新聚类、标记、比对,反复迭代,直至没有待定序列。可能存在序列一直被标记为待定、难以判定的少数情况,这时需要人为进行判定。迭代过程提高了测试结果的准确性。本发明通过对待测试软件自动生成测试用例,并对每个功能模块生成操作记录、运行截图。运用图像对比算法结合OCR对同类的操作进行图像比对,根据结果判定功能存在缺陷或重复迭代过程。本发明运用机器学习、图像比较技术减少人工干预,实现测试的自动化,提高软件测试的效率。
附图说明
图1为本发明的图形界面自动化测试方法实施例一的结构示意图。
图2为本发明的图形界面自动化测试方法实施例二的结构示意图。
图3为本发明的图形界面自动化测试方法实施例一的流程图。
图4为本发明的图形界面自动化测试方法实施例三的执行流程图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
如图1所示,为本发明的图形界面自动化测试方法实施例一的结构示意图。生成测试部分主要由QTP(Quicktest Professional)完成。在QTP中生成整个系统需要的数据和图像。处理数据部分将QTP中产生的数据进行聚类等处理。比对结果部分接受聚类结果,结合人工标记,判定图像的正确性。
如图2所示,为本发明的图形界面自动化测试方法实施例二的结构示意图。
生成测试部分使用QTP运行随机触发软件功能的脚本,脚本自动保存操作序列的记录,在每次操作后保存截屏。
处理数据部分的输入时QTP产生的操作序列,使用DBSCAN机器学习算法对操作序列进行聚类。聚类时需要计算序列间的距离,又基于操作字符串的距离。最后结合序列距离和操作距离给出序列操作间的一对一匹配关系。
比对结果部分首先接受人工输入对聚类结果每类中一条进行标记,接着将同类的序列与已标记序列进行图像比较,来判定软件在某个功能上的正确性。
如图3所示,为本发明的图形界面自动化测试方法实施例一的流程图,包括如下步骤:
步骤101,利用自动测试工具QTP生成随机测试用例,记录操作序列,并保存运行截图:
在待测软件中,随机选择一个功能点(将属于一个弹出框内的操作视为一个功能点),使用描述性编程的方式在其中随机选择控件,进行触发(如按钮)、或随机选择(如下拉选择框),重复随机触发控件若干次后,就产生了使用这个功能的一条连续操作序列。循环随机测试不同的功能点,直到完成预设的次数。
每次脚本触发一个控件或执行一个操作时,自动产生一条描述序列的记录。记录内容包括操作对应的window窗体名称、dialog窗体名称(可能有多个)、触发控件的类型(Button、Checkbox等)、触发控件的名称、操作的名称(Click、Select等)和操作的内容(如选择的内容、输入的内容等)。同时每进行一步操作后,脚本会截屏并保存图片。
步骤102,根据记录的操作序列,利用DTW(动态时间规整)将序列进行对齐,即将两条序列中的操作一对一匹配。同一个操作可能与多个操作匹配,但匹配规则遵从边界性原则(头尾操作匹配)、单调性原则(如第一条序列的操作1与第二条序列的操作2匹配,则第一条序列的操作2只能与第二条序列的操作2及之后的操作匹配)。动态规整后,使得相互匹配的操作的距离累积最小。这里操作之间的距离,使用编辑距离方式计算,即两个字符串之间,一个变为另一个所需要的最少编辑次数。
步骤103,运用机器学习算法DBSCAN对所有序列进行聚类。根据所有序列相互之间的距离,利用DBSCAN将足够高密度的区域内的序列划为一个簇。没有被划到簇中的序列视为噪声。
步骤104,在聚类后的每类操作序列中,任选一条人为标记对错;
步骤105,取得未处理序列与同类已标记的序列相匹配操作的对应图像,使用corr2算法比较图像之间的相似度,若整体相似度低于阈值,视为图像不一致;否则再使用OCR比较图像内对应位置文字是否一致,若文字相似个数比例也高于阈值,则视为图像一致,否则不一致。
步骤106,接受图像比较结果,若结果一致,执行步骤107,否则执行步骤108;
步骤107,若与之比较的已标记序列为正确,则该序列判定为正确,否则判定为错误,即软件系统可能存在的缺陷;
步骤108,无法判定该序列的正确性,将其加入待定列表;
步骤109,判断是否存在未处理序列,若是,执行步骤105,否则执行步骤110;
步骤110,判断是否存在待定序列,若是,将所有待定序列作为未处理序列,执行步骤103,否则流程结束。
如图4所示,为本发明的图形界面自动化测试方法实施例三的执行流程图,包括如下步骤:
步骤201,任选未被处理过的序列p,检查与其邻域内(距离不大于eps)的序列;
步骤202,判断邻域内的序列数量是否不小于minPts,若是,执行步骤204,否则执行步骤203;
步骤203,将p对象标记为噪声;
步骤204,建立新簇C;
步骤205,将邻域内所有对象加入候选集N;
步骤206,检查候选集中未被处理对象q的邻域;
步骤207,判断邻域内的序列数量是否不小于minPts,若是,执行步骤208,否则执行步骤209;
步骤208,将邻域内所有对象加入候选集N;
步骤209,检查q对象是否已归入某个簇,若是,执行步骤211,否则执行步骤210;
步骤210,将q对象归入簇C;
步骤211,检查候选集N是否为空,若不为空,返回步骤206,否则执行步骤212;
步骤212,检查是否所有对象已处理,若是,流程结束,否则返回步骤201。

Claims (7)

1.一种图形界面自动化测试方法,其特征在于,包括以下步骤:
对待测试软件自动生成随机测试用例,并对每个测试软件的功能模块生成操作序列的记录,保存运行截图;
根据操作序列的记录计算操作序列之间的相似度,给出操作序列间操作的匹配关系;
根据操作序列相似度对操作序列进行聚类;
在每个类别中,任选一条序列人为标记对错;
在每个类别中,将同类其他序列与标记序列进行图像比对;
比对结果一致则可直接判定对错,否则视为待定;
若存在待定序列,则返回聚类。
2.根据权利要求1所述的图形界面自动化测试方法,其特征在于,所述操作序列相似度的计算,由于序列长度存在不相同情况,重点在于序列间操作的匹配关系;这里使用DTW即动态时间规整将两条序列的操作进行对齐,DTW遵循边界性原则是:1)两条序列的第一个和最后一个操作需要对齐;2)单调性原则、某个操作对齐的操作必须是前个操作所对操作及之后的操作;一个操作能够对应多个操作,将所有对应操作之间的距离求和得到这两条序列的距离;通过动态调整操作匹配方式找到最小的序列距离,即操作序列的相似度。
3.根据权利要求1所述的图形界面自动化测试方法,其特征在于,所述序列间操作的匹配关系,由于动态调整后的匹配关系能够有一对多的关系,需要根据这些关系,找出两条序列中操作最相似的一对一关系,以便后续的图像比对。
4.根据权利要求1所述的图形界面自动化测试方法,其特征在于,所述操作序列的聚类,根据操作序列之间的距离,运用DBSCAN基于密度的机器学习聚类算法进行聚类,需要两个参数:扫描半径eps、最小包含点数minPts;聚类过程包括如下步骤:
1)任选一个未被访问过的对象即一条操作序列p,检查其距离为扫描半径eps的邻域,若包含的对象不小于minPts,建立新簇C,将其中所有的点加入候选集N;否则将p记为噪声;
2)对候选集N中所有未被处理的对象q,检查其邻域,若至少包含minPts个对象,则将这些对象加入N;如果q未被归入任何一个簇,则将q加入C;
3)重复步骤2),继续检查N中未处理的对象,当前候选集N为空;
4)重复步骤1)~3),直到所有对象都归入了某个簇或标记为噪声。
5.根据权利要求3所述的图形界面自动化测试方法,其特征在于,所述后续图像的比对,包括如下步骤:
1)首先比较运行截图基于两幅图像对应位置像素的强度值与各自图像整体强度值的差值计算出两幅图相似度的值,与预定阈值比较后,低于阈值则判定为图像不相似;
2)高于阈值再通过光学字符识别OCR手段比较对应位置字符,对应位置字符相似个数的比例大于阈值则判定为相似,否则判定为不相似。
6.根据权利要求1所述的图形界面自动化测试方法,其特征在于,与标记正确的序列的图像比对结果一致的序列判定为正确,与错误序列图像一致的序列则判定为错误,与正确序列或错误序列不一致的均视为待定。
7.根据权利要求2所述的图形界面自动化测试方法,其特征在于,所述操作序列相似度的计算,所述序列中单个操作的距离,利用编辑距离Edit Distance的方法计算;编辑距离又称Levenshtein距离,是指两个字符串之间,一个变为另一个所需要的最少编辑次数;这里的编辑操作包括替换一个字符、添加一个字符、删除一个字符。
CN201610309279.0A 2016-05-11 2016-05-11 一种图形界面自动化测试方法 Active CN105955889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610309279.0A CN105955889B (zh) 2016-05-11 2016-05-11 一种图形界面自动化测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610309279.0A CN105955889B (zh) 2016-05-11 2016-05-11 一种图形界面自动化测试方法

Publications (2)

Publication Number Publication Date
CN105955889A CN105955889A (zh) 2016-09-21
CN105955889B true CN105955889B (zh) 2019-02-01

Family

ID=56912260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610309279.0A Active CN105955889B (zh) 2016-05-11 2016-05-11 一种图形界面自动化测试方法

Country Status (1)

Country Link
CN (1) CN105955889B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502891B (zh) * 2016-10-19 2019-05-17 广州视源电子科技股份有限公司 用户界面的自动检测方法和装置
CN109101412B (zh) * 2017-06-21 2021-05-11 腾讯科技(深圳)有限公司 测试文件生成、测试方法、装置、存储介质和计算机设备
CN107340954A (zh) * 2017-07-03 2017-11-10 国家计算机网络与信息安全管理中心 一种信息提取方法和装置
CN109213672A (zh) * 2017-07-07 2019-01-15 博彦科技股份有限公司 对话框消除方法、装置、存储介质和处理器
CN107784649B (zh) * 2017-10-20 2021-09-03 长飞光纤光缆股份有限公司 基于图像识别的芯棒测试远程报警系统及方法
CN107844426A (zh) * 2017-11-24 2018-03-27 网易(杭州)网络有限公司 自动化测试方法及装置、存储介质、电子设备
CN108519944B (zh) * 2018-03-07 2019-04-05 北京航空航天大学 一种基于噪声共振的软件加速测试技术的构建方法
CN111352826B (zh) * 2018-12-24 2024-05-03 上海云扩信息科技有限公司 一种界面测试用例自动生成方法及工具
US10867215B2 (en) * 2019-04-11 2020-12-15 Black Sesame International Holding Limited Mixed intelligence data labeling system for machine learning
CN110377354B (zh) * 2019-06-04 2020-09-01 哈尔滨工业大学(威海) 一种软件操作序列自动生成方法
CN110309073B (zh) * 2019-06-28 2021-07-27 上海交通大学 移动应用程序用户界面错误自动化检测方法、系统及终端
CN110716778B (zh) * 2019-09-10 2023-09-26 创新先进技术有限公司 应用兼容性测试方法、装置及系统
US11853196B1 (en) 2019-09-27 2023-12-26 Allstate Insurance Company Artificial intelligence driven testing
CN110688321B (zh) * 2019-09-29 2022-07-08 南京大学 一种结合群体智能与机器智能增强移动应用测试的方法
US11442749B2 (en) 2019-11-11 2022-09-13 Klarna Bank Ab Location and extraction of item elements in a user interface
US11379092B2 (en) 2019-11-11 2022-07-05 Klarna Bank Ab Dynamic location and extraction of a user interface element state in a user interface that is dependent on an event occurrence in a different user interface
US11366645B2 (en) 2019-11-11 2022-06-21 Klarna Bank Ab Dynamic identification of user interface elements through unsupervised exploration
US11726752B2 (en) 2019-11-11 2023-08-15 Klarna Bank Ab Unsupervised location and extraction of option elements in a user interface
US11086486B2 (en) * 2019-11-11 2021-08-10 Klarna Bank Ab Extraction and restoration of option selections in a user interface
CN111209457B (zh) * 2019-12-24 2020-09-18 中国科学院电子学研究所苏州研究院 一种目标典型活动模式偏离告警方法
US11409546B2 (en) 2020-01-15 2022-08-09 Klarna Bank Ab Interface classification system
US11386356B2 (en) 2020-01-15 2022-07-12 Klama Bank AB Method of training a learning system to classify interfaces
US10846106B1 (en) 2020-03-09 2020-11-24 Klarna Bank Ab Real-time interface classification in an application
US11496293B2 (en) 2020-04-01 2022-11-08 Klarna Bank Ab Service-to-service strong authentication
CN112084117B (zh) * 2020-09-27 2023-08-08 网易(杭州)网络有限公司 一种测试方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866317A (zh) * 2010-06-29 2010-10-20 南京大学 一种基于聚类分析的回归测试用例选择方法
CN104965784A (zh) * 2015-06-16 2015-10-07 广州华多网络科技有限公司 自动测试方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866317A (zh) * 2010-06-29 2010-10-20 南京大学 一种基于聚类分析的回归测试用例选择方法
CN104965784A (zh) * 2015-06-16 2015-10-07 广州华多网络科技有限公司 自动测试方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Open Framework for Semantic Code Queries on Heterogeneous Repositories;Tian Zhang etc.;《2015 International Symposium on Theoretical Aspects of Software Engineering》;20151029;39-46
Challenges and Opportunities in Flight Data Mining: A Review of the State of the Art;Alek Gavrilovski ect.;《American Institute of Aeronautics and Astronautics》;20160129;全文

Also Published As

Publication number Publication date
CN105955889A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN105955889B (zh) 一种图形界面自动化测试方法
Hoang et al. Deepjit: an end-to-end deep learning framework for just-in-time defect prediction
CN109271326B (zh) 云数据库的测试方法及其装置、设备和存储介质
Patel et al. Gestalt: integrated support for implementation and analysis in machine learning
US8819642B2 (en) Method and system for generating and processing black box test cases
CN109376092B (zh) 一种面向缺陷补丁代码的软件缺陷原因自动分析方法
CN110378206B (zh) 一种智能审图系统及方法
JP7329127B2 (ja) ニューラルネットワークの動作を視覚化するための手法
CN112597038B (zh) 软件缺陷预测方法及系统
CN111949535B (zh) 基于开源社区知识的软件缺陷预测装置及方法
KR102103511B1 (ko) 코드 생성 장치 및 방법
US20210012209A1 (en) Techniques for modifying neural network definitions
JP7301210B2 (ja) ニューラルネットワークの動作を変更するための手法
CN109582575A (zh) 游戏测试方法及装置
Rai et al. Method level text summarization for java code using nano-patterns
CN112783513A (zh) 一种代码风险检查方法、装置及设备
US20230297886A1 (en) Cluster targeting for use in machine learning
Shaham et al. A multimodal automated interpretability agent
Yuan et al. Provably valid and diverse mutations of real-world media data for dnn testing
CN113628077A (zh) 生成不重复考题的方法、终端及可读存储介质
Rogers et al. ACCE: automatic coding composition evaluator
Teofili et al. CERTEM: explaining and debugging black-box entity resolution systems with CERTA
Sevastianov et al. Structural approach to the deep learning method
KR102655154B1 (ko) 인공신경망 모델을 이용한 컨셉넷 자동 확장 방법
Honsel et al. Developer Oriented and Quality Assurance Based Simulation of Software Processes.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant