CN112308069A - 一种软件界面的点击测试方法、装置、设备及存储介质 - Google Patents

一种软件界面的点击测试方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112308069A
CN112308069A CN202011187326.1A CN202011187326A CN112308069A CN 112308069 A CN112308069 A CN 112308069A CN 202011187326 A CN202011187326 A CN 202011187326A CN 112308069 A CN112308069 A CN 112308069A
Authority
CN
China
Prior art keywords
software interface
target
identifier
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011187326.1A
Other languages
English (en)
Inventor
李玉惠
傅强
蔡琳
阿曼太
梁彧
马寒军
田野
王杰
杨满智
金红
陈晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eversec Beijing Technology Co Ltd
Original Assignee
Eversec Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eversec Beijing Technology Co Ltd filed Critical Eversec Beijing Technology Co Ltd
Priority to CN202011187326.1A priority Critical patent/CN112308069A/zh
Publication of CN112308069A publication Critical patent/CN112308069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种软件界面的点击测试方法、装置、设备及存储介质,该方法包括:获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识,实现了界面中目标信息标识的准确识别,进而快速定位了界面中的待点击测试区域,提升了软件界面的点击测试效率。

Description

一种软件界面的点击测试方法、装置、设备及存储介质
技术领域
本发明实施例涉及软件测试领域,尤其涉及一种软件界面的点击测试方法、装置、设备及存储介质。
背景技术
随着互联网技术和计算机技术的不断发展,软件测试成为软件开发过程中必不可少的一项环节。
目前,软件压力测试通常采用传统的图像特定内容定位方法,即通过像素值遍历获取候选框并进行内积计算,然后进行目标差值计算,若差值较小则认为该候选区域为目标区域,以获取特定内容坐标信息,并根据上述坐标信息执行自动点击;但当图像较大时,进行遍历耗时很久,此外,遍历时采用的稀疏遍历或稠密遍历,均不足以提取足够的信息特征来表示该区域的内容,导致图像特定内容定位准确度低下,进而影响软件测试效果。
发明内容
本发明实施例提供了一种软件界面的点击测试方法、装置、设备及存储介质,以提升软件界面的点击测试效率。
第一方面,本发明实施例提供了一种软件界面的点击测试方法,包括:
获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
第二方面,本发明实施例提供了一种软件界面的点击测试装置,包括:
元素信息获取模块,用于获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
区域点击测试模块,用于若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的软件界面的点击测试方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的软件界面的点击测试方法。
本发明实施例提供的技术方案,在获取待测试的软件界面后,对该软件界面进行识别,以获取软件界面中的元素信息,并在判断元素信息中存在目标图形符号标识和/或目标字符序列标识时,对上述目标信息标识的所在区域进行点击测试,实现了界面中目标信息标识的准确识别,进而快速定位了界面中的待点击测试区域,提升了界面点击测试的效率。
附图说明
图1是本发明实施例一提供的一种软件界面的点击测试方法的流程图;
图2是本发明实施例二提供的另一种软件界面的点击测试方法的流程图;
图3A是本发明实施例三提供的另一种软件界面的点击测试方法的流程图;
图3B是本发明具体应用场景一提供的一种软件界面的点击测试系统结构图;
图4是本发明实施例四提供的一种软件界面的点击测试装置的结构框图;
图5是本发明实施例五提供的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种软件界面的点击测试方法的流程图,本实施例可适用于对软件界面中的待测试元素进行点击测试,该方法可以由本发明实施例中的软件界面的点击测试装置来执行,该装置可以通过软件和/或硬件实现,并集成在电子设备上,该方法具体包括如下步骤:
S110、获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息。
待测试的软件界面,是需要进行点击测试的软件程序页面,页面中包括了一个或多个元素信息,例如,文字、图片、音频、动画和/或视频等,在获取到待测试的软件界面后,可以通过图像识别的方式,提取待测试软件界面的特征信息,并通过特征信息匹配确定特征信息类别,以获取软件界面所包含的元素信息;特别的,在本发明实施例中,待测试的软件项目包括PC(Personal Computer)端和手机端的软件程序;其中,对软件界面进行识别包括,预先设置大小和形状固定的按键框信息,例如,长宽均为预设数值的矩形按键框,在获取到待测试的软件界面后,根据预先设置的按键框对该软件界面进行滑动匹配,若匹配结果一致,则表示软件界面中包含预先设置的按键框,若不一致,则继续执行滑动匹配,直至对整个软件界面完成匹配为止;还可以包括,针对每个特定的元素信息,例如,标志和字符序列,都预先存储对应的模板,在获取到软件界面后,将各个模板分别和软件界面进行相似性比对,以确定软件界面中是否包含上述特定的元素信息。
可选的,在本发明实施例中,在对所述软件界面进行识别,以获取所述软件界面的元素信息前,还包括:对所述软件界面进行仿射变换处理和/或数据增强处理。其中,仿射变换是一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间,即将一个平面的点映射到另一个平面内的二维投影的过程,同时保持了图像的平直性,在本发明实施例中,通过仿射变换对获取到的软件界面的界面图像进行配准和纠正,以避免界面图像出现图像扭曲等问题,保证界面图像的图像质量,以确保对图像中特定内容的准确识别;数据增强,是指对图像进行随机的旋转、翻转、裁剪、随机设置图像的亮度和对比度以及对数据进行标准化,在本发明实施例中,通过数据增强对获取到的软件界面的图像进行上述随机变换,以提升图像质量。在本发明实施例中,在获取软件界面的元素信息前,可以是对软件界面进行仿射变换处理和数据增强处理中的任意一种处理;也可以是对软件界面依次进行仿射变换处理和数据增强处理,以进一步提升对软件界面中特定内容的识别概率。
S120、若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
具体的,若该元素信息中只存在一个目标信息标识,则直接对该目标信息标识的所在区域进行点击测试,若该元素信息中同时存在多个目标信息标识,即存在多个待点击区域,此时可根据任务需求,对各个待点击区域进行点击测试,例如,根据每个目标信息标识对应的任务需求,对待点击区域进行不同的点击频率、点击数量的点击测试,此外,在对待点区域进行点击时,可以是对各个待点击区域进行依次点击。目标信息标识的所在区域,为包括该目标信息标识的最小区域范围,所在区域可以是规则矩形或圆形等,也可以是不规则区域范围,例如,不规则的多边形;目标信息标识包括目标图形符号标识和/或目标字符序列标识,其中,目标图形符号标识为待测试软件界面中的图形符号标识,例如表示登录、返回等操作的图形符号,目标字符序列标识为待测试软件界面中的字符序列标识,例如登录、取消等字符序列。
对至少一个目标信息标识的所在区域进行点击测试时,为了判断点击操作是否有效,以手机APP的界面点击测试为例,可以通过手机模拟器运行目标软件,并展示该目标软件的各个界面,以模拟执行登录、卸载和截屏等界面操作而对软件界面进行的点击操作,可以通过自动点击测试系统根据目标信息标识的所在区域执行自动点击;其中,手机模拟器包括Genymotion,Genymotion是一款Android模拟器,具有容易安装和使用、运行速度快的特点,有效提升了目标软件的运行速度和点击测试的响应速度;自动点击测试系统包括自动化测试框架UiAutomator,UiAutomator用于实现用户界面(User Interface,UI)测试,通过点击每个控件元素,查看输出的结果是否符合预期,比如:登录页面分别输入正确和错误的用户名密码,然后点击登录按钮查看是否能登录以及是否有错误提示等;在UiAutomator自动化测试框架的基础上,采用Python编写测试脚本即可实现点击测试的自动化,进一步提升了点击测试的点击效率。
可选的,在本发明实施例中,所述对所述至少一个目标信息标识的所在区域进行点击测试,包括:对所述至少一个目标信息标识的所在区域中的各坐标点进行随机点击测试。对至少一个目标信息标识的所在区域中的各坐标点进行随机点击测试,可以是对选定区域的中心点坐标进行点击测试,也可以是对选定区域范围内的任一点进行点击,确定是否存在相应功能,进行随机点击测试,扩展了测试的多样性,使测试内容更加丰富。
可选的,在本发明实施例中,所述若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试,包括:若所述元素信息中存在目标图形符号标识和目标字符序列标识,且所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域存在交集,则对所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域的并集区域,进行点击测试。当界面元素信息中同时存在目标图形符号标识和目标字符序列标识,若目标图形符号标识和目标字符序列标识所在的区域不重叠,此时可根据任务需求对对应的目标图形符号标识或目标字符序列标识所在的区域分别进行点击,例如,获取到一个对应登录功能的三角形标识和一个取消字样标识,三角形标识区域与取消字样标示区域不存在重叠,此时需要执行登录操作,则对三角形标识区域进行点击;需要执行取消操作,则对取消字样区域进行点击;若目标图形符号标识的所在区域与目标字符序列标识的所在区域存在交集,即两者区域重叠或部分重叠时,则对目标图形符号标识的所在区域与目标字符序列标识的所在区域的并集区域,进行点击测试,例如,获取到一个三角形标识和一个登录字样标识,且登录字样标识位于三角形标识内部,此时三角形标识为登录按键,登录字样标识为该登录按键的功能说明,实质上,该图形符号标识和字符序列标识表示的是同一个按键,而对该按键进行点击,只要在三角形标识的所在区域内触发点击操作即可,由此,扩展了点击测试的多样性与灵活性。
本发明实施例提供的技术方案,在获取待测试的软件界面后,对该软件界面进行识别,以获取软件界面中的元素信息,并在判断元素信息中存在目标图形符号标识和/或目标字符序列标识时,对上述目标信息标识的所在区域进行点击测试,实现了界面中目标信息标识的准确识别,进而快速定位了界面中的待点击测试区域,提升了点击测试效率。
实施例二
图2为本发明实施例二提供的一种软件界面的点击测试方法的流程图,本实施例在上述实施例的基础上进行具体化,在本实施例中,针对特定目标图形符号标识进行识别,并执行自动点击测试,该方法具体包括:
S210、获取待测试的软件界面。
S220、基于深度卷积神经网络构建初始图像分类模型,并通过标注完成的训练数据集对所述初始图像识别模型进行图像分类训练,以获取训练完成的图像分类模型。
在根据深度卷积神经网络构建初始图像分类模型后,获取关于所需分类信息类别的训练数据并对训练数据进行标注形成训练数据集合,根据获取的训练数据集合对初始图像分类模型进行训练,以得到可实现对软件界面的元素进行分类的分类模型;其中,对训练数据进行标注,区别于现有技术中,使用单类别标注,即对一个训练样本只标记一种类别信息,本发明实施例中,对训练数据进行标注不仅仅是单类别标注,而是包括单、多类别标注,即若训练样本中存在多类别的元素信息,那么需要对训练样本中的各元素信息分别进行标注,若只存在单类别的元素信息,则对该元素信息进行标注;同时,在进行类别信息标注时,还需要标注出特定目标信息所在区域,例如,样本区域标注可以用一个包含了目标信息的最小矩形表示,这样训练出来的模型,在进行识别时,也会对图像中的目标信息用矩形进行圈定;本发明实施例中,基于深度卷积神经网络的图像分类模型是端到端的图像识别方法,即输入端为待识别图像,输出端为识别完成的输出图像,输出图像包括待识别图像中包含的目标图形符号标识的类型,及其对应的所在区域。深度卷积神经网络是一种带有卷积结构的深度神经网络,主要是由输入层、卷积层、激活函数、池化层、全连接层和输出层组成,卷积结构可以减少深层网络占用的内存量,有效减少了网络的参数个数,缓解了模型的过拟合问题;表1为本发明实施例中,基于深度卷积神经网络构建的初始图像分类模型中卷积层的相关数据,其中,初始图像分类模型的输入图像大小为416*416*3,目标图形符号标识的个数为20,网络层数为27。
表1初始图像分类模型中的卷积层
Figure BDA0002751735140000081
Figure BDA0002751735140000091
其中,第二十四层为特征融合层,将第十六层的26*26*512维度特征通过64个1*1的卷积,实现降维得到26*26*64维度特征,第二十五层拆分特征融合层,1拆4得到13*13*256维度特征;再通过叠加二十五和二十三层的特征得到13*13*1024维度特征,最后通过125个1*1的卷积核卷积操作得到13*13*5*25维度的特征;其中,输入图像中416*416指的是输入图像的宽和高,3指的是图像通道数,输出特征13*13指的是网格数,5指的是先验框数,25指的是类别数目(20)、边框坐标(4)和置信度(1)的和;其中,边框坐标用于识别边框的位置和大小,置信度用于表示边框预测里有真正的对象的概率。
具体的,在基于深度卷积神经网络构建初始图像分类模型后,需要获取训练数据集用于对初始图像分类模型进行训练,在获取训练数据时,首先获取人工收集完成的包含目标图形符号标识的图像信息,或通过网络爬虫技术,爬取包含目标图形符号标识的图像,然后对获取到的图像进行清洗,以提高图片质量,其次,对图像进行随机的旋转、翻转、裁剪等处理,以获取更多图像样本;对处理后的图像采用矩形边框进行类别信息标注并统计边框数量,最后根据数据边框均衡规则对标注后的图像样本进行数据增广,即根据数据均衡原则判断出图像样本集中某种类别的边框数量较少后,在已有图像样本中裁剪出所需的目标图像,然后进行图像融合处理,其中,数据均衡规则如下:设有n类目标,总样本边框数为N,则每类目标的数量为N/n;设有m类目标,总样本数量为M,则每类目标图像的数目为M/m;通过对获取原始图像进行上述处理,以获取高质量训练数据集用于图像分类模型的训练,可提升图像分类模型的分类准确度。
具体的,在本发明实施例中,采用OpenMP技术,通过标注完成的训练数据集对初始图像识别模型进行图像分类训练,以获取训练完成的图像分类模型;其中,OpenMP是一种用于共享内存并行系统的多线程程序,提供了对并行算法的高层抽象描述,适用于多核CPU机器上的并行程序设计,编译器根据程序中添加的pragma指令,可自动将识别模型训练程序并行处理,从而降低了并行编程的难度和复杂度,提升了图像识别模型的训练速度;具体的,在本发明实施例中,采用OpenMP技术,对软件界面进行自动化点击测试,将自动化点击测试程序并行处理,以提升点击测试的速度。
S230、将所述软件界面,输入至训练完成的图像分类模型,以获取所述软件界面的元素分类类别,以及与所述元素分类类别对应的定位区域;其中,所述图像识别模型基于深度卷积神经网络构建。
将获取到的软件界面图像,输入至训练完成的图像分类模型,图像分类模型对软件界面图像进行识别,输出软件界面中包含的元素分类类别,并对该元素所在区域进行标注,标注框可以是规则矩形框,也可以是是不规则框。
S240、若所述元素分类类别中存在至少一个目标图形符号标识,则对所述至少一个目标图形符号标识的定位区域进行点击测试。
对获取的元素分类类别信息进行特定内容检测,若元素分类类别存在目标图形符号标识,获取该元素对应的标注区域,根据标注区域获取目标图形符号标识所在区域的坐标,根据获取的坐标执行自动点击测试;当只存在一个目标图形符号标识,直接根据该标识对应的区域坐标进行点击测试,当存在多个目标图形符号标识,对测试内容进行分析,对任务对应的目标图形符号标识所在的区域坐标进行自动点击测试。
本发明实施例提供的技术方案,基于深度卷积神经网络构建初始图像分类模型,并通过标注完成的训练数据集对初始图像识别模型进行图像分类训练,以获取训练完成的图像分类模型,将软件界面输入图像分类模型获取分类信息,并根据分类结果执行自动点击测试,提升了目标信息标识识别的准确度,并提升了点击测试的效率。
实施例三
图3A为本发明实施例三提供的另一种软件界面的点击测试方法的流程图,本实施例在上述实施例的基础上进行具体化,在本实施例中,针对特定目标字符序列标识进行识别,并执行自动点击测试,该方法具体包括:
S310、获取待测试的软件界面。
S320、通过最大极值稳定区域检测技术和模板匹配技术,对所述软件界面进行识别,以获取所述软件界面的字符序列信息。
通过最大极值稳定区域检测技术和模板匹配技术,对软件界面包含的字符序列信息进行识别,首先通过最大极值稳定区域检测技术对图像进行区域检测以获取满足条件的候选区域,然后通过模板匹配技术采用预设模板对候选区域进行匹配识别,最终获取软件界面的字符序列信息的识别结果,包括字符序列信息的类别和所在区域。
具体的,本发明实施例中,通过最大极值稳定区域检测方法实现候选区域的获取,首先,建立栈和堆数组并进行初始化,其中,栈用于存储组块,组块的值用于表示软件界面的灰度值,堆用于存储组块的边界像素,边界像素的灰度值大于它所包围的区域像素的灰度值,向栈内放入一个虚假的组块,当该组块被弹出时则结束程序运行;然后,以软件界面中的任意一个像素(一般选取图像的左上角像素)作为源像素,标注该像素为已访问像素,并且把该像素的灰度值作为当前值,向栈内放入一个空组块,该组块的值即为当前值;其次,按照顺序搜索当前值的4-领域内剩余的边缘,对于每一个邻域,检查它是否已经被访问过,如果未被访问,则标注为已访问过并检索它的灰度值,如果灰度值不小于当前值,则把它放入用于存放边界像素的堆中;如果领域灰度值小于当前值,则把当前值放入堆中,而把领域值作为当前值,并返回执行向栈内放入一个空组块,使组块的值为当前值;再次,累计栈顶组块的像素个数,即计算区域面积,并弹出堆中的边界像素,当从堆中得到的像素值大于当前值,处理栈中所有的组块,直到栈中的组块的灰度值大于当前边界像素灰度值,则继续执行按照顺序搜索当前值的4-领域内剩余的边缘,直到对软件界面完成全部搜索。通过最大极值稳定区域检测方法,提取软件界面的全部元素的对应关系,可实现更好地模板匹配,提升识别准确率。
具体的,本发明实施例中,在通过最大极值稳定区域检测方法获取候选区域后,通过模板匹配技术,实现软件界面中字符序列信息的识别;将模板图像滑动到软件界面候选区域上,然后在模板图像下比较模板和候选区域,返回一个灰度图像,其中每个像素表示该像素的邻域与模板图像匹配程度;其中,模板图像在候选区域上从左至右,从上至下的滑动,即模板图像从候选区域左上角开始每次以模板的左上角像素点为单位从左至右,从上至下移动,每到达一个像素点,就会以这个像素点为左上角顶点从候选区域中截取出与模板一样大小的图像与模板图像进行像素比较运算;模板滑动与候选区域匹配过程中,将模板和当前截取的图像的比较计算结果存储在一个矩阵中,通过模板图像像素减去覆盖的待测软件界面像素的差的平方和为对应矩阵的点的值,如果值越接近0,说明匹配程度越高,实现了软件界面中字符序列信息的准确识别与获取。
S330、若所述字符序列信息中存在至少一个目标字符序列标识,则对所述至少一个目标字符序列标识的所在区域进行点击测试。
本发明实施例提供的技术方案,通过最大极值稳定区域检测技术和模板匹配技术,对软件界面包含的字符序列信息进行识别,即通过最大极值稳定区域检测技术对软件界面图像进行区域检测以获取满足条件的候选区域,然后通过模板匹配技术采用预设模板对候选区域进行匹配识别,以获取目标字符序列标识结果,并根据识别结果执行自动点击测试,实现了对目标字符序列标识的准确识别,并提升了点击测试的效率。
应用场景一
图3B是本发明具体应用场景一提供的一种软件界面的点击测试系统结构图,在本应用场景中,通过目标信息标识识别,并根据识别结果执行自动点击测试,具体的,该系统包括:
Genymotion模拟器340,用于模拟手机的运行环境;
APK管理模块350,基于Python语言编写,用于执行apk(android applicationpackage,安卓应用程序包)在Genymotion模拟器340上的安装、点击、卸载、保存截屏图片等操作;
目标信息标识获取模块360,用于获取待测试的软件界面,并对软件界面进行识别,以获取软件界面中的目标信息标识及目标信息标识的坐标;
自动点击执行模块370,基于UiAutomator框架构建,用于根据获取的目标信息标识的坐标,执行自动点击操作。
本发明实施例通过对手机运行环境进行模拟,并用Python语言编写控制程序,使得控制语句更简短,采用软件界面识别方法,实现了更加准确的目标信息识别,通过自动点击模块实现了自动点击测试,极大提升了点击测试效率。
实施例四
图4是本发明实施例四所提供的一种软件界面的点击测试装置的结构框图,该装置具体包括:元素信息获取模块410和区域点击测试模块420。
元素信息获取模块410,用于获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
区域点击测试模块420,用于若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
本发明实施例提供的技术方案,在获取待测试的软件界面后,对该软件界面进行识别,以获取软件界面中的元素信息,并在判断元素信息中存在目标图形符号标识和/或目标字符序列标识时,对上述目标信息标识的所在区域进行点击测试,实现了界面中目标信息标识的准确识别,进而快速定位了界面中的待点击测试区域,提升了软件界面的点击测试效率。
可选的,在上述技术方案的基础上,软件界面的点击测试装置,还包括:
预处理模块,用于对所述软件界面进行仿射变换处理和/或数据增强处理。
可选的,在上述技术方案的基础上,元素信息获取模块410,具体用于将所述软件界面,输入至训练完成的图像分类模型,以获取所述软件界面的元素分类类别,以及与所述元素分类类别对应的定位区域;其中,所述图像识别模型基于深度卷积神经网络构建;
可选的,在上述技术方案的基础上,区域点击测试模块420,具体用于若所述元素分类类别中存在至少一个目标图形符号标识,则对所述至少一个目标图形符号标识的定位区域进行点击测试。
可选的,在上述技术方案的基础上,软件界面的点击测试装置,还包括:
图像分类模型获取模块,用于基于深度卷积神经网络构建初始图像分类模型,并通过标注完成的训练数据集对所述初始图像识别模型进行图像分类训练,以获取训练完成的图像分类模型。
可选的,在上述技术方案的基础上,元素信息获取模块410,具体用于通过最大极值稳定区域检测技术和模板匹配技术,对所述软件界面进行识别,以获取所述软件界面的字符序列信息;
可选的,在上述技术方案的基础上,区域点击测试模块420,具体用于若所述字符序列信息中存在至少一个目标字符序列标识,则对所述至少一个目标字符序列标识的所在区域进行点击测试。
可选的,在上述技术方案的基础上,区域点击测试模块420,具体用于对所述至少一个目标信息标识的所在区域中的各坐标点进行随机点击测试。
可选的,在上述技术方案的基础上,区域点击测试模块420,具体用于若所述元素信息中存在目标图形符号标识和目标字符序列标识,且所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域存在交集,则对所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域的并集区域,进行点击测试。
上述装置可执行本发明任意实施例所提供的软件界面的点击测试方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的方法。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例提供的软件界面的点击测试方法。也即:当获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的软件界面的点击测试方法;该方法包括:
获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种软件界面的点击测试方法,其特征在于,包括:
获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
2.根据权利要求1所述的方法,其特征在于,在对所述软件界面进行识别,以获取所述软件界面的元素信息前,还包括:
对所述软件界面进行仿射变换处理和/或数据增强处理。
3.根据权利要求1所述的方法,其特征在于,所述对所述软件界面进行识别,以获取所述软件界面的元素信息,包括:
将所述软件界面,输入至训练完成的图像分类模型,以获取所述软件界面的元素分类类别,以及与所述元素分类类别对应的定位区域;其中,所述图像识别模型基于深度卷积神经网络构建;
所述若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试,包括:
若所述元素分类类别中存在至少一个目标图形符号标识,则对所述至少一个目标图形符号标识的定位区域进行点击测试。
4.根据权利要求3所述的方法,其特征在于,在将所述软件界面,输入至训练完成的图像分类模型,以获取所述软件界面的元素分类类别,以及与所述元素分类类别对应的定位区域前,还包括:
基于深度卷积神经网络构建初始图像分类模型,并通过标注完成的训练数据集对所述初始图像识别模型进行图像分类训练,以获取训练完成的图像分类模型。
5.根据权利要求1所述的方法,其特征在于,所述对所述软件界面进行识别,以获取所述软件界面的元素信息,包括:
通过最大极值稳定区域检测技术和模板匹配技术,对所述软件界面进行识别,以获取所述软件界面的字符序列信息;
所述若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试,包括:
若所述字符序列信息中存在至少一个目标字符序列标识,则对所述至少一个目标字符序列标识的所在区域进行点击测试。
6.根据权利要求1所述的方法,其特征在于,所述对所述至少一个目标信息标识的所在区域进行点击测试,包括:
对所述至少一个目标信息标识的所在区域中的各坐标点进行随机点击测试。
7.根据权利要求1所述的方法,其特征在于,所述若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试,包括:
若所述元素信息中存在目标图形符号标识和目标字符序列标识,且所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域存在交集,则对所述目标图形符号标识的所在区域与所述目标字符序列标识的所在区域的并集区域,进行点击测试。
8.一种软件界面的点击测试装置,其特征在于,包括:
元素信息获取模块,用于获取待测试的软件界面,并对所述软件界面进行识别,以获取所述软件界面的元素信息;
区域点击测试模块,用于若所述元素信息中存在至少一个目标信息标识,则对所述至少一个目标信息标识的所在区域进行点击测试;其中,所述目标信息标识包括目标图形符号标识和/或目标字符序列标识。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的软件界面的点击测试方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的软件界面的点击测试方法。
CN202011187326.1A 2020-10-29 2020-10-29 一种软件界面的点击测试方法、装置、设备及存储介质 Pending CN112308069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187326.1A CN112308069A (zh) 2020-10-29 2020-10-29 一种软件界面的点击测试方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187326.1A CN112308069A (zh) 2020-10-29 2020-10-29 一种软件界面的点击测试方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112308069A true CN112308069A (zh) 2021-02-02

Family

ID=74332609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187326.1A Pending CN112308069A (zh) 2020-10-29 2020-10-29 一种软件界面的点击测试方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112308069A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722231A (zh) * 2021-09-09 2021-11-30 同盾科技有限公司 用户操作的模拟方法、装置、电子设备及存储介质
CN114489903A (zh) * 2022-01-26 2022-05-13 北京字节跳动网络技术有限公司 界面元素定位方法、装置、存储介质及电子设备
CN115048309A (zh) * 2022-06-27 2022-09-13 广州掌动智能科技有限公司 无侵入app软件性能测试方法和系统
CN115268719A (zh) * 2022-09-30 2022-11-01 北京弘玑信息技术有限公司 一种定位界面上目标元素的方法、介质及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273597A1 (en) * 2008-05-05 2009-11-05 International Business Machines Corporation User interface screen layout analysis using hierarchical geometric features
CN105988924A (zh) * 2015-02-10 2016-10-05 中国船舶工业综合技术经济研究院 一种非侵入式嵌入式软件图形用户界面自动化测试方法
CN109800153A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 移动应用测试方法与装置、电子设备、存储介质
CN109815156A (zh) * 2019-02-28 2019-05-28 北京百度网讯科技有限公司 页面中视觉元素的展示测试方法、装置、设备和存储介质
CN110008110A (zh) * 2019-01-28 2019-07-12 阿里巴巴集团控股有限公司 用户界面的测试方法及装置
CN110059596A (zh) * 2019-04-03 2019-07-26 北京字节跳动网络技术有限公司 一种图像识别方法、装置、介质和电子设备
CN110175609A (zh) * 2019-04-22 2019-08-27 阿里巴巴集团控股有限公司 界面元素检测方法、装置及设备
CN110348438A (zh) * 2019-06-29 2019-10-18 上海淇馥信息技术有限公司 一种基于人工神经网络模型的图片字符识别方法、装置和电子设备
CN110413529A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 应用于电子设备的测试方法、装置、计算设备以及介质
US20190384699A1 (en) * 2018-05-01 2019-12-19 Appdiff, Inc. AI Software Testing System and Method
CN110619312A (zh) * 2019-09-20 2019-12-27 百度在线网络技术(北京)有限公司 定位元素数据的增强方法、装置、设备及存储介质
US20200159647A1 (en) * 2018-11-19 2020-05-21 Microsoft Technology Licensing, Llc Testing user interfaces using machine vision
CN111651361A (zh) * 2020-06-10 2020-09-11 宋文韬 一种基于可视化页面的无脚本自动化测试方法
CN111753592A (zh) * 2019-03-29 2020-10-09 长沙智能驾驶研究院有限公司 交通标志识别方法、装置、计算机设备和存储介质
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273597A1 (en) * 2008-05-05 2009-11-05 International Business Machines Corporation User interface screen layout analysis using hierarchical geometric features
CN105988924A (zh) * 2015-02-10 2016-10-05 中国船舶工业综合技术经济研究院 一种非侵入式嵌入式软件图形用户界面自动化测试方法
US20190384699A1 (en) * 2018-05-01 2019-12-19 Appdiff, Inc. AI Software Testing System and Method
US20200159647A1 (en) * 2018-11-19 2020-05-21 Microsoft Technology Licensing, Llc Testing user interfaces using machine vision
CN109800153A (zh) * 2018-12-14 2019-05-24 深圳壹账通智能科技有限公司 移动应用测试方法与装置、电子设备、存储介质
CN110008110A (zh) * 2019-01-28 2019-07-12 阿里巴巴集团控股有限公司 用户界面的测试方法及装置
CN109815156A (zh) * 2019-02-28 2019-05-28 北京百度网讯科技有限公司 页面中视觉元素的展示测试方法、装置、设备和存储介质
CN111753592A (zh) * 2019-03-29 2020-10-09 长沙智能驾驶研究院有限公司 交通标志识别方法、装置、计算机设备和存储介质
CN110059596A (zh) * 2019-04-03 2019-07-26 北京字节跳动网络技术有限公司 一种图像识别方法、装置、介质和电子设备
CN110175609A (zh) * 2019-04-22 2019-08-27 阿里巴巴集团控股有限公司 界面元素检测方法、装置及设备
CN110348438A (zh) * 2019-06-29 2019-10-18 上海淇馥信息技术有限公司 一种基于人工神经网络模型的图片字符识别方法、装置和电子设备
CN110413529A (zh) * 2019-07-31 2019-11-05 中国工商银行股份有限公司 应用于电子设备的测试方法、装置、计算设备以及介质
CN110619312A (zh) * 2019-09-20 2019-12-27 百度在线网络技术(北京)有限公司 定位元素数据的增强方法、装置、设备及存储介质
CN111651361A (zh) * 2020-06-10 2020-09-11 宋文韬 一种基于可视化页面的无脚本自动化测试方法
CN111767228A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 基于人工智能的界面测试方法、装置、设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAEK, J 等: "A sequence-action recognition applying state machine for user interface", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 54, no. 2, pages 719 - 726, XP011229958, DOI: 10.1109/TCE.2008.4560153 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722231A (zh) * 2021-09-09 2021-11-30 同盾科技有限公司 用户操作的模拟方法、装置、电子设备及存储介质
CN113722231B (zh) * 2021-09-09 2024-04-26 同盾科技有限公司 用户操作的模拟方法、装置、电子设备及存储介质
CN114489903A (zh) * 2022-01-26 2022-05-13 北京字节跳动网络技术有限公司 界面元素定位方法、装置、存储介质及电子设备
CN115048309A (zh) * 2022-06-27 2022-09-13 广州掌动智能科技有限公司 无侵入app软件性能测试方法和系统
CN115268719A (zh) * 2022-09-30 2022-11-01 北京弘玑信息技术有限公司 一种定位界面上目标元素的方法、介质及电子设备

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
CN109948507B (zh) 用于检测表格的方法和装置
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
US20120288186A1 (en) Synthesizing training samples for object recognition
CN110175609B (zh) 界面元素检测方法、装置及设备
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN111507330B (zh) 习题识别方法、装置、电子设备及存储介质
CN111309618A (zh) 页面元素定位方法、页面测试方法及相关装置
WO2021222064A1 (en) Machine learning for identifying user interface controls
CN112070076A (zh) 文本段落结构还原方法、装置、设备及计算机存储介质
CN112988557A (zh) 一种搜索框定位方法、数据采集方法、装置及介质
CN113361643A (zh) 基于深度学习的通用标志识别方法、系统、设备及存储介质
CN113239227B (zh) 图像数据结构化方法、装置、电子设备及计算机可读介质
CN111124863A (zh) 智能设备性能测试方法、装置及智能设备
CN113298078A (zh) 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN117115823A (zh) 一种篡改识别方法、装置、计算机设备和存储介质
CN112857746A (zh) 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
CN116185812A (zh) 一种软件系统功能自动化测试方法、装置及介质
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN112966671A (zh) 一种合同检测方法、装置、电子设备及存储介质
CN114140612A (zh) 电力设备隐患检测方法、装置、设备及存储介质
CN113902890A (zh) 用于视觉概念检测的自监督数据增强方法、系统、设备
CN110851349A (zh) 页面异常显示的检测方法、终端设备及存储介质
CN112131418A (zh) 目标标注方法、目标标注装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination