CN107273282A - 移动应用测试方法和移动应用测试设备 - Google Patents
移动应用测试方法和移动应用测试设备 Download PDFInfo
- Publication number
- CN107273282A CN107273282A CN201610213007.0A CN201610213007A CN107273282A CN 107273282 A CN107273282 A CN 107273282A CN 201610213007 A CN201610213007 A CN 201610213007A CN 107273282 A CN107273282 A CN 107273282A
- Authority
- CN
- China
- Prior art keywords
- word
- dictionary
- function point
- comment
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
公开了一种移动应用测试方法和移动应用测试设备,其中该方法包括:对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的每个控件的预定数量的特征,并且将每个特征中的字符串划分成词来得到该功能点的词集合,并形成所述一个或多个功能点的词库;将用户的一个或多个评论中的每个评论中的字符串划分成词来得到该评论的词集合,并形成所述一个或多个评论的词库;基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及基于权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。根据本公开的实施例,能够基于用户评论而提升测试效率。
Description
技术领域
本公开涉及移动测试应用领域,更具体地,涉及一种基于用户评论提升测试效率的移动应用测试方法和移动应用测试设备。
背景技术
随着适配手机的Web应用程序的快速发展,开发人员和测试人员在手机Web应用测试上的时间和精力越来越多,手机Web应用测试是软件测试的一个特殊应用,和PC应用测试有很大不同。不同的系统、不同的浏览器、不同的屏幕分辨率等导致了很大的困难。
在测试用例的生成中,有一个很重要的问题。目前对于每一个待测的系统,测试人员必须手写很多测试用例,这是非常耗时和不便的。而对目前手机应用程序的集成化程度越来越高,即每个应用包含的功能越来越多,由于每个功能点(功能点是可以完成一个独立功能的模块,例如,登录模块、搜索框模块、导航条模块等)都需要多个测试用例,因此每个应用在测试阶段都需要编写相当多的测试用例,并且这些测试用例并不能重新应用在新的应用中。对于一个新的工程,测试人员必须重新编写用例。这类工作也是非常耗时的。同时因为安卓手机的碎片化日趋严重,导致测试工作耗时耗力。另外,目前安卓手机种类已经达到上千种,如果在所有手机设备上都进行测试,将会消耗巨大的人力和物力成本。由于目前自动生成测试用例的技术尚不完善,并不能解决所有问题。
事实上,对于待测应用程序所包含的功能点和其所使用的设备,有些是用户较为关注的,有些是用户不太注重的,所以在测试工作中,如果能够区分出用户最关注的功能点和手机设备,那么测试人员就可以首先对最受欢迎的功能点和手机设备进行测试,从而提升测试效率。
发明内容
在下文中给出了关于本公开的简要概述,以便提供关于本公开的某些方面的基本理解。但是,应当理解,这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分,也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念,以此作为稍后给出的更详细描述的前序。
鉴于以上问题,本公开的目的是提供一种移动应用测试方法和移动应用测试设备,其可以利用用户评论,更精确地判断用户的兴趣点,从而进行移动应用的功能点以及移动设备的权重排序,由此节省测试时间并提高测试效率。
根据本公开的一方面,提供了一种移动应用测试方法,包括:获得功能点的词库的步骤,可以对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且可以将预定数量的特征中的每个特征中的字符串划分成词,从而可以得到该功能点的词集合,并且可以基于每个功能点的词集合而形成所述一个或多个功能点的词库;获得评论的词库的步骤,用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而可以得到该评论的词集合,并且可以基于每个评论的词集合而形成所述一个或多个评论的词库;计算权重步骤,可以基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及选择和测试步骤,可以基于权重而选择至少一个功能点,并可以对所选择的至少一个功能点进行测试。
根据本公开的另一方面,还提供了一种移动应用测试设备,包括:获得功能点的词库的单元,可以被配置成对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且可以将预定数量的特征中的每个特征中的字符串划分成词,从而可以得到该功能点的词集合,并且可以基于每个功能点的词集合而形成所述一个或多个功能点的词库;获得评论的词库的单元,可以被配置成用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而可以得到该评论的词集合,并且可以基于每个评论的词集合而形成所述一个或多个评论的词库;计算权重单元,可以被配置基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及选择和测试单元,可以被配置基于权重而选择至少一个功能点,并可以对所选择的至少一个功能点进行测试。
根据本公开的其它方面,还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。
在下面的说明书部分中给出本公开实施例的其它方面,其中,详细说明用于充分地公开本公开实施例的优选实施例,而不对其施加限定。
附图说明
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分,用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中:
图1是示出根据本公开的实施例的移动应用测试方法的流程示例的流程图;
图2是示出了移动应用的登录功能点和评论的示例的图;
图3是示出了用户对移动设备的评论的示例的图;
图4是示出根据本公开的实施例的移动应用测试设备的功能配置示例的框图;以及
图5是示出作为本公开的实施例中可采用的信息处理设备的个人计算机的示例结构的框图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本公开,在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤,而省略了与本公开关系不大的其它细节。
下面结合附图详细说明根据本公开的实施例。
对于待测应用程序,测试人员会首先按照用户使用习惯或者程序设计目标,首先对其最感兴趣的模块进行集中测试,以保证程序在最重要的模块中不会出现错误。在本申请中,我们利用用户评论区分出用户最关注的功能点,因此测试人员可以首先对最受欢迎的功能点进行测试,从而提升测试效率。
首先,将参照图1描述根据本公开的实施例的移动应用测试方法的流程示例。图1是示出根据本公开的实施例的移动应用测试方法的流程示例的流程图。如图1所示,根据本公开的实施例的移动应用测试方法可包括获得功能点的词库的步骤S102、获得评论的词库的步骤S104、计算权重步骤S106以及选择和测试步骤S108。
首先,在获得功能点的词库的步骤S102中,可以对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且可以将预定数量的特征中的每个特征中的字符串划分成词,从而可以得到该功能点的词集合,并且可以基于每个功能点的词集合而形成所述一个或多个功能点的词库。
具体地,对于待测试移动应用的运行页面中的功能点,可以人为地确定要测试的一个或多个功能点、或可以对预定的一个或多个功能点进行测试、或者也可以通过分析自动地确定要测试的一个或多个功能点。
每个功能点都包含着多个控件,每个控件都有其自己的属性集。我们选择控件的属性集来作为控件的特征集。
例示而非限制,在表1中示出了所使用的属性。
表1控件特征
特征 | 名称 | 描述 |
特征1 | Text | 控件上的文本 |
特征2 | Resource-id | 控件的id |
特征3 | Class | 控件所属的类 |
特征4 | Package | 控件所属的包 |
特征5 | Content-description | 控件的文本描述,注释信息 |
在表格1中,特征1表示这个控件上面的文本,比如“提交”按钮上的“提交”文本。高权重的控件通常拥有相似的文本。特征2指的是控件的id,是该界面中控件的唯一标识符,通常是一到两个短语,比如:“com.android.input/username”。特征3表示控件所属的类,比如:“android.widget.RelativeLayout”。特征4表示控件所属的包。特征5表示控件的文本描述,指的是程序内部描述控件的注释。
注意到特征1至特征5的内容都是字符串,包含了一个或者多个词,比如“com.chineseskill:id/img_unit_index_icon”、“android.widget.ImageView”等等,所以我们需要将其转化成能够进行数值运算的形式。为了解决这个问题,例如可以使用标点和连字符等对所有控件的特征1至特征5的字符串进行划分,然后将划分后的词放在一起,得到该功能点的词集合。进而可以利用每个功能点的词集合形成所述一个或多个功能点的词库。
在以上描述中,举例了基于表1所列出的控件的预定数量的五个特征来得到功能点的词集合,这仅仅是例示而非限制。本领域技术人员可以想到使用控件的少于五个或多于五个的特征来得到功能点的词集合。另外,本领域技术人员可以想到使用表1所列出的特征以外的特征来得到功能点的词集合。
在获得评论的词库的步骤S104中,可以将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库。
具体地,由于用户的每个评论的内容都是字符串,包含了一个或者多个词语,因此,在获得评论的词库的步骤S104中,可以将每个评论中的字符串划分成词从而得到该评论的词集合。进而可以利用每个评论的词集合形成所述一个或多个评论的词库。
在计算权重步骤S106中,可以基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重。
如之前所述,测试人员在编写测试用例的时候,通常首先着重处理用户最感兴趣的功能点。通常认为用户感兴趣的功能点往往也是高权重的功能点。开发人员和用户通常都希望应用程序最重要的功能可以正常工作,而对于一些不是非常重要的模块,比如应用程序页面底部的页脚部分,则可以被看作为较低权重的功能点。
比如,在应用的登录界面,最重要的功能点是登录模块,通常登录模块功能点包含用户名和密码输入框、登录按钮等控件。我们认为,一旦找到了最重要的功能点,并且对这些功能点测试完毕以后,最主要的测试工作就可以算是完成了。对其他非重要的功能点的测试可以放在后期,从而提升整体的测试效率。
为了对功能点进行权重排序,在计算权重步骤S106中,我们基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重。
优选地,在计算权重步骤S106中,可以基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且可以根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
为了计算所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,首先需要形成每个功能点的特征向量和每个评论的特征向量。而为了保证每个功能点的特征向量和每个评论的特征向量的维度相同,每个功能点的特征向量和每个评论的特征向量的维度均可以设置为由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的词的个数。然后,计算每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,从而计算所述相关性。
优选地,对于每个功能点,可以针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素,其中,该分值是基于该词在该功能点中的出现次数和包含该词的功能点的个数而计算的。
优选地,随着该词在该功能点中的出现次数越多,分值越大,而随着包含该词的功能点的个数越多,分值越小。
具体地,由于每个功能点的特征向量的维度为由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的词的个数,因此对于每个功能点,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素。
使用来表示每个功能点的特征向量:
假设特征向量的维度为n,向量中的元素都是一个数值。若用wordi(i=1,2,…n)表示由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词,则FValuewordi(i=1,2,…n)表示词wordi在该功能点的特征向量中的特征值。
我们使用公式(2)来计算wordi(i=1,2,…n)的分值FValuewordi:
假设该功能点共有m个控件。在公式(2)中,Frequencycomponentj(j=1,2,…m)表示词wordi在该功能点的控件j中出现的次数,FrequencyFunction表示在应用程序中,出现词wordi的功能点的个数。公式(2)表明,词wordi在该功能点中出现的次数越多,分值越大,而包含词wordi的功能点的个数越多,分值越小。分值越大意味着该词的重要性越高,反之越低。
根据公式(1)和(2)可知,每个功能点都具有同样的向量结构,其中的元素值各不相同。
优选地,对于每个评论,可以针对所述一个或多个功能点的词库和所述一个或多个评论的词库中包括的每个词而计算分值,将该分值与该评论的得分之间的比值作为该评论的特征向量中的元素,其中,该分值是基于该词在该评论中的出现次数和包含该词的评论的个数而计算的。
优选地,随着该词在该评论中的出现次数越多,分值越大,而随着包含该词的评论的个数越多,分值越小。
每个用户评论都包含一个词语的集合和一个评分,对于测试人员来说,评分非常重要,我们认为,评论的评分越低,则该评论越是应当重点对待。因为如果评分越低,表示这个评论越有可能暴露应用程序出现了错误。
假设共有p条评论,可以基于由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库形成向量来表示每一条用户评论如上所述,与功能点的向量维度一样,每个评论的特征向量的维度也是n,如公式(3)所示:
在公式(3)中,Score表示该评论的评分,根据应用市场的不同,Score取值可以从1-5或1-10不等。RValuewordi(i=1,2,…n)表示词wordi在该评论的特征向量中的特征值,即wordi(i=1,2,…n)在该评论中的分值。RValuewordi可以由公式(4)来计算得到:
在公式(4)中,Frequencyword表示词wordi在该评论中出现的次数,Frequencyreview表示在全体评论中,出现该词的评论个数。我们认为,词wordi在该评论中出现的次数越多,分值越大;而出现词wordi的评论数越多(出现该词的评论数越多,则说明该词是评论中无意义的词的概率越大,例如,以英文评论为例,不同评论中都可能出现“is”、“an”等词,但这样词是无意义的词),分值越小。分值越大表示该词在该评论中的重要性越高,反之则越低。
可以使用公式(5)来计算所有评论的中心向量
最后,可以使用公式(6)来计算每个功能点的特征向量与评论的中心向量之间的相似性Sfunction:
这样针对每个功能点计算得到的相似性即可以认为是该功能点的权重值,即,功能点的特征向量与评论的中心向量之间的相似性越大,则认为该功能点的权重越高,而功能点的特征向量与评论的中心向量之间的相似性越小,则认为该功能点的权重越低。
图2是示出了移动应用的登录功能点和评论的示例的图。
如图2所示,登录功能点包括“Sign In”文本栏、“Email”文本栏、“Password”文本栏以及“Sign In”按钮等控件。通过将由图2中示出的上述每个控件的特征中包括的字符串进行划分,可以得到词“Sign”、“Email”、“password”、“login”、“android”等等。另外,在图2的右侧示出了用户的评论,通过将这些评论中的字符串划分成词,可以得到评论中包括的词。根据本实施例的移动应用测试方法,可以基于功能点的词库中的词和评论的词库中的词而计算出该登录功能点的权重。由于登录功能点中的词“password”和“login”也出现在评论中,因此这两个词在计算该登录功能点的权重中可能起到比较重要的作用。
优选地,在计算权重步骤S106中,可以基于所述一个或多个功能点的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
在以上描述中,基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,这仅仅是例示而非限制。还可以仅针对所述一个或多个功能点的词库中的词分别计算分值,从而形成每个功能点的特征向量和每个评论的特征向量,即,每个功能点的特征向量和每个评论的特征向量的维度均为所述一个或多个功能点的词库中包括的词的个数。然后,计算每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,从而计算所述相关性。
在选择和测试步骤S108中,可以基于权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。我们认为高权重的功能点应当首先进行测试。可以使用本实施例中的方法来选择权重较高的几个功能点来进行接下来的测试工作,从而提高测试效率。
虽然以上以英文的特征和评述等为例进行了描述,但这仅仅是示例而非限制。本领域技术人员还可以想到将英文翻译成中文、然后通过对中文的词进行匹配,从而计算相关性等等。
从另一角度来看,目前安卓手机种类已经达到上千种,如果在所有手机设备上都进行测试,将会消耗巨大的人力和物力成本。但是事实上,对于一个应用程序来讲,其用户所使用的手机并不是均匀分布的,所以可以认为,如果能够在测试阶段寻找到用户最关注的手机设备,那么将会极大地提升测试效率,并且减小测试成本。
优选地,根据本实施例的移动应用测试方法还可以包括获得移动设备的词库的步骤,其可以对于待测试的一个或多个移动设备中的每个移动设备,将该移动设备的预定数量的特征中的每个特征中的字符串划分成词,从而得到该移动设备的词集合,并且可以基于每个移动设备的词集合而形成所述一个或多个移动设备的词库。
具体地,对于待测试的一个或多个移动设备,可以选择如下表2所示的特征来表示设备。
表2设备的特征
其中,每个特征都是词汇的集合。特征1是设备名称相关的词汇集合,包含品牌和型号等相关信息,比如“Samsung Galaxy S6”;特征2是系统相关的信息,比如“Android4.4.2”、“MIUI 5.0”或者“Macadamia Nut Cookie”;特征3表示硬件相关的信息,比如各个硬件的品牌、型号或者代号,比如“Qualcomm snapdragon 810”。
注意到上述特征1至特征3的内容都是字符串,包含了一个或者多个词语。我们将对上述特征1至特征3的字符串进行划分后的词放在一起,得到该移动设备的词集合。进而可以利用每个移动设备的词集合形成所述一个或多个移动设备的词库。
在以上描述中,举例了基于表2所列出的预定数量的三个特征来得到移动设备的词集合,这仅仅是例示而非限制。本领域技术人员可以想到使用移动设备的少于三个或多于三个的特征来得到移动设备的词集合。另外,本领域技术人员可以想到使用表2所列出的特征以外的特征来得到移动设备的词集合。
优选地,在计算权重步骤S106中,还可以基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
为了对移动设备进行权重排序,在计算权重步骤S106中,还可以基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
为了计算所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,首先需要形成每个移动设备的特征向量和每个评论的特征向量。而为了保证每个移动设备的特征向量和每个评论的特征向量的维度相同,每个移动设备的特征向量和每个评论的特征向量的维度均可以设置为由所述一个或多个移动设备的词库和所述一个或多个评论的词库构成的词库中包括的词的个数。然后,计算每个移动设备的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,从而计算所述相关性。这样需要对于功能点和移动设备分别计算评论的向量和其中心向量。
为了可以针对功能点和移动设备使用同样的评论的向量和其中心向量、并且为了方便描述,我们还可以假设基于由所述一个或多个功能点的词库、所述一个或多个移动设备的词库以及所述一个或多个评论的词库构成的词库,形成每个功能点、每个移动设备以及每个评论的特征向量。即,每个功能点的特征向量、每个移动设备的特征向量以及每个评论的特征向量的维度均可以设置为由所述一个或多个功能点的词库、所述一个或多个移动设备的词库以及所述一个或多个评论的词库构成的词库中包括的词的个数。
还假设移动设备的特征向量的维度为n,使用来表示每个移动设备的特征向量:
DValuewordi(i=1,2,…n)表示词wordi在特征向量中的特征值。特征值可以根据在移动设备中是否出现设置为1或0,也可以使用类似公式(2)的方式来确定。
接着,基于使用公式(5)得到评论的中心向量,使用公式(8)来计算每个移动设备的特征向量和评论的中心向量的相似性:
这样针对每个移动设备计算得到的相似性即可以认为是该移动设备的权重值,即,移动设备的特征向量与评论的中心向量之间的相似性越大,则认为该移动设备的权重越高,而移动设备的特征向量与评论的中心向量之间的相似性越小,则认为该移动设备的权重越低。
图3是示出了用户对移动设备的评论的示例的图。如图3所示,用户在评论中提到设备的名称“samsung s3”等,因此该词在计算移动设备的权重中可能起到比较重要的作用。
优选地,在选择和测试步骤S108中,还基于每个移动设备的权重而选择至少一个移动设备,并对所选择的至少一个移动设备进行测试。我们认为高权重的移动设备应当首先进行测试。可以使用本方法来选择权重较高的几个移动设备来进行接下来的测试工作,从而提高测试效率。
根据以上描述可知,根据本公开的实施例的移动应用测试方法可以利用用户评论,更精确地判断用户的兴趣点,从而进行移动应用的功能点以及移动设备的权重排序,由此节省测试时间并提高测试效率。
与上述方法实施例相对应地,本公开还提供了以下设备实施例。
图4是示出根据本公开的实施例的移动应用测试设备400的功能配置示例的框图。
如图4所示,根据本公开的实施例的移动应用测试400可以包括获得功能点的词库的单元402、获得评论的词库的单元404、计算权重单元406以及选择和测试单元408。接下来将描述各个单元的功能配置示例。
在获得功能点的词库的单元402中,可以对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且可以将预定数量的特征中的每个特征中的字符串划分成词,从而可以得到该功能点的词集合,并且可以基于每个功能点的词集合而形成所述一个或多个功能点的词库。
具体地,对于待测试移动应用的运行页面中的功能点,可以人为地确定要测试的一个或多个功能点、或可以对预定的一个或多个功能点进行测试、或者也可以通过分析自动地确定要测试的一个或多个功能点。
每个功能点都包含着多个控件,每个控件都有其自己的属性集。我们选择控件的属性集来作为控件的特征集。
得到功能点的词集合以及所述一个或多个功能点的词库的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
在获得评论的词库的单元404中,可以将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库。
具体地,由于用户的每个评论的内容都是字符串,包含了一个或者多个词语,因此,在获得评论的词库的单元404中,可以将每个评论中的字符串划分成词从而得到该评论的词集合。进而可以利用每个评论的词集合形成所述一个或多个评论的词库。
在计算权重单元406中,可以基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重。
优选地,在计算权重单元406中,可以基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且可以根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
为了计算所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,首先需要形成每个功能点的特征向量和每个评论的特征向量。而为了保证每个功能点的特征向量和每个评论的特征向量的维度相同,每个功能点的特征向量和每个评论的特征向量的维度均可以设置为由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的词的个数。然后,计算每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,从而计算所述相关性。
优选地,对于每个功能点,可以针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素,其中,该分值是基于该词在该功能点中的出现次数和包含该词的功能点的个数而计算的。
优选地,随着该词在该功能点中的出现次数越多,分值越大,而随着包含该词的功能点的个数越多,分值越小。
得到功能点的特征向量的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
优选地,对于每个评论,可以针对所述一个或多个功能点的词库和所述一个或多个评论的词库中包括的每个词而计算分值,将该分值与该评论的得分之间的比值作为该评论的特征向量中的元素,其中,该分值是基于该词在该评论中的出现次数和包含该词的评论的个数而计算的。
优选地,随着该词在该评论中的出现次数越多,分值越大,而随着包含该词的评论的个数越多,分值越小。
得到评论的特征向量和中心向量的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
计算每个功能点的特征向量与评论的中心向量之间的相似性的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
这样针对每个功能点计算得到的相似性即可以认为是该功能点的权重值,即,功能点的特征向量与评论的中心向量之间的相似性越大,则认为该功能点的权重越高,而功能点的特征向量与评论的中心向量之间的相似性越小,则认为该功能点的权重越低。
优选地,在计算权重单元406中,可以基于所述一个或多个功能点的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
在选择和测试单元408中,可以基于权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。我们认为高权重的功能点应当首先进行测试。可以选择权重较高的几个功能点来进行接下来的测试工作,从而提高测试效率。
优选地,根据本实施例的移动应用测试设备还可以包括获得移动设备的词库的单元,其可以对于待测试的一个或多个移动设备中的每个移动设备,将该移动设备的预定数量的特征中的每个特征中的字符串划分成词,从而得到该移动设备的词集合,并且可以基于每个移动设备的词集合而形成所述一个或多个移动设备的词库。
得到移动设备的词集合以及所述一个或多个移动设备的词库的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
优选地,在计算权重单元406中,还可以基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
计算每个移动设备的特征向量和评论的中心向量的相似性的具体方法可参见以上方法实施例中相应位置的描述,在此不再重复。
移动设备的特征向量与评论的中心向量之间的相似性越大,则认为该移动设备的权重越高,而移动设备的特征向量与评论的中心向量之间的相似性越小,则认为该移动设备的权重越低。
优选地,在选择和测试单元408中,还基于每个移动设备的权重而选择至少一个移动设备,并对所选择的至少一个移动设备进行测试。我们认为高权重的移动设备应当首先进行测试。可以选择权重较高的几个移动设备来进行接下来的测试工作,从而提高测试效率。
根据以上描述可知,根据本公开的实施例的移动应用测试设备可以利用用户评论,更精确地判断用户的兴趣点,从而进行移动应用的功能点以及移动设备的权重排序,由此节省测试时间并提高测试效率。
应指出,尽管以上描述了根据本公开的实施例的移动应用测试设备的功能配置,但是这仅是示例而非限制,并且本领域技术人员可根据本公开的原理对以上实施例进行修改,例如可对各个实施例中的功能模块进行添加、删除或者组合等,并且这样的修改均落入本公开的范围内。
此外,还应指出,这里的装置实施例是与上述方法实施例相对应的,因此在装置实施例中未详细描述的内容可参见方法实施例中相应位置的描述,在此不再重复描述。
应理解,根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述移动应用测试方法,因此在此未详细描述的内容可参考先前相应位置的描述,在此不再重复进行描述。
相应地,用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
另外,还应该指出的是,上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机,例如图5所示的通用个人计算机500安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等等。
在图5中,中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中,也根据需要存储当CPU 501执行各种处理等时所需的数据。
CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505:输入部分506,包括键盘、鼠标等;输出部分507,包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等;存储部分508,包括硬盘等;和通信部分509,包括网络接口卡比如LAN卡、调制解调器等。通信部分509经由网络比如因特网执行通信处理。
根据需要,驱动器510也连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上,使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 502、存储部分508中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
以上参照附图描述了本公开的优选实施例,但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改,并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如,在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地,在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外,以上功能之一可由多个单元来实现。无需说,这样的配置包括在本公开的技术范围内。
在该说明书中,流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理,而且包括并行地或单独地而不是必须按时间序列执行的处理。此外,甚至在按时间序列处理的步骤中,无需说,也可以适当地改变该顺序。
另外,根据本公开的技术还可以如下进行配置。
附记1.一种移动应用测试方法,包括:
获得功能点的词库的步骤,对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且将所述预定数量的特征中的每个特征中的字符串划分成词,从而得到该功能点的词集合,并且基于每个功能点的词集合而形成所述一个或多个功能点的词库;
获得评论的词库的步骤,用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库;
计算权重步骤,基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及
选择和测试步骤,基于所述权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。
附记2.根据附记1所述的移动应用测试方法,其中,在所述计算权重步骤中,基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
附记3.根据附记2所述的移动应用测试方法,其中,对于每个功能点,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素,其中,该分值是基于该词在该功能点中的出现次数和包含该词的功能点的个数而计算的。
附记4.根据附记3所述的移动应用测试方法,其中,随着该词在该功能点中的出现次数越多,所述分值越大,而随着包含该词的功能点的个数越多,所述分值越小。
附记5.根据附记2所述移动应用测试方法,其中,对于每个评论,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值,将该分值与该评论的得分之间的比值作为该评论的特征向量中的元素,其中,该分值是基于该词在该评论中的出现次数和包含该词的评论的个数而计算的。
附记6.根据附记5所述的移动应用测试方法,其中,随着该词在该评论中的出现次数越多,所述分值越大,而随着包含该词的评论的个数越多,所述分值越小。
附记7.根据附记1所述的移动应用测试方法,其中,在所述计算权重步骤中,基于所述一个或多个功能点的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
附记8.根据附记1所述的移动应用测试方法,还包括获得移动设备的词库的步骤,对于待测试的一个或多个移动设备中的每个移动设备,将该移动设备的预定数量的特征中的每个特征中的字符串划分成词,从而得到该移动设备的词集合,并且基于每个移动设备的词集合而形成所述一个或多个移动设备的词库。
附记9.根据附记8所述的移动应用测试方法,其中,在所述计算权重步骤中,还基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
附记10.根据附记9所述的移动应用测试方法,其中,在所述选择和测试步骤中,还基于每个移动设备的权重而选择至少一个移动设备,并对所选择的至少一个移动设备进行测试。
附记11.一种移动应用测试设备,包括:
获得功能点的词库的单元,被配置成对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且将所述预定数量的特征中的每个特征中的字符串划分成词,从而得到该功能点的词集合,并且基于每个功能点的词集合而形成所述一个或多个功能点的词库;
获得评论的词库的单元,被配置成用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库;
计算权重单元,被配置成基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及
选择和测试单元,被配置成基于所述权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。
附记12.根据附记11所述的移动应用测试设备,其中,在所述计算权重单元中,基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
附记13.根据附记12所述的移动应用测试设备,其中,对于每个功能点,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素,其中,该分值是基于该词在该功能点中的出现次数和包含该词的功能点的个数而计算的。
附记14.根据附记13所述的移动应用测试设备,其中,随着该词在该功能点中的出现次数越多,所述分值越大,而随着包含该词的功能点的个数越多,所述分值越小。
附记15.根据附记12所述移动应用测试设备,其中,对于每个评论,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值,将该分值与该评论的得分之间的比值作为该评论的特征向量中的元素,其中,该分值是基于该词在该评论中的出现次数和包含该词的评论的个数而计算的。
附记16.根据附记15所述的移动应用测试设备,其中,随着该词在该评论中的出现次数越多,所述分值越大,而随着包含该词的评论的个数越多,所述分值越小。
附记17.根据附记11所述的移动应用测试设备,其中,在所述计算权重单元中,基于所述一个或多个功能点的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
附记18.根据附记11所述的移动应用测试设备,还包括获得移动设备的词库的单元,被配置成对于待测试的一个或多个移动设备中的每个移动设备,将该移动设备的预定数量的特征中的每个特征中的字符串划分成词,从而得到该移动设备的词集合,并且基于每个移动设备的词集合而形成所述一个或多个移动设备的词库。
附记19.根据附记18所述的移动应用测试设备,其中,所述计算权重单元中还被配置成基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
附记20.根据附记19所述的移动应用测试设备,其中,所述选择和测试单元还被配置成基于每个移动设备的权重而选择至少一个移动设备,并对所选择的至少一个移动设备进行测试。
Claims (10)
1.一种移动应用测试方法,包括:
获得功能点的词库的步骤,对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且将所述预定数量的特征中的每个特征中的字符串划分成词,从而得到该功能点的词集合,并且基于每个功能点的词集合而形成所述一个或多个功能点的词库;
获得评论的词库的步骤,用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库;
计算权重步骤,基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及
选择和测试步骤,基于所述权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。
2.根据权利要求1所述的移动应用测试方法,其中,在所述计算权重步骤中,基于所述一个或多个功能点的词库中的词和所述一个或多个评论的词库中的词而形成每个功能点的特征向量和每个评论的特征向量,并且根据每个功能点的特征向量与基于每个评论的特征向量而计算出的中心特征向量之间的相似性,计算所述相关性。
3.根据权利要求2所述的移动应用测试方法,其中,对于每个功能点,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值作为该功能点的特征向量中的元素,其中,该分值是基于该词在该功能点中的出现次数和包含该词的功能点的个数而计算的。
4.根据权利要求3所述的移动应用测试方法,其中,随着该词在该功能点中的出现次数越多,所述分值越大,而随着包含该词的功能点的个数越多,所述分值越小。
5.根据权利要求2所述移动应用测试方法,其中,对于每个评论,针对由所述一个或多个功能点的词库和所述一个或多个评论的词库构成的词库中包括的每个词而计算分值,将该分值与该评论的得分之间的比值作为该评论的特征向量中的元素,其中,该分值是基于该词在该评论中的出现次数和包含该词的评论的个数而计算的。
6.根据权利要求5所述的移动应用测试方法,其中,随着该词在该评论中的出现次数越多,所述分值越大,而随着包含该词的评论的个数越多,所述分值越小。
7.根据权利要求1所述的移动应用测试方法,还包括获得移动设备的词库的步骤,对于待测试的一个或多个移动设备中的每个移动设备,将该移动设备的预定数量的特征中的每个特征中的字符串划分成词,从而得到该移动设备的词集合,并且基于每个移动设备的词集合而形成所述一个或多个移动设备的词库。
8.根据权利要求7所述的移动应用测试方法,其中,在所述计算权重步骤中,还基于所述一个或多个移动设备的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个移动设备的权重。
9.根据权利要求8所述的移动应用测试方法,其中,在所述选择和测试步骤中,还基于每个移动设备的权重而选择至少一个移动设备,并对所选择的至少一个移动设备进行测试。
10.一种移动应用测试设备,包括:
获得功能点的词库的单元,被配置成对于待测试移动应用的运行页面中的一个或多个功能点中的每个功能点,获得该功能点包含的一个或多个控件中的每个控件的预定数量的特征,并且将所述预定数量的特征中的每个特征中的字符串划分成词,从而得到该功能点的词集合,并且基于每个功能点的词集合而形成所述一个或多个功能点的词库;
获得评论的词库的单元,被配置成用于将用户的一个或多个评论中的每个评论中的字符串划分成词,从而得到该评论的词集合,并且基于每个评论的词集合而形成所述一个或多个评论的词库;
计算权重单元,被配置成基于所述一个或多个功能点的词库中的词与所述一个或多个评论的词库中的词的相关性,计算每个功能点的权重;以及
选择和测试单元,被配置成基于所述权重而选择至少一个功能点,并对所选择的至少一个功能点进行测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610213007.0A CN107273282A (zh) | 2016-04-07 | 2016-04-07 | 移动应用测试方法和移动应用测试设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610213007.0A CN107273282A (zh) | 2016-04-07 | 2016-04-07 | 移动应用测试方法和移动应用测试设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107273282A true CN107273282A (zh) | 2017-10-20 |
Family
ID=60052484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610213007.0A Pending CN107273282A (zh) | 2016-04-07 | 2016-04-07 | 移动应用测试方法和移动应用测试设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107273282A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708055A (zh) * | 2012-05-14 | 2012-10-03 | 中国联合网络通信集团有限公司 | 软件可信性测试方法及装置 |
CN103455415A (zh) * | 2012-08-20 | 2013-12-18 | 深圳信息职业技术学院 | 一种软件的测试方法 |
CN105068924A (zh) * | 2015-07-29 | 2015-11-18 | 浪潮电子信息产业股份有限公司 | 一种测试应用性能的方法及装置 |
WO2016048395A1 (en) * | 2014-09-26 | 2016-03-31 | Hewlett Packard Enterprise Development Lp | Determining test application effectiveness |
-
2016
- 2016-04-07 CN CN201610213007.0A patent/CN107273282A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708055A (zh) * | 2012-05-14 | 2012-10-03 | 中国联合网络通信集团有限公司 | 软件可信性测试方法及装置 |
CN103455415A (zh) * | 2012-08-20 | 2013-12-18 | 深圳信息职业技术学院 | 一种软件的测试方法 |
WO2016048395A1 (en) * | 2014-09-26 | 2016-03-31 | Hewlett Packard Enterprise Development Lp | Determining test application effectiveness |
CN105068924A (zh) * | 2015-07-29 | 2015-11-18 | 浪潮电子信息产业股份有限公司 | 一种测试应用性能的方法及装置 |
Non-Patent Citations (1)
Title |
---|
辛敏杰: "基于权重的改进GUI测试框架研究", 《中国优秀硕士学位论文全文数据库》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10592672B2 (en) | Testing insecure computing environments using random data sets generated from characterizations of real data sets | |
CN108335313A (zh) | 图像分割方法及装置 | |
US20150113388A1 (en) | Method and apparatus for performing topic-relevance highlighting of electronic text | |
CN105893476A (zh) | 智能问答方法、知识库优化方法及装置、智能知识库 | |
JP2016524229A (ja) | 検索推奨方法及び装置 | |
Wang et al. | Learning attribute hierarchies from data: Two exploratory approaches | |
CN106774975A (zh) | 输入方法和装置 | |
Kang et al. | Q-matrix refinement based on item fit statistic RMSEA | |
CN107844531B (zh) | 答案输出方法、装置和计算机设备 | |
US9507879B2 (en) | Query formation and modification | |
US20140324839A1 (en) | Determining candidate scripts from a catalog of scripts | |
Sinha et al. | Rapid information architecture prototyping | |
US20210271637A1 (en) | Creating descriptors for business analytics applications | |
Wirawan et al. | The Development of an Android-Based Anggah-Ungguhing Balinese Language Dictionary. | |
CN108021985A (zh) | 一种模型参数训练方法及装置 | |
US8869022B1 (en) | Visual annotations and spatial maps for facilitating application use | |
CN107273282A (zh) | 移动应用测试方法和移动应用测试设备 | |
YiFei | [Retracted] Design of Network‐Assisted Teaching of Ideological and Political Courses for College Students Based on Android System | |
CN114780755A (zh) | 一种基于知识图谱的播放数据定位方法、装置及电子设备 | |
CN101169722A (zh) | 一种在输入编码时显示名称的方法和装置 | |
Johnson-Eilola et al. | Can Artificial Intelligence Robots Write Effective Instructions? | |
Cuhadar et al. | Consequences of ignoring guessing effects on measurement invariance analysis | |
Xi et al. | Dual-Objective Item Selection Methods in Computerized Adaptive Test Using the Higher-Order Cognitive Diagnostic Models | |
US20170213147A1 (en) | Generating description text for applications | |
CN114820879B (zh) | 一种思维导图构建游戏画板的方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171020 |