CN109189910B - 一种面向移动应用问题报告的标签自动推荐方法 - Google Patents
一种面向移动应用问题报告的标签自动推荐方法 Download PDFInfo
- Publication number
- CN109189910B CN109189910B CN201811087855.7A CN201811087855A CN109189910B CN 109189910 B CN109189910 B CN 109189910B CN 201811087855 A CN201811087855 A CN 201811087855A CN 109189910 B CN109189910 B CN 109189910B
- Authority
- CN
- China
- Prior art keywords
- word
- report
- similarity
- vector
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种面向移动应用问题报告的标签自动推荐方法,首先利用jaccard相似度来计算未打标签的问题报告和与真实问题相关的用户评论之间的相似度,然后使用文本相似度公式,即余弦定理的两种变种形式tf·idf和Word2Vec以及BM25Fext分别计算未打标签报告和已打标签报告的相似度,最后综合两个方面的相似度对每一个未打标签的报告产生三种类型的分值,并找出最优值,即选择性能最好的相似度公式。
Description
技术领域
本发明属于软件工程技术领域,特别是涉及一种面向移动应用问题报告的标签自动推荐方法。
背景技术
随着大量的移动应用程序发布到软件市场,这些应用程序的软件维护成为一项重要和具有挑战性的任务,开发人员通常会提交问题报告以报告其中出现的错误,功能和其他更改。在软件维护过程中,开发人员按照相应的标签来决定哪一个应该先修复。如果问题报告的标签是“bug”(错误),这意味着报告描述了严重的错误,开发人员应该先修复这个错误;如果问题报告的标签是“feature request”(特征),这意味着报告描述了软件的用户希望出现在软件里的新功能,开发人员将根据实际情况考虑是否采用报告描述的内容。显然,“feature request”的优先级比“bug”低。根据我们的调查,17个最受欢迎的移动应用程序中的35.6%的问题报告没有添加标签。开发人员很难决定哪个问题应该优先解决。
发明内容
本发明目的是为了解决现有技术中存在的问题,提出了一种面向移动应用问题报告的标签自动推荐方法。
本发明的目的通过以下技术方案实现:一种面向移动应用问题报告的标签自动推荐方法,包括以下步骤:
步骤一、收集少于或者等于3颗星的用户评论信息并进行分类,分为五个类别,即信息获取、信息搜寻、特征请求、问题发现以及其它;提取问题发现和特征请求类别中的用户评论信息作为缺陷/特征相关的评论信息;
步骤二、利用自然语言处理技术对关于缺陷/特征的评论信息进行数据预处理产生评论集;
步骤三、利用自然语言处理技术对未打标签的问题报告进行数据预处理产生查询条件;
步骤四、利用自然语言处理技术对已打标签的问题报告进行数据预处理产生问题报告集;
步骤五、使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度;
步骤六、使用余弦定理的两种变种形式tf·idf和Word2Vec以及BM25Fext三个相似度方程计算步骤三得到的查询条件与步骤四得到的问题报告集之间的相似度;
步骤七、综合步骤五和步骤六得到的相似度对每一个查询条件产生最终的分值,如果相似度分值超过阈值,则将此问题报告标记为“bug”/“feature request”。
进一步地,所述分值表达式如下:
Scorei=α×s1+(1-α)×s2
其中,i=1,2,3,s1为使用jaccard相似度计算查询条件和评论集之间的相似分值,s2为采用tf·idf和Word2Vec以及BM25Fext三种方法对每个未打标签的问题报告产生对应方法的分值,α和(1-α)分别是综合产生Scorei时s1和s2的权值。
进一步地,所述使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度分值s1:
其中,R是用户评论文本的集合,Q是未打标签的问题报告的文本集合。
进一步地,所述tf·idf相似度方程计算方法为:
tftd·idft=tf(t,d)×idf(t)
其中,ftd是词t在文档d中出现的次数,#terms是文档d含有词的总数,#docs是语料库中文档的数量,nt是含有词t的文档数量;
将问题报告的文本进行预处理成词的集合,将每个词用tf·idf权值表示,则得到问题报告的向量,得到已打标签的问题报告和未打标签的问题报告的tf·idf权重的向量后,直接计算它们之间的余弦相似度,余弦相似度公式如下所示:
其中,Clusteri表示已打标签的问题报告集合,BRj表示未打标签的问题报告,即查询条件;
其中,Ci和Cj分别表示已打标签的问题报告和未打标签的问题报告的向量,ωki表示在评论集中第k个词汇的概念向量和tf·idf权重的乘积,ωkj表示在问题报告中第k个词汇的概念向量和tf·idf权重的乘积。
进一步地,所述Word2Vect将一个单词映射为语义单词嵌入,将大量的文本转移到矢量空间,并且文集中的每个唯一字在空间中被分配相应的矢量,利用skip-gram模型的Word2Vect,在k维中,每个词表示为一个1*k维的向量,文档可以通过以下方式映射到空间中:
Cs=θT·HW
其中θT是文档中单词的tf·idf权重的向量,HW是单词向量矩阵,所述单词向量矩阵中,第i行表示单词i的单词向量,矩阵通过连接文档中所有单词的单词向量来构造;通过矩阵乘法,将文档转换为语义类别的向量,用CS表示;得到Word2Vect向量后,利用余弦相似度公式计算已打标签的问题报告和未打标签的问题报告的相似度。
进一步地,BM25Fext由三个部分组成,第一部分是逆文档频率IDF,如下所示:
其中,N表示语料库中文档的数量,Nd表示含有词t的文档的数量;
第二部分中的文档集D的词频TFD定义为:
其中,对于每一个域f,wf是域的权值;occurrences(d[f],t)是词t在域f出现的次数;lengthf是词袋d[f]的型号,即含有词的数量;average_lengthf是整个文档集D中所有文档的词袋d[f]的型号的平均值,bf是一个决定域缩减的参数,并且0≤bf≤1;
第三部分中的查询条件集Q的词频TFQ定义为:
其中,occurrences(q[f],t)是词t在域f出现的次数,q[f]为查询条件袋;
BM25Fext定义为:
其中,t是文档d和查询条件q中同时出现的词,k1是控制TFD(d,t)有效性的调整参数,k1≥0;k3是控制查询条件中词权重的贡献度的自由参数,k3≥0。
附图说明
图1是本发明所述面向移动应用问题报告的标签自动推荐方法的框图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
结合图1,本发明提出一种面向移动应用问题报告的标签自动推荐方法,包括以下步骤:
步骤一、收集少于或者等于3颗星的用户评论信息,并加载评论信息分析工具SURF执行用户评论信息的过滤和分类。在此过程中,包含无效信息(比如只包含“Thankyou!”之类的不含信息量的句子)的用户评论信息将被过滤掉。其他信息将会被分为五个类别,即信息获取、信息搜寻、特征请求、问题发现以及其它;提取问题发现和特征请求类别中的用户评论信息作为缺陷/特征相关的评论信息;通过后续的人工校对,SURF对用户评论信息的分类精确率达到91.36%。因此输出的与缺陷相关的用户评论信息是较准确的。
步骤二、利用自然语言处理技术(NLP)对关于缺陷/特征的评论信息进行数据预处理产生评论集;
步骤三、利用自然语言处理技术对未打标签的问题报告进行数据预处理产生查询条件;
步骤四、利用自然语言处理技术对已打标签的问题报告进行数据预处理产生问题报告集;
步骤五、使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度;
步骤六、使用余弦定理的两种变种形式tf·idf和Word2Vec以及BM25Fext三个相似度方程计算步骤三得到的查询条件与步骤四得到的问题报告集之间的相似度;
步骤七、综合步骤五和步骤六得到的相似度对每一个查询条件产生最终的分值,如果相似度分值超过阈值,则将此问题报告标记为“bug”/“feature request”。应用用户评论信息和已标签报告的信息来对每一个没有标签的报告计算出分值,当产生的分数超过阈值时,将问题报告视为相应标签的报告。换句话说,问题报告被标记为“bug”/“featurerequest”。否则,问题报告的标签不是”bug”/“feature request”。
在执行所述方法之前,首先对问题报告进行预处理。系统加载python库NLTK和TEXTBLOB实现以下步骤:
1、分词:问题报告或者用户评论信息被切分成若干词汇,这些词汇被用来计算文本相似度。
2、停止词去除:一些停止词(比如“the”“a”“are”等)频繁出现在英文文本中但又对缺陷定位没有任何具体意义。根据WordNet停止词列表,系统将移除这些词汇。
3、词根化:所有的单词将会被转化为它们的根形态,也就是说第三人称单数,过去时和将来时等时态会被转化为词汇的原始形态。
4、名词和动词筛选:通过加载POS标签分类模块识别问题报告和用户评论信息中的动词和名词。只有这些词汇被用来计算文本相似度,因为它们是文本中最具有代表性意义的词汇。
所述方法中步骤一到步骤七中所涉及的数据预处理同样也执行上述所述的预处理步骤,即分词、停止词去除、词根化和名词和动词筛选。
所述分值表达式如下:
Scorei=α×s1+(1-α)×s2
其中,i=1,2,3,s1为使用jaccard相似度计算查询条件和评论集之间的相似分值,s2为采用tf·idf和Word2Vec以及BM25Fext三种方法对每个未打标签的问题报告产生对应方法的分值,α和(1-α)分别是综合产生Scorei时s1和s2的权值。
所述使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度分值s1:
其中,R是用户评论文本的集合,Q是未打标签的问题报告的文本集合。
所述tf·idf相似度方程计算方法为:
tftd·idft=tf(t,d)×idf(t)
其中,ftd是词t在文档d中出现的次数,#terms是文档d含有词的总数,#docs是语料库中文档的数量,nt是含有词t的文档数量;
将问题报告的文本进行预处理成词的集合,将每个词用tf·idf权值表示,则得到问题报告的向量,得到已打标签的问题报告和未打标签的问题报告的tf·idf权重的向量后,直接计算它们之间的余弦相似度,余弦相似度公式如下所示:
其中,Clusteri表示已打标签的问题报告集合,BRj表示未打标签的问题报告,即查询条件;
其中,Ci和Cj分别表示已打标签的问题报告和未打标签的问题报告的向量,ωki表示在评论集中第k个词汇的概念向量和tf·idf权重的乘积,ωkj表示在问题报告中第k个词汇的概念向量和tf·idf权重的乘积。
所述Word2Vect将一个单词映射为语义单词嵌入,将大量的文本转移到矢量空间,并且文集中的每个唯一字在空间中被分配相应的矢量,利用skip-gram模型的Word2Vect,在k维(工作中k=100)中,每个词表示为一个1*k维的向量,文档可以通过以下方式映射到空间中:
Cs=θT·HW
其中θT是文档中单词的tf·idf权重的向量,HW是单词向量矩阵,所述单词向量矩阵中,第i行表示单词i的单词向量,矩阵通过连接文档中所有单词的单词向量来构造;通过矩阵乘法,将文档转换为语义类别的向量,用CS表示;得到Word2Vect向量后,利用余弦相似度公式计算已打标签的问题报告和未打标签的问题报告的相似度。
BM25Fext是BM25F的扩展,BM25Fext由三个部分组成,第一部分是逆文档频率IDF,如下所示:
其中,N表示语料库中文档的数量,Nd表示含有词t的文档的数量;
第二部分中的文档集D的词频TFD定义为:
其中,对于每一个域f,wf是域的权值;occurrences(d[f],t)是词t在域f出现的次数;lengthf是词袋d[f]的型号,即含有词的数量;average_lengthf是整个文档集D中所有文档的词袋d[f]的型号的平均值,bf是一个决定域缩减的参数,并且0≤bf≤1;
第三部分中的查询条件集Q的词频TFQ定义为:
其中,occurrences(q[f],t)是词t在域f出现的次数,q[f]为查询条件袋;
BM25Fext定义为:
其中,t是文档d和查询条件q中同时出现的词,k1是控制TFD(d,t)有效性的调整参数,k1≥0;k3是控制查询条件中词权重的贡献度的自由参数,k3≥0。
本发明通过对17个开源移动应用项目中的43,649条用户评论信息和7,174个未打标签的问题报告进行的评估实验,表1和表2分别显示出对于“bug”和“feature request”和标签(17个项目中只有7个含有“feature request”标签),当选择最佳阈值时,使用三种相似性度量方法的性能。(注:F1分值为一种衡量模型精确度的指标,可以看作为准确率和召回率的加权平均值)。
表1问题报告“bug”标签推荐方法性能比较
表2问题报告“feature request”标签推荐方法性能比较
表3展示了当F1分值最高时,所有项目对于”bug”/“featurerequest”标签三种方法的阈值和α值。
表3”bug”/“feature request”标签三种方法的阈值和α的取值
以上对本发明所提供的一种面向移动应用问题报告的标签自动推荐方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种面向移动应用问题报告的标签自动推荐方法,其特征在于,包括以下步骤:
步骤一、收集少于或者等于3颗星的用户评论信息并进行分类,分为五个类别,即信息获取、信息搜寻、特征请求、问题发现以及其它;提取问题发现和特征请求类别中的用户评论信息作为缺陷/特征相关的评论信息;
步骤二、利用自然语言处理技术对关于缺陷/特征的评论信息进行数据预处理产生评论集;
步骤三、利用自然语言处理技术对未打标签的问题报告进行数据预处理产生查询条件;
步骤四、利用自然语言处理技术对已打标签的问题报告进行数据预处理产生问题报告集;
步骤五、使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度;
步骤六、使用余弦定理的两种变种形式tf·idf和Word2Vec以及BM25Fext三个相似度方程计算步骤三得到的查询条件与步骤四得到的问题报告集之间的相似度;
步骤七、综合步骤五和步骤六得到的相似度对每一个查询条件产生最终的分值,如果相似度分值超过阈值,则将此问题报告标记为“bug”/“feature request”;
所述数据预处理为分词、停止词去除、词根化和名词和动词筛选;
所述分值表达式如下:
Scorei=α×s1+(1-α)×s2
其中,i=1,2,3,s1为使用jaccard相似度计算查询条件和评论集之间的相似分值,s2为采用tf·idf和Word2Vec以及BM25Fext三种方法对每个未打标签的问题报告产生对应方法的分值,α和(1-α)分别是综合产生Scorei时s1和s2的权值。
2.根据权利要求1所述的方法,其特征在于,所述使用jaccard相似度计算步骤三得到的查询条件与步骤二得到的评论集之间的相似度分值s1:
其中,R是用户评论文本的集合,Q是未打标签的问题报告的文本集合。
3.根据权利要求2所述的方法,其特征在于,所述tf·idf相似度方程计算方法为:
其中,ftd是词t在文档d中出现的次数,#terms是文档d含有词的总数,#docs是语料库中文档的数量,nt是含有词t的文档数量;
将问题报告的文本进行预处理成词的集合,将每个词用tf·idf权值表示,则得到问题报告的向量,得到已打标签的问题报告和未打标签的问题报告的tf·idf权重的向量后,直接计算它们之间的余弦相似度,余弦相似度公式如下所示:
其中,Clusteri表示已打标签的问题报告集合,BRj表示未打标签的问题报告,即查询条件;
其中,Ci和Cj分别表示已打标签的问题报告和未打标签的问题报告的向量,ωki表示在评论集中第k个词汇的概念向量和tf·idf权重的乘积,ωkj表示在问题报告中第k个词汇的概念向量和tf·idf权重的乘积。
4.根据权利要求3所述的方法,其特征在于,所述Word2Vect将一个单词映射为语义单词嵌入,将大量的文本转移到矢量空间,并且文集中的每个唯一字在空间中被分配相应的矢量,利用skip-gram模型的Word2Vect,在k维中,每个词表示为一个1*k维的向量,文档可以通过以下方式映射到空间中:
Cs=θT·HW
其中θT是文档中单词的tf·idf权重的向量,HW是单词向量矩阵,所述单词向量矩阵中,第i行表示单词i的单词向量,矩阵通过连接文档中所有单词的单词向量来构造;通过矩阵乘法,将文档转换为语义类别的向量,用CS表示;得到Word2Vect向量后,利用余弦相似度公式计算已打标签的问题报告和未打标签的问题报告的相似度。
5.根据权利要求4所述的方法,其特征在于,
BM25Fext由三个部分组成,第一部分是逆文档频率IDF,如下所示:
其中,N表示语料库中文档的数量,Nd表示含有词t的文档的数量;
第二部分中的文档集D的词频TFD定义为:
其中,对于每一个域f,wf是域的权值;occurrences(d[f],t)是词t在域f出现的次数;lengthf是词袋d[f]的型号,即含有词的数量;average_lengthf是整个文档集D中所有文档的词袋d[f]的型号的平均值,bf是一个决定域缩减的参数,并且0≤bf≤1;
第三部分中的查询条件集Q的词频TFQ定义为:
其中,occurrences(q[f],t)是词t在域f出现的次数,q[f]为查询条件袋;
BM25Fext定义为:
其中,t是文档d和查询条件q中同时出现的词,k1是控制TFD(d,t)有效性的调整参数,k1≥0;k3是控制查询条件中词权重的贡献度的自由参数,ks≥0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811087855.7A CN109189910B (zh) | 2018-09-18 | 2018-09-18 | 一种面向移动应用问题报告的标签自动推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811087855.7A CN109189910B (zh) | 2018-09-18 | 2018-09-18 | 一种面向移动应用问题报告的标签自动推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109189910A CN109189910A (zh) | 2019-01-11 |
CN109189910B true CN109189910B (zh) | 2019-09-10 |
Family
ID=64911969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811087855.7A Expired - Fee Related CN109189910B (zh) | 2018-09-18 | 2018-09-18 | 一种面向移动应用问题报告的标签自动推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109189910B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222709B (zh) * | 2019-04-29 | 2022-01-25 | 上海暖哇科技有限公司 | 一种多标签智能打标方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020164A (zh) * | 2012-11-26 | 2013-04-03 | 华北电力大学 | 一种基于多语义分析和个性化排序的语义检索方法 |
CN106156272A (zh) * | 2016-06-21 | 2016-11-23 | 北京工业大学 | 一种基于多源语义分析的信息检索方法 |
CN106547875A (zh) * | 2016-11-02 | 2017-03-29 | 哈尔滨工程大学 | 一种基于情感分析和标签的微博在线突发事件检测方法 |
CN106708966A (zh) * | 2016-11-29 | 2017-05-24 | 中国计量大学 | 基于相似度计算的垃圾评论检测方法 |
CN106776503A (zh) * | 2016-12-22 | 2017-05-31 | 东软集团股份有限公司 | 文本语义相似度的确定方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10311092B2 (en) * | 2016-06-28 | 2019-06-04 | Microsoft Technology Licensing, Llc | Leveraging corporal data for data parsing and predicting |
CN108536664A (zh) * | 2017-03-01 | 2018-09-14 | 华东师范大学 | 商品领域的知识融合方法 |
CN107609102A (zh) * | 2017-09-12 | 2018-01-19 | 电子科技大学 | 一种短文本在线聚类方法 |
-
2018
- 2018-09-18 CN CN201811087855.7A patent/CN109189910B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020164A (zh) * | 2012-11-26 | 2013-04-03 | 华北电力大学 | 一种基于多语义分析和个性化排序的语义检索方法 |
CN106156272A (zh) * | 2016-06-21 | 2016-11-23 | 北京工业大学 | 一种基于多源语义分析的信息检索方法 |
CN106547875A (zh) * | 2016-11-02 | 2017-03-29 | 哈尔滨工程大学 | 一种基于情感分析和标签的微博在线突发事件检测方法 |
CN106708966A (zh) * | 2016-11-29 | 2017-05-24 | 中国计量大学 | 基于相似度计算的垃圾评论检测方法 |
CN106776503A (zh) * | 2016-12-22 | 2017-05-31 | 东软集团股份有限公司 | 文本语义相似度的确定方法及装置 |
Non-Patent Citations (1)
Title |
---|
社交网络中的用户标签推荐;陆子龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315(第3期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN109189910A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190110B (zh) | 一种命名实体识别模型的训练方法、系统及电子设备 | |
CN105243129B (zh) | 商品属性特征词聚类方法 | |
Cimiano et al. | Learning concept hierarchies from text with a guided agglomerative clustering algorithm | |
Meijer et al. | A semantic approach for extracting domain taxonomies from text | |
Furlan et al. | Semantic similarity of short texts in languages with a deficient natural language processing support | |
US20060200342A1 (en) | System for processing sentiment-bearing text | |
CN111104526A (zh) | 一种基于关键词语义的金融标签提取方法及系统 | |
Hussain et al. | Using linguistic knowledge to classify non-functional requirements in SRS documents | |
CN106202380B (zh) | 一种分类语料库的构建方法、系统及具有该系统的服务器 | |
CN101833579B (zh) | 一种自动检测学术不端文献的方法及系统 | |
Zamani et al. | A noun-based approach to feature location using time-aware term-weighting | |
TW201329752A (zh) | 中文文本可讀性計量系統及其方法 | |
Li et al. | A holistic model of mining product aspects and associated sentiments from online reviews | |
CN103294664A (zh) | 开放领域新词发现的方法及系统 | |
CN106202481A (zh) | 一种感知数据的评价方法和系统 | |
CN106445906A (zh) | 领域词典中中长词词组的生成方法及装置 | |
Gacitua et al. | Relevance-based abstraction identification: technique and evaluation | |
CN109165382A (zh) | 一种加权词向量和潜在语义分析结合的相似缺陷报告推荐方法 | |
CN108717459A (zh) | 一种面向用户评论信息的移动应用缺陷定位方法 | |
CN103514151A (zh) | 依存句法分析方法、装置及辅助分类器训练方法 | |
Ferrari et al. | Towards a Dataset for Natural Language Requirements Processing. | |
Tang et al. | Overview of the NTCIR-10 Cross-Lingual Link Discovery Task. | |
CN109189910B (zh) | 一种面向移动应用问题报告的标签自动推荐方法 | |
Bu et al. | An FAR-SW based approach for webpage information extraction | |
CN109299007A (zh) | 一种缺陷修复者自动推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190910 Termination date: 20210918 |