CN110232397A - 一种结合支持向量机和投影矩阵的多标签分类方法 - Google Patents

一种结合支持向量机和投影矩阵的多标签分类方法 Download PDF

Info

Publication number
CN110232397A
CN110232397A CN201910323439.0A CN201910323439A CN110232397A CN 110232397 A CN110232397 A CN 110232397A CN 201910323439 A CN201910323439 A CN 201910323439A CN 110232397 A CN110232397 A CN 110232397A
Authority
CN
China
Prior art keywords
label
sample
classification
relationship
projection matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910323439.0A
Other languages
English (en)
Inventor
刘芷菁
刘波
林露樾
肖燕珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910323439.0A priority Critical patent/CN110232397A/zh
Publication of CN110232397A publication Critical patent/CN110232397A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种结合支持向量机和投影矩阵的多标签分类方法,包括下述步骤:S1,参数设置;首先设置最大训练步长T和样本的批量大小;设置超参数:如权衡参数β,正则化参数γ和比较阈值τ;本发明基于一致KL散度目标模型将多标签分类问题分为两部分,既能通过构造一组新的SVM模型直观地确定样本和标签的关系,又能充分利用标签之间的信息,通过构建一个新的投影矩阵来确定标签与标签之间的内在关系,从而提高分类的效果;在建立一致目标模型的同时可以分别对两部分损失进行优化,从而降低了复杂度。

Description

一种结合支持向量机和投影矩阵的多标签分类方法
技术领域
本发明涉及多标签分类技术领域,具体涉及一种结合支持向量机和投影矩阵的多标签分类方法。
背景技术
随着大数据时代的发展,数据爆炸性地进行增长,如何快速、准确地处理数据得到越来越多人的关注。现有的多标签分类方法计算效率低,不适合用于大数据和高维特征数据,或者准确性不高,限制了多标签分类在实际生活中的应用;而且,现有的多标签分类方法不能很好的利用标签之间的相关性或者确定标签关系的形式过于复杂,导致了分类的性能较差或者算法的复杂度急剧上升。
在多标签分类中,每个样本不再对应唯一的标签,其目的在于为未见的样本赋予合适的标签集。多标签分类不同于多类分类,多类分类是指给定样本中分配一个标签。但在实际生活中,多标签分类比单标签分类更为实用。例如,一张图片,画面内容可能包含多种元素,如沙发、餐桌、椅子等。对图片进行类别划分就属于多标签分类问题。在现有的对多标签分类的研究中,最常见的多标签分类方法有两类:(I)算法适应方法(Algorithmadaptation methods),算法适应方法就是将原来的单标签分类算法进行扩展以能够直接处理多标签分类问题,C2AE,ML-DT和RankSVM都是算法适应方法;(II)问题转换方法(Problem transformation methods),问题转换方法是将多标签分类问题转换成一个或多个单标签分类问题,最常见的问题转换方法就是二元关联(Binary relevance,BR)方法,标签幂集(Label power-set,LP)方法和标签排序(Label ranking)方法。
多标签数据具有丰富的标签信息,因此标签与标签之间具有一定的关系。利用标签之间的内在关系可以提升多标签分类的效果。确定多标签分类中标签关系的方法可分为三种:一阶(first-order),二阶(second-order),高阶策略方法(high-order strategy-based approaches);基于一阶策略的方法是在不考虑标签关系的情况下处理标签问题,通常将分类问题分解为几个独立的二元分类问题,如BR问题;基于二阶策略的方法是处理标签对之间的关系,如标签排序方法(Label ranking methods);基于高阶策略的方法则是考虑了所有标签之间的关系,如RakEL(Random k label-sets),由于使用了更多可识别的信息进行分类,基于高阶策略方法的分类效果比基于一阶和二阶策略方法的分类效果要好得多。有学者利用深层潜在空间(deep latent space)构造一个网络来模拟标签之间的关系,但这会导致空间复杂度较高。
现有技术中,公开了基于逻辑回归的多标签分类方法,但是该方法是基于二阶策略的方法,即仅仅处理标签对之间的关系,并未充分利用更多可识别的信息进行分类,从而影响分类精度;公开了利用深层潜在空间(deep latent space)构造一个网络直接来模拟标签之间的关系,但这会导致空间复杂度较高。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种结合支持向量机和投影矩阵的多标签分类方法,该方法能够有效利用多标签数据的相关性,并且保证分类的高效性和准确性。
本发明的目的通过下述技术方案实现:
一种结合支持向量机和投影矩阵的多标签分类方法,其特征在于,包括下述步骤:
S1,参数设置;
首先设置最大训练步长T和样本的批量大小;设置超参数:如权衡参数β,正则化参数γ和比较阈值τ;
S2,特征映射;
利用映射即可得到样本xi对应的特征描述zi
S3,确定样本与子标签的关系;
将样本xi映射后所得到的特征描述zi作为多元SVMs的输入;定义第l个SVM分类器对第l个标签的预测如下:
其中,W中的每一列对于每一个标签都是一个one-against-all的二元分类器,即利用每一个SVM分类器将一个样本标注一个标签而忽略其他标签,这样就把一个多标签分类问题转化为多个二分类问题,从而得到一组子标签来确定样本与标签之间关系;
多元SVMs根据向量来生成每个标签的分类得分,接着利用sigmoid函数对多元SVMs生成的分类得分进行标准化,将这些分类得分映射到0至1的范围内,生成这些分类得分的概率描述,即子标签的条件概率
S4,确定子标签与标签的关系;
利用投影矩阵对每个标签之间的关系进行建模;投影矩阵中的所有变量用Θ来表示,在投影矩阵中,当且仅当第l个标签与样本xi有关联时,标签yl取值为1,否则取值为0;
在给定概率描述对于任意第i个样本的标签的预测定义如下:
而对于第l个标签的最终预测,预测的结果是通过阈值比较得出的:
其中τ是设置的比较阈值,1为指示函数;
S5,计算损失函数;
为了更好的确定子标签与标签之间的关系,从而提高多标签分类问题的分类效果,通过利用KL散度来最小化标签与子标签同时观测的概率与模型的观测概率的偏差;而对于KL散度的最小化会导致两部分的损失:
(1)计算确定样本与标签的关系时构建多元SVMs所造成的损失:
(2)计算确定标签之间的关系时构建投影矩阵所造成的损失:
(3)将以上两部分损失代入以下公式,从而得到一致目标模型:
其中,β是权衡参数,通常为正数,γ是正则化参数;
S6,对于一致目标模型的优化;
在建立一致目标模型的同时可以分别对两部分的损失进行优化,即通过最小化LSVM(W)和LMSE(Θ)这两部分损失来实现,这可以降低计算的复杂度;
(1)对于第一部分的损失LSVM(W)的优化,一个直观的方法是分别对每个SVM进行运算,但这会大大提高运行时间的复杂度,因此为了能够使多元SVMs同时进行优化,采用基于梯度的同步优化方法,得到损失LSVM(W)关于的梯度:
其中
(2)对于第二部分的损失LMSE(Θ)的优化,也是使用基于梯度的优化方法,得到损失LMSE(Θ)关于Θ的梯度:
(3)用变量集合{W,Θ}表示整个算法中需要优化的变量;对于所需要优化的变量集{W,Θ}中的所有变量,在得到关于W和Θ的梯度之后,使用the mini-batch Adam方法对一致目标进行优化,可减少空间复杂度;在Adam方法中,我们利用θ代表所需要优化的所有变量的集合;θt-1表示在第t次迭代中,在W或Θ中的任意一个所需要优化的变量;利用可以得出一致目标的梯度gt;使用Adam方法,通过三步更新规则计算来更新每一个参数。
优选地,所述S6(3)中的三步更新规则计算具体为:
Stepl,计算偏置校正的一阶矩估计
Step2,计算偏置校正的二阶矩估计
Step3,将偏置校正的一阶矩估计和偏置校正的二阶矩估计代入到以下式子,即可求出在第t次迭代中所需要优化的变量θt-1
本发明与现有技术相比具有以下的有益效果:
本发明基于一致KL散度目标模型将多标签分类问题分为两部分,既能通过构造一组新的SVM模型直观地确定样本和标签的关系,又能充分利用标签之间的信息,通过构建一个新的投影矩阵来确定标签与标签之间的内在关系,从而提高分类的效果;在建立一致目标模型的同时可以分别对两部分损失进行优化,从而降低了复杂度。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
本发明一种结合支持向量机和投影矩阵的多标签分类方法是基于高阶策略的方法,利用了投影矩阵来确定标签之间的内在关系,将模拟人进行多标签分类的过程,首先通过建立多元SVMs二元分类器考虑样本与标签之间的关系得出初步标签(定义为子标签),通过构建投影矩阵来确定这些标签之间的关系,再根据子标签以及利用标签之间的关系,确定了样本的最终标签;上述过程可以得到两个部分的损失:一是确定样本与标签的关系时所造成的损失,二是确定标签与标签之间的关系时所造成的损失;本发明在建立一致目标模型的同时可以分别对两部分损失进行优化,从而降低了复杂度。本发明在确定样本与子标签的关系时构建了一组新的改进的SVMs,实现了多元SVMs的基于梯度的同步优化方法;通过构建一个投影矩阵模型,得到标签之间的内部关系。样本的最终标签是由子标签和标签之间的内在关系来预测。为了增强投影矩阵对噪声的鲁棒性,本发明对一致目标模型进行了优化,使得在优化过程中,SVMs的误分类可以增强投影矩阵的泛化能力。
从本发明的实施而言,主要分为三个阶段。对于给定任意样本xi和与其相关的多标签yi:(1)首先,利用该方法将样本xi映射到特征描述zi,将特征描述zi作为多元SVMs的输入,其中这些多元SVMs是由向量W和b组成,W中的每一列对于每个标签都是一个one-against-all的二元SVM分类器,因此利用每一个SVM为每个样本分配对应的标签,从而得到一组子标签(sub-labels)来确定样本与标签之间关系;(2)经过第一阶段后,多元SVMs会根据向量为每个标签生成分类得分;接着使用一组sigmoid函数生成这些分类得分的概率描述,即子标签的条件概率然后利用投影矩阵PM来确定标签与标签之间的内在关系;(3)最后,通过阈值比较得出标签预测的结果。
如图1所示,具体来说,为了更好的描述本发明的执行过程,定义如下操作过程:
1、参数设置;
我们首先设置最大训练步长(themaxtrainingstep)和样本的批量大小(thebatchsize);设置权衡参数β,正则化参数γ,比较阈值τ等超参数。在此方法中,超参数的配置对分类效果是有影响的。在实施过程中,通过对每个数据集的交叉验证,可以得出超参数的经验选择范围,但对于不同的数据集就选择不同的超参数,这就非常耗时耗力。因此,为了方便起见,此方法选择对一个数据集上的超参数进行调优,其他数据集也可使用这种参数设置,即可以通过参数调优来提高分类性能。
2、特征映射;
对于特征映射,我们可采用核方法。利用映射 即可得到样本xi对应的特征描述zi
3、确定样本与子标签的关系;
将样本xi映射后所得到的特征描述zi作为多元SVMs的输入。定义第l个SVM分类器对第l个标签的预测如下:
其中,W中的每一列对于每一个标签都是一个one-against-all的二元分类器,即利用每一个SVM分类器将一个样本标注一个标签而忽略其他标签,这样就把一个多标签分类问题转化为多个二分类问题,从而得到一组子标签来确定样本与标签之间关系。
多元SVMs会根据向量来生成每个标签的分类得分,接着利用sigmoid函数对多元SVMs生成的分类得分进行标准化,将这些分类得分映射到0至1的范围内,生成这些分类得分的概率描述,即子标签的条件概率
4、确定子标签与标签的关系;
利用投影矩阵(Projection Matrix,PM)对每个标签之间的关系进行建模。投影矩阵中的所有变量用Θ来表示,在投影矩阵中,当且仅当第l个标签与样本xi有关联时,标签yl取值为1,否则取值为0。
在给定概率描述对于任意第i个样本的标签的预测定义如下:
而对于第l个标签的最终预测,预测的结果是通过阈值比较得出的:
其中τ是设置的比较阈值,1为指示函数。
5、计算损失函数;
为了更好的确定子标签与标签之间的关系,从而提高多标签分类问题的分类效果,此方法是通过利用KL散度(KL-divergence)来最小化标签与子标签同时观测的概率与模型的观测概率的偏差。而对于KL散度的最小化会导致两部分的的损失:
(1)计算确定样本与标签的关系时构建多元SVMs所造成的损失:
(2)计算确定标签之间的关系时构建投影矩阵所造成的损失:
(3)将以上两部分损失代入到以下式子,以此得到此方法的一致目标模型:
其中,β是权衡参数,通常为正数,γ是正则化参数。
6、对于一致目标的优化;
此方法在建立一致目标模型的同时可以分别对两部分的损失进行优化,即通过最小化LSVM(W)和LMSE(Θ)这两部分损失来实现,这可以降低计算的复杂度。
(1)对于第一部分的损失LSVM(W)的优化,一个直观的方法是分别对每个SVM进行运算,但这会大大提高运行时间的复杂度。因此为了能够使多元SVMs同时进行优化,此方法采用基于梯度的同步优化方法,得到损失LSVM(W)关于的梯度:
其中
(2)对于第二部分的损失LMSE(Θ)的优化,也是使用基于梯度的优化方法,得到损失LMSE(Θ)关于Θ的梯度:
(3)我们用变量集合{W,Θ}表示整个算法中需要优化的变量。对于所需要优化的变量集{W,Θ}中的所有变量,在得到关于W和Θ的梯度之后,使用the mini-batch Adam方法对一致目标进行优化,可减少空间复杂度。在Adam方法中,我们利用θ代表所需要优化的所有变量的集合;θt-1表示在第t次迭代中,在W或Θ中的任意一个所需要优化的变量。利用可以得出一致目标的梯度gt。使用Adam方法,通过三步更新规则计算来更新每一个参数:
Stepl,计算偏置校正的一阶矩估计
Step2,计算偏置校正的二阶矩估计
Step3,将偏置校正的一阶矩估计和偏置校正的二阶矩估计代入到以下式子,即可求出在第t次迭代中所需要优化的变量θt-1
本发明首先会通过构建目标模型来确定样本与标签之间的关系,即根据一些类别标准,产生一组子标签,将样本划分为若干类别;接着构建投影矩阵来确定标签与标签之间的关系,再根据标签与标签之间关系来分配样本的最终标签,从而得到给定样本的最终标签;本发明基于一致KL散度目标模型将多标签分类问题分为两部分,既能通过构造一组新的SVM模型直观地确定样本和标签的关系,又能充分利用标签之间的信息,通过构建一个新的投影矩阵来确定标签与标签之间的内在关系,从而提高分类的效果;在建立一致目标模型的同时可以分别对两部分损失进行优化,从而降低了复杂度。
上述为本发明较佳的实施方式,但本发明的实施方式并不受上述内容的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (2)

1.一种结合支持向量机和投影矩阵的多标签分类方法,其特征在于,包括下述步骤:
S1,参数设置;
首先设置最大训练步长T和样本的批量大小;设置超参数:如权衡参数β,正则化参数γ和比较阈值τ;
S2,特征映射;
利用映射即可得到样本xi对应的特征描述zi
S3,确定样本与子标签的关系;
将样本xi映射后所得到的特征描述zi作为多元SVMs的输入;定义第l个SVM分类器对第l个标签的预测如下:
其中,W中的每一列对于每一个标签都是一个one-against-all的二元分类器,即利用每一个SVM分类器将一个样本标注一个标签而忽略其他标签,这样就把一个多标签分类问题转化为多个二分类问题,从而得到一组子标签来确定样本与标签之间关系;
多元SVMs根据向量来生成每个标签的分类得分,接着利用sigmoid函数对多元SVMs生成的分类得分进行标准化,将这些分类得分映射到0至1的范围内,生成这些分类得分的概率描述,即子标签的条件概率
S4,确定子标签与标签的关系;
利用投影矩阵对每个标签之间的关系进行建模;投影矩阵中的所有变量用Θ来表示,在投影矩阵中,当且仅当第l个标签与样本xi有关联时,标签yl取值为1,否则取值为0;
在给定概率描述对于任意第i个样本的标签的预测定义如下:
而对于第l个标签的最终预测,预测的结果是通过阈值比较得出的:
其中τ是设置的比较阈值,1为指示函数;
S5,计算损失函数;
为了更好的确定子标签与标签之间的关系,从而提高多标签分类问题的分类效果,通过利用KL散度来最小化标签与子标签同时观测的概率与模型的观测概率的偏差;而对于KL散度的最小化会导致两部分的损失:
(1)计算确定样本与标签的关系时构建多元SVMs所造成的损失:
(2)计算确定标签之间的关系时构建投影矩阵所造成的损失:
(3)将以上两部分损失代入以下公式,从而得到一致目标模型:
其中,β是权衡参数,通常为正数,γ是正则化参数;
S6,对于一致目标模型的优化;
在建立一致目标模型的同时可以分别对两部分的损失进行优化,即通过最小化LSVM(W)和LMSE(Θ)这两部分损失来实现,这可以降低计算的复杂度;
(1)对于第一部分的损失LSVM(W)的优化,一个直观的方法是分别对每个SVM进行运算,但这会大大提高运行时间的复杂度,因此为了能够使多元SVMs同时进行优化,采用基于梯度的同步优化方法,得到损失LSVM(W)关于的梯度:
其中
(2)对于第二部分的损失LMSE(Θ)的优化,也是使用基于梯度的优化方法,得到损失LMSE(Θ)关于Θ的梯度:
(3)用变量集合{W,Θ}表示整个算法中需要优化的变量;对于所需要优化的变量集{W,Θ}中的所有变量,在得到关于W和Θ的梯度之后,使用the mini-batch Adam方法对一致目标进行优化,可减少空间复杂度;在Adam方法中,我们利用θ代表所需要优化的所有变量的集合;θt-1表示在第t次迭代中,在W或Θ中的任意一个所需要优化的变量;利用可以得出一致目标的梯度gt;使用Adam方法,通过三步更新规则计算来更新每一个参数。
2.根据权利要求1所述的结合支持向量机和投影矩阵的多标签分类方法,其特征在于,所述S6(3)中的三步更新规则计算具体为:
Step1,计算偏置校正的一阶矩估计
Step2,计算偏置校正的二阶矩估计
Step3,将偏置校正的一阶矩估计和偏置校正的二阶矩估计代入到以下式子,即可求出在第t次迭代中所需要优化的变量θt-1
CN201910323439.0A 2019-04-22 2019-04-22 一种结合支持向量机和投影矩阵的多标签分类方法 Pending CN110232397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910323439.0A CN110232397A (zh) 2019-04-22 2019-04-22 一种结合支持向量机和投影矩阵的多标签分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910323439.0A CN110232397A (zh) 2019-04-22 2019-04-22 一种结合支持向量机和投影矩阵的多标签分类方法

Publications (1)

Publication Number Publication Date
CN110232397A true CN110232397A (zh) 2019-09-13

Family

ID=67860834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910323439.0A Pending CN110232397A (zh) 2019-04-22 2019-04-22 一种结合支持向量机和投影矩阵的多标签分类方法

Country Status (1)

Country Link
CN (1) CN110232397A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930399A (zh) * 2019-12-10 2020-03-27 南京医科大学 基于支持向量机的tka术前临床分期智能评估方法
CN111856444A (zh) * 2020-07-30 2020-10-30 重庆市计量质量检测研究院 一种基于uwb多目标定位追踪方法
CN114186065A (zh) * 2022-02-14 2022-03-15 苏州浪潮智能科技有限公司 一种分类结果校正方法、系统、设备以及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930399A (zh) * 2019-12-10 2020-03-27 南京医科大学 基于支持向量机的tka术前临床分期智能评估方法
CN111856444A (zh) * 2020-07-30 2020-10-30 重庆市计量质量检测研究院 一种基于uwb多目标定位追踪方法
CN114186065A (zh) * 2022-02-14 2022-03-15 苏州浪潮智能科技有限公司 一种分类结果校正方法、系统、设备以及介质

Similar Documents

Publication Publication Date Title
Zhang et al. A return-cost-based binary firefly algorithm for feature selection
Bifet et al. New ensemble methods for evolving data streams
US20120215727A1 (en) Automatic data cleaning for machine learning classifiers
CN106845717A (zh) 一种基于多模型融合策略的能源效率评价方法
CN110046262A (zh) 一种基于法律专家知识库的上下文推理方法
CN103559504A (zh) 图像目标类别识别方法及装置
CN110232397A (zh) 一种结合支持向量机和投影矩阵的多标签分类方法
Khosravi et al. Structure learning for Markov logic networks with many descriptive attributes
CN107301604A (zh) 多模型融合评价系统
CN113626607B (zh) 异常工单识别方法、装置、电子设备及可读存储介质
Liu et al. Eagle-eyed multitask CNNs for aerial image retrieval and scene classification
CN108984830A (zh) 一种基于模糊网络分析的建筑能效评价方法及装置
Wang et al. Application research of ensemble learning frameworks
CN113762703A (zh) 确定企业画像的方法和装置、计算设备和存储介质
CN115293919A (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
CN116821373A (zh) 基于图谱的prompt推荐方法、装置、设备及介质
Ishwaran et al. randomForestSRC: getting started with randomForestSRC vignette
CN116244484B (zh) 一种面向不平衡数据的联邦跨模态检索方法及系统
Chow et al. A new feature selection scheme using a data distribution factor for unsupervised nominal data
CN114595695B (zh) 一种用于少样本意图识别系统的自训练模型构建方法
Jiang et al. A classification algorithm based on weighted ML-kNN for multi-label data
Lu et al. Combining multiple clusterings using fast simulated annealing
Xin [Retracted] Application of Optimized Support Vector Machine Model in Tax Forecasting System
Liu Research on Naive Bayes Integration Method based on Kmeans++ digital teaching clustering
Luo et al. Active learning of classification models from soft-labeled groups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190913

RJ01 Rejection of invention patent application after publication