CN114445660A - 一种细粒度图像识别方法 - Google Patents

一种细粒度图像识别方法 Download PDF

Info

Publication number
CN114445660A
CN114445660A CN202210069959.5A CN202210069959A CN114445660A CN 114445660 A CN114445660 A CN 114445660A CN 202210069959 A CN202210069959 A CN 202210069959A CN 114445660 A CN114445660 A CN 114445660A
Authority
CN
China
Prior art keywords
heterogeneous network
fine
grained
network
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210069959.5A
Other languages
English (en)
Other versions
CN114445660B (zh
Inventor
余鹰
汤洪
钱进
蔡震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202210069959.5A priority Critical patent/CN114445660B/zh
Publication of CN114445660A publication Critical patent/CN114445660A/zh
Application granted granted Critical
Publication of CN114445660B publication Critical patent/CN114445660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于细粒度图像识别技术领域，提出了一种细粒度图像识别方法，包括如下步骤：选择能从不同层面、不同视角刻画图像的异构网络C和异构网络T；并将异构网络C和异构网络T的神经网络训练，将细粒度RGB图像送入已训练的异构网络C和异构网络T，得到高维嵌入特征向量EC和高维嵌入特征向量ET；使用PCA算法，分别对图像集EC和ET所组成的特征矩阵MC和MT进行PCA降维，得到E'C和E'T；使用CCA算法，将E'C和E'T所组成的降维特征矩阵M'C和M'T进行典型相关性分析，得到共同表示变换向量VC和VT；将降维特征矩阵M'C和M'T各自乘以变换向量VC和VT，得到
Figure DDA0003481722490000011
和
Figure DDA0003481722490000012
将
Figure DDA0003481722490000013
和
Figure DDA0003481722490000014
进行拼接操作，得到关于图像的深层语义异构共同表示特征FC；将图像的深层语义异构共同表示特征FC送入分类器，得到图像的精准识别结果。

Description

一种细粒度图像识别方法
技术领域
本发明属于细粒度图像识别技术领域，具体涉及一种细粒度图像识别方法。
背景技术
在智能零售、智慧农业、生态系统保护等领域，使用计算机视觉技术来精准识别零售商品具体的种类，商家可以用这些信息来对客户做更加精准的推荐、农业虫害叶片疾病种类识别可以减少化学品滥用，例如：有两种果树害虫，他们会侵害果树叶片，如果不仔细从叶片上判断是不知道具体是哪一种害虫，如果使用两种杀虫剂势必会造成不必要的浪费，如果使用一种杀虫剂也可能会增加另一种害虫的耐药性；珍稀动物发现设备在工作中需要降低对无关同种类的响应，例如：在一个海洋区域内有两种鲸鱼，一种不太重要的鲸鱼数目较多，重要的鲸鱼数量很少，他们之间非常像，如果使用人工的方式需要专家级别的人员。
细粒度图像识别技术就是在这种背景下得到了极大的发展。细粒度图像识别技术通过分析图像的某种特征或者某些特征组合来共同判断图像中物体的类别。
由于物体的部分遮挡，光照变化，姿态变化，背景干扰等因素导致相同子类之间差异大，又因为不同子类同属一种超类导致类间差异小，如附图1所示。现有方法大多数使用深度学习来实现，通过设计一种神经网络模型，选择或者设计一种或多种损失函数，通过优化损失函数来进行反向传播更新网络参数，直到网络损失函数降到足够低时模型训练完毕，使用这个神经网络提取的高维嵌入特征来进行分类判断。还有的方法针对图像提取手工特征和多种深度学习特征进行结合来分类。这些方法一般存在准确率不高或者网络过于复杂的特点，会使得在实际应用中存在误判高，延迟高等问题。
发明内容
本发明旨在提供一种细粒度图像识别方法，以充分挖掘内部的异构相关性语义，将变换后的特征向量进行拼接融合，得到深层语义异构共同表示特征向量，再使用这个向量去做分类，获得极好的识别效果。
为达到上述目的，本发明采用如下技术方案：一种细粒度图像识别方法，包括如下步骤：
S1：选择能从不同层面、不同视角刻画图像的异构网络C和异构网络T；
S2：将细粒度RGB图像数据集送入异构网络C和异构网络T，进行异构网络C和异构网络T的神经网络训练，直至异构网络C和异构网络T的损失值趋近于0时，停止异构网络C和异构网络T的神经网络训练；
S3：将细粒度RGB图像送入已训练的异构网络C中，通过网络前向传播结果得到：异构网络C对于图像表达的高维嵌入特征向量EC；
S4：将细粒度RGB图像进行处理，得到适合异构网络T的输入表示，并将处理后的细粒度RGB图像送入已训练的异构网络T中，通过网络前向传播结果得到：异构网络T对于图像表达的高维嵌入特征向量ET；
S5:使用PCA算法，分别对图像集EC和ET所组成的特征矩阵MC和MT进行PCA降维，得到每张图像降维后的特征向量表示E'C和E'T；
S6：使用CCA算法，将E'C和E'T所组成的降维特征矩阵M'C和M'T进行典型相关性分析，得到共同表示变换向量VC和VT；
S7：将降维特征矩阵M'C和M'T各自乘以变换向量VC和VT，得到
Figure BDA0003481722470000031
和
Figure BDA0003481722470000032
S8：将
Figure BDA0003481722470000033
和
Figure BDA0003481722470000034
进行拼接操作，得到关于图像的深层语义异构共同表示特征FC。
S9：将图像的深层语义异构共同表示特征FC送入分类器，得到图像的精准识别结果。
在本发明的一种优选实施方式中，S2中，异构网络C的神经网络训练步骤如下，步骤一：将细粒度RGB图像数据集送入异构网络C中，通过网络前向传播得到识别结果，再根据识别结果计算损失；步骤二：根据损失进行反向传播更新优化异构网络C的参数；步骤三：重复步骤一和步骤二，损失值达趋近于0并基本保证恒定，停止训练异构网络C的神经网络训练。
在本发明的一种优选实施方式中，S2中，异构网络T的神经网络训练步骤如下，步骤一：将细粒度RGB图像数据集进行处理，得到适合异构网络T的输入表示；步骤二：将处理完的细粒度RGB图像数据集表示送入异构网络T中，通过网络前向传播得到识别结果，再根据识别结果计算损失；步骤三：根据损失进行反向传播更新优化异构网络T的参数；步骤四：重复步骤一至步骤三，损失值达趋近于0并基本保证恒定，停止训练异构网络T的神经网络训练。
在本发明的一种优选实施方式中，E'C和E'T是比EC和ET维度更低的特征向量。
本发明的原理以及有益效果：本发明通过只选取两种异构深度神经网络，先分别进行训练，然后各自获得较好的识别性能时，再通过PCA算法对特征进行降维，再将降维特征向量使用CCA进行典型相关分析，充分挖掘内部的异构相关性语义，将变换后的特征向量进行拼接融合，得到深层语义异构共同表示特征向量，再使用这个向量去做分类就能获得极好的识别效果。本发明方法在保证低延时的情况下能够做到高识别率，适用于智能零售、智慧农业、生态系统保护等领域。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是背景技术举例图。
图2是本申请实施例中的细粒度图像识别方法的流程示意图。
图3是本申请实施例中的异构网络C的流程示意图。
图4是本申请实施例中的异构网络T的流程示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“竖向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例
基本如附图2、附图3和附图4所示，一种细粒度图像识别方法，使用异构特征提取模块、特征降维处理模块以及异构深层语义特征融合模块，包括如下步骤：
异构特征提取模块：
S1：选择能从不同层面、不同视角刻画图像的异构网络C和异构网络T；
S2：将细粒度RGB图像数据集送入异构网络C和异构网络T，进行异构网络C和异构网络T的神经网络训练，直至异构网络C和异构网络T的损失值趋近于0并基本保证恒定时，停止异构网络C和异构网络T的神经网络训练；
异构网络C的神经网络训练步骤如下：步骤一：将细粒度RGB图像数据集送入异构网络C中，通过网络前向传播得到识别结果，再根据识别结果计算损失；步骤二：根据损失进行反向传播更新优化异构网络C的参数；步骤三：重复步骤一和步骤二，损失值达趋近于0并基本保证恒定，停止训练异构网络C的神经网络训练；
异构网络T的神经网络训练步骤如下，步骤一：将细粒度RGB图像数据集进行处理，得到适合异构网络T的输入表示；步骤二：将处理完的细粒度RGB图像数据集表示送入异构网络T中，通过网络前向传播得到识别结果，再根据识别结果计算损失；步骤三：根据损失进行反向传播更新优化异构网络T的参数；步骤四：重复步骤一至步骤三，损失值达趋近于0并基本保证恒定时，停止训练异构网络T的神经网络训练。
S3：将细粒度RGB图像送入已训练的异构网络C中，通过网络前向传播结果得到：异构网络C对于图像表达的高维嵌入特征向量EC；
S4：将细粒度RGB图像进行处理，得到适合异构网络T的输入表示，并将处理后的细粒度RGB图像送入已训练的异构网络T中，通过网络前向传播结果得到：异构网络T对于图像表达的高维嵌入特征向量ET；
特征降维处理模块：
S5:使用PCA算法，分别对图像集EC和ET所组成的特征矩阵MC和MT进行PCA降维，得到每张图像降维后的特征向量表示E'C和E'T，其中E'C和E'T是比EC和ET维度更低的特征向量；
S6：使用CCA算法，将E'C和E'T所组成的降维特征矩阵M'C和M'T进行典型相关性分析，得到共同表示变换向量VC和VT；
S7：将降维特征矩阵M'C和M'T各自乘以变换向量VC和VT，得到
Figure BDA0003481722470000071
和
Figure BDA0003481722470000072
异构深层语义特征融合模块：
S8：将
Figure BDA0003481722470000073
和
Figure BDA0003481722470000074
进行拼接操作，得到关于图像的深层语义异构共同表示特征FC。
S9：将图像的深层语义异构共同表示特征FC送入分类器，得到图像的精准识别结果。
综上所述，异构特征提取时，将图像进行异构特征提取得到两种不同的，但都能在一定程度上表达图像内容的高维嵌入特征向量EC和ET。特征降维处理时，分别将这两种高维嵌入特征向量进行各自合适的降维，得到降维后的特征向量E'C和E'T。异构深层语义特征融合时，将这两个特征进行典型相关性分析，找出特征之间的相关性并投影到同一语义空间得到变换特征
Figure BDA0003481722470000075
和
Figure BDA0003481722470000076
对两个特征进行拼接融合可以得到深层语义异构共同表示特征FC，此特征维度为相关性变换特征维度之和。利用这个提取出来的共同表示特征进行分类，可以在不过多增加方法复杂度的情况下，得到更加精确的识别结果。
在本说明书的描述中，参考术语“优选的实施方式”、“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种细粒度图像识别方法，其特征在于，包括如下步骤：
S1：选择能从不同层面、不同视角刻画图像的异构网络C和异构网络T；
S2：将细粒度RGB图像数据集送入异构网络C和异构网络T，进行异构网络C和异构网络T的神经网络训练，直至异构网络C和异构网络T的损失值趋近于0时，停止异构网络C和异构网络T的神经网络训练；
S3：将细粒度RGB图像送入已训练的异构网络C中，通过网络前向传播结果得到：异构网络C对于图像表达的高维嵌入特征向量EC；
S4：将细粒度RGB图像进行处理，得到适合异构网络T的输入表示，并将处理后的细粒度RGB图像送入已训练的异构网络T中，通过网络前向传播结果得到：异构网络T对于图像表达的高维嵌入特征向量ET；
S5:使用PCA算法，分别对图像集EC和ET所组成的特征矩阵MC和MT进行PCA降维，得到每张图像降维后的特征向量表示E'C和E'T；
S6：使用CCA算法，将E'C和E'T所组成的降维特征矩阵M'C和M'T进行典型相关性分析，得到共同表示变换向量VC和VT；
S7：将降维特征矩阵M'C和M'T各自乘以变换向量VC和VT，得到
Figure FDA0003481722460000011
和
Figure FDA0003481722460000012
S8：将
Figure FDA0003481722460000013
和
Figure FDA0003481722460000014
进行拼接操作，得到关于图像的深层语义异构共同表示特征FC；
S9：将图像的深层语义异构共同表示特征FC送入分类器，得到图像的精准识别结果。
2.如权利要求1所述的细粒度图像识别方法，其特征在于，S2中，异构网络C的神经网络训练步骤如下：
步骤一：将细粒度RGB图像数据集送入异构网络C中，通过网络前向传播得到识别结果，再根据识别结果计算损失；
步骤二：根据损失进行反向传播更新优化异构网络C的参数；
步骤三：重复步骤一和步骤二，损失值达趋近于0并基本保证恒定，停止训练异构网络C的神经网络训练。
3.如权利要求1所述的细粒度图像识别方法，其特征在于，S2中，异构网络T的神经网络训练步骤如下：
步骤一：将细粒度RGB图像数据集进行处理，得到适合异构网络T的输入表示；
步骤二：将处理完的细粒度RGB图像数据集表示送入异构网络T中，通过网络前向传播得到识别结果，再根据识别结果计算损失；
步骤三：根据损失进行反向传播更新优化异构网络T的参数；
步骤四：重复步骤一至步骤三，损失值达趋近于0并基本保证恒定，停止训练异构网络T的神经网络训练。
4.如权利要求1所述的细粒度图像识别方法，其特征在于，E'C和E'T是比EC和ET维度更低的特征向量。
CN202210069959.5A 2022-01-21 2022-01-21 一种细粒度图像识别方法 Active CN114445660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210069959.5A CN114445660B (zh) 2022-01-21 2022-01-21 一种细粒度图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210069959.5A CN114445660B (zh) 2022-01-21 2022-01-21 一种细粒度图像识别方法

Publications (2)

Publication Number Publication Date
CN114445660A true CN114445660A (zh) 2022-05-06
CN114445660B CN114445660B (zh) 2023-04-07

Family

ID=81367217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210069959.5A Active CN114445660B (zh) 2022-01-21 2022-01-21 一种细粒度图像识别方法

Country Status (1)

Country Link
CN (1) CN114445660B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239827A (zh) * 2017-06-18 2017-10-10 北京理工大学 一种基于人工神经网络的空间信息学习方法
CN109740652A (zh) * 2018-12-24 2019-05-10 深圳大学 一种病理图像分类方法和计算机设备
CN113128593A (zh) * 2021-04-20 2021-07-16 南京林业大学 一种基于双线性卷积神经网络的植物细粒度识别方法
CN113836338A (zh) * 2021-07-21 2021-12-24 北京邮电大学 细粒度图像分类方法、装置、存储介质及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239827A (zh) * 2017-06-18 2017-10-10 北京理工大学 一种基于人工神经网络的空间信息学习方法
CN109740652A (zh) * 2018-12-24 2019-05-10 深圳大学 一种病理图像分类方法和计算机设备
CN113128593A (zh) * 2021-04-20 2021-07-16 南京林业大学 一种基于双线性卷积神经网络的植物细粒度识别方法
CN113836338A (zh) * 2021-07-21 2021-12-24 北京邮电大学 细粒度图像分类方法、装置、存储介质及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蓝洁;周欣;何小海;滕奇志;卿粼波;: "基于跨层精简双线性网络的细粒度鸟类识别" *

Also Published As

Publication number Publication date
CN114445660B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Jiao et al. AF-RCNN: An anchor-free convolutional neural network for multi-categories agricultural pest detection
Dhingra et al. Study of digital image processing techniques for leaf disease detection and classification
CN110046631B (zh) 用于自动推断时空图像的变化的系统和方法
Kestur et al. UFCN: A fully convolutional neural network for road extraction in RGB imagery acquired by remote sensing from an unmanned aerial vehicle
US9633282B2 (en) Cross-trained convolutional neural networks using multimodal images
CN106682696B (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
US8401292B2 (en) Identifying high saliency regions in digital images
Wen et al. Local feature-based identification and classification for orchard insects
CN108460356A (zh) 一种基于监控系统的人脸图像自动处理系统
CN111639544A (zh) 基于多分支跨连接卷积神经网络的表情识别方法
CN113159300B (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN110070107A (zh) 物体识别方法及装置
CN109117781A (zh) 多属性识别模型的建立方法、装置及多属性识别方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN108345900B (zh) 基于颜色纹理分布特征的行人重识别方法及其系统
Lee et al. HGO-CNN: Hybrid generic-organ convolutional neural network for multi-organ plant classification
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN113128308A (zh) 一种港口场景下的行人检测方法、装置、设备及介质
Nga et al. Combining binary particle swarm optimization with support vector machine for enhancing rice varieties classification accuracy
CN108320281A (zh) 一种基于多特征扩散的图像显著性检测方法及终端
US20230154185A1 (en) Multi-source panoptic feature pyramid network
CN111414922B (zh) 特征提取方法、图像处理方法、模型训练方法及装置
Raja Kumar et al. Novel segmentation and classification algorithm for detection of tomato leaf disease
Zhang et al. A multi-species pest recognition and counting method based on a density map in the greenhouse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant