CN113673685A - 基于流形学习的数据嵌入方法 - Google Patents

基于流形学习的数据嵌入方法 Download PDF

Info

Publication number
CN113673685A
CN113673685A CN202111014241.8A CN202111014241A CN113673685A CN 113673685 A CN113673685 A CN 113673685A CN 202111014241 A CN202111014241 A CN 202111014241A CN 113673685 A CN113673685 A CN 113673685A
Authority
CN
China
Prior art keywords
data
semantic
network
distance
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111014241.8A
Other languages
English (en)
Other versions
CN113673685B (zh
Inventor
臧泽林
徐永杰
李子青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202111014241.8A priority Critical patent/CN113673685B/zh
Publication of CN113673685A publication Critical patent/CN113673685A/zh
Application granted granted Critical
Publication of CN113673685B publication Critical patent/CN113673685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度流形学习，尤其涉及基于流形学习的数据嵌入方法，设计语义网络和嵌入网络，在潜在空间中定义样本间的语义相似度，避免直接在输入空间中定义相似度引起的错误负样本问题，使用数据增强手段，生成样本的近邻样本，进而保证流形的连通性，为深度流形学习提供基础，设计语义缩放模块，迫使来自相同源数据的两个增强数据有更小的语义距离和更高的语义相似度，进而学习数据增强带来的先验知识。

Description

基于流形学习的数据嵌入方法
技术领域
本发明涉及深度流形学习，尤其涉及基于流形学习的数据嵌入方法。
背景技术
数据嵌入任务常常借助于流形学习方法，流形学习是一类无监督的估计器，旨在将为嵌入高维空间的低维流形映射到合理的低维空间完成多种下游任务 (如聚类、可视化、社群发现等)。深度流形学习期望使用深度神经网络提高流形学学习的嵌入和泛化能力。不过目前大多数流形学习方法不能处理不充分流形观测数据(复杂、文本等数据这是因为大多数复杂的流形数据具有超高的维度(超过10000维)，而且只有非常不充分的观测；例如，ImageNet的维度是 224*224*3，但样本总数只有1280K，平均每个维度只有1280K/(224*224*3)＝8.5 pic/dim个图片。而在实际情况高维空间的指数广阔性性会使得不充分更为严重，导致在高维空间中获得足够的采样样本成为一个伪命题。经典(深度)流形学习假设流形局部具有连通性，因此当流形复杂、采样不充分时经典流形学习往往不能有效工作。以图1中的高维图像数据为例：随着流形数据逐渐复杂化(维度变高、流形结构变复杂、相对采样变不充分)，对流形制定次数的观测逐渐变得不充分，导致所有的深度流形学习方法逐渐失效。
综上，目前大多数(深度)流形学习方法不能处理复杂的流形数据(图像、文本等)，这是因为大多数复杂的流形数据具有超高的维度(超过10000维)，而且只有非常不充分的观测；当前方法可以应用于多种数据(流形数据、图像数据、图结构数据等)，需要针对不同种类的数据特异性设计算法步骤完成嵌入。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种通过生成样本保证流动性，进而完成深度流形学习的基于流形学习的数据嵌入方法。
本发明是通过以下技术方案实现的：一种基于流形学习的数据嵌入方法，包括以下步骤，
S1，设计语义网络，所述语义网络用于将数据从输入空间映射到语义空间；
S2，设计嵌入网络，所述嵌入网络用于将数据从语义空间映射到嵌入空间；
S3，数据增广，对数据[x1,x2,…,xN]进行u次数据增广获得增广后的数据 V＝{[v1,1,v1,2,…,v1,N],…,[vu,1,vu,2,…,vu,N]}；[v1,1,v1,2,…,v1,N]为1次数据增广后的结果；
S4，从V中取任意B组数据，B为网络训练的batch数量一般设定为256，每一组数据为两个个增广后的数据vb,i,vb,j，将数据通过语义网络映射到语义空间，得到数据zb,i,zb,j，b为组的索引；
S5，将数据zi,zj通过嵌入网络映射到嵌入空间中，得到数据eb,i,eb,j；
S6，计算在语义空间中两个点zb,i,zb,j的距离
Figure RE-GDA00032826418700000210
S7，进行距离的语义缩放，判断两个点zb,i,zb,j对应的两个点vb,i,vb,j是否是来自同一个原始数据，如果来自于同一个原始数据，则计算语义距离，拉近zb,i,zb,j的语义距离
Figure RE-GDA0003282641870000021
其中M为拉近系数，否则正常通过旅行距离计算语义距离；
S8，使用核函数一将语义距离
Figure RE-GDA0003282641870000022
转化为语义相似度
Figure RE-GDA0003282641870000023
S9，计算在嵌入空间中两个点eb,i,eb,j的距离
Figure RE-GDA0003282641870000024
S10，使用核函数将二距离
Figure RE-GDA0003282641870000025
转化为语义相似度
Figure RE-GDA0003282641870000026
S11，使用损失函数Lb度量第b组数据的
Figure RE-GDA0003282641870000027
两个相似度的差异，
Figure RE-GDA0003282641870000028
然后将b组数据的损失函数求和得到总的损失函数：
Figure RE-GDA0003282641870000029
S12，使用反向传播方法,求L关于语义网络、嵌入网络的参数的偏导数，然后根据偏导数调整语义网络、嵌入网络的参数，至语义网络、嵌入网络收敛，得到嵌入空间的嵌入。
进一步地，步骤S1中，所述语义网络选用MLP、CNN、RNN其中的一种。
进一步地，步骤S2中，所述嵌入网络选用MLP、CNN、RNN其中的一种。
进一步地，步骤S3中，所述数据增广基于列表数据的mixup增广方式、RC(·)、 CJ(·)、GB(·)其中的一种或者多种，其中RC(·)为随机切割、CJ(·)为颜色扰动、 GB(·)为高斯模糊。
进一步地，步骤S6中，距离
Figure RE-GDA0003282641870000031
的计算选用De(a,b)、Dc(a,b)、Dm(a,b)其中的一种，其中De(a,b)为欧式距离、Dc(a,b)为余弦距离、Dm(a,b)为曼哈顿距离。
进一步地，步骤S7中，语义缩放的方法为
Figure RE-GDA0003282641870000032
其中M为超参数, 取值M＝10。
进一步地，步骤S8中，所述核函数一选用Sg(·)、St(·)、Sγ(·)其中的一种，其中Sg(·)为高斯核函数、St(·)为t分布核函数、Sγ(·)为gamma函数。
进一步地，步骤S9中，距离
Figure RE-GDA0003282641870000033
的计算选用De(a,b)、Dc(a,b)、Dm(a,b)其中的一种。
进一步地，步骤S10中，所述核函数二选用Sg(·)、St(·)、Sγ(·)其中的一种。
本发明的有益效果在于：基于流形学习的数据嵌入方法，设计语义网络和嵌入网络，在潜在空间中定义样本间的语义相似度，避免直接在输入空间中定义相似度引起的错误负样本问题，使用数据增强手段，生成样本的近邻样本，进而保证流形的连通性，为深度流形学习提供基础，设计语义缩放模块，迫使来自相同源数据的两个增强数据有更小的语义距离和更高的语义相似度，进而学习数据增强带来的先验知识。
附图说明
图1为传统流形学习的效果图；
图2为传统流形学习的计算框架；
图3为实施例1的计算框架；
图4为基于基线方法的可视化效果图；
图5为实施例1的可视化效果图。
具体实施方式
下面将结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图3所示，一种基于流形学习的数据嵌入方法，其特征在于，包括以下步骤，
S1，设计语义网络，语义网络用于将数据从输入空间映射到语义空间，本实施例中，语义网络为CNN1(·)；
S2，设计嵌入网络，嵌入网络用于将数据从语义空间映射到嵌入空间，本实施例中，嵌入网络为CNN2(·)；
S3，数据增广，对数据[x1,x2,…,xN]进行u次数据增广获得增广后的数据 V＝{[v1,1,v1,2,…,v1,N],…,[vu,1,vu,2,…,vu,N]}；[v1,1,v1,2,…,v1,N]为1次数据增广后的结果，本实施例中，数据增广通过公式一实现，公式一， v1＝CJ(GB(RC(x1)))；
S4，从V中取任意B组数据，B为网络训练的batch数量，设定为256，每一组数据为两个增广后的数据vb,i,vb,j，将数据通过语义网络映射到语义空间，得到数据zb,i,zb,j，b为组的索引，语义网络选用CNN网络；
S5，将数据zi,zj通过嵌入网络映射到嵌入空间中，得到数据eb,i,eb,j，ei＝CNN1(zi),ej＝CNN1(zj)；
S6，计算在语义空间中两个点zb,i,zb,j的距离
Figure RE-GDA0003282641870000041
S7，进行距离的语义缩放，判断两个点zb,i,zb,j对应的两个点vb,i,vb,j是否是来自同一个原始数据，如果来自于同一个原始数据，则计算语义距离，拉近zb,i,zb,j的语义距离
Figure RE-GDA0003282641870000051
其中M为拉近系数，取值M＝10，否则正常通过旅行距离计算语义距离；
S8，使用核函数一将语义距离
Figure RE-GDA0003282641870000052
转化为语义相似度
Figure RE-GDA0003282641870000053
核函数一为
Figure RE-GDA0003282641870000054
S9，计算在嵌入空间中两个点eb,i,eb,j的距离
Figure RE-GDA0003282641870000055
S10，使用核函数二将距离
Figure RE-GDA0003282641870000056
转化为语义相似度
Figure RE-GDA0003282641870000057
核函数二为
Figure RE-GDA0003282641870000058
S11，使用损失函数Lb度量第b组数据的
Figure RE-GDA0003282641870000059
两个相似度的差异，
Figure RE-GDA00032826418700000510
然后将b组数据的损失函数求和得到总的损失函数：
Figure RE-GDA00032826418700000511
S12，使用反向传播方法，求L关于语义网络、嵌入网络的参数的偏导数，然后根据偏导数以传统神经网络训练方式调整语义网络、嵌入网络的参数，至语义网络、嵌入网络收敛，得到嵌入空间的嵌入，传统神经网络训练方式可以选用梯度下降法。
传统流形学习方法，假设流形进行了非常充分的采样，当我们不能拿到充分的采样数据时，就没有办法完成学习，本方法使用数据增强手段，人工生成样本的近邻样本，通过人工生成的样本保证流行的连通性，完成深度流行学习。
本方法，设计了两个子网络，并且在潜空间中定义样本间的语义相似度，这样定义由于直接在输入空间定义相似度。因为在输入空间中定义会遇到对比学习常见的错误负样本问题。本专利可以避免错误负样本问题。
算法可以应用到表格数据，生物数据图像数据等数据，不需要改变算法结构。
本实施例提供的基于流形学习的数据嵌入方法，在表格数据和生物学数据上的嵌入任务上，我们提出的方法在分类acc和流形完整性指标上有优秀的表现，如附表1和附图5。
附表1
Figure RE-GDA0003282641870000061
由附表1及附图4、5可以知道，本专利方法在ACC指标在5个测试数据集优于大部分先进方法，在可视化上可以有效的发现数据的全局和局部结构。
本实施例提供的基于流形学习的数据嵌入方法，在图像嵌入任务上，线性测试分类ACC指标见附表2，聚类指标见附表3。
附表2
Figure RE-GDA0003282641870000062
附表3
Figure RE-GDA0003282641870000071
由附表2和附表3可以知道，本发明在线性测试分类ACC和聚类上，均有优异的表现。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于流形学习的数据嵌入方法，其特征在于，包括以下步骤，
S1，设计语义网络，所述语义网络用于将数据从输入空间映射到语义空间；
S2，设计嵌入网络，所述嵌入网络用于将数据从语义空间映射到嵌入空间；
S3，数据增广，对数据[x1,x2,…,xN]进行u次数据增广获得增广后的数据V＝{[v1,1,v1,2,…,v1,N],…,[vu,1,vu,2,…,vu,N]}；[v1,1,v1,2,…,v1,N]为1次数据增广后的结果；
S4，从V中取任意B组数据，B为网络训练的batch数量，设定为256，每一组数据为两个增广后的数据vb,i,vb,j，将数据通过语义网络映射到语义空间，得到数据zb,i,zb,j，b为组的索引；
S5，将数据zi,zj通过嵌入网络映射到嵌入空间中，得到数据eb,i,eb,j；
S6，计算在语义空间中两个点zb,i,zb,j的距离
Figure RE-FDA0003282641860000011
S7，进行距离的语义缩放，判断两个点zb,i,zb,j对应的两个点vb,i,vb,j是否是来自同一个原始数据，如果来自于同一个原始数据，则计算语义距离，拉近zb,i,zb,j的语义距离
Figure RE-FDA0003282641860000012
其中M为拉近系数，否则正常通过旅行距离计算语义距离；
S8，使用核函数一将语义距离
Figure RE-FDA0003282641860000013
转化为语义相似度
Figure RE-FDA0003282641860000014
S9，计算在嵌入空间中两个点eb,i,eb,j的距离
Figure RE-FDA0003282641860000015
S10，使用核函数二将距离
Figure RE-FDA0003282641860000016
转化为语义相似度
Figure RE-FDA0003282641860000017
S11，使用损失函数Lb度量第b组数据的
Figure RE-FDA0003282641860000018
Figure RE-FDA0003282641860000019
两个相似度的差异，
Figure RE-FDA00032826418600000110
然后将b组数据的损失函数求和得到总的损失函数：
Figure RE-FDA00032826418600000111
S12，使用反向传播方法，求L关于语义网络、嵌入网络的参数的偏导数，然后根据偏导数以神经网络训练方式调整语义网络、嵌入网络的参数，至语义网络、嵌入网络收敛，得到嵌入空间的嵌入。
2.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S1中，所述语义网络选用MLP、CNN、RNN其中的一种。
3.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S2中，所述嵌入网络选用MLP、CNN、RNN其中的一种。
4.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S3中，所述数据增广基于列表数据的mixup增广方式、RC(·)、CJ(·)、GB(·)其中的一种或者多种。
5.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S6中，距离
Figure RE-FDA0003282641860000021
的计算选用De(a,b)、Dc(a,b)、Dm(a,b)其中的一种。
6.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S7中，语义缩放的方法为
Figure RE-FDA0003282641860000022
其中M为超参数，取值M＝10。
7.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S8中，所述核函数一选用Sg(·)、St(·)、Sγ(·)其中的一种。
8.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S9中，距离
Figure RE-FDA0003282641860000023
的计算选用De(a,b)、Dc(a,b)、Dm(a,b)其中的一种。
9.根据权利要求1所述的基于流形学习的数据嵌入方法，其特征在于，步骤S10中，所述核函数二选用Sg(·)、St(·)、Sγ(·)其中的一种。
CN202111014241.8A 2021-08-31 2021-08-31 基于流形学习的数据嵌入方法 Active CN113673685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111014241.8A CN113673685B (zh) 2021-08-31 2021-08-31 基于流形学习的数据嵌入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111014241.8A CN113673685B (zh) 2021-08-31 2021-08-31 基于流形学习的数据嵌入方法

Publications (2)

Publication Number Publication Date
CN113673685A true CN113673685A (zh) 2021-11-19
CN113673685B CN113673685B (zh) 2024-03-15

Family

ID=78547707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111014241.8A Active CN113673685B (zh) 2021-08-31 2021-08-31 基于流形学习的数据嵌入方法

Country Status (1)

Country Link
CN (1) CN113673685B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050639A1 (en) * 2017-08-09 2019-02-14 Open Text Sa Ulc Systems and methods for generating and using semantic images in deep learning for classification and data extraction
CN110135459A (zh) * 2019-04-15 2019-08-16 天津大学 一种基于双三元组深度度量学习网络的零样本分类方法
CN110502743A (zh) * 2019-07-12 2019-11-26 北京邮电大学 基于对抗学习和语义相似度的社交网络跨媒体搜索方法
CN112766386A (zh) * 2021-01-25 2021-05-07 大连理工大学 一种基于多输入多输出融合网络的广义零样本学习方法
CN113298096A (zh) * 2021-07-07 2021-08-24 中国人民解放军国防科技大学 训练零样本分类模型的方法、系统、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050639A1 (en) * 2017-08-09 2019-02-14 Open Text Sa Ulc Systems and methods for generating and using semantic images in deep learning for classification and data extraction
CN110135459A (zh) * 2019-04-15 2019-08-16 天津大学 一种基于双三元组深度度量学习网络的零样本分类方法
CN110502743A (zh) * 2019-07-12 2019-11-26 北京邮电大学 基于对抗学习和语义相似度的社交网络跨媒体搜索方法
CN112766386A (zh) * 2021-01-25 2021-05-07 大连理工大学 一种基于多输入多输出融合网络的广义零样本学习方法
CN113298096A (zh) * 2021-07-07 2021-08-24 中国人民解放军国防科技大学 训练零样本分类模型的方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113673685B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
Tahir et al. An open-ended continual learning for food recognition using class incremental extreme learning machines
Unnikrishnan et al. Toward objective evaluation of image segmentation algorithms
WO2019001070A1 (zh) 一种基于邻接矩阵的连接信息规整系统、图特征提取系统、图分类系统和方法
CN108492200A (zh) 一种基于卷积神经网络的用户属性推断方法和装置
CN109740686A (zh) 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN111738303B (zh) 一种基于层次学习的长尾分布图像识别方法
Shafipour et al. Online topology inference from streaming stationary graph signals with partial connectivity information
WO2022205502A1 (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
Zhou et al. Accurate and robust non-rigid point set registration using student’st mixture model with prior probability modeling
Huang et al. Sketch-based subspace clustering of hyperspectral images
CN115587626A (zh) 异质图神经网络属性补全方法
Chugh et al. An image retrieval framework design analysis using saliency structure and color difference histogram
Zhang et al. Improving deep learning-based cloud detection for satellite images with attention mechanism
Zhang et al. Anlpt: Self-adaptive and non-local patch-tensor model for infrared small target detection
CN109978069B (zh) 降低ResNeXt模型在图片分类中过拟合现象的方法
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
Dhanalakshmi et al. Tomato leaf disease identification by modified inception based sequential convolution neural networks
Zhao et al. SPA-net: A Deep learning approach enhanced using a span-partial structure and attention mechanism for image copy-move forgery detection
CN112232147B (zh) 用于人脸模型超参数自适应获取的方法、装置和系统
Ilyas et al. Exploiting superpixels for multi-focus image fusion
Jiang et al. ShrimpSeg: a local–global structure for the mantis shrimp point cloud segmentation network with contextual reasoning
CN113673685B (zh) 基于流形学习的数据嵌入方法
Pan et al. Semi-supervised spatial–spectral classification for hyperspectral image based on three-dimensional Gabor and co-selection self-training
Zhu et al. Super-resolved image perceptual quality improvement via multifeature discriminators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant