CN110008996B - 一种基于散度计算的异构域适应方法 - Google Patents
一种基于散度计算的异构域适应方法 Download PDFInfo
- Publication number
- CN110008996B CN110008996B CN201910167377.9A CN201910167377A CN110008996B CN 110008996 B CN110008996 B CN 110008996B CN 201910167377 A CN201910167377 A CN 201910167377A CN 110008996 B CN110008996 B CN 110008996B
- Authority
- CN
- China
- Prior art keywords
- data
- domain
- divergence
- matrix
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于散度计算的异构域适应方法,包括如下步骤:数据预处理;分别学习映射,将源域和目标域映射至同一共享子空间,同时利用最大均值差异(MMD)距离进行分布匹配,减小分布差异,并进行核化处理以适应非线性问题;遵循结构一致性,保证相近数据在映射后保持相近;引入正则项进行特征选择;通过散度计算进一步增加不同类别数据间的可分性,提高算法效率;综合优化。本发明采用迁移学习思想,通过对异构的源域及目标域数据分别进行映射和特征转换,得到具有相似特征及分布的子空间;并在异构应用中引入散度,利用散度特性进一步加强数据可分性,强化对具有不同特征不同分布的异构数据的分类,帮助提升目标任务的学习效果。
Description
技术领域
本发明涉及机器学习技术领域,具体涉及一种基于散度计算的异构域适应方法。
背景技术
采用机器学习算法进行分类研究,是机器视觉和模式识别领域的热门研究课题。分类算法旨在将目标对象划分至其所属的类。为保证模型的准确性和可靠性,传统分类学习存在两个基本假设:(1)训练集和测试集的样本满足独立同分布;(2)只有具有足够多的可用训练样本,才能得到好的分类模型。但在实际问题中,有标签样本数据往往很缺乏且很难获得;训练集与测试集大多分布不匹配。因此,如何利用少量的有标签训练样本或者源领域数据,建立一个可靠的模型,对具有不同数据分布的目标领域进行预测,成为亟待解决的问题。
迁移学习是运用已有知识,对不同但相关领域的问题进行求解的一种新的机器学习算法。它放宽了分类学习中的两个基本假设,旨在迁移源域中已有的知识,来解决目标领域中由于标签极少甚至没有而无法解决的学习问题。
作为迁移学习的强大分支,域适应希望利用源域中大量的标签信息来学习目标域的有效分类器,已经在许多领域得到了应用,如目标识别、图像分类和文本分类等。最初,该方法被广泛应用于同构问题,即源域与目标域具有相同的特征类型。但随着实际应用的扩展,很难确保总能找到由类似特征取样得到的源域和目标域。因此,对于训练集和测试集具有不同分布及特征的情况,异构域适应方法更具通用性和挑战性。
散度作为一个简单的几何函数,量化了一个分布距离其质心的平均平方距离。通过最大化整体散度和类间散度,并最小化类内散度,达到保留数据的总体可变性,并加强类的可分离型的目的,进一步缩小域之间的不匹配性,为域适应带来优秀的分类精度,获得令人满意的结果。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于散度计算的异构域适应方法,达到对来自不同分布和特征下的源域及目标域的有效迁移,并在异构域适应问题中引入散度计算,进一步提高数据可分离性,提高分类性能。
本发明的目的可以通过采取如下技术方案达到:
一种基于散度计算的异构域适应方法,包含以下步骤:
S1、对源域和目标域中的数据样本分别进行预处理,获取源域和目标域数据集XS和XT;
S2、假定源域及目标域分别存在映射AS和AT,将两者映射至潜在的共享子空间,并利用最大均值差异距离,即MMD距离,进行分布匹配,最小化两者的分布差异。为达到同时训练源域及目标域的目的,将源域及目标域的数据和映射分别重新组合得到数据X和映射A,进行同步训练。为适应非线性问题,可进一步引入核函数;
S3、根据流行学习引入结构一致性,保证经过分布匹配后的同类数据距离接近,同时对映射矩阵引入正则化,进行合理的特征选择;
S4、对源域数据最大化整体散度和类间散度,并最小化类内散度,在保留数据特性的同时,加强类别间的可分性,提高分类精度;
S5、结合上述步骤S1-S4,优化目标函数,得到最终映射矩阵,利用映射后的源域数据训练SVM分类器,对映射后的目标域数据进行标签预测。
进一步地,所述的步骤S1过程如下:
S11、分别选取源域及目标域数据样本XS1和XT1;
S12、对目标域数据中每个类,随机筛选三个样本,保留其标签,并将有标签样本置于数据集头部,得到XT2。通过以上处理可以提高分布匹配准确率,避免传统无监督学习可能导致的匹配偏差;
S13、对源域和目标域的数据样本XS1和XT2分别进行归一化处理,得到源域和目标域的数据集XS和XT。
进一步地,所述的MMD距离公式如下:
其中,MMD(XS,XT)表示源域和目标域的整体MMD距离,MMD0(XS,XT)和MMDC(XS,XT)分别表示源域及目标域间的边缘分布适配和条件分布适配,nS和nT分别表示源域和目标域数据数量,c为某个数据类别,和分别表示源域和目标域中第c类的数据数量,和分别表示源域第c类的所有数据和目标域第c类的所有数据,xS,i表示源域中第i个数据,xT,j表示目标域中第j个数据,xk表示源域第c类中的某个数据,xl表示目标域第c类中的某个数据。
进一步地,所述的步骤S2中将源域及目标域的数据和映射分别重新组合得到数据X和映射A具体如下:
进一步地,所述的步骤S2中还包括:
对于非线性问题,考虑核映射即ψ(X)=[ψ(x1),…ψ(xn)],可得核矩阵K=ψ(X)Tψ(X),故映射重写为A=ψ(X)P,其中P=[PS;PT]代表转化矩阵,为源域及目标域转化矩阵PS和PT的组合。
进一步地,所述的步骤S2中经过组合及核映射之后,MMD度量转化为如下计算:MMD=tr(PTKMK TP),其中,
进一步地,所述的步骤S3过程如下:
S31、将结构一致性问题转化为最小化如下函数:
其中zf和zg为相应数据xf和xg经过映射后所得的数据,n=nS+nT为源域及目标域数据数量之和,W为对称邻接矩阵,表示两数据间的相似度,其中每一项Nk(zg)为zg的k近邻,L=D-W为图拉普拉斯算符,其中D为对角矩阵,且对角项
S32、对映射矩阵引入l2,1范数:||P||2,1,进行合理的特征选择。
进一步地,所述的步骤S4中,整体散度为所有数据间的均方距离,类内散度为每个类中各数据间的均方距离,类间散度为各类均值间的均方距离,最终获得如下优化问题:其中,S=Sw-St-Sb为散度矩阵,为类内散度矩阵,为整体散度矩阵,为类间散度矩阵。且u为整体数据均值,uc为第c类数据的均值,C为类别c的集合,xm和xn分别代表数据集中的某个数据,为源域第c类数据。
最小化类内散度可以减小类内距离,使同类数据更加紧凑;最大化整体散度可以最大化整体数据方差,保留数据特性;最大化类间散度可以增大各类数据间的差异,提高数据可分性。因此,我们在异构域适应问题中引入散度计算,且不局限于常用的类内散度。此举可以更加完善的保留数据特征,并进一步增大各类数据之间的距离,提高数据可分性,优化分类结果。
进一步地,所述的步骤S5中,
本发明相对于现有技术具有如下的优点及效果:
(1)对来自不同域的数据样本分别学习其对应的映射,得到更加匹配的结果,避免学习单一映射导致的匹配差异。
(2)在分别学习各域对应映射的基础上,组合源域和目标域的数据及映射,达到同步训练的目的,保证两者被映射至同一潜在子空间。
(3)引入结构一致性和正则化,在保证同类数据紧凑的基础上进一步提取有用特征。
(4)在异构问题中进一步引入散度计算,且不局限于类内散度的计算,通过对源域数据最大化整体散度和类间散度,并最小化类内散度,更加完善的保留数据特征,并进一步增大各类数据之间的距离,提高数据可分性,优化分类结果。
附图说明
图1是本发明中公开的一种基于散度计算的异构域适应方法的流程图;
图2是本发明中分布匹配分类及目的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1所示,本实施例公开了一种基于散度计算的异构域适应方法,采用迁移学习思想,通过对异构的源域及目标域分别进行映射和特征转换,得到具有相似特征及分布的子空间。并在异构应用中引入散度,利用散度特性进一步加强数据可分性,帮助提升目标任务的学习效果。基于散度计算的异构域适应算法将散度应用与异构数据迁移相结合,是解决异构域适应问题的新技术。
该方法包括:数据预处理、分布匹配、结构一致性、正则化、散度计算以及整体优化步骤。
T1、数据预处理:
实验采用Amazon(从网上商店下载来的数据集)、Webcam(网络摄像机拍摄的低分辨率图像)、DSLR(由数码单反相机拍摄的高解析度图像)和Caltech-256(用于对象识别的标准数据库)数据集,并且使用800维的SURF特征和4096维的DeCAF6特征。
首先,分别选取源域及目标域数据样本XS1和XT1,对目标域数据中每个类,随机筛选三个样本,保留其标签,并将有标签样本置于数据集头部,得到XT2。通过以上处理可以提高分布匹配准确率,避免传统无监督学习可能导致的匹配偏差。之后对源域和目标域的数据样本XS1和XT2分别进行归一化处理,得到源域和目标域的数据集XS和XT。
T2、分布匹配:
假定源域及目标域分别存在映射AS和AT,将两者映射至潜在的共享子空间,并利用最大均值差异(MMD)距离,进行分布匹配,最小化两者的分布差异。由图2可知分布匹配分为边缘分布适配和条件分布适配,分别对两域间整体分布和其内部各类分布进行匹配。
MMD距离公式如下:
其中,MMD(XS,XT)表示源域和目标域的整体MMD距离,MMD0(XS,XT)和MMDC(XS,XT)分别表示源域及目标域间的边缘分布适配和条件分布适配,nS和nT分别表示源域和目标域数据数量,c为某个数据类别,和分别表示源域和目标域中第c类的数据数量,和分别表示源域第c类的所有数据和目标域第c类的所有数据,xS,i表示源域中第i个数据,xT,j表示目标域中第j个数据,xk表示源域第c类中的某个数据,xl表示目标域第c类中的某个数据。
为了达到同时对两映射进行学习的目的,将源域及目标域的数据和映射分别重新组合为:A=[AS;AT],其中,和均为全零矩阵,dS和dT分别为源域和目标域维度。对于非线性问题,考虑核映射即ψ(X)=[ψ(x1),…ψ(xn)],可得核矩阵K=ψ(X)Tψ(X),故映射重写为A=ψ(X)P,其中P=[PS;PT]代表转化矩阵,为源域及目标域转化矩阵PS和PT的组合。
经过组合及核映射之后,MMD度量转化为如下计算:MMD=tr(PTKMKTP),同时将边缘分布适配的表达式看作特殊的条件分布适配,得到统一的MMD矩阵
T3、结构一致性:
其中zf和zg为相应数据xf和xg经过映射后所得的数据,n=nS+nT为源域及目标域数据数量之和,W为对称邻接矩阵,表示两数据间的相似度,其中每一项Nk(zg)为zg的k近邻,L=D-W为图拉普拉斯算符,其中D为对角矩阵,且对角项
T4、正则化:
对映射矩阵引入l2,1范数:||P||2,1,进行合理的特征选择,提高算法效率。
T5、散度计算
散度计算最终可转化为对源域数据进行如下优化:
其中S=Sw-St-Sb为散度矩阵,称为类内散度矩阵,代表每个类中各数据间的均方距离,称为整体散度矩阵,代表所有数据间的均方距离,称为类间散度矩阵,代表各类均值间的均方距离,其中,u为整体数据均值,uc为第c类数据的均值,C为类别c的集合,xm和xn分别代表数据集中的某个数据,为源域第c类数据。
最小化类内散度可以减小类内距离,使同类数据更加紧凑;最大化整体散度可以最大化整体数据方差,保留数据特性;最大化类间散度可以增大各类数据间的差异,提高数据可分性。
T6、整体优化
交叉优化各参数,取最优值,得到最终映射矩阵,利用映射后源域数据训练SVM分类器,对映射后目标域数据进行标签预测。
综上所述,本实施例公开了一种基于散度计算的异构域适应方法,该方法采取分别映射,同时训练的方法,将来自不同域的异构数据映射至同一共享子空间上,在提高映射性能的同时达到同步训练的目的。同时,算法引入结构一致性和正则化,进一步提取特征并限制映射矩阵,提高算法精度。此外,算法还引入散度计算,通过对源域数据最大化整体散度和类间散度,并最小化类内散度,使数据更具可分性,进一步提升性能。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种基于散度计算的异构域适应方法,其特征在于,所述的异构域适应方法包括以下步骤:
S1、对源域和目标域中的数据样本分别进行预处理,获取源域和目标域数据集XS和XT,其中,数据样本采用从网上商店下载来的数据集Amazon、网络摄像机拍摄的低分辨率图像Webcam、由数码单反相机拍摄的高解析度图像DSLR和用于对象识别的标准数据库Caltech-256,并且使用800维的SURF特征和4096维的DeCAF6特征,首先,分别选取源域及目标域数据样本XS1和XT1,对目标域数据中每个类,随机筛选三个样本,保留其标签,并将有标签样本置于数据集头部,得到XT2,之后对源域和目标域的数据样本XS1和XT2分别进行归一化处理,得到源域和目标域的数据集XS和XT;
S2、假定源域及目标域分别存在映射AS和AT,将两者映射至潜在的共享子空间,并利用最大均值差异距离,进行分布匹配,最小化两者的分布差异,为同时训练源域及目标域,将源域及目标域的数据和映射分别重新组合,得到数据X和映射A;
所述的步骤S2中将源域及目标域的数据和映射分别重新组合得到数据X和映射A,具体如下:
对于非线性问题,考虑核映射ψ:即ψ(X)=[ψ(x1),…ψ(xn)],可得核矩阵K=ψ(X)Tψ(X),故映射重写为A=ψ(X)P,其中P=[PS;PT]代表转化矩阵,为源域及目标域转化矩阵PS和PT的组合;
S3、根据流行学习引入结构一致性,保证同类数据经过分布匹配后距离保持接近,同时对映射矩阵引入正则化,进行合理的特征选择;
S4、对源域数据最大化整体散度和类间散度,并最小化类内散度;
其中,所述的步骤S4中,整体散度为所有数据间的均方距离,类内散度为每个类中各数据间的均方距离,类间散度为各类均值间的均方距离,最终获得如下优化问题:
其中,S=Sw-St-Sb为散度矩阵,为类内散度矩阵,为整体散度矩阵,为类间散度矩阵,其中,c为某个类别,u为整体数据均值,uc为第c类数据的均值,C为类别c的集合,为源域第c类数据,xm和xn分别代表数据集中的某个数据,P=[PS;PT]代表转化矩阵,为源域及目标域转化矩阵PS和PT的组合;
S5、整合并优化目标函数,得到映射矩阵,利用映射后的源域数据训练SVM分类器,对映射后目标域数据进行标签预测。
2.根据权利要求1所述的一种基于散度计算的异构域适应方法,其特征在于,所述的步骤S1的过程如下:
S11、分别选取源域及目标域数据样本XS1和XT1;
S12、对目标域数据中每个类,随机筛选三个样本,保留其标签,并将有标签样本置于数据集头部,得到XT2;
S13、对源域和目标域的数据样本XS1和XT2分别进行归一化处理,得到源域和目标域的数据集XS和XT。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910167377.9A CN110008996B (zh) | 2019-03-06 | 2019-03-06 | 一种基于散度计算的异构域适应方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910167377.9A CN110008996B (zh) | 2019-03-06 | 2019-03-06 | 一种基于散度计算的异构域适应方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110008996A CN110008996A (zh) | 2019-07-12 |
CN110008996B true CN110008996B (zh) | 2021-08-10 |
Family
ID=67166488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910167377.9A Active CN110008996B (zh) | 2019-03-06 | 2019-03-06 | 一种基于散度计算的异构域适应方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110008996B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444859A (zh) * | 2020-03-30 | 2020-07-24 | 哈尔滨工程大学 | 一种无监督跨域人脸表情识别方法 |
CN112468498B (zh) * | 2020-11-26 | 2022-06-14 | 江苏方天电力技术有限公司 | 配电终端多源异构安全监测数据的跨模态聚合方法 |
CN115902814B (zh) * | 2023-03-09 | 2023-05-09 | 中国人民解放军国防科技大学 | 基于信息空间度量的目标识别模型性能评估方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460028A (zh) * | 2018-04-12 | 2018-08-28 | 苏州大学 | 将句子权重融入神经机器翻译的领域适应方法 |
CN109299783A (zh) * | 2018-12-18 | 2019-02-01 | 哈尔滨工业大学 | 基于异构域迁移的舆情角色识别迁移系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9536315B2 (en) * | 2015-01-13 | 2017-01-03 | Xerox Corporation | Annotation free license plate recognition method and system |
CN109190464B (zh) * | 2018-07-24 | 2021-09-17 | 南京航空航天大学 | 一种变工况下基于迁移学习的机械故障智能诊断方法 |
-
2019
- 2019-03-06 CN CN201910167377.9A patent/CN110008996B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460028A (zh) * | 2018-04-12 | 2018-08-28 | 苏州大学 | 将句子权重融入神经机器翻译的领域适应方法 |
CN109299783A (zh) * | 2018-12-18 | 2019-02-01 | 哈尔滨工业大学 | 基于异构域迁移的舆情角色识别迁移系统 |
Non-Patent Citations (5)
Title |
---|
Domain Invariant and Class Discriminative Heterogeneous Domain Adaptation;Yifan Wang et.al;《2018 IEEE 3rd International Conference on Communication and Information Systems (ICCIS)》;20190221;227-231 * |
Structure Consistency and Class Discriminative Feature Learning for Heterogeneous Domain Adaptation;Chang Niu et.al;《2018 IEEE 3rd International Conference on Communication and Information Systems (ICCIS)》;20190221;217-221 * |
基于单源及多源的域适应算法研究;时红垒;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151015;I140-43 * |
基于样本平衡化和迁移成分分析的音频场景识别;杨洪飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150215;5-28 * |
综合时频域及核判别分析的两级特征提取新方法;孙贤明;《计算机工程与应用》;20180306;第54卷(第3期);115-119 * |
Also Published As
Publication number | Publication date |
---|---|
CN110008996A (zh) | 2019-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Damodaran et al. | Deepjdot: Deep joint distribution optimal transport for unsupervised domain adaptation | |
Sankaranarayanan et al. | Learning from synthetic data: Addressing domain shift for semantic segmentation | |
WO2022000838A1 (zh) | 基于马尔可夫随机场的远程塔台视频目标挂标牌方法 | |
CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
CN110008996B (zh) | 一种基于散度计算的异构域适应方法 | |
Sankaranarayanan et al. | Unsupervised domain adaptation for semantic segmentation with gans | |
WO2021003951A1 (zh) | 一种基于标签约束弹性网图模型的高光谱图像分类方法 | |
CN110210545B (zh) | 基于迁移学习的红外遥感水体分类器构建方法 | |
CN108021930B (zh) | 一种自适应的多视角图像分类方法及系统 | |
CN106897295B (zh) | 一种基于Hadoop的输电线路监控视频分布式检索方法 | |
CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
CN110458022B (zh) | 一种基于域适应的可自主学习目标检测方法 | |
CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
WO2023221713A1 (zh) | 图像编码器的训练方法、装置、设备及介质 | |
CN111652240A (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
CN110796022A (zh) | 一种基于多流形耦合映射的低分辨人脸识别方法 | |
CN115359407A (zh) | 一种视频中的多车辆跟踪方法 | |
Xia et al. | Unsupervised multi-domain multimodal image-to-image translation with explicit domain-constrained disentanglement | |
Ma et al. | Attention-based cross-layer domain alignment for unsupervised domain adaptation | |
CN109657693B (zh) | 一种基于相关熵和迁移学习的分类方法 | |
Huang et al. | Color object recognition via cross-domain learning on RGB-D images | |
You et al. | Robust structure low-rank representation in latent space | |
CN109145749B (zh) | 一种跨数据集的面部表情识别模型构建及识别方法 | |
Dan et al. | Uncertainty-guided joint unbalanced optimal transport for unsupervised domain adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |