CN112115829B - 一种基于分类器选择性集成的表情识别方法 - Google Patents
一种基于分类器选择性集成的表情识别方法 Download PDFInfo
- Publication number
- CN112115829B CN112115829B CN202010942487.0A CN202010942487A CN112115829B CN 112115829 B CN112115829 B CN 112115829B CN 202010942487 A CN202010942487 A CN 202010942487A CN 112115829 B CN112115829 B CN 112115829B
- Authority
- CN
- China
- Prior art keywords
- classifier
- sequence
- individual
- classifiers
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种基于分类器选择性集成的表情识别方法,包括如下步骤:①生成分类器池;②个体学习器能力评估;③分类器序列选择;④决策层融合。本发明对个体学习器预测准确率和不同个体学习器间之间的差异性进行能力评估,作为选择性集成算法对个体学习器能力的评判标准;可根据对验证样本评判的具体情况选择出分类效果较优,多样性较好的个体学习器集,在对批量未知类别标签的表情数据进行预测时能有效提高分类系统的泛化能力。
Description
技术领域
本发明涉及一种基于分类器选择性集成的表情识别方法。
背景技术
人脸的面部表情反映了人脸的丰富的情感信息,是人类非语言交流的主要方式。人脸表情识别是计算机视觉领域一个富有挑战的研究课题,在心理学、人机交互研究等方面具有重要意义。人脸表情识别就是对人脸面部特征进行提取分析,按照人的思维和认识方式加以归类和理解,使用计算机对大量的人脸数据特征、先验知识进行分析和学习,进而从人脸信息中去分析、理解人的情绪,如常见的有快乐,惊讶,恐惧、愤怒、厌恶、悲伤等。利用计算机进行面部表情的识别,是实现人机智能交互的基础。
近年来,人脸表情识别技术迅速发展,也有大量相关识别算法被提出。但迄今为止,现有技术中表情识别精度难以达到理想的效果,不同算法可能得到不同的分类性能。对于某一具体问题,传统的做法是通过实验寻求最优的分类器得到最终的预测结果,但是一方面当先验知识不充分时,通常很难确定最优的分类器;另一方面,不同算法的分类器对分分类结果有不同的偏向,使得分类器在特定数据集上预测准确率较高,而对其余数据集预测性能较差。对于某些模式识别问题,通常有多个特征可用于表征和识别模式,如果特征之间的差异太大,则难以将它们集中到单一分类器中进行决策。另外,模式识别的应用领域中存在着多种基于不同理论的分类算法,它们之间存在着互补信息。
为提高识别准确率,使用集成学习系列方法成为这一领域的潮流。集成学习利用多个学习器可以获得比仅使用单一学习器更强的泛化能力,目前大多数研究还集中在用相同的算法来集成,因为不同算法的学习机理不同,很难用统一的标准来衡量它们的准确度,而且采用不同算法,集成学习算法的难度会增加。一般的多分类器融合方法都是集成所有的分类器进行融合,一方面会导致更大的计算和存储开销;另一方面,当分类器数目不断增加,各分类器之间的差异可能会变小。在集成学习的基础上,对分类器池加以选择有利于保证表情识别分类问题的有效性。基于这一认知,本发明主要采用多种算法生成不同的分类器,并主要研究如何提高选择性集成算法的有效性并将其应用于表情识别领域提高识别效果。
理论上说,可以根据验证样本具体情况从大量分类器池中选择不同分类器子集的选择性集成方法更符合现实需求,而且理应取得更加优秀的分类识别效果。其理论基础在于,在现实情况下通过某种算法生成的分类器可能会有自己的模型偏好,能更准确的识别某一类表情,而对部分标签的表情识别率总是相对较低。另外,即使通过不同算法生成的分类器有时候也会存在相似性,相似的分类器本质上对集成分类器的性能没有很大提升,相反会增大运算量。
发明内容
为解决上述技术问题,本发明提供了一种基于分类器选择性集成的表情识别方法,该基于分类器选择性集成的表情识别方法通过选择性集成的方式,能显著提高人脸表情的识别率。
本发明通过以下技术方案得以实现。
本发明提供的一种基于分类器选择性集成的表情识别方法,包括如下步骤:
①生成分类器池:以多种机器学习算法作为分类器,通过改变各个分类器的参数,生成多个同、异质基分类器,并构成分类器池;
②个体学习器能力及多样性评估:输入验证样本集,并计算各个体学习器的准确率以及不同个体学习器之间的kappa系数值;
③分类器序列选择:基于验证集的预测结果,首先将个体学习器按准确率降序排序,选择排序第一的个体学习器进入选择序列中,然后寻找分类器池中准确率不低于阈值且与选择序列中的个体学习器差异性最大,即kappa系数最小的个体学习器进入选择序列中;
④决策层融合:根据选择出的分类器序列,使用大多数投票法获取对测试集表情图片的最终决策结果。
所述决策层融合为,采用大多数投票算法对多个分类器的输出结果进行决策计算。
所述多种机器学习算法包括卷积神经网络、k-近邻、支持向量机。
所述生成多个分类器为,生成总数30个以上分类器。
所述步骤②中,结合准确率和成对分类器的kappa系数值,选择准确率较高,差异性较大的个体学习器进行决策层融合用于表情识别领域提高识别效果。
所述步骤③包括以下步骤:
(3.1)令分类器序列根据验证集预测准确率对个体学习器进行降序排序,若存在准确率大于等于阈值T1的个体学习器Ci,则将其选入分类器序列S使得S={S∪Ci},若不存在准确率大于阈值T1的学习器,则选择排序最前的个体学习器,加入序列S;
(3.2)对序列S中成员进行决策层融合并计算当前融合结果Ri与分类器池中其余未被选择的个体学习器的kappa系数值,并对kappa 系数值进行升序排序,获取kappa系数最小且准确率达到阈值T2的分类器Cj进入分类器序列S;
(3.3)重复步骤(3.2)直至序列S中有n个个体学习器;
(3.4)输出序列S,并使用S中的成员对测试样本进行预测,得到预测结果Y={y1,y2,…,yn},n为序列S的大小;
(3.5)使用大多数投票法集成预测结果Y并得到测试样本的预测标签。
本发明的有益效果在于:对个体学习器预测准确率和不同个体学习器间之间的差异性进行能力评估,作为选择性集成算法对个体学习器能力的评判标准;可根据对验证样本评判的具体情况选择出分类效果较优,多样性较好的个体学习器集,在对批量未知类别标签的表情数据进行预测时能有效提高分类系统的泛化能力。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面进一步描述本发明的技术方案,但要求保护的范围并不局限于所述。
如图1所示的一种基于分类器选择性集成的表情识别方法,包括如下步骤:
①生成分类器池:以多种机器学习算法的多种参数进行训练,生成多个分类器,构成分类器池;
②个体学习器能力及多样性评估:对分类器池中的分类器分别计算准确率,并将分类器按准确率降序排列;
③分类器序列选择:基于验证集的预测结果,首先将个体学习器按准确率降序排序,选择排序第一的个体学习器进入选择序列中,然后寻找分类器池中准确率不低于阈值且与选择序列中的个体学习器差异性最大,即kappa系数最小的个体学习器进入选择序列中;
④决策层融合:将分类器序列决策层融合为序列分类器,并对表情图片进行预测得出最终的预测标签。
所述决策层融合为,采用多数投票算法对多个分类器的输出结果进行决策计算。
所述多种机器学习算法包括卷积神经网络、k-近邻、支持向量机。
所述生成多个分类器为,生成总数30个以上分类器。
所述步骤②中,结合准确率和成对分类器的kappa系数值,选择准确率较高,差异性较大的个体学习器进行决策层融合用于表情识别领域提高识别效果。
所述步骤③包括以下步骤:
(3.1)令分类器序列根据验证集预测准确率对个体学习器进行降序排序,若存在准确率大于等于阈值T1的个体学习器Ci,则将其选入分类器序列S使得S={S∪Ci},若不存在准确率大于阈值T1的学习器,则选择排序最前的个体学习器,加入序列S;
(3.2)对序列S中成员进行决策层融合并计算当前融合结果Ri与分类器池中其余未被选择的个体学习器的kappa系数值,并对kappa 系数值进行升序排序,获取kappa系数最小且准确率达到阈值T2的分类器Cj进入分类器序列S;
(3.3)重复步骤(3.2)直至序列S中有n个个体学习器;
(3.4)输出序列S,并使用S中的成员对测试样本进行预测,得到预测结果Y={y1,y2,…,yn},n为序列S的大小;
(3.5)使用大多数投票法集成预测结果Y并得到测试样本的预测标签。
实施例1
采用上述方案,以JAFFE表情数据为例,将表情图片数据按比例划分为训练集和测试集两部分,并随机抽取数据库中的部分表情图片加以处理(如加噪、旋转等)作为验证集。在分类器池的生成过程中,选择多种机器学习算法作为分类器对训练集图片进行训练,并基于验证集调节分类器参数生成大量个体学习器。通过准确率和kappa系数值对分类器性能和多样性进行评估;分类器序列选择过程中,先根据验证集准确率对个体学习器进行降序排序,初始化分类器序列S为Ф,若存在准确率大于等于T1(如取T1=1)的个体学习器,则将其选入 S中;否则选择排序最前的个体学习器加入S。对序列S中的成员进行决策层融合,当前融合结果Ri与其余个体学习器分别计算kappa值,对kappa值进行升序排序,选择准确率满足阈值(如取T2=0.85)且 kappa值最小的个体学习器进入分类器序列S,重复上述选择过程,直到S中选出n个个体学习器。
分类器池的生成中,选择神经网络分类器、k-近邻分类器、支持向量机分类器作为基分类器,并通过改变各种分类器的参数生成多个准确率高的基分类器,构成选择性集成的基础。
选择卷积神经网络分类器生成过程中,通过改变卷积神经网络的网络层数,神经元数量等参数生成多个准确率较高的个体学习器,并构成选择性集成的基础。本发明中采用了Tensorflow框架共生成了29 个卷积神经网络,且本发明为生成合适的基分类器所更改的卷积神经网络参数类型及采用的参数范围如下表所示:
表1卷积神经网络参数类型及范围
K-近邻分类器生成过程中,使用方向梯度直方图对人脸特征进行提取,通过改变图像的细胞单元个数以及k-近邻中的不同k值,生成了30个分类器,其主要内容包括图片读取,统一图片尺寸大小后进行归一化处理,对数据集进行特征提取,调节参数对模型进行训练。
支持向量机分类器生成过程中,使用matlab中的Libsvm工具箱生成了15个支持向量机基分类器,其主要内容包括数据集导入,数据集特征提取,模型训练,根据验证集调整分类器参数参数。特征提取部分采取图像的Hog特征,通过引入提取的Hog特征值和相应类标签进行模型训练,然后以验证集分类正确率结果为参考反复调整参数,从而生成多个识别效果良好的分类器,构成了选择性集成的部分基础。本发明为生成合适的支持向量机基分类器所更改的模型参数类型及采用的参数范围等如下表所示:
表2支持向量机基分类器所用参数类型及范围
分类器池成员能力和多样性评估过程中,计算基分类器对验证集图片预测的准确率和成对分类器的kappa值。设Ci、Cj为两个不同的基分类器,N11为Ci、Cj均正确预测的验证图片数目,N00为Ci、Cj均预测错误的验证图片数目,N10为Ci正确预测且Cj错误预测Ci的验证图片数目,N01为Ci错误预测且Cj正确预测的验证图片数目,则kappa 系数计算公式如下(1)所示:
由此,本发明立足于结合分类器准确率与多样性评估算法,使用多种算法,选择准确率较高、多样性较强的分类器进行集成,从而改善集成分类器准确率低,多个相似分类器同时参与集成造成的增加集成过程中时间复杂度和空间复杂度的缺点,尤其适用于人脸表情识别问题。
Claims (5)
1.一种基于分类器选择性集成的表情识别方法,其特征在于:包括如下步骤:
①生成分类器池:以多种机器学习算法作为分类器,通过改变各个分类器的参数,生成多个同、异质基分类器,并构成分类器池;
②个体学习器能力及多样性评估:将表情图片数据按比例划分为训练集和测试集两部分,并随机抽取数据库中的部分表情图片加以处理作为验证集,输入验证样本集,并计算各个体学习器的准确率以及不同个体学习器之间的kappa系数值;
③分类器序列选择:基于验证集的预测结果,首先将个体学习器按准确率降序排序,选择排序第一的个体学习器进入选择序列中,然后寻找分类器池中准确率不低于阈值且与选择序列中的个体学习器差异性最大,即kappa系数最小的个体学习器进入选择序列中;
④决策层融合:根据选择出的分类器序列,使用大多数投票法获取对测试集表情图片的最终决策结果;
所述步骤③包括以下步骤:
(3.1)令分类器序列根据验证集预测准确率对个体学习器进行降序排序,若存在准确率大于等于阈值T1的个体学习器Ci,则将其选入分类器序列S使得S={S∪Ci},若不存在准确率大于阈值T1的学习器,则选择排序最前的个体学习器,加入序列S;
(3.2)对序列S中成员进行决策层融合并计算当前融合结果Ri与分类器池中其余未被选择的个体学习器的kappa系数值,并对kappa系数值进行升序排序,获取kappa系数最小且准确率达到阈值T2的分类器Cj进入分类器序列S;
(3.3)重复步骤(3.2)直至序列S中有n个个体学习器;
(3.4)输出序列S,并使用S中的成员对测试样本进行预测,得到预测结果Y={y1,y2,…,yn},n为序列S的大小;
(3.5)使用大多数投票法集成预测结果Y并得到测试样本的预测标签。
2.如权利要求1所述的基于分类器选择性集成的表情识别方法,其特征在于:所述决策层融合为,采用大多数投票算法对分类器序列S中的多个个体学习器输出结果进行决策层融合。
3.如权利要求1所述的基于分类器选择性集成的表情识别方法,其特征在于:所述多种机器学习算法包括卷积神经网络、k-近邻、支持向量机。
4.如权利要求1所述的基于分类器选择性集成的表情识别方法,其特征在于:所述生成多个分类器为,生成总数30个以上分类器。
5.如权利要求1所述的基于分类器选择性集成的表情识别方法,其特征在于:所述步骤②中,结合准确率和成对分类器的kappa系数值,选择准确率较高,差异性较大的个体学习器通过决策层融合用于表情识别领域提高识别效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010942487.0A CN112115829B (zh) | 2020-09-09 | 2020-09-09 | 一种基于分类器选择性集成的表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010942487.0A CN112115829B (zh) | 2020-09-09 | 2020-09-09 | 一种基于分类器选择性集成的表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112115829A CN112115829A (zh) | 2020-12-22 |
CN112115829B true CN112115829B (zh) | 2023-02-28 |
Family
ID=73802875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010942487.0A Active CN112115829B (zh) | 2020-09-09 | 2020-09-09 | 一种基于分类器选择性集成的表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115829B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112884024B (zh) * | 2021-02-01 | 2022-05-13 | 中南大学 | 一种基于群体决策集成学习的泡沫浮选工况识别方法 |
CN113820123A (zh) * | 2021-08-18 | 2021-12-21 | 北京航空航天大学 | 一种基于改进cnn和选择性集成的齿轮箱故障诊断方法 |
CN114236268A (zh) * | 2021-11-23 | 2022-03-25 | 国网山东省电力公司日照供电公司 | 一种基于机器学习的变压器故障诊断方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489005A (zh) * | 2013-09-30 | 2014-01-01 | 河海大学 | 一种基于多分类器融合的高分辨率遥感影像分类方法 |
CN105550715A (zh) * | 2016-01-22 | 2016-05-04 | 大连理工大学 | 一种基于近邻传播聚类的集成分类器构建方法 |
CN108805208A (zh) * | 2018-06-13 | 2018-11-13 | 哈尔滨工业大学 | 一种基于无标签样本一致性判定的协同训练方法 |
CN109816010A (zh) * | 2019-01-21 | 2019-05-28 | 北京工业大学 | 一种用于航班延误预测的基于选择性集成的cart增量学习分类方法 |
CN110363221A (zh) * | 2019-06-12 | 2019-10-22 | 河海大学 | 基于Bagging的高光谱遥感协同表示集成学习分类方法 |
CN110866463A (zh) * | 2019-10-29 | 2020-03-06 | 贵州大学 | 一种基于图的动态分类器选择方法 |
CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011119117A1 (en) * | 2010-03-26 | 2011-09-29 | Agency For Science, Technology And Research | Facial gender recognition |
US9147132B2 (en) * | 2013-09-11 | 2015-09-29 | Digitalglobe, Inc. | Classification of land based on analysis of remotely-sensed earth images |
-
2020
- 2020-09-09 CN CN202010942487.0A patent/CN112115829B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489005A (zh) * | 2013-09-30 | 2014-01-01 | 河海大学 | 一种基于多分类器融合的高分辨率遥感影像分类方法 |
CN105550715A (zh) * | 2016-01-22 | 2016-05-04 | 大连理工大学 | 一种基于近邻传播聚类的集成分类器构建方法 |
CN108805208A (zh) * | 2018-06-13 | 2018-11-13 | 哈尔滨工业大学 | 一种基于无标签样本一致性判定的协同训练方法 |
CN109816010A (zh) * | 2019-01-21 | 2019-05-28 | 北京工业大学 | 一种用于航班延误预测的基于选择性集成的cart增量学习分类方法 |
CN110363221A (zh) * | 2019-06-12 | 2019-10-22 | 河海大学 | 基于Bagging的高光谱遥感协同表示集成学习分类方法 |
CN110866463A (zh) * | 2019-10-29 | 2020-03-06 | 贵州大学 | 一种基于图的动态分类器选择方法 |
CN111126482A (zh) * | 2019-12-23 | 2020-05-08 | 自然资源部国土卫星遥感应用中心 | 一种基于多分类器级联模型的遥感影像自动分类方法 |
Non-Patent Citations (1)
Title |
---|
"基于投票法的多分类器集成遥感影像分类技术";窦鹏;《中国优秀硕士学位论文全文数据库(电子期刊)》;20150315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112115829A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeng et al. | Breaking winner-takes-all: Iterative-winners-out networks for weakly supervised temporal action localization | |
CN112115829B (zh) | 一种基于分类器选择性集成的表情识别方法 | |
Pons et al. | Supervised committee of convolutional neural networks in automated facial expression analysis | |
Ali et al. | Boosted NNE collections for multicultural facial expression recognition | |
Chherawala et al. | Feature set evaluation for offline handwriting recognition systems: application to the recurrent neural network model | |
CN107808113B (zh) | 一种基于差分深度特征的人脸表情识别方法及系统 | |
Gao et al. | The labeled multiple canonical correlation analysis for information fusion | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN103605990B (zh) | 基于图聚类标签传播的集成多分类器融合分类方法和系统 | |
Pathar et al. | Human emotion recognition using convolutional neural network in real time | |
Liu et al. | Facial landmark machines: A backbone-branches architecture with progressive representation learning | |
CN110084211B (zh) | 一种动作识别方法 | |
CN110414587A (zh) | 基于渐进学习的深度卷积神经网络训练方法与系统 | |
CN111598004A (zh) | 一种渐进增强自学习的无监督跨领域行人再识别方法 | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
CN113076927A (zh) | 基于多源域迁移的指静脉识别方法及系统 | |
Fujii et al. | Hierarchical group-level emotion recognition | |
CN111523367A (zh) | 基于人脸属性分析的智能化人脸表情识别方法与系统 | |
Jin et al. | Face recognition based on MTCNN and Facenet | |
Sahu et al. | Modeling feature representations for affective speech using generative adversarial networks | |
Pouthier et al. | Active speaker detection as a multi-objective optimization with uncertainty-based multimodal fusion | |
CN113705713B (zh) | 一种基于全局和局部注意力机制的文本识别方法 | |
CN113887509B (zh) | 一种基于图像集合的快速多模态视频人脸识别方法 | |
Tran et al. | Baby learning with vision transformer for face recognition | |
CN113792541A (zh) | 一种引入互信息正则化器的方面级情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |