CN110188626A - 一种人脸识别的流形保持极限学习机降维方法 - Google Patents

一种人脸识别的流形保持极限学习机降维方法 Download PDF

Info

Publication number
CN110188626A
CN110188626A CN201910392927.7A CN201910392927A CN110188626A CN 110188626 A CN110188626 A CN 110188626A CN 201910392927 A CN201910392927 A CN 201910392927A CN 110188626 A CN110188626 A CN 110188626A
Authority
CN
China
Prior art keywords
face
hidden layer
manifold
identified
face characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910392927.7A
Other languages
English (en)
Other versions
CN110188626B (zh
Inventor
李灿耀
赵慧民
吕巨建
傅仁轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201910392927.7A priority Critical patent/CN110188626B/zh
Publication of CN110188626A publication Critical patent/CN110188626A/zh
Application granted granted Critical
Publication of CN110188626B publication Critical patent/CN110188626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸识别的流形保持极限学习机降维方法，所述方法包括:获取待识别人脸图像的待识别人脸特征X'；将所述待识别人脸特征X'映射到N维特征空间，获取特征H(X')；获取预设隐含层和输出层的连接权值β，根据MP‑ELM降维输出模型t'＝H(X')β，得到降维处理的低维人脸特征t'；采用最近邻分类器方法将所述低维特征t'与预设数据库样本t进行匹配，获取识别结果。采用本发明，可以具有良好的降噪能力，并且泛化能力强。

Description

一种人脸识别的流形保持极限学习机降维方法
技术领域
本发明涉及生物特征识别领域，特别是涉及一种人脸识别的流形保持极限学习机降维方法。
背景技术
随着网络虚拟化的高速发展，人们很多身份认证都在线上进行，人脸识别(FaceRecognition)因其方便获取，具有非接触性的优势，已成为了主要的身份认证方法之一。人脸识别就是通过模式识别和图像处理技术，对现实空间的待识别人脸与人脸样本进行比较，根据相似度判断身份信息。现实生活中存在大量人脸识别的例子，例如智能无人超市人脸识别、网上支付人脸识别、私人办公室人脸识别、安检人脸识别等。但是人脸数据存在维度较高且呈非线性的问题，现有技术对此并没有良好的解决方法。因此，对人脸数据的抗噪、除冗余降维研究就显得十分必要。
发明内容
为了解决上述问题，本发明提供了一种人脸识别的流形保持极限学习机降维方法，可以具有良好的降噪能力，并且泛化能力强。
基于此，本发明提供了一种人脸识别的流形保持极限学习机降维方法，所述方法包括:
获取待识别人脸图像的待识别人脸特征X'；
将所述待识别人脸特征X'映射到N维特征空间，获取特征H(X')；
获取预设隐含层和输出层的连接权值β，根据MP-ELM降维输出模型t'＝H(X')β，得到降维处理的低维人脸特征t'；
采用最近邻分类器方法将所述低维特征t'与预设数据库样本t进行匹配，获取识别结果。
其中，所述获取待识别人脸图像的待识别人脸特征X'包括：对所述待识别人脸图像进行尺度归一化处理得到待识别人脸特征X'。
其中，所述将所述待识别人脸特征X'映射到N维特征空间包括：选用非线性激励函数将待识别人脸特征X'随机非线性映射到N维特征空间，所述非线性激励函数包括sigmoid函数。
其中，获取所述预设隐含层和输出层的连接权值β之前包括：
获取个数为L隐含层神经元，其中，L为正整数，随机产生所述隐含层的输入权值矩阵ai＝[a1 a2 … ai]T和隐含层阈值矩阵bi＝[b1 b2 … bi]T，其中,i＝1，2，3，…L,ɑi表示第i个隐含层节点的输入权值向量，bi表示第i个隐含层节点的阈值；
计算人脸特征X的第i个样本Xi在隐含层的输出向量,其中X＝Rd，hi(x)为第i个隐含层节点的输出特征，表示为：hi＝g(ai bi x)，a∈Rd,b∈Rd。
其中，hi＝g(ai bi x)为隐含层节点的非线性激活函数，采用sigmoid函数，则
计算人脸数据X在隐含层输出：
其中，获取所述预设隐含层和输出层的连接权值β包括：
步骤1、采用k近邻方法对样本Xi以欧氏距离为测度找出距离最近的k个样本作为局部邻域Xi＝(Xi1,Xi2,…,Xik)，i＝1，2，…，d；
步骤2、计算样本Xi与局部领域Xi内样本点Xij间的欧氏距离E(Xi,Xij)、测地线距离G(Xi,Xij)、邻域内所有测地线距离的中值Gm,则Xi与Xij的流形近邻关系可描述为结构权值与距离权值的乘积：
(1)、结构权值为测地线距离与欧式距离之比，其表达式为：
(2)、距离权值为测地线距离与测地线距离的中值之比，其表达式为：
(3)由(1)、(2)可得Xi与Xij的流形近邻关系的表达式为：
步骤3、构造数据结构流形保持正则因子MP，MP＝D-W，其中，W是由Wij组成的n×n稀疏邻接矩阵,n为样本个数，D为对角矩阵，
基于流形保持的极限学习机模型：
解决模型用于求解出现平凡解的问题，I为单位矩阵。
步骤5、用拉格朗日乘子法对步骤4的模型进行求解，得到最小的m个特征值及对应的特征向量A，计算出隐含层和输出层的连接权值β，β＝H(x)TA；
当m小于d时，则实现对人脸特征的降维，则所述流形保持的显式降维模型为：t＝H(X)β。
其中，所述测地线距离包括采用Dijkstra算法计算的测地线距离。
本发明对不同类型的人脸数据进行降维时，可以更好地保持原数据的流形近邻结构，使得该降维方法更具抗噪性，而且具有显式的低维映射函数，加入新人脸样本时，无须重新学习优化模型，泛化能力强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的获取输出权值和数据库样本的流程图；
图2是本发明实施例提供的人脸识别的流形保持极限学习机降维方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的获取输出权值和数据库样本的流程图，获取输出权值和数据库样本的流程包括：
S101、获取人脸图像的识别人脸特征X。
对采集到的人脸图像进行尺度归一化处理。所述人脸图像的尺度进行归一化，包括图像的平移、旋转、缩放和标准切割等。
极限学习机是一种针对单隐含层前馈神经网络的算法，由输入层、隐含层和输出层组成。
在所述输出层中输入所述进行尺度归一化处理的人脸特征X。
S102、将所述人脸特征X映射到N维特征空间，获取特征H(X)。
选用非线性激励函数将人脸特征X随机非线性映射到N维特征空间，所述非线性激励函数包括sigmoid函数。
所述隐含层的神经元个数为L，其中，L为正整数，随机产生所述隐含层的输入权值矩阵ai＝[a1 a2 … ai]T和隐含层阈值矩阵bi＝[b1 b2 … bi]T，其中，i＝1，2，3，…L，ɑi表示第i个隐含层节点的输入权值向量，bi表示第i个隐含层节点的阈值。
计算人脸特征X的第i个样本Xi在隐含层的输出向量，其中X＝Rd，hi(x)为第i个隐含层节点的输出特征，表示为：hi＝g(ai bi x)，a∈Rd，b∈Rd。
其中，hi＝g(ai bi x)为隐含层节点的非线性激活函数，采用sigmoid函数，则
计算人脸数据X在隐含层输出：
S103、获取预设隐含层和输出层的连接权值β，根据MP-ELM降维输出模型t＝H(X)β，得到降维处理的低维人脸特征t。
其中，获取所述预设隐含层和输出层的连接权值β包括：
步骤1、采用k近邻方法，针对样本Xi，i＝1，2，…，d，以欧氏距离为测度找出与样本Xi距离最近的k个样本作为局部邻域Xi＝(Xi1,Xi2,…,Xik)。
步骤2、计算样本Xi与其领域Xi内样本点Xij间的欧氏距离E(Xi,Xij)、测地线距离G(Xi,Xij)、邻域内所有测地线距离的中值Gm，则Xi与Xij的流形近邻关系可描述为结构权值与距离权值的乘积：
(1)、结构权值为测地线距离与欧式距离之比，其表达式为：
(2)、距离权值为测地线距离与其中值之比，其表达式为：
(3)由(1)、(2)可得Xi与Xij的流形近邻关系的表达式为：
步骤3、构造数据结构流形保持正则因子MP，MP＝D-W，其中，W是由Wij组成的n×n稀疏邻接矩阵,n为样本个数，D为对角矩阵，
基于流形保持的极限学习机模型：
上式加号后面的一项为流形保持正则项，所述流形保持正则项的作用是使得隐含层输出的人脸特征保持原数据的流形近邻结构，λ为正则项系数，tr()为矩阵的迹，引入约束项s.t(H(x)βTH(x)β)＝I解决模型求解出现平凡解的问题，I为单位矩阵。
步骤5、用拉格朗日乘子法对步骤4的模型进行求解，可得到最小的m个特征值及对应的特征向量A，从而计算出隐含层和输出层的连接权值β，β＝H(x)TA。
当m小于d时，便可实现对人脸特征的降维，则所述流形保持的显式降维模型为：t＝H(X)β。
其中，所述测地线距离可用Dijkstra算法计算得到。
S104、存储经过降维处理的人脸样本数据t。
图2是本发明实施例提供的人脸识别的流形保持极限学习机降维方法的流程图，所述方法包括：
S201、获取待识别人脸图像的待识别人脸特征X'。
对采集到的人脸图像进行尺度归一化处理。所述人脸图像的尺度进行归一化，包括图像的平移、旋转、缩放和标准切割等。
在所述极限学习机的输出层中输入所述进行尺度归一化处理的人脸特征X'。
S203、将所述待识别人脸特征X'映射到N维特征空间，获取特征H(X')。
选用非线性激励函数将人脸特征X'随机非线性映射到N维特征空间，所述非线性激励函数包括sigmoid函数。
所述隐含层的神经元个数为L，其中，L为正整数。随机产生所述隐含层的输入权值矩阵ai＝[a1 a2 … ai]T和隐含层阈值矩阵bi＝[b1 b2 … bi]T，其中，i＝1，2，3，…L，ɑi表示第i个隐含层节点的输入权值向量，bi表示第i个隐含层节点的阈值。
计算人脸特征X'的第i个样本X'i在隐含层的输出向量，其中X'＝Rd，hi(X')为第i个隐含层节点的输出特征，表示为：hi＝g(ai bi X')，a∈Rd，b∈Rd。
其中，hi＝g(ai bi X')为隐含层节点的非线性激活函数，采用sigmoid函数，则
计算人脸数据X'在隐含层输出：
S203、获取预设隐含层和输出层的连接权值β，根据MP-ELM降维输出模型t'＝H(X')β，得到降维处理的低维人脸特征t'。
其中，获取所述预设隐含层和输出层的连接权值β包括：
步骤1、采用k近邻方法，针对样本X'i，i＝1，2，…，d，以欧氏距离为测度找出与其距离最近的k个样本作为局部邻域X'i＝(X'i1,X'i2,…,X'ik)。
步骤2、计算样本X'i与其领域X'i内样本点X'ij间的欧氏距离E(X'i,X'ij)、测地线距离G(X'i,X'ij)、邻域内所有测地线距离的中值Gm，则X'i与X'ij的流形近邻关系可描述为结构权值与距离权值的乘积：
(1)、结构权值为测地线距离与欧式距离之比，其表达式为：
(2)、距离权值为测地线距离与其中值之比，其表达式为：
(3)由(1)、(2)可得X'i与X'ij的流形近邻关系的表达式为：
步骤3、构造数据结构流形保持正则因子MP，MP＝D-W，其中，W是由Wij组成的n×n稀疏邻接矩阵，n为样本个数，D为对角矩阵，
基于流形保持的极限学习机模型：
上式第二项为流形保持正则项，该项的作用是使得隐含层输出的人脸特征保持原数据的流形近邻结构，λ为正则项系数，tr()为矩阵的迹。同时，引入约束项s.t(H(X')βTH(X')β)＝I解决模型求解出现平凡解的问题，I为单位矩阵。
步骤5、用拉格朗日乘子法对步骤4的模型进行求解，可得到最小的m个特征值及对应的特征向量A，从而计算出隐含层和输出层的连接权值β，β＝H(X')TA。
当m小于d时，便可实现对人脸特征的降维，则所述流形保持的显式降维模型为：t'＝H(X')β。
其中，所述测地线距离可用Dijkstra算法计算得到。
S204、采用最近邻分类器方法将所述低维特征t'与预设数据库样本t进行匹配，获取识别结果。
本发明在对不同类型的人脸数据进行降维时，可以更好地保持原数据的流形近邻结构，使得该降维方法更具抗噪性，而且具有显式的低维映射函数，加入新人脸样本时，无须重新学习优化模型，泛化能力强。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (6)

1.一种人脸识别的流形保持极限学习机降维方法，其特征在于，包括:
获取待识别人脸图像的待识别人脸特征X'；
将所述待识别人脸特征X'映射到N维特征空间，获取特征H(X')；
获取预设隐含层和输出层的连接权值β，根据MP-ELM降维输出模型t'＝H(X')β，得到降维处理的低维人脸特征t'；
采用最近邻分类器方法将所述低维特征t'与预设数据库样本t进行匹配，获取识别结果。
2.如权利要求1所述的人脸识别的流形保持极限学习机降维方法，其特征在于，所述获取待识别人脸图像的待识别人脸特征X'包括：对所述待识别人脸图像进行尺度归一化处理得到待识别人脸特征X'。
3.如权利要求1所述的人脸识别的流形保持极限学习机降维方法，其特征在于，所述将所述待识别人脸特征X'映射到N维特征空间包括：选用非线性激励函数将待识别人脸特征X'随机非线性映射到N维特征空间，所述非线性激励函数包括sigmoid函数。
4.如权利要求1和3所述的人脸识别的流形保持极限学习机降维方法，其特征在于，获取所述预设隐含层和输出层的连接权值β之前包括：
获取个数为L的隐含层神经元，其中，L为正整数，随机产生所述隐含层的输入权值矩阵ai＝[a1 a2 … ai]T和隐含层阈值矩阵bi＝[b1 b2 … bi]T，其中，i＝1，2，3，…L，ɑi表示第i个隐含层节点的输入权值向量，bi表示第i个隐含层节点的阈值；
计算人脸特征X的第i个样本Xi在隐含层的输出向量，其中X＝Rd，hi(x)为第i个隐含层节点的输出特征，表示为：hi＝g(ai bi x)，a∈Rd，b∈Rd；
其中，hi＝g(ai bi x)为隐含层节点的非线性激活函数，采用sigmoid函数，则
计算人脸数据X在隐含层输出：
5.如权利要求1所述的人脸识别的流形保持极限学习机降维方法，其特征在于，获取所述预设隐含层和输出层的连接权值β包括：
步骤1、采用k近邻方法对样本Xi以欧氏距离为测度找出距离最近的k个样本作为局部邻域Xi＝(Xi1,Xi2,…,Xik)，i＝1，2，…，d；
步骤2、计算样本Xi与所述局部领域Xi内样本点Xij间的欧氏距离E(Xi,Xij)、测地线距离G(Xi,Xij)、局部邻域内测地线距离的中值Gm,则Xi与Xij的流形近邻关系为结构权值与距离权值的乘积：
(1)、结构权值为测地线距离与欧式距离之比，表达式为：
(2)、距离权值为测地线距离与测地线距离中值之比，表达式为：
(3)由(1)、(2)得到Xi与Xij的流形近邻关系的表达式为：
步骤3、构造数据结构流形保持正则因子MP，MP＝D-W，其中，W是由Wij组成的n×n稀疏邻接矩阵,n为样本个数，D为对角矩阵，
基于流形保持的极限学习机模型：
用于解决模型求解中出现平凡解的问题，I为单位矩阵；
步骤5、用拉格朗日乘子法对步骤4的模型进行求解，得到最小的m个特征值及对应的特征向量A，计算出隐含层和输出层的连接权值β，β＝H(x)TA；
当m小于d时，则实现对人脸特征的降维，所述流形保持的显式降维模型为：t＝H(X)β。
6.如权利要求1所述的人脸识别的流形保持极限学习机降维方法，其特征在于，所述测地线距离包括用Dijkstra算法计算的测地线距离。
CN201910392927.7A 2019-05-10 2019-05-10 一种人脸识别的流形保持极限学习机降维方法 Active CN110188626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910392927.7A CN110188626B (zh) 2019-05-10 2019-05-10 一种人脸识别的流形保持极限学习机降维方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910392927.7A CN110188626B (zh) 2019-05-10 2019-05-10 一种人脸识别的流形保持极限学习机降维方法

Publications (2)

Publication Number Publication Date
CN110188626A true CN110188626A (zh) 2019-08-30
CN110188626B CN110188626B (zh) 2022-12-23

Family

ID=67714477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910392927.7A Active CN110188626B (zh) 2019-05-10 2019-05-10 一种人脸识别的流形保持极限学习机降维方法

Country Status (1)

Country Link
CN (1) CN110188626B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187986A (zh) * 2007-11-27 2008-05-28 海信集团有限公司 基于有监督的近邻保持嵌入和支持向量机的人脸识别方法
CN102867191A (zh) * 2012-09-04 2013-01-09 广东群兴玩具股份有限公司 一种基于流形子空间学习的降维方法
CN105184281A (zh) * 2015-10-12 2015-12-23 上海电机学院 基于高维流形学习的人脸特征库构建方法
CN106503633A (zh) * 2016-10-10 2017-03-15 上海电机学院 一种视频图像中人脸特征库的建立方法
CN109145706A (zh) * 2018-06-19 2019-01-04 徐州医科大学 一种用于振动信号分析的敏感特征选取与降维方法
CN109241813A (zh) * 2017-10-17 2019-01-18 南京工程学院 用于非约束人脸识别的判别稀疏保持嵌入方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187986A (zh) * 2007-11-27 2008-05-28 海信集团有限公司 基于有监督的近邻保持嵌入和支持向量机的人脸识别方法
CN102867191A (zh) * 2012-09-04 2013-01-09 广东群兴玩具股份有限公司 一种基于流形子空间学习的降维方法
CN105184281A (zh) * 2015-10-12 2015-12-23 上海电机学院 基于高维流形学习的人脸特征库构建方法
CN106503633A (zh) * 2016-10-10 2017-03-15 上海电机学院 一种视频图像中人脸特征库的建立方法
CN109241813A (zh) * 2017-10-17 2019-01-18 南京工程学院 用于非约束人脸识别的判别稀疏保持嵌入方法
CN109145706A (zh) * 2018-06-19 2019-01-04 徐州医科大学 一种用于振动信号分析的敏感特征选取与降维方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔国友等: "基于保局投影和SFAM网络的装备故障智能诊断", 《中国造船》 *
杨国亮等: "基于EMBP情感神经网络的人脸识别算法研究", 《工业控制计算机》 *

Also Published As

Publication number Publication date
CN110188626B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
Sengupta et al. A review of deep learning with special emphasis on architectures, applications and recent trends
CN110472817B (zh) 一种结合深度神经网络的XGBoost集成信用评价系统及其方法
CN112949837B (zh) 一种基于可信网络的目标识别联邦深度学习方法
Ru et al. Multi-temporal scene classification and scene change detection with correlation based fusion
Zhang et al. A convolutional neural network for leaves recognition using data augmentation
CN106023065B (zh) 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
Nag et al. Forecasting daily foreign exchange rates using genetically optimized neural networks
Zhong et al. An adaptive artificial immune network for supervised classification of multi-/hyperspectral remote sensing imagery
CN109165950A (zh) 一种基于金融时间序列特征的异常交易识别方法，设备及可读存储介质
Huang et al. Kernel local Fisher discriminant analysis based manifold-regularized SVM model for financial distress predictions
CN111104975B (zh) 一种基于广度学习的信用评估方法
Tong et al. Collaborative generative adversarial network for recommendation systems
WO2023130728A1 (zh) 基于社区结构的动态图异常检测方法
CN102722578B (zh) 一种基于拉普拉斯正则化无监督的聚类特征选取方法
Pan et al. Low-rank tensor regularized graph fuzzy learning for multi-view data processing
Wang et al. Graph-based safe support vector machine for multiple classes
Landrieu et al. Leveraging class hierarchies with metric-guided prototype learning
Casolaro et al. Deep learning for time series forecasting: Advances and open problems
CN102324031A (zh) 老龄用户多生物特征身份认证中的隐式语义特征提取方法
CN115310589A (zh) 一种基于深度图自监督学习的群体识别方法及系统
Chen et al. Anomaly detection for drinking water quality via deep biLSTM ensemble
CN110188626A (zh) 一种人脸识别的流形保持极限学习机降维方法
CN111950429A (zh) 一种基于加权协同表示的人脸识别方法
Bisarya et al. Stock price prediction using corporation network and LSTM
Lei et al. Student action recognition based on multiple features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant