CN113686810B - 一种基于卷积神经网络的近红外光谱波长选择方法 - Google Patents

一种基于卷积神经网络的近红外光谱波长选择方法 Download PDF

Info

Publication number
CN113686810B
CN113686810B CN202110975121.8A CN202110975121A CN113686810B CN 113686810 B CN113686810 B CN 113686810B CN 202110975121 A CN202110975121 A CN 202110975121A CN 113686810 B CN113686810 B CN 113686810B
Authority
CN
China
Prior art keywords
value
loop
wavelength
weight
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110975121.8A
Other languages
English (en)
Other versions
CN113686810A (zh
Inventor
梅青平
胡媛莉
董引娣
丁允超
翁代云
汪忆
何娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing City Management College
Original Assignee
Chongqing City Management College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing City Management College filed Critical Chongqing City Management College
Priority to CN202110975121.8A priority Critical patent/CN113686810B/zh
Publication of CN113686810A publication Critical patent/CN113686810A/zh
Application granted granted Critical
Publication of CN113686810B publication Critical patent/CN113686810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种基于卷积神经网络的近红外光谱波长选择方法,包括以下步骤,S1搭建CNN卷积神经网络;S2采用检测目标近红外光谱标样训练CNN模型,更新CNN卷积神经网络超参数;S3模拟正向传播过程,获取波长点权重大小。本发明优选波长后的模型性能明显由于全波长的情况,与iPLS相比,特征波长数更少,性能相当,略有优势。由于本专利为波长点选择算法,当阈值间隔粒度取值更小时,可以获得更高精度的特征波长选择结果。

Description

一种基于卷积神经网络的近红外光谱波长选择方法
技术领域
本发明属于化学工程领域,具体涉及一种基于卷积神经网络的近红外光谱波长选择方法。
背景技术
偏最小二乘法(PLS)被认为具有很强的抗干扰能力,是近红外光谱建模中最常用的多元校准方法。在PLS中,主成分满足保留原始光谱信息和最佳解释主导变量的要求。但是,PLS是通过将原始特征空间映射到新空间来构建模型的,无法剔除不相关和冗余的变量。对光谱数据进行处理或变换,可以减少甚至消除各种非目标因素对光谱的影响,尽可能去除不相关的信息变量,能进一步提高校正模型预测能力和稳定性。该法是隐变量建模技术,不利于对待测物质进行谱学解释。
iPLS以及优化算法是主流特征波长提取算法,其原理是将全谱分为若干等宽的区间,通过比较RMSECV和RMSEP选择合适的波长或波长区间进行建模。当检测目标为复杂物质的综合表征时,检测目标近红外光谱数据信息严重耦合,导致待测指标的模式不明(如:检测废液COD含量时,近红外光谱对水分子有强吸收,对待测含量不敏感),采用波段选择方法选取波段组合,很可能会丢失与待测组分相关的光谱信息;使用上述线性建模方法或传统前馈神经网络形成的浅层学习模型,表征和识别检测目标光谱与待测指标的复杂关系时往往也“力不从心”,模型的预测能力及泛化性能几乎达到瓶颈。基于上述方法选取特征波长的代表性将受到严重影响。
发明内容
本发明要解决的技术问题是,针对待测指标的模式不明复杂测量体系,现有隐变量建模技术和波段选择技术,不利特征波长选择和对待测物质进行谱学解释。
本发明提供一种基于卷积神经网络的近红外光谱波长选择方法,包括以下步骤,
S1搭建CNN卷积神经网络;
S2采用检测目标近红外光谱标样训练CNN模型,更新CNN卷积神经网络超参数;
超参数包括,1.卷积核数量:knum,2.卷积核大小:ksize,3.隐藏层神经元数量:q,在步骤S2中多次调试超参数值,直到网络模型预测效果达到最佳。
S3模拟正向传播过程,计算所有卷积核对每个波长点的全路径传播过程所得的系数,系数为正时判定该波长点吸光度对于预测值有正向贡献,对应波长点的权重加1,得到每个波长点的权重大小;
进一步的,
所述步骤S2包括,
S21)初始化超参数;
S22)随机初始化向量kk,F,H;
S23)输入光谱矩阵和对应待测成分浓度值向量;
S24)卷积运算,求卷积层、全连接层各单元输出;
S25)求目标值和浓度值的偏差E;
S26)求误差梯度,更新权值和偏置;
S27)重复步骤S23)-S26),直到E小于设定阈值;
S28)得到卷积核权重kk=(kk1,kk2,…,kksize),下标k=1,2,…,knum,knum表示卷积核数量,size表示卷积核大小,kk表示第k个卷积核的权重向量;
Flatten层与隐藏层之间权重由矩阵F表示,隐藏层与输出层的权重由向量H表示,H=(h1…hq),p为flatten层单元数量,q为隐藏层神经元数量。f表示Flatten层与隐藏层两个神经元之间的连接权重,h表示隐藏层与输出层之间神经元的连接权重。
进一步的,
所述步骤S3包括,
初始化第i个卷积核对应的波长点权重向量:wi=(0,0,0,…,0),wi是n维向量,i=1,2,…,knum;
执行第一循环,第一循环定义变量k的初始值为1,每执行一次第一循环,k的值增加1,直到k的值为knum时结束第一循环;
第一循环的内容包括,执行第二循环,第二循环定义变量i的初始值为1,每执行一次第二循环i的值增加1,直到i的值为n时结束第二循环;
第二循环的内容包括,定义变量temp的值为1,执行第三循环,第三循环定义变量j的初始值为i,每执行一次第三循环j的值增加1,直到j的值为i+size时结束第三循环;
第三循环的内容包括:
定义变量temp的值为1;
若wk(j)+kk(temp)*F(a,b)*H(b)的值大于0,则wk(i)的值为1,否则wk(i)的值为0,其中a=(1,2,…,p),b=(1,2,…,q);
变量temp的值增加1。
本发明的有益效果是,优选波长后的模型性能明显优于全波长的情况,与iPLS相比,特征波长数更少,结构更精简,性能相当。由于本发明为波长点选择算法,当阈值间隔粒度取值更小时,可以获得更高精度的特征波长选择结果。
附图说明
图1样本光谱图。
图2卷积神经网络示意图。
图3各波长点正向贡献次数示意图。
图4三种方法选择的特征波长范围粗略比较示意图。
图5本发明流程图。
具体实施方式
本发明的发明构思是,采用非线性深度神经网络在近红外光谱全谱区训练检测模型,形成重要特征参数,然后将这些特征返回到光谱的相应区域来寻找特征波长点。
卷积神经网络是多层感知器的变体,它是前馈卷积运算和人工神经网络(ANN)的组合模式(深度特征提取+非线性函数逼近),可将输入数据映射到一组适当的输出上,被广泛应用于包含复杂信息的图像识别与检测,对于图片的深度特征提取、分类具有独特的优势。由此可见,卷积运算即是特征提取过程,训练后的CNN卷积层的每个输出节点对应一个应用于频谱特定区域的核。因此,可以将特征选择算法应用到这种输出中去寻找重要的特征;然后将这些特征返回到光谱的相应区域。
本发明主要步骤包括,S1.搭建CNN卷积神经网络(基于一维卷积核);S2.采用检测目标近红外光谱标样训练CNN模型;S3.模拟正向传播过程,计算所有卷积核对每个波长点的全路径传播过程(卷积层+全连接层)所得的系数,系数为正时表示该波长点吸光度对于预测值有正向贡献,对应波长点的权重加1,得到每个波长点的总权重,波长点权重大小(对预测值贡献)体现该波长点对待测物质解释能力。
本专利采用卷积神经网络搭建检测目标近红外光谱校正模型;提取最终模型的卷积核参数后,模拟卷积运算,在全谱区域,计算每个波长点对应的总权重,并对权重值排序,实现对待测成分的谱学解释。
本发明计算过程如下:
本发明将原始波长特征按对浓度解释能力排序后,进行交叉验证,剔除解释能力较弱的特征,以达到最高的预测精度和最少的特征波长数。
实施例1
模型搭建步骤包括:
如图1所示,本实施例中废弃钻井液样品的近红外光谱在7000cm-1附近有很强的吸收峰,为避免饱和峰值的影响,建模时丢弃7127-6985cm-1信号的光谱信息。使用10000-7128cm-1和6984-4000cm-1谱区的信息进行波长选择,这两个波段的组合为全波长。
本实施例采用1000个检测目标近红外光谱样本训练卷积神经网络模型,如图2所示。输入层:输入大小为1518×1的张量,代表一条近红外光谱中不同波长处的吸光度。卷积层1:卷积核尺寸6×1,卷积核个数6,卷积运算步长为1,激活函数为ReLU。池化层1:池化滤波器尺寸2×1,采样步长为2,采用最大池化算法。全连接层:神经元个数为100,激活函数为ReLU。ReLU输出层:输出神经元1个,代表检测目标COD的预测值。模型RMSEP值为19.9mg.L-1
波长选择步骤包括:
本实施例选择代表性样本100个,采用PLS模型预测精度(RMSEP)作为评估准则,设定阈值Φ,剔除Φ<counti(i=100,200,…900)情况下对应的光谱波长点bi,从而得出精度较高但波数较少的校正模型,此校正模型所含的特征即为最佳特征子集。然后建立PLS定标模型(权重大于阈值的波长点保留,小于阈值的波长点舍弃)。
如图3和表1所示,随着Φ增加,RMSEP先减小后增大。Φ=500,选择了311个波长,相应的RMSEP达到最小值(21.3mg.L-1,满足检测精度,且优于全波长模型能)。在PLS模型中波长变量不足将导致模型欠拟合,在建模过程中将不相关或非信息变量引入频谱会导致过度拟合,特征波长数过多或偏少都会影响PLS模型的预测精度。
表1基于CNN波长选择的PLSR模型性能
iPLS(Interval Partial Least Squares)法选择特征波长已被大量报道,采用本专利波长选择结果与(iPLS)波长选择法进行比较,验证其有效性。
表2 BiPLS和FiPLS最优结果区间
从表2中可以看出,在BiPLS模型中,当所选间隔为7个时,模型性能最佳,选择间隔21、22、23、26、17、16和27用于建模,近似波长数338个。在FiPLS模型中,选择10个区间时模型性能最优,近似波长数486个,模型涉及的区间为17、21、23、26、27、22、16、15、18、12。
从表2和图4可以看出,iPLS算法实现的最优子区间(7200-7400cm-1,30个区间和7128-7600cm-1,10个区间)与CNN的最大正向贡献次数离范围(7100-7700cm-1)相似,BiPLS和FiPLS的选择范围的交集也表现出与CNN高度重合,主要分布在7128-8000cm-1范围内。CNN的光谱范围略大于基于iPLS算法选择的结果。即本发明可以更充分地选择光谱信息。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于卷积神经网络的近红外光谱波长选择方法,包括以下步骤,
S1搭建一维CNN卷积神经网络;
S2采用检测目标近红外光谱标样训练CNN模型,更新一维CNN卷积神经网络超参数;包括,
S21)初始化超参数
S22) 随机初始化向量,/>,/>
S23) 输入光谱矩阵和对应COD浓度向量
S24) 卷积运算,求卷积层、全连接层各单元输出
S25) 求目标值和浓度值的偏差E
S26) 求误差梯度,更新权值和偏置
S27) 重复步骤S23)-S26),直到E小于设定阈值
S28) 得到卷积核权重,下标/>,/>表示卷积核数量,/>表示卷积核大小,/>表示第/>个卷积核的权重向量;
Flatten层与隐藏层之间权重由矩阵表示,/>,隐藏层与输出层的权重由向量/>表示,/>,/>为flatten层单元数量,/>为隐藏层神经元数量;/>表示Flatten层与隐藏层两个神经元之间的连接权重,/>表示隐藏层与输出层之间神经元的连接权重;
S3模拟正向传播过程,计算所有卷积核对每个波长点的全路径传播过程所得的系数,系数为正时判定该波长点吸光度对于预测值有正向贡献,对应波长点的权重加1,得到每个波长点的权重大小;
包括:初始化第个卷积核对应的波长点权重向量:/>,/>是/>维向量,/>
执行第一循环,第一循环定义变量k的初始值为1,每执行一次第一循环,k的值增加1,直到k的值为knum时结束第一循环;
第一循环的内容包括,执行第二循环,第二循环定义变量i的初始值为1,每执行一次第二循环i的值增加1,直到i的值为n时结束第二循环;
第二循环的内容包括,定义变量temp的值为1,执行第三循环,第三循环定义变量j的初始值为i,每执行一次第三循环j的值增加1,直到j的值为i+size时结束第三循环;
第三循环的内容包括:定义变量temp的值为1,
的值大于0,则/>的值为1,否则/>的值为0,其中/>,/>
变量temp的值增加1;
S4 在全谱区域,计算每个波长点对应的总权重,并对权重值排序,实现对待测成分的谱学解释,将原始波长特征按对浓度解释能力排序后,进行交叉验证,剔除解释能力较弱的特征,以达到最高的预测精度和最少的特征波长数。
CN202110975121.8A 2021-08-24 2021-08-24 一种基于卷积神经网络的近红外光谱波长选择方法 Active CN113686810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110975121.8A CN113686810B (zh) 2021-08-24 2021-08-24 一种基于卷积神经网络的近红外光谱波长选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110975121.8A CN113686810B (zh) 2021-08-24 2021-08-24 一种基于卷积神经网络的近红外光谱波长选择方法

Publications (2)

Publication Number Publication Date
CN113686810A CN113686810A (zh) 2021-11-23
CN113686810B true CN113686810B (zh) 2024-04-16

Family

ID=78581959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110975121.8A Active CN113686810B (zh) 2021-08-24 2021-08-24 一种基于卷积神经网络的近红外光谱波长选择方法

Country Status (1)

Country Link
CN (1) CN113686810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187918B (zh) * 2022-09-14 2022-12-13 中广核贝谷科技有限公司 一种监控视频流中移动物体的识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446681A (en) * 1990-10-12 1995-08-29 Exxon Research And Engineering Company Method of estimating property and/or composition data of a test sample
US6122299A (en) * 1997-12-31 2000-09-19 Sdl, Inc. Angled distributed reflector optical device with enhanced light confinement
CN105550457A (zh) * 2015-12-23 2016-05-04 重庆科技学院 动态演化模型校正方法及系统
CN106124449A (zh) * 2016-06-07 2016-11-16 中国科学院合肥物质科学研究院 一种基于深度学习技术的土壤近红外光谱分析预测方法
CN107064054A (zh) * 2017-02-28 2017-08-18 浙江大学 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法
CN109001136A (zh) * 2018-09-20 2018-12-14 杭州绿洁水务科技股份有限公司 一种基于紫外—可见光吸收光谱的cod在线监测方法
CN110736707A (zh) * 2019-09-16 2020-01-31 浙江大学 一种主仪器向从仪器光谱模型传递的光谱检测优化方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN111272697A (zh) * 2020-04-27 2020-06-12 江苏益客食品集团股份有限公司 一种基于近红外高光谱的硫代巴比妥酸含量检测方法
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN113222959A (zh) * 2021-05-26 2021-08-06 马翔 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288856B2 (en) * 2019-11-05 2022-03-29 Intelligent Fusion Technology, Inc. Method and system for wave propagation prediction

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446681A (en) * 1990-10-12 1995-08-29 Exxon Research And Engineering Company Method of estimating property and/or composition data of a test sample
US6122299A (en) * 1997-12-31 2000-09-19 Sdl, Inc. Angled distributed reflector optical device with enhanced light confinement
CN105550457A (zh) * 2015-12-23 2016-05-04 重庆科技学院 动态演化模型校正方法及系统
CN106124449A (zh) * 2016-06-07 2016-11-16 中国科学院合肥物质科学研究院 一种基于深度学习技术的土壤近红外光谱分析预测方法
CN107064054A (zh) * 2017-02-28 2017-08-18 浙江大学 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法
CN109001136A (zh) * 2018-09-20 2018-12-14 杭州绿洁水务科技股份有限公司 一种基于紫外—可见光吸收光谱的cod在线监测方法
CN110736707A (zh) * 2019-09-16 2020-01-31 浙江大学 一种主仪器向从仪器光谱模型传递的光谱检测优化方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN111272697A (zh) * 2020-04-27 2020-06-12 江苏益客食品集团股份有限公司 一种基于近红外高光谱的硫代巴比妥酸含量检测方法
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN113222959A (zh) * 2021-05-26 2021-08-06 马翔 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Characterization of a wavelength selection method using near-infrared spectroscopy and partial least squares with false nearest neighbors and its application in the detection of the chemical oxygen demand of waste liquid;Qing-Ping Mei;《Spectroscopy Letters》;1-11 *
基于不同卷积神经网络模型的红壤有机质高光谱估算;钟亮;《农业工程学报》;第37卷(第1期);203-212 *
基于卷积神经网络和近红外光谱的土壤有机碳预测模型;史杨;《计算机应用与软件》;第35卷(第10期);147-152 *
近红外光谱多元动态校正模型研究及其在废液COD监测中的应用;梅青平;《中国博士学位论文-工程科技I辑》;B014-159 *

Also Published As

Publication number Publication date
CN113686810A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN109493287B (zh) 一种基于深度学习的定量光谱数据分析处理方法
Pu et al. Hierarchical variable selection for predicting chemical constituents in lamb meats using hyperspectral imaging
CN111126575A (zh) 基于机器学习的气体传感器阵列混合气体检测方法及装置
Tsakiridis et al. DECO3RUM: A Differential Evolution learning approach for generating compact Mamdani fuzzy rule-based models
CN106644983B (zh) 一种基于pls-vip-aco算法的光谱波长选择方法
CN114004346B (zh) 基于门控堆叠同构自编码器的软测量建模方法及存储介质
He et al. Fast discrimination of apple varieties using Vis/NIR spectroscopy
CN113686810B (zh) 一种基于卷积神经网络的近红外光谱波长选择方法
CN115656074B (zh) 一种海水cod光谱变量特征自适应选择估计方法
CN113052271A (zh) 基于深度神经网络的生物发酵数据预测方法
KR20220113789A (ko) 분석 데이터에 기초한 특성화를 위한 머신 비전
Liu et al. Identifying CPPU-treated kiwifruits using near-infrared hyperspectral imaging technology
Shi et al. Feature extraction and classification of cataluminescence images based on sparse coding convolutional neural networks
CN115436343A (zh) 异源激光诱导击穿光谱之间的迁移和标准化方法及系统
Li et al. SCNet: A deep learning network framework for analyzing near-infrared spectroscopy using short-cut
Shao et al. A new approach to discriminate varieties of tobacco using vis/near infrared spectra
Wang et al. A food quality detection method based on electronic nose technology
Yang et al. PEAMATL: A Strategy for Developing Near-Infrared Spectral Prediction Models Under Domain Shift Using Self-Supervised Transfer Learning
Wang et al. SVM classification method of waxy corn seeds with different vitality levels based on hyperspectral imaging
CN108509692A (zh) 一种基于MiUKFNN算法的高含硫天然气脱硫工艺建模方法
Chia et al. Neural network and extreme gradient boosting in near infrared spectroscopy
CN106777468A (zh) 高含硫天然气脱硫工艺强跟踪演化建模方法
CN112881333B (zh) 一种基于改进免疫遗传算法的近红外光谱波长筛选方法
Liu et al. A novel wavelength selection strategy for chlorophyll prediction by MWPLS and GA
CN115993345A (zh) 一种基于isfo-vmd-kelm的sf6分解组分co2浓度反演的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant