CN113191073A - 一种基于bp神经网络的光学特性参数反演方法 - Google Patents
一种基于bp神经网络的光学特性参数反演方法 Download PDFInfo
- Publication number
- CN113191073A CN113191073A CN202110367571.9A CN202110367571A CN113191073A CN 113191073 A CN113191073 A CN 113191073A CN 202110367571 A CN202110367571 A CN 202110367571A CN 113191073 A CN113191073 A CN 113191073A
- Authority
- CN
- China
- Prior art keywords
- neural network
- optical characteristic
- error
- layer
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于BP神经网络的光学特性参数反演方法。本发明包括以下步骤:1设置光学特性参数作为实际光学特性参数,使用蒙特卡洛仿真和一维零阶汉克尔变换获得对应的漫反射值数据集;2建立BP神经网络反演模型,将漫反射值数据集输入BP神经网络反演模型进行训练,输出获得预测光学特性参数;3计算预测光学特性参数与对应的实际光学特性参数之间的误差,根据误差利用自适应矩估计算法逐层修改BP神经网络反演模型的权重和偏置系数,获得训练好的BP神经网络反演模型。与现有传统技术相比,本发明具有较强的非线性问题处理能力和反演速度快的优点,突破了辐射传输方程中约化散射系数必须要远远大于吸收系数的限制。
Description
技术领域
本发明涉及生物组织光学特性检测领域的一种光学特性参数反演方法,具体涉及了一种基于BP神经网络的光学特性参数反演方法。
背景技术
光与生物组织相互作用时,主要会发生吸收和散射两种现象,而多次散射起主导作用,可以分别用吸收系数(absorption coefficient,μa)和约化散射系数(reducedscattering coefficient,μs′)这两个光学特性参数进行描述。吸收系数表示光子在组织中传播单位距离后被吸收的概率,生物材料对光的吸收作用主要由分子中的化学键产生,因此可以反映生物组织中的水分含量、含糖量、酸度等。散射系数(scatteringcoefficient,μs)表示光子在组织中传播单位距离后被散射的概率。各向异性系数(anisotropy coefficient,g)在数学上被定义为散射角余弦值的数学期望,μs′由散射系数和各向异性系数组成:μs′=μs(1-g)。μs′能够反映生物组织的细胞尺寸、细胞密度等信息。因为光学特性参数不仅可以反映生物组织的化学成分信息,还能够反映物理结构信息,所以光学特性参数可以用于医学领域疾病的监测与诊断,也可以用于农业领域农产品品质与安全的无损检测。
目前国内外基于漫反射进行光学特性参数反演的方法主要有:曲线拟合法和查表法,图1和图2分别是两种方法的逻辑流程图。
曲线拟合法是一种迭代方法。该方法的思路是给定一个初始光学特性值,将初始值代入拟合公式中,得到的结果与给定的结果相对比,如果收敛则输出该值,如果不收敛则重新代入到方程中一遍一遍的进行迭代。曲线拟合法精度高,但是却存在迭代次数多、计算量大、耗时长的问题,难以在实时监测中得到应用。
查表法是一种邻近方法。首先根据辐射传输方程计算出各个漫反射值对应的光学特性参数值,将漫反射值按照规律排列,相对应的光学特性参数值也按照对应规律排列。在使用查表法时,根据漫反射的值来查询对应的光学特性参数。该方法反演光学特性的效率和精度取决于表的精度,表的精度过高,查表效率会下降,存在着查表效率和查表精度难以协调的问题,在实际应用中存在着局限性。
在获取漫反射图像时难免会受到系统噪声的影响,这些噪声在系统采集漫反射图像时存在,在曲线拟合与查表法过程中不会有噪声的出现,但是因为两种拟合方法都是逐点进行拟合,所以无法消除噪声的影响,只能在采集到的漫反射图像中使用相关的滤波算法进行滤波,尽可能去除噪声的干扰。
鉴于上述分析,曲线拟合方法的精确度高,但是对光学特性参数反演的效率较低,在实时应用中收到一定的限制。查表法可以通过牺牲精度来达到提高效率的目的,但是还是存在难以协调光学特性参数的反演效率和反演精度的问题。
在《一种水稻叶片组织光学特性参数的反演方法和测量装置》的专利中使用神经网络反演光学特性参数,但是其使用漫反射率作为输入,而漫反射率的采集对设备要求高,如需要用到积分球系统,待测样本需要被有损制备。且在该方法中描述的BP网络模型深度只有三层,但是神经元数量庞大,非线性表达能力较弱,计算时间较长。
发明内容
为了克服上述现有技术中存在的不足,本发明的目的在于利用BP神经网络非线性映射能力强的特点协调光学特性参数反演的效率和精度不可兼得的问题。
本发明的技术方案如下:
本发明包括如下步骤:
1设置光学特性参数作为实际光学特性参数,获得对应的漫反射值数据集;
2建立BP神经网络反演模型,将漫反射值数据集输入BP神经网络反演模型进行训练,输出获得预测光学特性参数;
3利用自适应矩估计算法计算预测光学特性参数与对应的实际光学特性参数之间的误差,根据误差逐层修改BP神经网络反演模型的权重和偏置系数,获得训练好的BP神经网络反演模型;
4将待检测的漫反射值输入训练好的BP神经网络反演模型,输出预测光学特性参数。
所述步骤1具体为:
1.1光学特性参数包括吸收系数μa和约化散射系数μs′,分别设置吸收系数μa和约化散射系数μs′的取值范围与变化间隔;
1.2构建蒙特卡罗模型,将光学特性参数输入蒙特卡罗模型中,获得光学特性参数对应的反射值;
1.3对反射值进行一维零阶汉克尔变换,获得对应的漫反射值,由各漫反射值组成漫反射值数据集。
所述BP神经网络反演模型具体为一个输入层、六个隐含层和一个输出层;一个输入层依次通过六个隐含层与一个输出层相连,六个隐含层之间依次连接,输入层主要由5个神经元组成,每个隐含层主要由10个神经元组成,输出层主要由一个或两个神经元组成。
所述输出层为一个神经元时,输出层输出吸收系数μa或约化散射系数μs′;输出层为两个神经元时,输出层分别输出吸收系数μa和约化散射系数μs′。
所述根据误差逐层修改BP神经网络反演模型的权重和偏置系数,具体为:把误差记为第一误差,将第一误差求偏导后并乘上第一误差系数后作用于与输出层相连的隐含层,修改与输出层相连的隐含层的原始权重和原始偏置,获得当前隐含层的新权重和新偏置;然后,计算当前隐含层的原始偏置和原始权重与新权重和新偏置之间的误差并记为第二误差,对第二误差求偏导后并乘上第二误差系数后再作用于上一层隐含层,修改上一层隐含层的原始权重和原始偏置,获得上一层隐含层的新权重和新偏置;直至修改完所有的隐含层。
所述预测光学特性参数为预测吸收系数或预测约化散射系数或预测吸收系数和预测约化散射系数。
本发明的有益效果:
本发明对漫反射率做进一步计算处理,得到漫反射值,漫反射值可以通过空间频域成像系统无损测量,不损伤待测组织样本本身。
对BP神经网络进行改进,使用更少的神经元,构建更深的网络,提高网络的非线性表达能力和计算速度。
本发明利用非线性映射能力强的优点,建立了基于BP神经网络的吸收系数反演模型和约化散射系数反演模型,实现了吸收系数和约化散射系数快速、准确获取。
附图说明
图1是曲线拟合法的逻辑流程图;
图2是查表法的逻辑流程图;
图3是本发明的BP神经网络流程图;
图4是本发明的BP神经网络训练数据集制作流程图;
图5是本发明的BP神经网络结构图。
具体实施方式
本发明的目的是提供一种光学特性参数反演方法,基于BP神经网络方法对光学特性参数进行反演,利用来自Monte Carlo仿真得到的数据对网络进行训练,得到可以映射漫反射和光学特性参数的神经网络模型,以此来协调光学特性参数反演过程中效率和精度不可兼得的问题。
为使本发明的上述目的、特点以及方法能够更加易懂,下面结合附图对本发明作进一步的阐述。
如图3所示,本发明以苹果组织样本为例,包括如下步骤:
1设置光学特性参数作为实际光学特性参数,获得对应的漫反射值数据集;
如图4所示,步骤1具体为:
1.1光学特性参数包括吸收系数μa和约化散射系数μs′,分别设置吸收系数μa和约化散射系数μs′的取值范围与变化间隔;具体实施中,吸收系数从0.04到0.5mm-1,间隔为0.002mm-1,约化散射系数从0.4到5mm-1,间隔0.01mm-1。
1.2设置光子数量、样本厚度、样本最小分辨率、样本折射率和各向异性系数等,构建蒙特卡罗(Monte Carlo)模型,将光学特性参数输入蒙特卡罗模型中,获得光学特性参数对应的反射值;具体实施中,光子数量为1,000,000个,苹果组织样本的尺寸为5cm*5cm*5cm,苹果组织样本最小分辨率为0.01cm,苹果组织样本折射率为1.35,各向异性系数g设置为0.9。
1.3对反射值进行一维零阶汉克尔变换,获得对应的漫反射值,由各漫反射值组成漫反射值数据集。
其中,R(ri)为反射值;m为以最小分辨率对苹果组织样本宽度进行划分后获得的单位宽度的数量;i为单位宽度的序号;ri是空间分辨方法中的径向距离;fx为漫反射值对应的频率;Δri为相邻两个径向距离之间的间隔,即苹果组织样本最小分辨率;J0()是第一类零阶贝塞尔函数;R(fx)为频率fx下的漫反射值。
本发明的漫反射值数据集中漫反射值的频率为11个,范围0-0.5mm-1,分辨率为0.05mm-1,将所有的漫反射参数随机排列后,得到漫反射值数据集。
2建立BP神经网络反演模型,BP神经网络反演模型能模拟出任意复杂的多输入单/双输出的非线性映射,将漫反射值数据集输入BP神经网络反演模型进行训练,输出获得预测光学特性参数;预测光学特性参数为预测吸收系数或预测约化散射系数或预测吸收系数和预测约化散射系数。
3利用自适应矩估计算法计算预测光学特性参数与对应的实际光学特性参数之间的误差,根据误差逐层修改BP神经网络反演模型的权重和偏置系数,自适应矩估计算法收敛速度快,学习效果好,且不容易陷于局部最优点,能够纠正学习率消失或者高方差的参数更新导致损失函数波动较大的问题。当误差小于预设值时或达到最大训练次数时,结束训练,获得训练好的BP神经网络反演模型;当误差小于0.2时,吸收系数μa的精度可以达到99.0%,约化散射系数μa的精度可以达到99.3%。
4将待检测的漫反射值输入训练好的BP神经网络反演模型,输出预测光学特性参数。
如图5所示,BP神经网络反演模型具体为一个输入层、六个隐含层和一个输出层;一个输入层依次通过六个隐含层与一个输出层相连,六个隐含层之间依次连接,输入层主要由5个神经元组成,每个隐含层主要由10个神经元组成,输出层主要由一个或两个神经元组成。输出层为一个神经元时,输出层输出吸收系数μa或约化散射系数μs′;输出层为两个神经元时,输出层分别输出吸收系数μa和约化散射系数μs′。
根据误差逐层修改BP神经网络反演模型的权重和偏置系数,具体为:把误差记为第一误差,将第一误差求偏导后并乘上第一误差系数后作用于与输出层相连的隐含层,修改与输出层相连的隐含层的原始权重和原始偏置,获得当前隐含层的新权重和新偏置;然后,计算当前隐含层的原始偏置和原始权重与新权重和新偏置之间的误差并记为第二误差,对第二误差求偏导后并乘上第二误差系数后再作用于上一层隐含层,修改上一层隐含层的原始权重和原始偏置,获得上一层隐含层的新权重和新偏置;直至修改完所有的隐含层。
避免两个光学特性参数之间的相互影响,吸收系数和约化散射系数分别独立进行计算,BP神经网络反演模型则为吸收系数反演模型或约化散射系数反演模型。
吸收系数反演模型的输出层输出预测吸收系数,约化散射系数反演模型输出预测约化散射系数,计算输出层输出的预测吸收系数与对应的实际吸收系数的误差,或计算输出层输出的预测约化散射系数与对应的实际约化散射系数的误差,通过以下公式进行计算,获得误差RMSE:
将待检测的多个频率的漫反射值输入训练好的吸收系数反演模型,得到对应的预测吸收系数;将待检测的多个频率的漫反射值输入训练好的约化散射系数反演模型,得到对应的预测约化散射系数。
在预测时,通过空间频域成像系统无损测量获取300像素×300像素的苹果组织样本的光学特性,每个像素均有对应的漫反射值,利用本发明方法获得每个像素的吸收系数和约化散射系数。在计算时间上,传统曲线拟合方法需要923秒,采用本发明方法只需要0.53秒。在精度方面,与曲线拟合方法相比,该方法获取的样本μa和μs′误差分别为5.1%和4.3%。
Claims (6)
1.一种基于BP神经网络的光学特性参数反演方法,其特征在于:包括如下步骤:
1)设置光学特性参数作为实际光学特性参数,获得对应的漫反射值数据集;
2)建立BP神经网络反演模型,将漫反射值数据集输入BP神经网络反演模型进行训练,输出获得预测光学特性参数;
3)利用自适应矩估计算法计算预测光学特性参数与对应的实际光学特性参数之间的误差,根据误差逐层修改BP神经网络反演模型的权重和偏置系数,获得训练好的BP神经网络反演模型;
4)将待检测的漫反射值输入训练好的BP神经网络反演模型,输出预测光学特性参数。
2.根据权利要求1所述的一种基于BP神经网络的光学特性参数反演方法,其特征在于:所述步骤1具体为:
1.1光学特性参数包括吸收系数μa和约化散射系数μs′,分别设置吸收系数μa和约化散射系数μs′的取值范围与变化间隔;
1.2构建蒙特卡罗模型,将光学特性参数输入蒙特卡罗模型中,获得光学特性参数对应的反射值;
1.3对反射值进行一维零阶汉克尔变换,获得对应的漫反射值,由各漫反射值组成漫反射值数据集。
3.根据权利要求1所述的一种基于BP神经网络的光学特性参数反演方法,其特征在于:所述BP神经网络反演模型具体为一个输入层、六个隐含层和一个输出层;一个输入层依次通过六个隐含层与一个输出层相连,六个隐含层之间依次连接,输入层主要由5个神经元组成,每个隐含层主要由10个神经元组成,输出层主要由一个或两个神经元组成。
4.根据权利要求3所述的一种基于BP神经网络的光学特性参数反演方法,其特征在于:所述输出层为一个神经元时,输出层输出吸收系数μa或约化散射系数μs′;输出层为两个神经元时,输出层分别输出吸收系数μa和约化散射系数μs′。
5.根据权利要求1所述的一种基于BP神经网络的光学特性参数反演方法,其特征在于:所述根据误差逐层修改BP神经网络反演模型的权重和偏置系数,具体为:把误差记为第一误差,将第一误差求偏导后并乘上第一误差系数后作用于与输出层相连的隐含层,修改与输出层相连的隐含层的原始权重和原始偏置,获得当前隐含层的新权重和新偏置;然后,计算当前隐含层的原始偏置和原始权重与新权重和新偏置之间的误差并记为第二误差,对第二误差求偏导后并乘上第二误差系数后再作用于上一层隐含层,修改上一层隐含层的原始权重和原始偏置,获得上一层隐含层的新权重和新偏置;直至修改完所有的隐含层。
6.根据权利要求1所述的一种基于BP神经网络的光学特性参数反演方法,其特征在于:所述预测光学特性参数为预测吸收系数或预测约化散射系数或预测吸收系数和预测约化散射系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110367571.9A CN113191073B (zh) | 2021-04-06 | 2021-04-06 | 一种基于bp神经网络的光学特性参数反演方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110367571.9A CN113191073B (zh) | 2021-04-06 | 2021-04-06 | 一种基于bp神经网络的光学特性参数反演方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191073A true CN113191073A (zh) | 2021-07-30 |
CN113191073B CN113191073B (zh) | 2022-08-09 |
Family
ID=76974889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110367571.9A Active CN113191073B (zh) | 2021-04-06 | 2021-04-06 | 一种基于bp神经网络的光学特性参数反演方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191073B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118121196A (zh) * | 2024-05-07 | 2024-06-04 | 北京航天长峰股份有限公司 | 一种hct预测方法、系统、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070019199A1 (en) * | 2005-07-25 | 2007-01-25 | The Wisconsin Alumni Research Foundation | Methods, systems, and computer program products for optimization of probes for spectroscopic measurement in turbid media |
CN105334172A (zh) * | 2015-10-23 | 2016-02-17 | 浙江科技学院 | 一种水果果肉组织光学特性参数的重构方法 |
CN105424653A (zh) * | 2015-11-10 | 2016-03-23 | 浙江大学 | 用集成光纤探头的水果果肉组织光学特性检测系统和方法 |
CN105510253A (zh) * | 2015-12-05 | 2016-04-20 | 浙江大学 | 用空间频域成像检测农产品组织光学特性的装置及方法 |
CN106770047A (zh) * | 2017-01-09 | 2017-05-31 | 浙江大学 | 一种水稻叶片组织光学特性参数的反演方法和测量装置 |
CN111695295A (zh) * | 2020-06-01 | 2020-09-22 | 中国人民解放军火箭军工程大学 | 一种光栅耦合器的入射参数反演模型的构建方法 |
-
2021
- 2021-04-06 CN CN202110367571.9A patent/CN113191073B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070019199A1 (en) * | 2005-07-25 | 2007-01-25 | The Wisconsin Alumni Research Foundation | Methods, systems, and computer program products for optimization of probes for spectroscopic measurement in turbid media |
CN105334172A (zh) * | 2015-10-23 | 2016-02-17 | 浙江科技学院 | 一种水果果肉组织光学特性参数的重构方法 |
CN105424653A (zh) * | 2015-11-10 | 2016-03-23 | 浙江大学 | 用集成光纤探头的水果果肉组织光学特性检测系统和方法 |
CN105510253A (zh) * | 2015-12-05 | 2016-04-20 | 浙江大学 | 用空间频域成像检测农产品组织光学特性的装置及方法 |
CN106770047A (zh) * | 2017-01-09 | 2017-05-31 | 浙江大学 | 一种水稻叶片组织光学特性参数的反演方法和测量装置 |
CN111695295A (zh) * | 2020-06-01 | 2020-09-22 | 中国人民解放军火箭军工程大学 | 一种光栅耦合器的入射参数反演模型的构建方法 |
Non-Patent Citations (1)
Title |
---|
XUEMING HE: "《Least squares support vector machine regression combined with Monte Carlo simulation based ob the spatial frequency domain imaging for the detection of optical properties of pear》", 《POSTHARVEST BIOLOGY AND TECHNOLOGY》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118121196A (zh) * | 2024-05-07 | 2024-06-04 | 北京航天长峰股份有限公司 | 一种hct预测方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113191073B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110455722A (zh) | 橡胶树叶片磷含量高光谱反演方法和系统 | |
CN103854305B (zh) | 一种基于多尺度建模的模型传递方法 | |
Tu et al. | Neural network-based hybrid signal processing approach for resolving thin marine protective coating by terahertz pulsed imaging | |
CN113848252B (zh) | 一种基于超声导波和卷积神经网络的腐蚀成像方法 | |
CN113486574B (zh) | 基于历史数据以及机器学习的声速剖面补全方法及装置 | |
CN107168063B (zh) | 基于集成变量选择型偏最小二乘回归的软测量方法 | |
CN112906310A (zh) | 考虑萤火虫算法优化bp神经网络微波遥感土壤水分反演方法 | |
CN110096810A (zh) | 一种基于逐层数据扩充深度学习的工业过程软测量方法 | |
CN113191073B (zh) | 一种基于bp神经网络的光学特性参数反演方法 | |
CN111956180B (zh) | 一种重建光声内窥层析图像的方法 | |
CN109543769A (zh) | 一种基于函数型主成分分析和小波变换的变压器运行数据缺失点修补方法 | |
CN111812122A (zh) | 一种微波扫频数据的二阶频率选择方法及装置 | |
CN113935906B (zh) | 傅里叶域光学相干层析成像的强反射条纹噪声去除方法 | |
CN115684855A (zh) | 基于孪生模型的电力设备内部绝缘缺陷放电量定量方法及系统 | |
CN110851788B (zh) | 基于神经网络的超声背散射零差k模型参数估算方法 | |
CN109239771A (zh) | 一种基于非均匀背景介质的弹性波成像方法 | |
CN114913406A (zh) | 一种基于光学特性参数反演的叶绿素含量估测方法 | |
DE102011111091A1 (de) | Verfahren und system zum auswerten des zustandes einer ansammlung von ähnlichen länglichen hohlen objekten | |
Li et al. | Inversion of the optical properties of apples based on the convolutional neural network and transfer learning methods | |
CN118378037B (zh) | 基于长短期记忆深度神经网络的桥梁加速度数据去噪方法 | |
CN116542132B (zh) | 结合球冠谐模型和神经网络的水汽数据校准与优化方法 | |
CN115032175B (zh) | 散射介质的物理特性估计方法及装置 | |
CN116305665B (zh) | 一种工件横截面残余应力分布的分析方法及相关装置 | |
CN116878398A (zh) | 基于混合目标函数和变异策略的热障涂层厚度太赫兹检测方法 | |
CN113609687B (zh) | 一种椭偏仪实时测量结果优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |