CN112418328B - 一种基于深度学习的排污口盖板未关闭到位故障检测方法 - Google Patents
一种基于深度学习的排污口盖板未关闭到位故障检测方法 Download PDFInfo
- Publication number
- CN112418328B CN112418328B CN202011340428.2A CN202011340428A CN112418328B CN 112418328 B CN112418328 B CN 112418328B CN 202011340428 A CN202011340428 A CN 202011340428A CN 112418328 B CN112418328 B CN 112418328B
- Authority
- CN
- China
- Prior art keywords
- neural network
- cover plate
- network model
- activation function
- apmu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
一种基于深度学习的排污口盖板未关闭到位故障检测方法,属于故障检测领域。本发明解决了传统深度学习方法所用的激活函数较为简单,无法为模型提供足够的非线性映射能力问题。本发明方法包括:获取动车侧部图像,对排污口进行粗定位,获取可能包含排污口的子区域图像并对其标注;构建神经网络模型训练数据集和测试数据集,设计APMU神经网络非线性激活函数和神经网络模型,在训练集上和测试集上分别训练和测试神经网络模型,获取神经网络模型参数权重和最优参数权重;以排污口子区域图像作为神经网络模型输入,通过神经网络模型对排污口进行精确定位;通过图像处理判断排污口是否故障。本发明用于排污口盖板未关闭到位故障检测。
Description
技术领域
本发明属于图像检测技术领域,具体涉及一种基于深度学习的排污口盖板未关闭到位故障检测方法。
背景技术
排污口盖板能够保证动车组车体在高速运行中的气密性,保护排污口及附近部件不受内外气压差的影响而发生泄露、部件丢失等故障。因此,对动车组排污口盖板未关闭到位故障进行及时的自动报警具有重要意义。
通过深度学习方法对动车组排污口故障进行自动检测及报警,人工只需对少量报警结果进行确认。相对于人工用肉眼检查所有排污口图像,能够有效提高检测质量和检测效率,大幅节约车辆段的人力成本。
基于深度学习方法的图像故障检测模型通常先将输入图像映射到高维特征空间;然后在该特征空间中构建一个超曲面,对不同类别的图像特征进行划分;最后将故障检测结果映射到低维空间进行输出。由于不同类别的图像特征在高维特征空间中往往是线性不可分的,因此非线性激活函数通常被用于图像故障检测模型中,以使模型获得非线性映射能力。激活函数的好坏直接影响到图像故障检测模型的整体性能。
然而,传统深度学习方法所用的激活函数较为简单,无法为模型提供足够的非线性映射能力。另外,传统深度学习方法采用的激活函数形式固定,所有输入数据均通过相同的激活函数进行非线性映射。当输入数据的类内差异较大时,通过相同激活函数进行非线性映射会降低模型的性能。
发明内容
本发明的目的是为解决传统深度学习方法所用的激活函数较为简单,无法为模型提供足够的非线性映射能力的问题,现提出一种基于深度学习的排污口盖板未关闭到位故障检测方法。
一种基于深度学习的排污口盖板未关闭到位故障检测方法,包括:
步骤一、获取包含排污口的子区域图像;
步骤二、利用步骤一获取的排污口子区域图像建立原始图像数据集,并对原始图像数据集进行数据扩增;根据排污口所属动车的车型,利用数据标注工具对原始图像数据集进行标注,得到每张包含排污口的子区域图像对应的标签文件;将原始图像数据集和原始图像数据集一一对应的标签文件分为训练集和测试集;
步骤三、构建目标检测神经网络模型;目标检测神经网络模型包括残差神经网络和候选区域网络;所述残差神经网络有多个残差块构成;其中,残差块包括批归一化层、APMU神经网络非线性激活函数层、卷积层,批归一化层的输入特征向量和卷积层的输出特征向量通过残差连接相加;APMU神经网络非线性激活函数层包括APMU神经网络非线性激活函数和APMU神经网络非线性激活函数子网络;候选区域网络包括批归一化层、APMU神经网络非线性激活函数层、全局平均池化层和全连接层;
步骤四、对目标检测神经网络模型进行训练和测试;具体过程为:
步骤四一、采用步骤二中的训练集对构建的目标检测神经网络模型进行训练,得到目标检测神经网络模型的参数权重;
步骤四二、载入目标检测神经网络模型的参数权重,在测试集上进行测试,根据测试结果对目标检测神经网络模型的神经网络超参数进行调优;
步骤四三、重复进行步骤四一至步骤四二,得到目标检测神经网络模型的最优参数权重,即完成对目标检测神经网络模型进行训练;
步骤五、通过训练好的目标检测神经网络模型对排污口盖板未完全关闭故障进行检测。
本发明的有益效果是:
1、本发明采用带有参数的麦克劳林展开式作为神经网络激活函数,该激活函数可以近似拟合任意的非线性函数。相对于传统sigmoid、tanh、ReLU等较为简单的激活函数,能够为模型提供更多的非线性映射能力;
2、本发明在模型的激活函数前添加一个小型子网络,该子网络可根据当前输入数据动态计算激活函数中的所有参数,能够实现根据不同输入图像进行不同的非线性变换。
3、本发明采用深度学习方法代替人工对动车组进行自动故障检测,不再受检测人员主观因素的影响与工作时长的限制,能够有效提高对动车组排污口故障的检测质量和检测效率。
附图说明
图1为本发明故障检测方法流程图;
图2为3阶APMU激活函数近似sigmoid激活函数;
图3为5阶APMU激活函数近似tanh激活函数;
图4为APMU激活函数层结构图;
图5为残差块结构图;
图6为目标检测神经网络模型结构图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施例之间可以相互组合。
具体实施方式一:结合图1说明本实施方式。本实施方式一种基于深度学习的排污口盖板未关闭到位故障检测方法,包括:
步骤一、利用安装在轨道旁的固定设备搭载线阵相机,根据动车移动速度计算线阵相机的拍摄频率,对所过动车进行连续拍摄,得到多幅“线”形图像,并将多幅“线”形图像无缝拼接,得到完整的动车侧部整体图像;
利用安装在轨道旁的传感器获取动车车轴间的轴距信息;根据轴距信息和排污口相对车轴可能出现位置的先验信息,对动车侧部整体图像中的排污口进行粗定位,获取可能包含排污口的感兴趣区域图像,即可能包含排污口的子区域图像;基于得到的可能包含排污口的子区域图像,通过人工排除掉不含排污口的图像;
步骤二、利用步骤一获取的排污口子区域图像建立原始图像数据集,对原始图像数据集进行数据扩增操作,增加图像样本个数,以提高所训练模型的训练效果和鲁棒性;
根据排污口所属动车不同车型,利用数据标注工具对原始图像数据集进行标注,得到每张图像对应的标签文件;其中,“排污口”文本的标签名称为text,标签类别为1;不同车型的排污口标签名称为“cover+车型”,例如coverXXX、coverYYY、coverZZZ…,对应标签分别为2、3、4…;
将一部分原始图像和图像对应的标签文件分为训练集,其余的图像和图像对应的标签文件分为测试集,训练集和测试集的比例根据人工来设定;
步骤三、构建目标检测神经网络模型:
本发明所采用的目标检测神经网络基于残差结构,包括包含多个残差块的残差神经网络和候选区域网络两部分;
步骤三一、残差块包括批归一化(BN)层、APMU神经网络非线性激活函数层、卷积层(Conv),通过残差连接输入特征并进行跨越传输,残差块结构图如图5所示;APMU神经网络非线性激活函数层包括APMU神经网络非线性激活函数和APMU神经网络非线性激活函数子网络;
批归一化层用于提高模型运算速度,残差连接将批归一化层的输入特征向量和卷积层的输出特征向量相加,使神经网络的梯度能够直接通过残差连接进行反向传播,能够提高神经网络训练效果;
步骤三二、残差神经网络由多个残差块(ResBlock)堆叠而成,残差块个数可根据需要进行人工设定;目标检测神经网络模型结构如图6所示;
包含排污口的子区域图像通过残差神经网络进行深层特征提取,所提取到的图像深层特征被输入到候选区域网络进行目标检测;
候选区域网络包括批归一化(BN)层、APMU神经网络非线性激活函数层、全局平均池化(GAP)层、全连接(FC)层;
全局平均池化层用于对特征进行降维;全连接层的神经元个数为6,分别输出目标类别c、预测置信度p、目标左上角坐标(x,y)、目标宽度width和目标高度height;
步骤四、目标检测神经网络模型训练与测试:
步骤四一采用步骤二所得训练集对步骤四提出的目标检测神经网络模型进行训练,得到目标检测神经网络模型的参数权重;
步骤四二、载入模型参数权重,在步骤二所得到的测试集上进行测试,根据测试结果对模型损失函数、训练次数、学习率、数据批大小等神经网络超参数进行手动调优;
步骤四三、重复步骤四一至步骤四二直到目标检测神经网络模型在步骤二所得测试集上达到最优性能(模型能够100%检测出测试集图像中的目标),得到目标检测神经网络模型最优参数权重,完成目标检测神经网络模型的训练;
步骤五、通过训练好的目标检测神经网络模型对排污口盖板未完全关闭故障进行检测。
具体实施方式二:本实施方式与具体实施方式一不同的是,步骤三中APMU神经网络非线性激活函数的建立,具体过程为:
本发明基于高等数学中的麦克劳林展开式,提出一种自适应参数麦克劳林单元(Adaptively Parametric Maclaurin Unit,APMU)神经网络非线性激活函数,公式为:
其中,x表示APMU神经网络非线性激活函数的输入值;f(x)表示APMU神经网络非线性激活函数的输出值;w、m、n、α均表示APMU神经网络非线性激活函数的自适应参数,根据当前输入动态获取;k表示APMU神经网络非线性激活函数阶数,k的数值可根据需要进行人工调整,k值越高则APMU神经网络非线性激活函数的非线性变换能力越强,同时所需计算量越多;
当APMU神经网络非线性激活函数的输入值x≥0时,APMU神经网络非线性激活函数表达式为k阶麦克劳林展开式;根据麦克劳林展开式的特性,APMU神经网络非线性激活函数可以近似拟合任意非线性曲线,如:
sigmoid激活函数表达式为:
用3阶APMU激活函数近似拟合的结果如图2所示;
tanh激活函数的表达式为:
用5阶APMU激活函数近似的结果如图3所示;
ReLU激活函数是目前应用最广泛的激活函数,其表达式为:
可用m=n=w1=1,α=0的APMU神经网络非线性激活函数等效代替;
可以看出,所提出的APMU神经网络非线性激活函数在x轴正半轴可以近似拟合包括现有主流神经网络激活函数在内的任意非线性函数,具有更强的非线性变换能力;
当APMU神经网络非线性激活函数的输入值x<0时,APMU神经网络非线性激活函数的表达式为x的线性函数;通过α初始化为一个很小的值,使神经网络能够对无效的神经元连接进行抑制;相对于ReLU直接用0对输入的负值进行截断,避免了训练过程中神经网络某一层激活值均为负值导致训练失败的问题。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,步骤三中APMU神经网络非线性激活函数子网络,具体表示为:
本发明所提出的APMU神经网络非线性激活函数子网络结构如图4所示;
子网络由2个全连接(FC)层叠加而成;每个全连接层的计算公式为:
q=Wp+b (5)
其中,p∈Rhx1为全连接层的输入特征向量,其中h表示特征向量的长度;q∈Rhx1为全连接层的输出特征向量;W∈Rhxh为全连接层的权重参数;b∈Rhx1为全连接层的偏置参数;h为全连接层的神经元个数,第一层全连接层的神经元个数h1可根据需要进行人工设定,第二层神经元的个数h2=k+3,每个神经元分别输出APMU神经网络非线性激活函数的自适应参数w、m、n、α的值。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是,步骤三中批归一化层表达式为:
其中,μ表示xi的均值;σ表示xi的标准差;表示xi的标准分数;xi、yi分别为批归一化层第i个数据批次的输入特征向量和输出特征向量;Nbatch为神经网络模型的批大小,可根据需要进行人工调整;ε为一个接近于0的正常数(常数中的趋于0的正数,x轴正半轴趋于0的无穷小);γ和β为批归一化层的可训练参数。
其它步骤及参数与具体实施方式一至三之一相同。
其中,avg(·)表示取均值;X、yAP分别为全局平均池化层的输入特征矩阵和输出特征向量;I为矩阵X的行数。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是,步骤五通过训练好的目标检测神经网络模型对排污口盖板未完全关闭故障进行检测;具体过程为:
加载步骤四三所得神经网络模型最优参数权重;通过目标神经网络检测模型从待检测图像中获取“排污口”文本位置和排污口位置;根据“排污口”文本位置和排污口位置,获取排污口盖板精确位置,即得到排污口盖板精确位置图像;采用OTSU算法求取所得排污口盖板精确位置图像对应的自适应二值化阈值,并通过该阈值对排污口盖板精确位置图像进行二值化,以此获取排污口盖板精确位置二值图像;图像中小于该自适应二值化阈值的像素值被置为0,大于等于该自适应二值化阈值的像素值被置为255;根据不同车型排污口盖板的开合方向,在所得排污口盖板二值图像上截取排污口盖板与车身间的缝隙阴影图像;计算所得缝隙阴影图像中像素值为0的像素个数,获取排污口盖板与车身间的缝隙阴影面积;根据为不同车型所设定的缝隙阴影面积阈值,判断所得缝隙阴影面积是否超出阈值。若是,则将所得排污口盖板精确位置记录为故障信息;上传所有故障信息至报警平台。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是,步骤二中对原始图像数据集进行数据扩增操作包括:亮度变换和直方图均衡化等。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八:本实施方式与具体实施方式一至七之一不同的是,步骤二中利用数据标注工具对原始图像数据集进行标注,所用的数据标注工具为labelImg。
其它步骤及参数与具体实施方式一至七之一相同。
Claims (6)
1.一种基于深度学习的排污口盖板未关闭到位故障检测方法,其特征在于,包括:
步骤一、获取包含排污口的子区域图像;
步骤二、利用步骤一获取的排污口子区域图像建立原始图像数据集,并对原始图像数据集进行数据扩增;根据排污口所属动车的车型,利用数据标注工具对原始图像数据集进行标注,得到每张包含排污口的子区域图像对应的标签文件;将原始图像数据集和原始图像数据集一一对应的标签文件分为训练集和测试集;
步骤三、构建目标检测神经网络模型;所述目标检测神经网络模型包括残差神经网络和候选区域网络;所述残差神经网络有多个残差块构成;其中,残差块包括批归一化层、APMU神经网络非线性激活函数层、卷积层,批归一化层的输入特征向量和卷积层的输出特征向量通过残差连接相加;所述APMU神经网络非线性激活函数层包括APMU神经网络非线性激活函数和APMU神经网络非线性激活函数子网络;所述APMU神经网络非线性激活函数表示为:
其中,x表示APMU神经网络非线性激活函数的输入值;f(x)表示APMU神经网络非线性激活函数的输出值;w、m、n、α均表示APMU神经网络非线性激活函数的自适应参数;k表示APMU神经网络非线性激活函数阶数;
所述APMU神经网络非线性激活函数子网络具体表示为:
子网络由2个全连接层叠加而成;每个全连接层的计算公式为:
q=Wp+b (5)
其中,p∈Rhx1为全连接层的输入特征向量,其中h表示特征向量的长度;q∈Rhx1为全连接层的输出特征向量;W∈Rhxh为全连接层的权重参数;b∈Rhx1为全连接层的偏置参数;
候选区域网络包括批归一化层、APMU神经网络非线性激活函数层、全局平均池化层和全连接层;
步骤四、对目标检测神经网络模型进行训练和测试;具体过程为:
步骤四一、采用步骤二中的训练集对构建的目标检测神经网络模型进行训练,得到目标检测神经网络模型的参数权重;
步骤四二、载入目标检测神经网络模型的参数权重,在测试集上进行测试,根据测试结果对目标检测神经网络模型的神经网络超参数进行调优;
步骤四三、重复进行步骤四一至步骤四二,得到目标检测神经网络模型的最优参数权重,即完成对目标检测神经网络模型进行训练;
步骤五、通过训练好的目标检测神经网络模型对排污口盖板未完全关闭故障进行检测;具体过程为:
加载步骤四三中得到的目标检测神经网络模型参数权重;通过目标检测神经网络模型从待检测图像中获取排污口位置;根据排污口位置获取排污口盖板位置,即得到排污口盖板位置图像;采用OTSU算法求取所得排污口盖板位置图像对应的自适应二值化阈值,并通过该阈值对排污口盖板精确位置图像进行二值化,以此获取排污口盖板位置二值图像;二值图像中小于该自适应二值化阈值的像素值被置为0,大于等于该自适应二值化阈值的像素值被置为255;根据不同车型排污口盖板的开合方向,在所得排污口盖板二值图像上截取排污口盖板与车身间的缝隙阴影图像;计算所得缝隙阴影图像中像素值为0的像素个数,获取排污口盖板与车身间的缝隙阴影面积;根据为不同车型所设定的缝隙阴影面积阈值,判断所得缝隙阴影面积是否超出阈值,超出阈值则为出现未关闭到位故障。
2.根据权利要求1所述一种基于深度学习的排污口盖板未关闭到位故障检测方法,其特征在于,所述步骤一中获取包含排污口的子区域图像;具体过程为:
获取动车侧部整体图像,基于轴距信息和先验信息对动车侧部整体图像中的排污口进行定位,进而获取包含排污口的子区域图像。
5.根据权利要求1所述一种基于深度学习的排污口盖板未关闭到位故障检测方法,其特征在于,所述步骤二对原始图像数据集进行数据扩增操作包括:亮度变换、直方图均衡化。
6.根据权利要求1所述一种基于深度学习的排污口盖板未关闭到位故障检测方法,其特征在于,所述数据标注工具为labelImg。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011340428.2A CN112418328B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度学习的排污口盖板未关闭到位故障检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011340428.2A CN112418328B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度学习的排污口盖板未关闭到位故障检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112418328A CN112418328A (zh) | 2021-02-26 |
CN112418328B true CN112418328B (zh) | 2021-05-25 |
Family
ID=74843173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011340428.2A Active CN112418328B (zh) | 2020-11-25 | 2020-11-25 | 一种基于深度学习的排污口盖板未关闭到位故障检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418328B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486951B (zh) * | 2021-07-05 | 2022-02-01 | 哈尔滨市科佳通用机电股份有限公司 | 风挡击打变形故障识别检测方法、存储介质及设备 |
CN113945569B (zh) * | 2021-09-30 | 2023-12-26 | 河北建投新能源有限公司 | 离子膜的故障检测方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680145B (zh) * | 2015-03-06 | 2018-03-09 | 北京格灵深瞳信息技术有限公司 | 一种门的开关状态变化检测方法及装置 |
CN107577982A (zh) * | 2017-06-29 | 2018-01-12 | 天津大学 | 采用深度学习的电网隔离开关状态识别方法 |
CN107944396B (zh) * | 2017-11-27 | 2021-12-28 | 国网安徽省电力有限公司经济技术研究院 | 一种基于改进深度学习的刀闸状态识别方法 |
US10657783B2 (en) * | 2018-06-29 | 2020-05-19 | Hangzhou Eyecloud Technologies Co., Ltd. | Video surveillance method based on object detection and system thereof |
CN110263692A (zh) * | 2019-06-13 | 2019-09-20 | 北京数智源科技有限公司 | 大场景下集装箱开关门状态识别方法 |
-
2020
- 2020-11-25 CN CN202011340428.2A patent/CN112418328B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112418328A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bayar et al. | Design principles of convolutional neural networks for multimedia forensics | |
CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
CN111368886B (zh) | 一种基于样本筛选的无标注车辆图片分类方法 | |
CN111583229B (zh) | 一种基于卷积神经网络路面故障检测方法 | |
CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
CN112418328B (zh) | 一种基于深度学习的排污口盖板未关闭到位故障检测方法 | |
KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
CN111008632B (zh) | 一种基于深度学习的车牌字符分割方法 | |
CN110751644B (zh) | 道路表面裂纹检测方法 | |
CN111461213A (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
CN111062381B (zh) | 一种基于深度学习的车牌位置检测方法 | |
CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
CN110909657A (zh) | 一种隧道表观病害图像识别的方法 | |
CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN112418334B (zh) | 一种铁路动车裙板格栅变形故障识别方法 | |
CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
CN115841557B (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
CN115601744B (zh) | 一种车身与车牌颜色相近的车牌检测方法 | |
WO2022191520A1 (ko) | 시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치 | |
CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 | |
CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
CN109740618B (zh) | 基于fhog特征的试卷分数自动统计方法和装置 | |
CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
CN111461060A (zh) | 一种基于深度学习和极限学习机的交通标志识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |