CN110163852B - 基于轻量化卷积神经网络的输送带实时跑偏检测方法 - Google Patents
基于轻量化卷积神经网络的输送带实时跑偏检测方法 Download PDFInfo
- Publication number
- CN110163852B CN110163852B CN201910395366.6A CN201910395366A CN110163852B CN 110163852 B CN110163852 B CN 110163852B CN 201910395366 A CN201910395366 A CN 201910395366A CN 110163852 B CN110163852 B CN 110163852B
- Authority
- CN
- China
- Prior art keywords
- conveying belt
- neural network
- pictures
- convolutional neural
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,包括:生成数据集;通过图像分割网络FCN对图像进行分割,并根据分割的结果建立轻量化卷积神经网络,并生成损失函数;将所述数据集中的图片输入到所述轻量化卷积神经网络,以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘;然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算,并根据反向传播算法优化模型参数。
Description
技术领域
本发明涉及计算机技术领域,尤其是涉及一种基于轻量化卷积神经网络的输送带实时跑偏检测方法。
背景技术
目前我国煤炭、矿山、港口码头、化工、冶金、电力等行业中广泛采用带式输送机作为运输的主要设备,但在运行过程中输送带会由于表面受力不均匀发生跑偏,轻则导致物料洒落,重则酿成人员、财产损失损伤。因此,提升煤矿生产设备的机械化水平,以及电气设备的自动化水平,研究输送带跑偏机理,提出适合的输送带跑偏检测方法就显得迫在眉睫。
早期输送带检测主要依靠人工检查,劳动强度大且易出现少检漏检的情况。后期出现了输送带自动检测装置,且现有的输送带自动检测装置主要分为接触式与非接触式;此外,还有另外还有光电式、机器视觉等方法。
其中接触式的工作原理是通过滚轮与输送带接触带动连杆机构动作,此检测装置只适用于转速较低的输送带,实际应用很少;
而非接触式一般采用跑偏开关,当输送带发生一定量的跑偏时跑偏开关自动报警停机;这种非接触式的只能用作输送带极限跑偏急停,不能实现早期预警。在轻微扰动时容易误判停机,降低工作效率,甚至危害设备及人身安全。跑偏开关在恶劣环境下易受影响导致出现不动作的情况,从而造成严重后果;
其中光电式检测设备主要依靠无线传感器模块来实现,其检测精度过度依赖传感器的安装密度,而且在恶劣且复杂的环境下传感器极容易损坏,难以保证检测的可靠性。同时传统的机器视觉方法多采用Canny边缘检测算法,其一般流程为:CCD相机实时采集输送带视频流图像,然后使用 Canny算子检测输送带边缘。由于Canny算法是基于图像灰度梯度,所以它对噪声比较敏感,会检测到图片中运输的煤矿、物料等其他边缘,后续还需结合霍夫变换来提取输送带边缘特征,精度比较差[1]。在输送带被遮挡的地方,Canny算法检测的结果中还会出现间断部分。而且,对于不同场景需要多次调节算法中的参数。
本发明实施例中所涉及的参考文献如下,本发明实施例将这些参考文献全文引用于此:
[1]徐欢,李振璧,姜媛媛,等.基于OpenCV的输送带跑偏自动检测算法研究[J].工矿自动化,2014,40(9):48-52.
[2]Shelhamer E,Long J,Darrell T.Fully Convolutional Networks forSemantic Segmentation[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2014,PP(99):1-1.
发明内容
针对当前的对输送带实时跑偏检测技术存在的缺陷,本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,能够通过卷积神经网络对输送带进行检测以提高检测效果。
为了解决上述问题,本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,包括:
步骤1、通过采集的真实场景下的视频生成用于学习的数据集;对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签;并将图片的标签进行0-1二值化处理;将数据集分为训练集和验证集;
步骤2、通过图像分割网络FCN,将每个阶段池化后的输出先上采样2、 4、8、16、32倍到原图大小,然后改变融合策略,采用Concat方式将各阶段特征图融合,获得各个尺度信息;并将网络中的普通卷积方式改为深度分离卷积,在第二、三个stage中输入经过下采样后的原图;并根据分割的结果建立轻量化卷积神经网络,并生成损失函数;
步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络,以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘;然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算,并根据反向传播算法优化模型参数。2、根据权利要求1所述的基于轻量化卷积神经网络的输送带实时跑偏检测方法,其特征在于,所述对数据集中的图片进行处理以区分出输送带和背景以生成图片的标签,具体包括:
将图片中的输送带的边缘采用1个像素宽的白色像素块描出,并将非输送带的背景部分处理成黑色;
然后将标签进行0-1二值化处理。
其中,生成的损失函数为
loss=posweight*targets*-log(sigmoid(logits))+
(1-tergets)*-log(1-sigmoid(logits))
其中posweight表示图片中边缘点的权重系数,targets表示标签,即像素点的类别,logits表示预测结果;其中posweight是通过试验确定。
其中,所述像素点的类别为边缘点或者非边缘点。
本发明的技术方案具有以下优势:
上述方案提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,至少具有以下的一条优点:能够抵抗输送带上其他物体边缘的干扰;能够提高输送带边缘检测的精度;能够实时进行输送带边缘跑偏检测;能够实现远程监测输送带运行状况,避免了恶劣复杂环境的影响。
附图说明
通过下面结合附图对本发明的一个优选实施例进行的描述,本发明的技术方案及其技术效果将变得更加清楚,且更加易于理解。其中:
图1为本发明实施例的总体框架图;
图2为检测结果图。
具体实施方式
以下将结合所附的附图对本发明的一个优选实施例进行描述。
本发明实施例提出了一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,包括:
步骤1、通过采集的真实场景下的视频生成用于学习的数据集;对数据集中的图片进行处理以区分出输送带和背景,以生成图片的标签;并将图片的标签进行0-1二值化处理;将数据集分为训练集和验证集;
在本发明的一个实施例中个,该数据集可以包括500张原图,以及原图进行左右、上下翻转得到1000张扩充图,以及这1500张原图和扩充图所对应的1500个标签;具体的,该标签是指将图片中的输送带的边缘用一像素宽的白线描出来并将背景处理成黑色,通过这样的方式制作了标签,并将标签进行0-1二值化处理。
步骤2、通过图像分割网络FCN,将每个阶段池化后的输出先上采样 2、4、8、16、32倍到原图大小,然后改变融合策略,采用Concat方式将各阶段特征图融合,获得各个尺度信息;然后将网络中的普通卷积方式改为深度分离卷积,在第二、三个阶段(stage)中输入经过下采样后的原图;并根据分割的结果建立轻量化卷积神经网络,并生成损失函数;
步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络,以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘;然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与验证集中的图片中的输送带的边缘进行验证以进行损失计算,并根据反向传播算法优化模型参数。现有的FCN-8s只将最后三个阶段池化后的输出采用逐像素相加的方式融合然后进行上采样8倍恢复到原图大小,还是损失了较多细节信息。本申请实施例中对FCN网络进行了改进,将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小,然后改变融合策略,采用Concat方式将各阶段特征图融合,获得各个尺度信息。本申请实施例中通过学习到的丰富的多尺度特征,完成边缘检测中的细节恢复问题。
其中,生成的损失函数为
loss=posweight*targets*-log(sigmoid(logits))+
(1-tergets)*-log(1-sigmoid(logits))
其中posweight表示图片中边缘点的权重系数,targets表示标签,即像素点的类别(边缘点或者非边缘点),logits表示预测结果。通过增加边缘部分的权重,使得当边缘错误预测时损失较大,网络需要更加关注边缘部分,最终能够取得更精确的边缘检测结果。其中,posweight是通过多次试验确定的。
本发明设计了基于深度学习的煤矿输送带实时跑偏检测模型。首先从采集的视频中制作自己的数据集(包括500张原图,左右、上下翻转得到 1000张扩充图,以及对应的1500张标签),将标签图片中的边缘与非边缘部分像素进行0-1二值化处理。其次,借鉴深度学习图像分割中对像素点分类的思想,在经典分割网络FCN(Fully ConvolutionalNetworks)[2]基础上进行了网络改进,将各层输出进行空间尺度融合,针对具体输送带边缘检测任务设计新的loss损失函数。为达到实时性要求,采用深度分离卷积代替普通卷积搭建小而高效的轻量化网络,在保证精度不变的条件下,网络压缩了5.8倍。将数据集输入网络进行训练,保存训练好的最佳模型进行测试(总体框架如附图1所示)。
在本发明的一个实施例中,该方法包括:
(1)通过CCD(电荷耦合元件,Charge-Coupled Devices)工业相机采集到一段一小时的煤矿输送带视频。
(2)从视频中截取500张原图,通过上下、左右翻转进行数据增强,得到1000张扩充图,共1500张图片作为数据集。按照4:1的比例划分为训练集与验证集。
(3)对(2)中得到的图片的边缘用一像素宽的白线描出来并将背景处理成黑色,通过这样的方式制作了标签,并将标签进行0-1二值化处理。
(4)设计输送带边缘检测网络,改进经典图像分割网络FCN,将其中间过程的输出进行Concat融合,以学习丰富的多尺度信息。将普通卷积换为深度分离卷积,搭建轻量化卷积神经网络。
(5)将(2)中的数据集输入(4)中的轻量化卷积神经网络,利用卷积层提取输入的输送带图片中的边缘信息,将网络输出与(3)中的标签进行损失计算,设计特定的带权重交叉熵损失使网络更加关注输送带边缘部分,网络采用反向传播算法优化模型参数。
(6)利用(5)中训练好的轻量化网络模型配置到工业现场的嵌入式设备中,对实时采集的输送带运行图片隔帧进行测试,实时监测输送带跑偏情况。
采用本发明的方法对输送带边缘很好地进行检测,不受其他物体边缘的干扰,检测误差在3.2mm内,在满足日常检测需要的同时,其精度较高,实时性强,适用于各类输送带远程监控的生产场景。附图2是输送带原图、标签以及网络检测效果图。
对于所属技术领域的技术人员而言,随着技术的发展,本发明构思可以不同方式实现。本发明的实施方式并不仅限于以上描述的实施例,而且可在权利要求的范围内进行变化。
Claims (2)
1.一种基于轻量化卷积神经网络的输送带实时跑偏检测方法,其特征在于,包括:
步骤1、通过采集的真实场景下的视频生成用于学习的数据集;对数据集中的图片进行处理以区分出输送带边缘点和非输送带的边缘点以生成图片的标签;并将图片的标签进行0-1二值化处理;将数据集分为训练集和验证集;
步骤2、通过图像分割网络FCN,将每个阶段池化后的输出先上采样2、4、8、16、32倍到原图大小,然后改变融合策略,采用Concat方式将各阶段特征图融合,获得各个尺度信息,将各层输出先上采样再进行空间尺度融合,学习到的多尺度特征,完成边缘检测中的细节恢复问题;并将网络中的普通卷积方式改为深度分离卷积,在第二、三个stage中输入经过下采样后的原图;并根据分割的结果建立轻量化卷积神经网络,并生成损失函数,所述损失函数通过特定的带权重交叉熵损失使网络更加关注输送带边缘部分,生成的损失函数为
loss = posweight*targets*-log(sigmoid(logits))+
(1-targets)*-log(1-sigmoid(logits))
其中posweight表示图片中边缘点的权重系数,targets表示标签,即像素点的类别,logits表示预测结果;其中posweight是通过试验确定;
步骤3、将所述数据集中的图片输入到所述轻量化卷积神经网络,以利用所述轻量化卷积神经网络的卷积层提取出训练集的图片中的输送带的边缘;然后将轻量化卷积神经网络的卷积层提取出图片中的输送带的边缘与训练集中的图片中的输送带的边缘进行验证以进行损失计算,并根据反向传播算法优化模型参数。
2.根据权利要求1所述的基于轻量化卷积神经网络的输送带实时跑偏检测方法,其特征在于,所述对数据集中的图片进行处理以区分出输送带的边缘点和非输送带的边缘点以生成图片的标签,具体包括:
将图片中的输送带的边缘添加1个像素宽的白色像素块,并将非输送带的边缘点部分处理成黑色;
然后将标签进行0-1二值化处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910395366.6A CN110163852B (zh) | 2019-05-13 | 2019-05-13 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910395366.6A CN110163852B (zh) | 2019-05-13 | 2019-05-13 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110163852A CN110163852A (zh) | 2019-08-23 |
CN110163852B true CN110163852B (zh) | 2021-10-15 |
Family
ID=67634445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910395366.6A Active CN110163852B (zh) | 2019-05-13 | 2019-05-13 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163852B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369538B (zh) * | 2020-03-05 | 2023-07-04 | 北京科技大学 | 一种基于深度卷积神经网络的传输机胶带跑偏检测方法 |
CN111489364B (zh) * | 2020-04-08 | 2022-05-03 | 重庆邮电大学 | 基于轻量级全卷积神经网络的医学图像分割方法 |
CN113283344B (zh) * | 2021-05-27 | 2024-03-12 | 中国矿业大学 | 一种基于语义分割网络的矿用输送带跑偏检测方法 |
CN114275483B (zh) * | 2021-12-31 | 2023-12-19 | 无锡物联网创新中心有限公司 | 一种带式输送机的智能在线监测系统 |
CN114655655A (zh) * | 2022-03-09 | 2022-06-24 | 南京北路软件技术有限公司 | 一种基于UNet网络的传送带跑偏检测方法 |
CN115116010B (zh) * | 2022-08-29 | 2022-11-18 | 山东千颐科技有限公司 | 基于图像处理的皮带防跑偏视觉识别系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
CN108764286A (zh) * | 2018-04-24 | 2018-11-06 | 电子科技大学 | 一种基于迁移学习的血管图像中特征点的分类识别方法 |
CN108805874A (zh) * | 2018-06-11 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
CN109215031A (zh) * | 2017-07-03 | 2019-01-15 | 中国科学院文献情报中心 | 基于图像显著性提取的加权引导滤波景深渲染方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830855B (zh) * | 2018-04-02 | 2022-03-25 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
CN108765427A (zh) * | 2018-05-17 | 2018-11-06 | 北京龙慧珩医疗科技发展有限公司 | 一种前列腺图像分割方法 |
CN108846835B (zh) * | 2018-05-31 | 2020-04-14 | 西安电子科技大学 | 基于深度可分离卷积网络的图像变化检测方法 |
CN109727249A (zh) * | 2018-12-10 | 2019-05-07 | 南京邮电大学 | 卷积神经网络中的一种语义图像分割方法 |
-
2019
- 2019-05-13 CN CN201910395366.6A patent/CN110163852B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
CN109215031A (zh) * | 2017-07-03 | 2019-01-15 | 中国科学院文献情报中心 | 基于图像显著性提取的加权引导滤波景深渲染方法 |
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
CN108510473A (zh) * | 2018-03-09 | 2018-09-07 | 天津工业大学 | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 |
CN108764286A (zh) * | 2018-04-24 | 2018-11-06 | 电子科技大学 | 一种基于迁移学习的血管图像中特征点的分类识别方法 |
CN108805874A (zh) * | 2018-06-11 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
Non-Patent Citations (3)
Title |
---|
"Holistically-Nested Edge Detection 边缘检测论文笔记";时浊;《https://www.jianshu.com/p/a3f62bd25d57》;20180105;第2页 * |
Edge Detection for Conveyor Belt Based on the Deep Convolutional Network;Yan Liu 等;《Proceedings of 2018 Chinese Intelligent Systems Conference》;20181014;第276页第2.1节,第277页第2.2节 * |
结合深度可分离卷积与通道加权的全卷积神经网络视网膜图像血管分割;耿磊 等;《生物医学工程学杂志》;20190228;第36卷(第1期);第108-109页前言、第1.1节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110163852A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163852B (zh) | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 | |
CN110390691B (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
Yang et al. | On-line conveyor belts inspection based on machine vision | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
CN112488071B (zh) | 提取行人特征的方法、装置、电子设备和存储介质 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN112001878A (zh) | 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统 | |
CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
CN111161292A (zh) | 一种矿石尺度测量方法及应用系统 | |
Zhang et al. | A deep learning-based method for deviation status detection in intelligent conveyor belt system | |
CN113920097A (zh) | 一种基于多源图像的电力设备状态检测方法及系统 | |
CN114581782A (zh) | 一种基于由粗到精检测策略的细微缺陷检测方法 | |
Kumar et al. | Detection of concrete cracks using dual-channel deep convolutional network | |
Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
Katsamenis et al. | A Few-Shot Attention Recurrent Residual U-Net for Crack Segmentation | |
Cheng et al. | Embankment crack detection in UAV images based on efficient channel attention U2Net | |
CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
CN116030050A (zh) | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 | |
Ji et al. | Bucket teeth detection based on faster region convolutional neural network | |
CN115007474A (zh) | 一种基于图像识别的选煤机器人及选煤方法 | |
Wang et al. | Visual defect detection for substation equipment based on joint inspection data of camera and robot | |
CN112001396B (zh) | 一种轴承表面形变及文字混合缺陷图像检测方法 | |
You et al. | A mechanical part sorting system based on computer vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |