CN111667440B - 一种金属门烤漆温度分布图像的融合方法 - Google Patents
一种金属门烤漆温度分布图像的融合方法 Download PDFInfo
- Publication number
- CN111667440B CN111667440B CN202010409078.4A CN202010409078A CN111667440B CN 111667440 B CN111667440 B CN 111667440B CN 202010409078 A CN202010409078 A CN 202010409078A CN 111667440 B CN111667440 B CN 111667440B
- Authority
- CN
- China
- Prior art keywords
- convolution
- network model
- coding
- self
- fusion network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002184 metal Substances 0.000 title claims abstract description 46
- 238000009826 distribution Methods 0.000 title claims abstract description 28
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 25
- 239000002966 varnish Substances 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 239000003973 paint Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000011282 treatment Methods 0.000 description 6
- 238000010438 heat treatment Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种金属门烤漆温度分布图像的融合方法,首先构建卷积自编码融合网络模型,然后对构建的网络模型进行收敛训练,再利用训练好的网络模型提取源图像特征,然后利用融合技术将图像特征图进行融合,再利用卷积解码网络对其进行重建的操作,最终得到融合图形,通过这种方得到的图像具有视觉性强,且清晰图高的特点,有利于分析金属门在烤漆过程中温度的分布情况,从而为调整烤漆过程中加热温度提供帮助。
Description
技术领域
本发明涉及金属门烤漆技术领域,特别是指一种金属门烤漆温度分布图像的融合方法。
背景技术
门是日常生活中最常见的家用品之一,金属门由于具有出色的机械性能,而被应用于各个领域的不同场所。但无表面处理的金属门由于易被腐蚀或氧化,在耐用方面性能较差,且金属门的色彩和纹理也较为单一,为了克服金属门的不足,开始对金属门的表面进行各种各样的处理,已使制备的金属门不仅耐用,而且色彩花纹丰富多彩,已满足不同领域应用的需求。
现有对金属门进行表面处理多是采用喷涂的方式,为了提高喷涂的涂料、油漆的附着力、耐温、耐水、耐溶剂性、硬度、耐磨性等,在喷涂后会增加烤漆环节。因此制备好的金属门需要在加热的状态下进行烤漆处理。
本申请的发明人发现,在进行烤漆处理时,由于烤漆房结构的特性,在一定程度上进行大面积加热时,金属门会出现受热不足和过高的现象,导致烤漆后的金属门表面出现杂质花纹,影响美观,但现有的获取金属门烤漆温度分布图像的处理方法得到的图像都无法指导烤漆温度的调整,造成烤漆的不均匀。
发明内容
有鉴于此,本发明的目的在于提出一种金属门烤漆温度分布图像的融合方法,用来提高获取金属门在烤漆过程中的温度分布图像的清晰度,从而为调整烤漆温度提供保证,以提高烤漆均匀性。
基于上述目的本发明提供的一种金属门烤漆温度分布图像的融合方法,包括:
获取烤漆时金属门温度分布图像数据;
将获取烤漆时金属门温度分布图像数据随机分割成训练集、测试集和验证集;
构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型;
将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像。
可选的,所述获取烤漆时金属门温度分布图像数据包括:
将喷涂后的金属门稳定安放在烤漆房内并固定,采用采用红外探测器采集常温下金属门的温度分布图;同时采用红外探测器采集金属门在进行烤漆加热时的温度图片。
可选的,所述训练集、测试集和验证集的占比分别为60%,20%,20%。
可选的,构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型,包括:
基于卷积神经网络和自编码器,构建卷积自编码融合网络模型,所述卷积自编码融合网络模型包括卷积编码层、融合层和解码层;
将训练集中图像输入到构建的卷积自编码融合网络模型的卷积编码层,提取图像深层特征,得到编码图形;
用Adam优化算法对编码图形进行损失函数最小值优化,根据优化结构进行卷积自编码融合网络模型的参数的调整至卷积自编码融合网络模型收敛,得训练后的卷积自编码融合网络模型。
可选的,所述提取图像深层特征的卷积计算公式如下:
其中,表示卷积运算,这个公式表示卷积核Q在输入图像I上的空间滑动,Conv(i,j)表示卷积核Q对应的输出矩阵所对应位置的元素值,Q(m,n)表示卷积核的参数,经过多层的卷积编码网络得到源图像的卷积特征图。
可选的,所述将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像包括:
将测试集中的图像输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型提取图像的特征图;
将特征图输进行等权重的加权融合,得卷积特征图;
将卷积特征图输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型进行重建,得融合图像。
可选的,所述加权融合的计算公式如下:
和/>分别表示编码器从红外图像与可见光图像提取的卷积特征图,fm()表示融合后的卷积特征图,其中(x,y)表示提取的特征图和融合后的特征图中对应的位置,α、β分别为红外权重系数与可见光权重系数,β=α=0.5。
可选的,所述构建的卷积自编码融合网络模型包括3个4×4卷积核的卷积层,步长为1,通过relu函数激活神经元。
从上面所述可以看出,本发明提供的一种金属门烤漆温度分布图像的融合方法,首先构建卷积自编码融合网络模型,然后对构建的网络模型进行收敛训练,再利用训练好的网络模型提取源图像特征,然后利用融合技术将图像特征图进行融合,再利用卷积解码网络对其进行重建的操作,最终得到融合图形,通过这种方得到的图像具有视觉性强,且清晰图高的特点,有利于分析金属门在烤漆过程中温度的分布情况,从而为调整烤漆过程中加热温度提供帮助。
附图说明
图1为本发明实施例融合流程图。
具体实施方式
为下面通过对实施例的描述,本发明的具体实施方式如所涉及的制造工艺及操作使用方法等,作进一步详细的说明,以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
为了解决现有的获取金属门烤漆温度分布图像的处理方法得到的图像都无法指导烤漆温度的调整,造成烤漆的不均匀。本发明提供的一种金属门烤漆温度分布图像的融合方法,包括:
获取烤漆时金属门温度分布图像数据;
将获取烤漆时金属门温度分布图像数据随机分割成训练集、测试集和验证集;
构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型;
将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像。
具体的,本发明提供的一种金属门烤漆温度分布图像的融合方法,流程如图1所示,包括如下步骤:
101:获取烤漆时金属门温度分布图像数据。
举例来说,将喷涂后的金属门稳定安放在烤漆房内并固定,采用采用红外探测器采集常温下金属门的温度分布图;同时采用红外探测器采集金属门在进行烤漆加热时的温度图片。拍摄常温图片300张,加热图片300张,人工挑选出图像无残缺的图片,最后得到常温图片246张,加热图片278张。
102:将获取烤漆时金属门温度分布图像数据随机分割成训练集、测试集和验证集。
举例来说,将101获取的图片进行随机混合在一起,然后随机分割成3个数据集,其中训练集314张,测试集和验证集分别为105张。
103:构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型。
举例来说:包括:
基于卷积神经网络和自编码器,构建卷积自编码融合网络模型,所述卷积自编码融合网络模型包括卷积编码层、融合层和解码层;包括3个4×4卷积核的卷积层,步长为1,通过relu函数激活神经元;
将训练集中图像输入到构建的卷积自编码融合网络模型的卷积编码层,提取图像深层特征,得到编码图形;
提取图像深层特征的卷积计算公式如下:
其中,表示卷积运算,这个公式表示卷积核Q在输入图像I上的空间滑动,Conv(i,j)表示卷积核Q对应的输出矩阵所对应位置的元素值,Q(m,n)表示卷积核的参数,经过多层的卷积编码网络得到源图像的卷积特征图;
用Adam优化算法对编码图形进行损失函数最小值优化,根据优化结构进行卷积自编码融合网络模型的参数的调整至卷积自编码融合网络模型收敛,得训练后的卷积自编码融合网络模型。
104:将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像。
举例来说,包括:将测试集中的图像输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型提取图像的特征图;
将特征图输进行等权重的加权融合,得卷积特征图;
加权融合的计算公式如下:
和/>分别表示编码器从红外图像与可见光图像提取的卷积特征图,fm()表示融合后的卷积特征图,其中(x,y)表示提取的特征图和融合后的特征图中对应的位置,α、β分别为红外权重系数与可见光权重系数,β=α=0.5;
将卷积特征图输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型进行重建,得融合图像。
首先构建卷积自编码融合网络模型,然后对构建的网络模型进行收敛训练,再利用训练好的网络模型提取源图像特征,然后利用融合技术将图像特征图进行融合,再利用卷积解码网络对其进行重建的操作,最终得到融合图形,通过这种方得到的图像具有视觉性强,且清晰图高的特点,有利于分析金属门在烤漆过程中温度的分布情况,从而为调整烤漆过程中加热温度提供帮助。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种金属门烤漆温度分布图像的融合方法,其特征在于,包括:
获取烤漆时金属门温度分布图像数据;
将获取烤漆时金属门温度分布图像数据随机分割成训练集、测试集和验证集;
构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型;
将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像;
所述获取烤漆时金属门温度分布图像数据包括:
将喷涂后的金属门稳定安放在烤漆房内并固定,采用采用红外探测器采集常温下金属门的温度分布图;同时采用红外探测器采集金属门在进行烤漆加热时的温度图片;
构建卷积自编码融合网络模型,并采用训练集数据对构建的卷积自编码融合网络模型训练至收敛,得训练后的卷积自编码融合网络模型,包括:
基于卷积神经网络和自编码器,构建卷积自编码融合网络模型,所述卷积自编码融合网络模型包括卷积编码层、融合层和解码层;
将训练集中图像输入到构建的卷积自编码融合网络模型的卷积编码层,提取图像深层特征,得到编码图形;
用Adam优化算法对编码图形进行损失函数最小值优化,根据优化结构进行卷积自编码融合网络模型的参数的调整至卷积自编码融合网络模型收敛,得训练后的卷积自编码融合网络模型;
所述提取图像深层特征的卷积计算公式如下:
其中,表示卷积运算,这个公式表示卷积核Q在输入图像I上的空间滑动,Conv(i,j)表示卷积核Q对应的输出矩阵所对应位置的元素值,Q(m,n)表示卷积核的参数,经过多层的卷积编码网络得到源图像的卷积特征图;
所述将测试集数据输入训练后的卷积自编码融合网络模型,进行提取深层特征图,并对提取的特征图采取等权重相加的融合策略,得到融合后的卷积特征图;采用训练后的卷积自编码融合网络模型对卷积特征图进行重建,得融合图像包括:
将测试集中的图像输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型提取图像的特征图;
将特征图输进行等权重的加权融合,得卷积特征图;
将卷积特征图输入到训练后的卷积自编码融合网络模型中,通过三层卷积自编码融合网络模型进行重建,得融合图像;
所述加权融合的计算公式如下:
和/>分别表示编码器从红外图像与可见光图像提取的卷积特征图,fm()表示融合后的卷积特征图,其中(x,y)表示提取的特征图和融合后的特征图中对应的位置,α、β分别为红外权重系数与可见光权重系数,β=α=0.5。
2.根据权利要求1所述的金属门烤漆温度分布图像的融合方法,其特征在于,所述训练集、测试集和验证集的占比分别为60%,20%,20%。
3.根据权利要求1所述的金属门烤漆温度分布图像的融合方法,其特征在于,所述构建的卷积自编码融合网络模型包括3个4×4卷积核的卷积层,步长为1,通过relu函数激活神经元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010409078.4A CN111667440B (zh) | 2020-05-14 | 2020-05-14 | 一种金属门烤漆温度分布图像的融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010409078.4A CN111667440B (zh) | 2020-05-14 | 2020-05-14 | 一种金属门烤漆温度分布图像的融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667440A CN111667440A (zh) | 2020-09-15 |
CN111667440B true CN111667440B (zh) | 2024-02-13 |
Family
ID=72383791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010409078.4A Active CN111667440B (zh) | 2020-05-14 | 2020-05-14 | 一种金属门烤漆温度分布图像的融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667440B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112288663A (zh) * | 2020-09-24 | 2021-01-29 | 山东师范大学 | 一种红外与可见光图像融合方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084773A (zh) * | 2019-03-25 | 2019-08-02 | 西北工业大学 | 一种基于深度卷积自编码网络的图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
WO2019238126A1 (zh) * | 2018-06-15 | 2019-12-19 | 北京市商汤科技开发有限公司 | 图像分割及分割网络训练方法和装置、设备、介质、产品 |
-
2020
- 2020-05-14 CN CN202010409078.4A patent/CN111667440B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019238126A1 (zh) * | 2018-06-15 | 2019-12-19 | 北京市商汤科技开发有限公司 | 图像分割及分割网络训练方法和装置、设备、介质、产品 |
CN110084773A (zh) * | 2019-03-25 | 2019-08-02 | 西北工业大学 | 一种基于深度卷积自编码网络的图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
Non-Patent Citations (1)
Title |
---|
范春奇 ; 任坤 ; 孟丽莎 ; 黄泷 ; .基于深度学习的数字图像修复算法最新进展.信号处理.2020,(01),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111667440A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992354B (zh) | 基于引入自动记忆机制对抗自编码器的异常区域检测方法 | |
CN107230196B (zh) | 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法 | |
CN113962314B (zh) | 一种基于联邦学习的非侵入式企业负荷分解方法 | |
CN107563999A (zh) | 一种基于卷积神经网络的芯片缺陷识别方法 | |
CN113469219B (zh) | 基于元迁移学习的复杂工况下的旋转机械故障诊断方法 | |
CN111080568B (zh) | 一种基于Tetrolet变换的近红外与彩色可见光图像融合算法 | |
CN109447936A (zh) | 一种红外和可见光图像融合方法 | |
Fan et al. | No reference image quality assessment based on multi-expert convolutional neural networks | |
CN111429402B (zh) | 高级视觉感知特征与深度特征融合的图像质量评价方法 | |
CN108537777A (zh) | 一种基于神经网络的作物病害识别方法 | |
CN110415184B (zh) | 一种基于正交元空间的多模态图像增强方法 | |
CN111667440B (zh) | 一种金属门烤漆温度分布图像的融合方法 | |
Zhang et al. | An image fusion method based on curvelet transform and guided filter enhancement | |
CN111325762A (zh) | 基于密集连接解码网络的轮廓检测方法 | |
CN111210089A (zh) | 基于kalman滤波的门控循环单元神经网络的股票价格预测方法 | |
CN110110679A (zh) | 基于全卷积网络和条件随机场的地物覆盖率计算方法 | |
Wang et al. | Global aligned structured sparsity learning for efficient image super-resolution | |
CN112258495A (zh) | 一种基于卷积神经网络的建筑木材裂缝识别方法 | |
CN116992759A (zh) | 基于可解释性神经网络的冻融混凝土强度评价方法及装置 | |
Song et al. | Knowledge-guided blind image quality assessment with few training samples | |
CN107301629A (zh) | 一种基于变换域联合稀疏表示的图像重构方法 | |
CN108921106A (zh) | 一种基于capsule的人脸识别方法 | |
CN111651954B (zh) | 基于深度学习对smt电子元件三维重建的方法 | |
CN116416212B (zh) | 路面破损检测神经网络训练方法及路面破损检测神经网络 | |
CN116433667A (zh) | 一种配电物联低压智能开关检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |