CN114612394A - 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 - Google Patents
一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 Download PDFInfo
- Publication number
- CN114612394A CN114612394A CN202210185613.1A CN202210185613A CN114612394A CN 114612394 A CN114612394 A CN 114612394A CN 202210185613 A CN202210185613 A CN 202210185613A CN 114612394 A CN114612394 A CN 114612394A
- Authority
- CN
- China
- Prior art keywords
- loss
- concrete
- neural network
- yolo
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 title claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 238000006073 displacement reaction Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明公开了一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，引入三维交并比概念，并将其应用于深度学习的训练中，包括以下步骤：步骤S1、构建多个梁的损伤模型和多个柱的损伤模型，构建位移云图样本库；步骤S2、构建一种新的经过优化的Yolo神经网络模型；步骤S3、基于步骤S2新的经过优化的Yolo神经网络模型，通过位移云图样本库训练新的经过优化的Yolo神经网络模型，其中损失函数考虑了三维交并比预测误差LossIoU的影响。步骤S4、利用步骤S3中通过位移云图样本库训练的优化的Yolo神经网络模型，识别出的混凝土内部损伤位置和深度，完成混凝土内部损伤的预测。本方法更准确、效率高、成本低。
Description
技术领域
本发明涉及土木工程与人工智能交互技术领域，特别是一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法。
背景技术
由于服役环境条件恶劣、荷载作用形式复杂，在役混凝土工程结构出现不同程度的劣化。损伤检测可以准确掌握混凝土结构或受力构件的损伤位置、损伤程度和服役状态，在结构运行中起着至关重要的作用。土木工程领域已有多种较成熟的无损检测方法，但总体而言适合于结构简单、损伤特征清晰的情况。对于复杂的结构而言，特征提取难度较大，测试精度不高。目前国家大力推进装配式结构的发展，对具有标准化、模块化特点的装配式结构而言，能否快速、精准检测标准化结构的合格程度，满足装配式结构生产的要求至关重要。
随着计算机运算能力的提高和深度学习的发展，人工智能等方法为求解损伤问题中结构响应与参数间的关系提供了新的思路，但对于混凝土内部损伤的识别研究，以往的工作大多还停留在损伤模态与特征的提取层面。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，本发明效率高，成本低，相对传统人工智能停留在提取损伤模态与特征的层面，本方法更准确、效率高、成本低。尤其适用于规则、可装配、模块化的装配式建筑的试验与检测。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，包括以下步骤：
步骤S1、构建多个梁的损伤模型和多个柱的损伤模型，通过Python处理模型，获得已经损伤的混凝土梁和混凝土柱的表面位移云图，并设置表面位移云图的大小，根据调整过大小后的已经损伤的混凝土梁和混凝土柱的表面位移云图，构建位移云图样本库；
步骤S2、在Darknet-19特征提取网络的基础上进行改进，引入三维交并比概念，并将其应用于深度学习的训练中，构建一种新的经过优化的Yolo神经网络模型；新的经过优化的Yolo神经网络模型中的损失函数中增加了三维交并比预测误差LossIoU的影响；
步骤S3、基于步骤S2中新的经过优化的Yolo神经网络模型，通过位移云图样本库训练新的经过优化的Yolo神经网络模型；
步骤S4、利用步骤S3中通过位移云图样本库训练的经过优化的Yolo神经网络模型，识别出的混凝土内部损伤位置和深度，完成混凝土内部损伤的预测。
作为本发明所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法进一步优化方案，步骤S1中，利用Abaqus构建多个梁的损伤模型和多个柱的损伤模型。
作为本发明所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法进一步优化方案，新的经过优化的Yolo神经网络模型包括第一至第五卷积层、第一至第五池化层、第六卷积层和第七卷积层；其中，第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第六卷积层、第七卷积层是依次顺序连接的；
作为本发明所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法进一步优化方案，步骤S2中，经过优化的Yolo神经网络模型在不增加参数与模型复杂度的条件下指数级扩大卷积的视野。
作为本发明所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法进一步优化方案，步骤S2中，第五池化层的步长为1，第一至第四池化层的步长为2。
作为本发明所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法进一步优化方案，步骤S2中，新的经过优化的Yolo神经网络模型中的损失函数通过如下的方法构建：
损失函数LOSS具体如下：
Loss＝Lossxy+Losswh+Lossoc+Lossnoc+Lossc+Lossd+LossIoU
其中，Lossxy为中心坐标预测误差，其中Losswh为宽高坐标预测误差，Lossoc为含物体边界框置信预测误差，Lossnoc为不含物体边界框的置信预测误差，Lossc为类别预测误差，Lossd为深度坐标预测误差，LossIoU为三维交并比预测误差；
其中，S2为网格的数量，B为预测框的数量，
为参数，若第i个网络中第j个框负责待检测物体的预测，则
取1；若第i个网络中第j个框不负责待检测物体的预测，则
取0，IoU为交并比预测值，
为交并比真实值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明提出的基于深度学习yolov1网络与数字相关技术(DIC)结合的方法，结合了深度学习和DIC技术的优点，将混凝土构件表面位移云图信息进行深度学习训练，利用目标检测模型，可以识别出混凝土结构内部损伤位置及尺寸，大大提高了混凝土内部检测的效率、减轻了检测成本；
(2)本发明效率高，成本低，自动化程度高，实时识别，相对于传统的人工检测方法更加简洁有效，相对于现有的混凝土内部损伤预测方法，创新性的使用了图像识别方法对混凝土内部损伤进行准确的识别。
附图说明
图1是本发明具体步骤S1中的架构图；
图2a是传统未考虑交并比的Yolo神经网络模型的样本标签；
图2b是本发明经改进的Yolo神经网络模型的样本标签；
图3是本发明使用的三维数字图像相关方法测量系统。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
本发明提供了一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，具体步骤如下：
(1)如图1，利用Abaqus构建大量梁的损伤模型、柱的损伤模型，通过Python处理模型，获得已经损伤混凝土梁和柱图片的表面位移云图，形成数据集，并设置每张已经损伤混凝土梁和柱图片的表面位移云图的大小，构建样本库。将每张已经损伤混凝土梁和柱图片的表面位移云图设置成448×448pixel大小；其中已经损伤混凝土梁和柱图片的表面位移云图主要包括混凝土梁内部损伤表面位移云图和混凝土柱表面位移云图，并对每张图片进行标注，图2a是传统未考虑交并比的Yolo神经网络模型的样本标签，图2b是本发明经改进的Yolo神经网络模型的样本标签。
(2)对每张已经损伤混凝土梁和柱图片的表面位移云图进行标注，并将标注框的形式以txt文件的形式记录下来。
(3)在Darknet-19特征提取网络的基础上进行改进，引入三维交并比概念，并将其应用于深度学习的训练中，构建一种新的经过优化的Yolo神经网络模型；Darknet-19特征提取网络包括5个卷积层(Conv1～Conv5)、5个池化层(Pool1～Pool5，其中stride＝2)和2个全连接层；本方法基于传统Darknet-19特征提取网络的基础，将2个全连接层改为卷积层Conv6和卷积层Conv7；其中Pool5池化层的“stride＝2”改为“stride＝1”；经过优化的Yolo神经网络模型在不增加参数与模型复杂度的条件下指数级扩大卷积的视野。新的损失函数增加了三维交并比预测误差LossIoU的影响。
(4)本实验例中样本库以8:1:1的比例划分为训练测试集、验证集和测试集。
(5)模型训练，基于步骤(3)建立的经过优化的Yolo神经网络模型，通过样本库训练神经网络模型。
本实验例中，损失函数除了常见的中心坐标误差、宽高坐标误差、置信度误差和类别预测四部分，还考虑了深度方向的预测和交并比预测的误差。
为了验证本发明识别方法的精度，开展基于DIC技术的混凝土内部损伤识别试验来进行验证，DIC装置如图3所示。共浇筑混凝土梁7根，浇筑过程中利用泡沫塑料块模拟混凝土内部损伤，记录损伤布置的位置。在加载过程中，利用DIC设备对混凝土表面的位移信息进行捕捉，通过计算得到混凝土表面位移场数据。最后进行数据处理，绘制位移云图，将其输入神经网络后获得神经网络的预测值并将其与真实值对比，如表1所示。从表1中可以看出，本发明的方法识别混凝土内部损伤与真实的损伤情况非常接近，因此证明了本发明识别方法的有效性。
表1为本发明实验验证的混凝土梁损伤试验结果和基于深度学习预测混凝土内部损伤的误差。
表1试验结果与预测值误差
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
Claims (6)
1.一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，包括以下步骤：
步骤S1、构建多个梁的损伤模型和多个柱的损伤模型，通过Python处理模型，获得已经损伤的混凝土梁和混凝土柱的表面位移云图，并设置表面位移云图的大小，根据调整过大小后的已经损伤的混凝土梁和混凝土柱的表面位移云图，构建位移云图样本库；
步骤S2、在Darknet-19特征提取网络的基础上进行改进，引入三维交并比概念，并将其应用于深度学习的训练中，构建一种新的经过优化的Yolo神经网络模型；新的经过优化的Yolo神经网络模型中的损失函数中增加了三维交并比预测误差LossIoU的影响；
步骤S3、基于步骤S2中新的经过优化的Yolo神经网络模型，通过位移云图样本库训练新的经过优化的Yolo神经网络模型；
步骤S4、利用步骤S3中通过位移云图样本库训练的经过优化的Yolo神经网络模型，识别出的混凝土内部损伤位置和深度，完成混凝土内部损伤的预测。
2.根据权利要求1所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，步骤S1中，利用Abaqus构建多个梁的损伤模型和多个柱的损伤模型。
3.根据权利要求1所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，新的经过优化的Yolo神经网络模型包括第一至第五卷积层、第一至第五池化层、第六卷积层和第七卷积层；其中，第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第六卷积层、第七卷积层是依次顺序连接的。
4.根据权利要求3所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，步骤S2中，经过优化的Yolo神经网络模型在不增加参数与模型复杂度的条件下指数级扩大卷积的视野。
5.根据权利要求3所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，步骤S2中，第五池化层的步长为1，第一至第四池化层的步长为2。
6.根据权利要求1所述的一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法，其特征在于，步骤S2中，新的经过优化的Yolo神经网络模型中的损失函数通过如下的方法构建：
损失函数LOSS具体如下：
Loss＝Lossxy+Losswh+Lossoc+Lossnoc+Lossc+Lossd+LossIoU
其中，Lossxy为中心坐标预测误差，其中Losswh为宽高坐标预测误差，Lossoc为含物体边界框置信预测误差，Lossnoc为不含物体边界框的置信预测误差，Lossc为类别预测误差，Lossd为深度坐标预测误差，LossIoU为三维交并比预测误差；
其中，S2为网格的数量，B为预测框的数量，
为参数，若第i个网络中第j个框负责待检测物体的预测，则
取1；若第i个网络中第j个框不负责待检测物体的预测，则
取0，IoU为交并比预测值，
为交并比真实值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185613.1A CN114612394B (zh) | 2022-02-28 | 2022-02-28 | 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185613.1A CN114612394B (zh) | 2022-02-28 | 2022-02-28 | 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114612394A true CN114612394A (zh) | 2022-06-10 |
| CN114612394B CN114612394B (zh) | 2024-04-09 |
Family
ID=81859367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210185613.1A Active CN114612394B (zh) | 2022-02-28 | 2022-02-28 | 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612394B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329493A (zh) * | 2022-08-17 | 2022-11-11 | 兰州理工大学 | 一种基于离心泵数字孪生模型的叶轮机械故障检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210019753A1 (en) * | 2019-07-18 | 2021-01-21 | Visa International Service Association | System, Method, and Computer Program Product for Determining a Reason for a Deep Learning Model Output |
| CN113096088A (zh) * | 2021-04-07 | 2021-07-09 | 浙江大学 | 一种基于深度学习的混凝土结构检测方法 |
| CN113869433A (zh) * | 2021-09-30 | 2021-12-31 | 广州大学 | 一种对混凝土损伤进行快速检测和分类的深度学习方法 |
-
2022
- 2022-02-28 CN CN202210185613.1A patent/CN114612394B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210019753A1 (en) * | 2019-07-18 | 2021-01-21 | Visa International Service Association | System, Method, and Computer Program Product for Determining a Reason for a Deep Learning Model Output |
| CN113096088A (zh) * | 2021-04-07 | 2021-07-09 | 浙江大学 | 一种基于深度学习的混凝土结构检测方法 |
| CN113869433A (zh) * | 2021-09-30 | 2021-12-31 | 广州大学 | 一种对混凝土损伤进行快速检测和分类的深度学习方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329493A (zh) * | 2022-08-17 | 2022-11-11 | 兰州理工大学 | 一种基于离心泵数字孪生模型的叶轮机械故障检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114612394B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409327B (zh) | 基于端到端深度神经网络的rru模块物件位姿检测方法 | |
| CN112347550A (zh) | 耦合式室内三维语义建图及建模方法 | |
| US11631195B2 (en) | Indoor positioning system and indoor positioning method | |
| CN111598942A (zh) | 一种用于对电力设施仪表进行自动定位的方法及系统 | |
| CN113344852A (zh) | 一种电力场景通用物品的目标检测方法、装置及存储介质 | |
| CN113674216A (zh) | 一种基于深度学习的地铁隧道病害检测方法 | |
| CN114612394A (zh) | 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法 | |
| CN114781290A (zh) | 一种基于目标检测网络的寄生参数提取方法 | |
| CN115359295A (zh) | 一种解耦知识蒸馏金具目标检测方法及系统 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN108827200A (zh) | 一种船体分段智能检测系统及方法 | |
| CN113160330B (zh) | 基于端到端的相机与激光雷达标定方法、系统及介质 | |
| CN113902793A (zh) | 基于单视觉遥感影像端到端建筑物高度预测方法、系统和电子设备 | |
| CN112906092B (zh) | 一种映射方法和映射系统 | |
| CN117056722A (zh) | 一种规划地块人口数量预测方法及系统 | |
| CN109670557B (zh) | 一种基于杆状构筑物的公路点云自动配准方法 | |
| CN109583513B (zh) | 一种相似帧的检测方法、系统、装置及可读存储介质 | |
| CN113469086B (zh) | 建筑平面图中的区域划分方法、装置、设备及介质 | |
| CN115375925A (zh) | 一种基于相位信息和深度学习的水下声呐图像匹配算法 | |
| CN112069445A (zh) | 一种2d slam算法评估及量化方法 | |
| CN114612395A (zh) | 一种基于Abaqus的深度学习图像批量处理与分析方法 | |
| CN117953164B (zh) | 一种提高图纸测量质量的方法及系统 | |
| CN111366172B (zh) | 数字高程模型的质量检测方法、装置和存储介质 | |
| CN117570994B (zh) | 利用柱状结构辅助slam的地图表征方法 | |
| CN114943693B (zh) | 一种基于JetsonNano桥梁裂纹检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |