CN116055675A - 一种基于卷积神经网络的施工现场安全防护网安装监测方法 - Google Patents
一种基于卷积神经网络的施工现场安全防护网安装监测方法 Download PDFInfo
- Publication number
- CN116055675A CN116055675A CN202211041270.8A CN202211041270A CN116055675A CN 116055675 A CN116055675 A CN 116055675A CN 202211041270 A CN202211041270 A CN 202211041270A CN 116055675 A CN116055675 A CN 116055675A
- Authority
- CN
- China
- Prior art keywords
- safety protection
- protection net
- installation
- construction site
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009434 installation Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 14
- 238000013480 data collection Methods 0.000 claims abstract description 5
- 238000010191 image analysis Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 20
- 238000007689 inspection Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开一种基于卷积神经网络的施工现场安全防护网安装监测方法，包括如下步骤：S1、数据收集模块巡检整个施工现场并将固定区域内的安全防护网安装状况收集；S2、现场安全防护网安装监测模块接收数据模块收集并回传的施工现场安全防护网的安装状况，通过图像分析识别出其中防护网安装不到位的地块并评定出安全告警等级；S3、监测结果显示模块将现场安全防护网安装监测模块的结果按照安全告警等级展示，本发明可以实现对工地安全防护网安装安装的实时、无死角监测，并提供分等级的安全告警，监测精度高，实时性强，成本低。
Description
技术领域
本发明涉及建筑领域，尤其涉及一种基于卷积神经网络的施工现场安全防护网安装监测方法。
背景技术
安全防护网通常称为“建筑施工安全防护网”，它通常用于建筑项目，其主要功能是保护施工现场。它可以有效地防止施工现场的各种物体自由下落，减轻缓冲力，是保证施工安全有序进行的前提。一般来说，安全防护网的高度必须大于等于在建建筑体的高度，若抵御建筑体的高度，那么属于未达到安装要求的安全防护网，必须进行整改安装。
目前现有施工现场安全防护网监测技术有以下几种：1.通过人工现场巡查的方法肉眼检查安全防护网安装是否达标；2.通过摄像头实时监控安全防护网安装，监控工人通过摄像头捕捉到的画面人工判断安全防护网安装是否达标；这两种方法都依靠人工经验判断，人力成本高且易出现遗漏、错判等安装，人工的方法也无法保证实时性，给施工场地的安全带来隐患。
因此，针对现有技术的不足，本发明提供一种基于卷积神经网络的施工现场安全防护网安装监测方法。
发明内容
本发明目的在于针对现有技术的不足，提供一种基于卷积神经网络的施工现场安全防护网安装监测方法。
本发明解决上述技术问题采用的技术方案为：一种基于卷积神经网络的施工现场安全防护网安装监测方法，包括如下步骤：
S1、数据收集模块巡检整个施工现场并将固定区域内的安全防护网安装状况收集；
S2、现场安全防护网安装监测模块接收数据模块收集并回传的施工现场安全防护网的安装状况，通过图像分析识别出其中防护网安装不到位的地块并评定出安全告警等级；
S3、监测结果显示模块将现场安全防护网安装监测模块的结果按照安全告警等级展示。
优选地，步骤S1中，所述数据收集模块包括无人机巡检固定摄像头拍摄两种方式，所述固定摄像头用于固定区域内的安全防护网安装拍摄，所述无人机负责定时巡检整个施工现场，通过无人机巡检和固定摄像头拍摄相结合的方式将现场安全防护网安装状况以图片方式回传至处理中心的现场安全防护网安装监测模块进行处理。
优选地，步骤S2中，所述现场安全防护网安装监测模块接受数据收集模块回传的图片，并能够监测出未安装防护网、防护网安装高度不够的情况，并可以根据防护网安装安装输出安全告警等级。
优选地，步骤S2包括如下步骤：
S21、构建现场安全防护网安装图像数据集：通过固定摄像头和无人机巡检拍摄现场照片，将照片中安装了安全防护网的部分打上正标签作为正向数据集，同时将未安装安全防护网的照片打上负标签作为负数据集，将拍摄到的照片构建成现场安全防护网安装图像训练数据集；
S22、数据预处理，将数据采集模块回传的照片通过裁剪图片提取中央色块、在照片的像素中加入高斯分布中采样出的随机矩阵、随机选取图片进行删除的方法进行图像增强，扩充训练集的数据量；
S23、将预处理过的数据集分为训练集和测试集，将训练集的数据输入AlexNet网络模型进行训练；
S24、使用ReLU作为激活函数；
S25、根据AlexNet网络模型输出的结果将未达到要求的安全防护网的图片进行分级，按照安装完成度分为三个等级，完成度0-35%为一级，完成度36%-65%为二级，66%-99%为三级。
优选地，步骤S23中，AlexNet为5层卷积层、2层全连接隐藏层和一个全连接输出层构成的网络模型，其中第一层卷积层的大小为11*11，第二层的大小为5*5，其他三层的大小为3*3，同时，在第一层卷积层、第二层卷积层、第五层卷积层后加入大小为3*3的汇聚层。
优选地，步骤S3中，所述监测结果显示模块在界面展示出安全防护网安装不达要求的现场照片并给出安全告警等级。
与现有技术相比，本发明的有益效果为：
本发明可以实现对工地安全防护网安装安装的实时、无死角监测，并提供分等级的安全告警，监测精度高，实时性强，成本低。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的架构图；
图2为AlexNet网络模型结构图；
图3为ReLU激活函数图；
图4为最大池化dropout函数图；
图5为本发明的的算法流程图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
请参考图和图1至图5，一种基于卷积神经网络的施工现场安全防护网安装监测方法，包括如下步骤：
S1、构建现场安全防护网安装图像数据集，通过固定摄像头和无人机巡检拍摄现场照片，固定摄像头负责拍摄固定区域内的照片，无人机负责拍摄固定摄像头拍摄不到的其他区域，将照片中安装了安全防护网的部分打上正标签作为正向数据集，同时将未达到安装要求的安全防护网照片打上负标签作为负数据集，将拍摄到的照片构建成现场安全防护网安装图像训练数据集并回传至安装监测模块；
S2、安装监测模块将数据采集模块回传的照片通过裁剪图片提取中央色块、在照片的像素中加入高斯分布中采样出的随机矩阵、随机选取图片进行删除的方法进行图像增强，扩充训练集的数据量，防止神经网络过拟合；
S3、将预处理过的数据集分为训练集和测试集，将训练集的数据输入AlexNet网络模型进行训练，AlexNet网络模型结构如图2所示，是由5层卷积层、2层全连接隐藏层和一个全连接输出层构成的网络模型，其中第一层卷积层的大小为11*11，第二层为5*5，其他三层为3*3，同时，在第一、二、五层卷积层后加入大小为3*3的汇聚层；
S4、：如图3所示，使用ReLU作为激活函数，表达式如下：
f(x)=max(0,x)
S5、如图4所示，使用最大池化Dropout防止模型过拟合，在神经元训练的过程中，随机按照一定的概率将其暂时从网络中丢弃。对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络；
S6、将训练集中的数据输入网络模型训练完成后，将测试集的数据输入网络模型进行测试，对网络模型的识别率进行优化；
S7、将AlexNet网络模型输出的结果将未达到要求的安全防护网的图片进行分级，按照安装完成度分为三个等级，完成度0-35%为一级，完成度36%-65%为二级，66%-99%为三级。
S8、将步骤S7得到的结果传入监测结果展示模块，在界面展示出安全防护网安装不达要求的现场照片并给出安全告警等级，算法流程如图5所示。
因此，本发明通过无人机和监控装置回传施工现场照片至监测模块进行图像分析，显示模块实时输出分析结果，展现不符合安全防护网要求的现场图片，及时提醒施工人员现场状况，达到安全防护网安装监测的目的。本发明通过固定的监控装置和无人机巡检配合的方法，可以精确监控到施工现场每个区域，相比于传统的人工巡查，可以有效避免视野盲区和巡查遗漏问题。通过监测模块的图像处理功能，实时输出现场照片的分析结果并将结果按照安全告警等级分类，方便现场工人确定解决安全隐患的先后顺序，相比较于传统的人工巡查、人工通知结果的方法，该发明极大提升监测工作效率，降低施工成本，节省人力，同时可以有效提高施工现场的安全性，具有良好的经济和社会效益。
如上，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。
Claims (6)
1.一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，包括如下步骤：
S1、数据收集模块巡检整个施工现场并将固定区域内的安全防护网安装状况收集；
S2、现场安全防护网安装监测模块接收数据模块收集并回传的施工现场安全防护网的安装状况，通过图像分析识别出其中防护网安装不到位的地块并评定出安全告警等级；
S3、监测结果显示模块将现场安全防护网安装监测模块的结果按照安全告警等级展示。
2.根据权利要求1所述的一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，步骤S1中，所述数据收集模块包括无人机巡检固定摄像头拍摄两种方式，所述固定摄像头用于固定区域内的安全防护网安装拍摄，所述无人机用于定时巡检整个施工现场，通过无人机巡检和固定摄像头拍摄相结合的方式将现场安全防护网安装状况以图片方式回传至现场安全防护网安装监测模块进行处理。
3.根据权利要求2所述的一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，步骤S2中，所述现场安全防护网安装监测模块接受数据收集模块回传的图片，并能够监测出未安装防护网、防护网安装高度不够的情况，并根据安全防护网的安装情况输出安全告警等级。
4.根据权利要求3所述的一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，步骤S2包括如下步骤：
S21、构建现场安全防护网安装图像数据集：通过固定摄像头和无人机巡检拍摄现场照片，将照片中安装了安全防护网的部分打上正标签作为正向数据集，同时将未安装安全防护网的照片打上负标签作为负数据集，将拍摄到的照片构建成现场安全防护网安装图像训练数据集；
S22、数据预处理：将数据采集模块回传的照片通过裁剪图片提取中央色块、在照片的像素中加入高斯分布中采样出的随机矩阵、随机选取图片进行删除的方法进行图像增强，扩充训练集的数据量；
S23、将预处理过的数据集分为训练集和测试集，将训练集的数据输入AlexNet网络模型进行训练；
S24、使用ReLU作为激活函数；
S25、根据AlexNet网络模型输出的结果将未达到要求的安全防护网的图片进行分级，按照安装完成度分为三个等级，完成度0-35%为一级，完成度36%-65%为二级，66%-99%为三级。
5.根据权利要求1所述的一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，步骤S23中，AlexNet为5层卷积层、2层全连接隐藏层和一个全连接输出层构成的网络模型，其中第一层卷积层的大小为11*11，第二层的大小为5*5，其他三层的大小为3*3，同时，在第一层卷积层、第二层卷积层、第五层卷积层后加入大小为3*3的汇聚层。
6.根据权利要求1所述的一种基于卷积神经网络的施工现场安全防护网安装监测方法，其特征在于，步骤S3中，所述监测结果显示模块在界面展示出安全防护网安装不达要求的现场照片并给出安全告警等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211041270.8A CN116055675A (zh) | 2022-08-29 | 2022-08-29 | 一种基于卷积神经网络的施工现场安全防护网安装监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211041270.8A CN116055675A (zh) | 2022-08-29 | 2022-08-29 | 一种基于卷积神经网络的施工现场安全防护网安装监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116055675A true CN116055675A (zh) | 2023-05-02 |
Family
ID=86117004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211041270.8A Pending CN116055675A (zh) | 2022-08-29 | 2022-08-29 | 一种基于卷积神经网络的施工现场安全防护网安装监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116055675A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106836032A (zh) * | 2017-03-20 | 2017-06-13 | 无锡市龙海杰机械制造有限公司 | 安装无人机停靠辅助监测的高空作业安全架 |
| CN109557935A (zh) * | 2018-11-01 | 2019-04-02 | 广州圣安环保科技有限公司 | 一种基于无人机的施工安全监测方法及系统 |
| WO2019072587A1 (de) * | 2017-10-12 | 2019-04-18 | Geobrugg Ag | Überwachungsvorrichtung und verfahren zur überwachung einer korrosion eines drahtnetzes |
| CN110969244A (zh) * | 2019-12-18 | 2020-04-07 | 长安大学 | 一种基于卷积神经网络的建筑施工安全监测方法 |
| CN112458938A (zh) * | 2020-12-04 | 2021-03-09 | 南京宥安传感科技有限公司 | 一种新型的落石防护网监测系统 |
| WO2021050875A1 (en) * | 2019-09-13 | 2021-03-18 | Pure Storage, Inc. | Configurable data replication |
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| KR102235036B1 (ko) * | 2020-08-14 | 2021-04-01 | 주식회사 이도 | 건설 현장 안전 관리 시스템 |
| CN112816380A (zh) * | 2021-01-05 | 2021-05-18 | 南京柏王智能装备科技有限公司 | 基于大数据分析的建筑工程工地施工环境在线监测方法及监测云平台 |
| CN113191699A (zh) * | 2021-06-11 | 2021-07-30 | 广东电网有限责任公司 | 一种配电施工现场安全监管方法 |
| CN113239960A (zh) * | 2021-04-09 | 2021-08-10 | 中用科技有限公司 | 融合ai视觉算法的道路防护智能预警方法和系统 |
| WO2021158313A1 (en) * | 2020-02-03 | 2021-08-12 | Intel Corporation | Systems and methods for distributed learning for wireless edge dynamics |
| CN113869236A (zh) * | 2021-09-29 | 2021-12-31 | 中冶华天工程技术有限公司 | 一种移动式工地安全智慧分析系统和方法 |
-
2022
- 2022-08-29 CN CN202211041270.8A patent/CN116055675A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106836032A (zh) * | 2017-03-20 | 2017-06-13 | 无锡市龙海杰机械制造有限公司 | 安装无人机停靠辅助监测的高空作业安全架 |
| WO2019072587A1 (de) * | 2017-10-12 | 2019-04-18 | Geobrugg Ag | Überwachungsvorrichtung und verfahren zur überwachung einer korrosion eines drahtnetzes |
| CN109557935A (zh) * | 2018-11-01 | 2019-04-02 | 广州圣安环保科技有限公司 | 一种基于无人机的施工安全监测方法及系统 |
| WO2021050875A1 (en) * | 2019-09-13 | 2021-03-18 | Pure Storage, Inc. | Configurable data replication |
| CN110969244A (zh) * | 2019-12-18 | 2020-04-07 | 长安大学 | 一种基于卷积神经网络的建筑施工安全监测方法 |
| WO2021158313A1 (en) * | 2020-02-03 | 2021-08-12 | Intel Corporation | Systems and methods for distributed learning for wireless edge dynamics |
| KR102235036B1 (ko) * | 2020-08-14 | 2021-04-01 | 주식회사 이도 | 건설 현장 안전 관리 시스템 |
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| CN112458938A (zh) * | 2020-12-04 | 2021-03-09 | 南京宥安传感科技有限公司 | 一种新型的落石防护网监测系统 |
| CN112816380A (zh) * | 2021-01-05 | 2021-05-18 | 南京柏王智能装备科技有限公司 | 基于大数据分析的建筑工程工地施工环境在线监测方法及监测云平台 |
| CN113239960A (zh) * | 2021-04-09 | 2021-08-10 | 中用科技有限公司 | 融合ai视觉算法的道路防护智能预警方法和系统 |
| CN113191699A (zh) * | 2021-06-11 | 2021-07-30 | 广东电网有限责任公司 | 一种配电施工现场安全监管方法 |
| CN113869236A (zh) * | 2021-09-29 | 2021-12-31 | 中冶华天工程技术有限公司 | 一种移动式工地安全智慧分析系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 韩侃: "巴玉隧道施工中岩爆风险动态管控措施", 铁路隧道 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241959B (zh) | 一种通过工地视频流检测未佩戴安全帽人员的方法 | |
| CN108319926A (zh) | 一种工地现场的安全帽佩戴检测系统及检测方法 | |
| CN101751744B (zh) | 一种烟雾检测和预警方法 | |
| CN111144263A (zh) | 一种建筑工人高坠事故预警方法及装置 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN107194396A (zh) | 国土资源视频监控系统中基于特定违章建筑识别预警方法 | |
| CN109815904B (zh) | 一种基于卷积神经网络的火灾识别方法 | |
| CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
| CN110674790A (zh) | 一种视频监控中异常场景处理方法及系统 | |
| CN111091110A (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
| CN113469278A (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
| CN112434827A (zh) | 一种5t运维中安全防护识别单元 | |
| CN109635717A (zh) | 一种基于深度学习的矿用行人检测方法 | |
| CN114648708A (zh) | 光伏组件的状态检测方法及装置、存储介质及电子设备 | |
| CN114677640A (zh) | 基于机器视觉的智慧工地安全监测系统及方法 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 | |
| CN113971775B (zh) | 一种基于优化yolov4算法的违章行为识别方法及系统 | |
| Katrojwar et al. | Design of Image based Analysis and Classification using Unmanned Aerial Vehicle | |
| KR101542134B1 (ko) | 스마트 카메라모듈을 통한 열차선로 상의 낙석·사람으로 이루어진 관심 객체 실시간 감시 장치 및 방법 | |
| CN117523397A (zh) | 一种基于图像识别的建筑物外立面危险判别方法 | |
| CN116055675A (zh) | 一种基于卷积神经网络的施工现场安全防护网安装监测方法 | |
| CN111898440A (zh) | 一种基于三维卷积神经网络的山火检测方法 | |
| CN113758927B (zh) | 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |