CN110490105A - 基于图像识别的配变台区验收方法、装置及计算机存储介质 - Google Patents
基于图像识别的配变台区验收方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN110490105A CN110490105A CN201910720868.1A CN201910720868A CN110490105A CN 110490105 A CN110490105 A CN 110490105A CN 201910720868 A CN201910720868 A CN 201910720868A CN 110490105 A CN110490105 A CN 110490105A
- Authority
- CN
- China
- Prior art keywords
- picture
- distribute
- feature
- electricity transformer
- transformer district
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图像识别的配变台区验收方法、装置及计算机存储介质。其中，所述方法包括获取配变台区现场采集的第一图片；对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。本发明实施例通过图像识别技术实现配变台区验收，有效提高了配电网标准化建设水平，有效提升了验收效率；在配电台区施工、验收及运维过程中起到了统一标准、提升效率及过程追溯的功能，对配电台区精益化管理提供了有力支撑。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于图像识别的配变台区验收方法、装置及计算机存储介质。
背景技术
十三五期间，国家实施的一系列战略决策聚焦配电网，努力保障城镇化建设需求，电力公司投入资金升级改造配电网，新建配电台区。但是，在提升配电网供电能力的同时，也给供电公司的工程验收带来了巨大工作量。
配电网工程建设中的项目竣工验收做工至关重要，是保障工程建设质量，核对工程量的必要环节，是保证工程投运安全运行，发挥供电效应的重要保障。
目前工程验收主要是通过现场验收入员人工判断，存在以下问题：
1、验收标准尺度不统一，验收人员的业务水平参差不齐，导致验收质量不可控；
2、验收配电台区需要占用大量人力资源且效率低下；
3、验收过程资料均为纸质手写记录，未能形成有效的电子档案管理，后续追溯及查阅较为困难；
4、各级验收结论相互独立，不能实现对工程质量的闭环式管理。
发明内容
针对于上述现有技术的不足，本发明提供一种基于图像识别的配变台区验收方法，获取配变台区现场采集的第一图片；对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
在一个可能的实施例中，所述对第一图片进行预处理包括通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行处理。
在一个可能的实施例中，还包括通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
在一个可能的实施例中，还包括根据识别结果，生成包括元器件台账的配变台区的验收报告。
本发明提供一种基于图像识别的配变台区验收装置，获取单元，用于获取配变台区现场采集的第一图片；预处理单元，用于对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；识别单元，用于通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
在一个可能的实施例中，所述预处理单元还用于通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行处理。
在一个可能的实施例中，还包括通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
在一个可能的实施例中，还包括生成单元，用于根据识别结果，生成包括元器件台账的配变台区的验收报告。
一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现前述任意一项所述的方法。
本发明的有益效果：
本发明实施例有效提高了配电网标准化建设水平，有效提升了验收效率；在配电台区施工、验收及运维过程中起到了统一标准、提升效率及过程追溯的功能，对配电台区精益化管理提供了有力支撑。一方面，通过图像识别验证台区的安装工艺及质量，自动生成验收报告，核实台区工程量，实现了国网典设100％应用、现场工艺一模一样的目标，提高了整体验收效率。一方面，通过拍照识别铭牌进行设备台账自动登记，实现了一次验收完成现场收集设备台账信息的目标。再者，验收台账无纸化登记，自动记录验收时间、验收入员及各级验收结论，生成台区验收二维码信息，实现验收环节的可追溯化管理。
附图说明
图1为本发明实施例中的一种方法流程示意图；
图2为本发明实施例中的一种方法流程示意图；
图3为本发明实施例中的装置结构示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1，本发明实施例中公开了一种基于图像识别的配变台区验收方法，包括：
S100,获取配变台区现场采集的第一图片。
在一个实施例中，可通过移动终端拍摄配变台区照片。
在一个实施例中，可在配变台区设置摄像头，用于采集验收现场等的实时画面。在一个实施例中，摄像头可以包括输入设备、处理器、存储介质、内存、接口，输入设备用于采集图像。
在一个实施例中，所述第一图片包括验收现场的元器件、配电设备、安装工艺状态等。
在一个实施例中，元器件可以是电杆、变压器、低压综合配电箱等。
S101,对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集。
在一个实施例中，可以通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行预处理。图片预处理的主要目的是消除图片中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
其中，图像增强技术包括基于空域的方法直接对图像进行处理；以及基于频域的方法是在图像的某种变换域内对图像的变换系数进行修正，然后再反变换到原来的空域，得到增强的图像。通过图像增强技术能够改善图片的清晰度，扩大图像中不同物体特征之间的差别，满足分析的需要。
可通过图像智能降噪去除图片中的无用信息。
图片特征提取可采取方向梯度直方图(Histogram of Oriented Gradient,HOG)HOG和支持向量机(support vector machine,SVM)，再通过计算和统计图像局部区域的梯度方向直方图来构成特征。
图像区域分割技术包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法，从而对图像进行分割处理。
S102,通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
参照图2，通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权和表示，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
在一个实施例中，可以基于人工智能的图片分类识别技术，通过大量的台架、杆塔等样本数据训练来构建基于深度神经网络的图片分类识别模型，实现用户拍摄图片中的元器件识别，辅助用户实现整个配网验收过程。
在一个实施例中，图片的特征表示是指用训练图片集中标注的特征信息集合来代表元器件信息集合，用以识别模型训练。
图片的特征权重计算是通过构造评价函数，对特征集中的每个特征进行独立的评估，并计算出特征权重。
其中，识别模型是基于深度神经网络的智能图像识别模型，用以台架、线路等电力元器件识别。
具体的，在工作过程中，对待识别的图片进行预处理、特征选择、特征权重计算以及特征表示，然后将处理后的图片输入到识别模型进行验收现场图像识别。在上述识别过程中，可以通过训练结果评估对识别模型进行调整。
在一个实施例中，特征计算可以用数字来表示的，如平均灰度值、大小或高宽比等。最后通过以图搜图的方式实现对电杆、变压器、低压综合配电箱等物料的照片进行样本学习。
前述方法还包括根据识别结果，生成包括元器件台账的配变台区的验收报告。在一个实施例中，可以基于人工智能的自然语言处理技术，自动生成验收报告及验收信息二维码、记录验收人员、日期、过程信息，形成记录并存档。
通过上述方法，实现通过拍摄竣工图片方式和图像识别技术，实现对配变台区工程辅助验收，利用移动终端拍摄竣工工程图片，传至后台与国网典型设计、标准图库、标准工艺进行比对，自动分析判出收变台的缺陷及问题，并形成验收报告。
如图3，一种基于图像识别的配变台区验收装置200，包括：
获取单元2001，用于获取配变台区现场采集的第一图片；
预处理单元2002，用于对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；
识别单元2003，用于通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
所述预处理单元2002还用于通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行处理。
其中包括通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
该装置还包括生成单元，用于根据识别结果，生成包括元器件台账的配变台区的验收报告。
以上装置200的功能对应于前述方法，具体的实施方式可以参照前述方法实施例，不再赘述。
为提升供电公司验收质量、优化验收流程、提高工作效率及节省人力资源，有力的推进配电网工程标准化建设。配变台区验收方法在配电台区施工、验收及运维过程中起到了统一标准、提升效率及过程追溯的功能，对配电台区精益化管理提供了有力支撑。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (9)
1.一种基于图像识别的配变台区验收方法，其特征在于，
获取配变台区现场采集的第一图片；
对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；
通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
2.如权利要求1所述的方法，其特征在于，所述对第一图片进行预处理包括通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行处理。
3.如权利要求1所述的方法，其特征在于，还包括通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
4.如权利要求1所述的方法，其特征在于，还包括根据识别结果，生成包括元器件台账的配变台区的验收报告。
5.一种基于图像识别的配变台区验收装置，其特征在于，
获取单元，用于获取配变台区现场采集的第一图片；
预处理单元，用于对所述第一图片进行预处理，获得第二图片，其中第二图片包括表示元器件的特征集；
识别单元，用于通过识别模型对所述第二图片中的特征集进行识别，并输出识别结果。
6.如权利要求5所述的装置，其特征在于，所述预处理单元还用于通过图像增强技术，或者图像智能降噪技术、或者图片特征提取技术、或者图像区域分割技术对第一图片进行处理。
7.如权利要求5所述的装置，其特征在于，还包括通过如下方式训练识别模型：获取大量配变台区标准验收状态的样本图片，对所述样本图片进行预处理和特征提权，通过构造评价函数对所述样本图片中每个特征进行评价并获得对应特征的特征权重值。
8.如权利要求5所述的装置，其特征在于，还包括生成单元，用于根据识别结果，生成包括元器件台账的配变台区的验收报告。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910720868.1A CN110490105A (zh) | 2019-08-06 | 2019-08-06 | 基于图像识别的配变台区验收方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910720868.1A CN110490105A (zh) | 2019-08-06 | 2019-08-06 | 基于图像识别的配变台区验收方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490105A true CN110490105A (zh) | 2019-11-22 |
Family
ID=68549903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910720868.1A Pending CN110490105A (zh) | 2019-08-06 | 2019-08-06 | 基于图像识别的配变台区验收方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490105A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593897A (zh) * | 2021-08-27 | 2021-11-02 | 湖北磁创电子科技有限公司 | 一种网络变压器的精准整脚装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011037288A1 (ko) * | 2009-09-28 | 2011-03-31 | 한국전력공사 | 배전 보호협조 시스템 및 운영방법 |
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| CN108629512A (zh) * | 2018-05-04 | 2018-10-09 | 国家电网公司 | 农城网台变综合电能质量管理系统及管理方法 |
| CN109614488A (zh) * | 2018-12-04 | 2019-04-12 | 广西大学 | 基于文本分类和图像识别的配网带电作业条件判别方法 |
-
2019
- 2019-08-06 CN CN201910720868.1A patent/CN110490105A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011037288A1 (ko) * | 2009-09-28 | 2011-03-31 | 한국전력공사 | 배전 보호협조 시스템 및 운영방법 |
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| CN108629512A (zh) * | 2018-05-04 | 2018-10-09 | 国家电网公司 | 农城网台变综合电能质量管理系统及管理方法 |
| CN109614488A (zh) * | 2018-12-04 | 2019-04-12 | 广西大学 | 基于文本分类和图像识别的配网带电作业条件判别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 冈萨雷斯等: "《机器学习智能计算与高光谱遥感影像分类应用研究》", 中国财富出版社, pages: 71 - 72 * |
| 窦陈等: "基于模块化思路的中压配电网可靠性评估方法", 《电器与能效管理技术》, no. 08, 30 April 2018 (2018-04-30) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593897A (zh) * | 2021-08-27 | 2021-11-02 | 湖北磁创电子科技有限公司 | 一种网络变压器的精准整脚装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490238A (zh) | 一种图像处理方法、装置及存储介质 | |
| CN109614488B (zh) | 基于文本分类和图像识别的配网带电作业条件判别方法 | |
| CN105574063A (zh) | 基于视觉显著性的图像检索方法 | |
| CN101398846A (zh) | 基于局部颜色空间特征的图像语义概念检测的方法 | |
| CN110674808A (zh) | 一种变电站压板状态智能识别方法及装置 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN109714526A (zh) | 智能摄像头及控制系统 | |
| CN114387499A (zh) | 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质 | |
| CN109766873A (zh) | 一种混合可变形卷积的行人再识别方法 | |
| CN107730158A (zh) | 电网项目智能化评审方法及系统 | |
| CN106485273A (zh) | 一种基于hog特征与dnn分类器的人脸检测方法 | |
| CN103984954B (zh) | 基于多特征融合的图像合成方法 | |
| CN110427943A (zh) | 一种基于r-cnn的智能电表数值识别方法 | |
| CN108805102A (zh) | 一种基于深度学习的视频字幕检测与识别方法及系统 | |
| CN115719337A (zh) | 一种风力涡轮机表面缺陷检测方法 | |
| CN106844785A (zh) | 一种基于显著性分割的基于内容的图像检索方法 | |
| CN110490105A (zh) | 基于图像识别的配变台区验收方法、装置及计算机存储介质 | |
| CN109800420A (zh) | 一种可研评审报告自动生成方法及存储介质 | |
| CN111507249A (zh) | 基于目标检测的变电站鸟窝识别方法 | |
| CN107911654A (zh) | 基于图像处理技术的水表自动抄表系统及方法 | |
| CN113469938B (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
| CN110175985A (zh) | 碳纤维复合芯导线损伤检测方法、装置及计算机存储介质 | |
| CN109411080A (zh) | 一种基于超声数据的人机协同结节风险评级系统 | |
| CN112258552A (zh) | 一种社区监控场景下行人多目标跟踪方法 | |
| Yuan et al. | RPN-FCN based Rust detection on power equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |