CN114972575A - 一种基于轮廓边缘的直线拟合算法 - Google Patents
一种基于轮廓边缘的直线拟合算法 Download PDFInfo
- Publication number
- CN114972575A CN114972575A CN202210364957.9A CN202210364957A CN114972575A CN 114972575 A CN114972575 A CN 114972575A CN 202210364957 A CN202210364957 A CN 202210364957A CN 114972575 A CN114972575 A CN 114972575A
- Authority
- CN
- China
- Prior art keywords
- interval
- image
- target
- fitting
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，且公开了一种基于轮廓边缘的直线拟合算法，包括以下步骤：S1：对测试原图进行二值化处理，为了方便计算将二值化图像归一化，通过归一化把灰度值低于二值化阈值的置为0，高于二值化阈值的置为1，用改良的sobel算子作为方向梯度，通过边缘筛选算法得到目标边缘，得到边缘特征提取图，该基于轮廓边缘的直线拟合算法，本申请中提出的直线检测算法具有良好的抗干扰性和适用性，相对于传统的直线拟合算法在复杂的图像背景下拟合更贴近实际直线，此算法适用于多种工业场景和产品的角度特征提取，对产品进行准确的定位。
Description
技术领域
本发明涉及计算机视觉技术领域，具体为一种基于轮廓边缘的直线拟合算法。
背景技术
直线是日常生活中常见的一种几何结构，通常会出现在物体的边缘，直线段包含了场景中最基本的几何信息和拓扑信息，可以作为检测图像高层特征或分析图像内容的基础。直线特征作为一种规则离散点集，相对于点特征能够提供更加明确、丰富的结构信息。直线特征提取是图像分析领域的一个经典问题，被广泛应用于自动驾驶、工业检测、图像匹配和相机标定等诸多领域。
在直线检测方面的研究中，标准Hough变换法是在图像的边缘图上实现的，因此会依赖边缘检测算法的准确性。对于有较高边缘密度的图像会得到大量错误结果，而且由于其忽略边缘点方向信息，常常会得到异常方向的直线段。同时，对图像的每个边缘像素点都需要计算参数，计算量较大。
Gioi等人提出了一种快速的检测直线段方法，称为LSD算法。通过降采样的方式提高图像的质量，结合像素的梯度信息生成直线拟合区域，之后将区域似成矩形候选直线段，依据Helmholtz原则对直线段进行验证。该算法检测的是图像矩阵中所有的直线，但是在工业生产领域做产品定位的时候往往只需要最能代表产品位置的边缘直线或者作为定位特征。
Naila Hamid提出了一种算法合并破碎的线段，该算法根据线段的角度接近度和空间接近度进行分组，将每组内符合算法要求线段合并为单个线段。重复此步骤，直到没有更多的线段可以合并。该算法虽然能检测出更接近人类感知的线段，但是它还是求得的是多条线段的特征，而且实际检测中的目标直线往往会受到不同种类和大小的噪声干扰，该算法容易受到背景信息与噪声的干扰，对于高精度要求的检测任务达不到要求。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于轮廓边缘的直线拟合算法，解决了上述的问题。
(二)技术方案
2.为实现上述所述目的，本发明提供如下技术方案：一种基于轮廓边缘的直线拟合算法，包括以下步骤：
S1：对测试原图进行二值化处理，为了方便计算将二值化图像归一化，通过归一化把灰度值低于二值化阈值的置为0，高于二值化阈值的置为1，用改良的sobel算子作为方向梯度，通过边缘筛选算法得到目标边缘，得到边缘特征提取图；
S2：用优化的最小二乘法初步拟合轮廓线来提高拟合优度R2，R2最大值为1，如果R2的值越接近1，说明直线拟合算法的拟合程度越好，反之，R2的值越小，说明回直线拟合算法的拟合程度越差，将拟合优度大于0.9的拟合直线输出直线拟合结果，对于最终拟合优度低于设定阈值的轮廓线进行排除；
S3：得出每条直线的斜率，直线的斜率k的范围为(-∞，+∞)，而且不是线性变化，无法将其分类，将斜率k转换成角度，取值范围为(-90,90)，让转换的角度都加上90度，于是取值范围就变成了(0,180),继而以每个区间的取值范围大小为1度把其分成180个小区间，通过计算取模将各个轮廓拟合出来直线的角度大小进行分类，并把每个小区间的轮廓的长度累加筛选长度最长的角度区间作为目标区间；
S4：将目标角度轮廓线集合进行不变矩的空间旋转，目标轮廓线如果是一条跨越整个目标图像的对角线，进行旋转后肯定会有像素超出图像边界会造成目标像素的损失，所以需要扩大目标图像的边界来显示全部图像，根据源图像的高和宽，计算出对角线的长度，然后向上取整得到需要扩展后的图像宽度得到图像旋转图；
S5：参照复原点集图将目标点集旋转复原，最后再通过优化的最小二乘法进行最终拟合，得到目标直线特征得到拟合效果图。
优选的，所述分别与上一个角度区间和下一个角度区间进行最邻近插值补偿，因为算法设置的区间角度为1度，首先通过遍历目标角度区间找到角度的最小值和最大值，然后用最大值与下一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间，用最小值与上一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间。
优选的，所述建立扫描矩阵的大小，因为图像旋转到与y轴夹角很小，基本与x轴平行，将扫描矩阵的宽度与图像的宽度设为一致，高度的设定按前面区间设置的区间宽度和最邻近插值的阈值算出扫描区间高度大小为图像宽度乘以1°的正切值，过扫描矩阵以像素坐标y轴从小到大进行遍历，统计出所有非0的像素点，得到像素个数最多的扫描区间得到扫描筛选图。
(三)有益效果
与现有技术相比，本发明提供了一种基于轮廓边缘的直线拟合算法，具备以下有益效果：
1、该基于轮廓边缘的直线拟合算法，本申请中提出的直线检测算法具有良好的抗干扰性和适用性，相对于传统的直线拟合算法在复杂的图像背景下拟合更贴近实际直线，此算法适用于多种工业场景和产品的角度特征提取，对产品进行准确的定位。
附图说明
图1为本发明结构示意图；
图2为本发明结构示意图；
图3为本发明结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，一种基于轮廓边缘的直线拟合算法：
S1：对测试原图进行二值化处理，为了方便计算将二值化图像归一化，通过归一化把灰度值低于二值化阈值的置为0，高于二值化阈值的置为1，用改良的sobel算子作为方向梯度，通过边缘筛选算法得到目标边缘，得到边缘特征提取图。
如图1所示为图像任意一个3×3子区域像素点的位置示意图，P为对应像素点的灰度值，公式(g45°＝3P1+2P2+2P4-2P6-2P8-3P9)、公式(g0°＝P1+2P2+P3-P7-2P8-P9)分别是通过sobel斜向算子和sobel水平算子3×3掩膜矩阵卷积运算得到的梯度值。
本算法是在二值化的图像中提取边缘特征，公式
中的P(i，j)为像素点的位置，J为对应条件下求出的梯度值，当J大于3时即可将像素点P(i，j)判断为边缘像素点，纳入初步预测点集。由此可知，用常规斜向可看出边缘的连续性没有本文算法好，再加上水平的sobel算子虽然有所改善，但是在检测较厚目标直线时还保留了直线段的边缘，影响后续算法检测。
S2：如图2所示用优化的最小二乘法初步拟合轮廓线来提高拟合优度R2，R2最大值为1，如果R2的值越接近1，说明直线拟合算法的拟合程度越好；反之，R2的值越小，说明回直线拟合算法的拟合程度越差。将拟合优度大于0.9的拟合直线输出直线拟合结果，对于最终拟合优度低于设定阈值的轮廓线进行排除。
S3：得出每条直线的斜率，因为直线的斜率k的范围为(-∞，+∞)，而且不是线性变化，无法将其分类，所以将斜率k转换成角度，取值范围为(-90,90)，为了便于计算与编程让转换的角度都加上90度，于是取值范围就变成了(0,180),继而以每个区间的取值范围大小为1度把其分成180个小区间(可以根据实际情况把空间的距离扩大或缩小)，通过计算取模将各个轮廓拟合出来直线的角度大小进行分类，并把每个小区间的轮廓的长度累加筛选长度最长的角度区间作为目标区间。
为了保证算法的稳定性，分别与上一个角度区间和下一个角度区间进行最邻近插值补偿。因为本文算法设置的区间角度为1度，首先通过遍历目标角度区间找到角度的最小值和最大值，然后用最大值与下一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间；同理，用最小值与上一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间，如图3所示。
S4：将目标角度轮廓线集合进行不变矩的空间旋转，考虑到目标轮廓线如果是一条跨越整个目标图像的对角线，进行旋转后肯定会有像素超出图像边界会造成目标像素的损失，影响准确度，所以需要扩大目标图像的边界来显示全部图像。根据源图像的高和宽，计算出对角线的长度，然后向上取整得到需要扩展后的图像宽度得到图像旋转图。
建立扫描矩阵的大小，因为图像旋转到与y轴夹角很小，基本与x轴平行，所以将扫描矩阵的宽度与图像的宽度设为一致，高度的设定按前面区间设置的区间宽度和最邻近插值的阈值算出扫描区间高度大小为图像宽度乘以10的正切值，过扫描矩阵以像素坐标y轴从小到大进行遍历，统计出所有非0的像素点，得到像素个数最多的扫描区间得到扫描筛选图。
S5：参照复原点集图将目标点集旋转复原，最后再通过优化的最小二乘法进行最终拟合，得到目标直线特征得到拟合效果图。
本发明选用了sobel斜向算子和sobel水平算子3×3的掩膜矩阵结合筛选条件作为边缘提取算法。针对图片的位置给出了方向梯度矩阵。梯度突变的地方就是轮廓边缘的位置，将突变的连续的点集作为一个轮廓点集记录下来，得到轮廓边缘的集合。
对每个轮廓用优化的最小二乘法拟合出相应的直线，用拟合优度来验证直线拟合的准确性和可靠性。
将轮廓边缘按拟合角度进行分类，检索分类区间中像素点最多的集合作为目标区间，对目标区间的邻近区间进行最邻近插值运算以防止有效元素损失，进而提高算法的准确性；接着，将目标区间里元素拟合角度的平均值作为不变矩图像旋转的角度值，通过扫描矩阵筛选得到目标点集，再对图像进行旋转复原；最后，用优化的最小二乘法拟合目标点集得到直线特征。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种基于轮廓边缘的直线拟合算法，其特征在于，包括以下步骤：
S1：对测试原图进行二值化处理，为了方便计算将二值化图像归一化，通过归一化把灰度值低于二值化阈值的置为0，高于二值化阈值的置为1，用改良的sobel算子作为方向梯度，通过边缘筛选算法得到目标边缘，得到边缘特征提取图；
S2：用优化的最小二乘法初步拟合轮廓线来提高拟合优度R2，R2最大值为1，如果R2的值越接近1，说明直线拟合算法的拟合程度越好，反之，R2的值越小，说明回直线拟合算法的拟合程度越差，将拟合优度大于0.9的拟合直线输出直线拟合结果，对于最终拟合优度低于设定阈值的轮廓线进行排除；
S3：得出每条直线的斜率，直线的斜率k的范围为(-∞，+∞)，而且不是线性变化，无法将其分类，将斜率k转换成角度，取值范围为(-90,90)，让转换的角度都加上90度，于是取值范围就变成了(0,180),继而以每个区间的取值范围大小为1度把其分成180个小区间，通过计算取模将各个轮廓拟合出来直线的角度大小进行分类，并把每个小区间的轮廓的长度累加筛选长度最长的角度区间作为目标区间；
S4：将目标角度轮廓线集合进行不变矩的空间旋转，目标轮廓线如果是一条跨越整个目标图像的对角线，进行旋转后肯定会有像素超出图像边界会造成目标像素的损失，所以需要扩大目标图像的边界来显示全部图像，根据源图像的高和宽，计算出对角线的长度，然后向上取整得到需要扩展后的图像宽度得到图像旋转图；
S5：参照复原点集图将目标点集旋转复原，最后再通过优化的最小二乘法进行最终拟合，得到目标直线特征得到拟合效果图。
2.根据权利要求1所述的一种基于轮廓边缘的直线拟合算法，其特征在于：所述分别与上一个角度区间和下一个角度区间进行最邻近插值补偿，因为算法设置的区间角度为1度，首先通过遍历目标角度区间找到角度的最小值和最大值，然后用最大值与下一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间，用最小值与上一个区间的所有元素进行计算，将相差0.5度以内的直线归入目标区间。
3.根据权利要求1所述的一种基于轮廓边缘的直线拟合算法，其特征在于：所述建立扫描矩阵的大小，因为图像旋转到与y轴夹角很小，基本与x轴平行，将扫描矩阵的宽度与图像的宽度设为一致，高度的设定按前面区间设置的区间宽度和最邻近插值的阈值算出扫描区间高度大小为图像宽度乘以10的正切值，通过扫描矩阵以像素坐标y轴从小到大进行遍历，统计出所有非0的像素点，得到像素个数最多的扫描区间得到扫描筛选图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210364957.9A CN114972575A (zh) | 2022-04-08 | 2022-04-08 | 一种基于轮廓边缘的直线拟合算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210364957.9A CN114972575A (zh) | 2022-04-08 | 2022-04-08 | 一种基于轮廓边缘的直线拟合算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972575A true CN114972575A (zh) | 2022-08-30 |
Family
ID=82978403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210364957.9A Pending CN114972575A (zh) | 2022-04-08 | 2022-04-08 | 一种基于轮廓边缘的直线拟合算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972575A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861828A (zh) * | 2023-02-28 | 2023-03-28 | 北京飞渡科技股份有限公司 | 一种建筑横切面轮廓提取方法、装置、介质及设备 |
| CN116402841A (zh) * | 2023-06-01 | 2023-07-07 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
| CN116912273A (zh) * | 2023-09-13 | 2023-10-20 | 国网山东省电力公司莱芜供电公司 | 基于三维gis的输电线路跨越施工方案可视化方法 |
| CN117236247A (zh) * | 2023-11-16 | 2023-12-15 | 零壹半导体技术(常州)有限公司 | 一种用于芯片测试的信号屏蔽线生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921865A (zh) * | 2018-06-27 | 2018-11-30 | 南京大学 | 一种抗干扰的亚像素直线拟合方法 |
| US20190162508A1 (en) * | 2017-11-29 | 2019-05-30 | Huntercraft Limited | Automatic deviation correction method |
| CN112233116A (zh) * | 2020-12-11 | 2021-01-15 | 常州微亿智造科技有限公司 | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 |
| CN112991283A (zh) * | 2021-03-04 | 2021-06-18 | 华南理工大学 | 基于超像素的柔性ic基板线宽检测方法、介质和设备 |
-
2022
- 2022-04-08 CN CN202210364957.9A patent/CN114972575A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190162508A1 (en) * | 2017-11-29 | 2019-05-30 | Huntercraft Limited | Automatic deviation correction method |
| CN108921865A (zh) * | 2018-06-27 | 2018-11-30 | 南京大学 | 一种抗干扰的亚像素直线拟合方法 |
| CN112233116A (zh) * | 2020-12-11 | 2021-01-15 | 常州微亿智造科技有限公司 | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 |
| CN112991283A (zh) * | 2021-03-04 | 2021-06-18 | 华南理工大学 | 基于超像素的柔性ic基板线宽检测方法、介质和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 谭仁虎等: "一种基于轮廓边缘的直线拟合算法", 传感技术学报, vol. 35, no. 3, 15 March 2022 (2022-03-15), pages 376 - 382 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861828A (zh) * | 2023-02-28 | 2023-03-28 | 北京飞渡科技股份有限公司 | 一种建筑横切面轮廓提取方法、装置、介质及设备 |
| CN116402841A (zh) * | 2023-06-01 | 2023-07-07 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
| CN116402841B (zh) * | 2023-06-01 | 2023-08-11 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
| CN116912273A (zh) * | 2023-09-13 | 2023-10-20 | 国网山东省电力公司莱芜供电公司 | 基于三维gis的输电线路跨越施工方案可视化方法 |
| CN116912273B (zh) * | 2023-09-13 | 2023-12-12 | 国网山东省电力公司莱芜供电公司 | 基于三维gis的输电线路跨越施工方案可视化方法 |
| CN117236247A (zh) * | 2023-11-16 | 2023-12-15 | 零壹半导体技术(常州)有限公司 | 一种用于芯片测试的信号屏蔽线生成方法 |
| CN117236247B (zh) * | 2023-11-16 | 2024-01-23 | 零壹半导体技术(常州)有限公司 | 一种用于芯片测试的信号屏蔽线生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114723701B (zh) | 基于计算机视觉的齿轮缺陷检测方法和系统 | |
| WO2022042579A1 (zh) | 一种用于lcd屏幕的缺陷检测方法、装置 | |
| CN111758024B (zh) | 一种缺陷检测方法及装置 | |
| CN114972575A (zh) | 一种基于轮廓边缘的直线拟合算法 | |
| CN106934803B (zh) | 电子器件表面缺陷的检测方法及装置 | |
| CN106683075B (zh) | 一种输电线杆塔横担处螺栓缺陷检测方法 | |
| CN106780486B (zh) | 一种钢板表面缺陷图像提取方法 | |
| CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 | |
| CN110197153B (zh) | 一种户型图中墙体自动识别方法 | |
| CN110569857B (zh) | 一种基于质心距离计算的图像轮廓角点检测方法 | |
| US7756295B2 (en) | Change region detection device and change region detecting method | |
| US20100119113A1 (en) | Method and apparatus for detecting objects | |
| WO2023070593A1 (zh) | 线宽测量方法、装置、计算处理设备、计算机程序及计算机可读介质 | |
| CN117315289B (zh) | 基于图像处理的航空发动机叶片轮廓边缘检测方法 | |
| CN115290663B (zh) | 基于光学检测的Mini LED晶圆外观缺陷检测方法 | |
| CN114820625B (zh) | 一种汽车顶块缺陷检测方法 | |
| CN111354047A (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN116433666B (zh) | 板卡线路缺陷在线识别方法、系统、电子设备及存储介质 | |
| CN117764989B (zh) | 一种视觉辅助的显示屏缺陷检测方法 | |
| CN115880683B (zh) | 一种基于深度学习的城市内涝积水智能水位检测方法 | |
| WO2023231262A1 (zh) | 基于视觉振频识别的提升钢丝绳张力检测方法 | |
| CN114820631A (zh) | 一种抗纹理干扰的面料缺陷检测方法 | |
| CN115375629A (zh) | 一种lcd屏幕中线缺陷检测及缺陷信息提取方法 | |
| CN114863492A (zh) | 一种低质量指纹图像的修复方法及修复装置 | |
| CN113971681A (zh) | 一种复杂环境下带式输送机边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |