CN109708583A - 一种基于线结构光的圆柱体直径测量系统及测量方法 - Google Patents
一种基于线结构光的圆柱体直径测量系统及测量方法 Download PDFInfo
- Publication number
- CN109708583A CN109708583A CN201910163422.3A CN201910163422A CN109708583A CN 109708583 A CN109708583 A CN 109708583A CN 201910163422 A CN201910163422 A CN 201910163422A CN 109708583 A CN109708583 A CN 109708583A
- Authority
- CN
- China
- Prior art keywords
- line
- structured light
- sliding
- measured
- measuring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种基于线结构光的圆柱体直径测量系统及测量方法，本发明选用线结构光的方法测量圆柱体工件的直径大小，线结构光法以激光三角形法为基本测量原理，线激光器2发出的激光面投射到被测圆柱体工件7的表面，与待测圆柱体工件7需要测量处的截面相交成一条光条，以激光为传递信息的载体，利用高分辨率的相机采集图像，建立数学模型，经过系统标定可以算出光条像素点在世界坐标系中的位置，即可得到被测圆柱体的直径大小。
Description
技术领域
本发明涉及一种圆柱体直径测量方法，具体涉及一种基于线结构光的圆柱体直径测量系统及测量方法。
背景技术
在工业生产领域中，需要测量圆柱体工件直径，以确定工件是否符合生产工艺要求。目前圆柱体直径的测量基本都是采用游标卡尺，需要在圆柱体不同截面多次测量，检测人员采用游标卡尺测量时，易受人为因素干扰，如测量人员的熟练程度、测量操作方法等，导致测量结果精度低、偏差大，且每次测量均需调整游标卡尺，工作效率低。
发明内容
本发明的目的是提供一种基于线结构光的圆柱体直径测量系统及测量方法，能够大大提高工作效率，保证测量精度。
为了达到上述目的，本发明所采用的技术方案是：一种基于线结构光的圆柱体直径测量系统，包括安装底板、线激光器、图像获取装置以及对称设置在安装底板顶部的两个支架，所述的线激光器和图像获取装置分别设置在两个支架的顶端，所述安装底板的顶部设置有滑轨且滑轨位于所述的两个支架之间，滑轨上滑动设置有用于放置待测圆柱体工件的滑动小车，滑动小车的底部设置有与滑轨相匹配的滑块，滑轨的首端和末端均设置有用于对滑动小车进行限位的限位块。
进一步的，所述滑动小车的顶端开设有用于放置待测圆柱体工件的V型槽。
进一步的，所述图像获取装置通过安装盘可拆卸的安装在其所对应的支架上。
进一步的，所述图像获取装置与安装盘固定连接且图像获取装置位于安装盘远离支架的一侧，安装盘上对称开设有两条滑槽，每一条滑槽内均穿设有一根与支架螺纹连接的T型螺栓。
进一步的，所述的两条滑槽均呈弧形且两者的内弧面相对设置。
进一步的，所述滑轨与所述的两个支架三者的中心轴线在同一竖直平面内。
进一步的，所述图像获取装置为与上位机相连的相机。
一种基于线结构光的圆柱体直径测量系统的测量方法，包括以下步骤：
步骤一：将待测圆柱体工件放置在滑动小车上开设的V型槽内；
步骤二：开启线激光器并在滑轨内来回滑动滑动小车，使线激光器发出的激光面与待测圆柱体工件需要测量处的截面相交成一条光条；
步骤三：调节T型螺栓使安装盘与支架分离，然后转动安装盘使步骤二产生的光条位于图像获取装置的视野内，然后调节T型螺栓将安装盘固定在支架上；
步骤四：通过图像获取装置采集图片信息并将采集到的图片信息上传到上位机；
步骤五：上位机对采集到的图片信息进行处理后即可得到待测圆柱体工件的直径。
进一步的，上位机对采集到的图片信息进行处理以得到待测圆柱体工件的直径的过程包括以下步骤：
步骤一：采用滤波及形态学处理的方法对采集到的图片信息进行预处理，使得光条在边界处完整精确；
步骤二：提取光条中心并对光条中心进行拟合；
步骤三：根据拟合出的椭圆，计算出待测圆柱体工件的直径。
与现有技术相比，本发明的有益效果是：本发明不需要检测人员采用游标卡尺进行测量，不会受检测人员的熟练程度、测量操作方法等的影响，测量精度高，且适用于连续快速测量，自动化程度高。
附图说明
图1是一种基于线结构光的圆柱体直径测量系统的结构示意图；
图2是图1的俯视图；
图3是滑动小车与待测圆柱体工件的位置关系示意图；
图4是安装盘的结构示意图；
图5是一种基于线结构光的圆柱体直径测量方法的流程示意图；
图6是图像物理坐标系、图像像素坐标系以及摄像机坐标系的模型建立示意图；
图7是对图像进行细化处理以得到精度相对高的光条中心的流程示意图；
图8是以O为圆心的模型的建立示意图；
图9是与被测圆柱体轴线垂直的虚拟平面的建立示意图；
图中标记：1、支架，2、线激光器，3、限位块，4、滑轨，5、滑块，6、滑动小车，7、待测圆柱体工件，8、安装底板，9、图像获取装置，10、安装盘，11、滑槽，12、T型螺栓。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于线结构光的圆柱体直径测量系统，如图1和图2所示，包括安装底板8、线激光器2、图像获取装置9以及对称设置在安装底板顶部的两个支架1，所述的线激光器2和图像获取装置9分别设置在两个支架1的顶端，所述安装底板8的顶部设置有滑轨4且滑轨4位于所述的两个支架1之间，滑轨4上滑动设置有用于放置待测圆柱体工件7的滑动小车6，滑动小车6的底部设置有与滑轨4相匹配的滑块5，滑轨4的首端和末端均设置有用于对滑动小车6进行限位的限位块3。
进一步优化本方案，如图3所示，所述滑动小车6的顶端开设有用于放置待测圆柱体工件7的V型槽。
进一步优化本方案，所述图像获取装置9通过安装盘10可拆卸的安装在其所对应的支架1上。
进一步优化本方案，所述图像获取装置9与安装盘10固定连接且图像获取装置9位于安装盘10远离支架1的一侧，如图4所示，安装盘10上对称开设有两条滑槽11，每一条滑槽11内均穿设有一根与支架1螺纹连接的T型螺栓12。
进一步优化本方案，所述的两条滑槽11均呈弧形且两者的内弧面相对设置。
进一步优化本方案，所述滑轨4与所述的两个支架1三者的中心轴线在同一竖直平面内。
进一步优化本方案，所述图像获取装置9为与上位机相连的相机。
一种基于线结构光的圆柱体直径测量系统的测量方法，包括以下步骤：
步骤一：将待测圆柱体工件7放置在滑动小车6上开设的V型槽内；
步骤二：开启线激光器2并在滑轨4内来回滑动滑动小车6，使线激光器2发出的激光面与待测圆柱体工件7需要测量处的截面相交成一条光条；
步骤三：调节T型螺栓12使安装盘10与支架1分离，然后转动安装盘10使步骤二产生的光条位于图像获取装置9的视野内，然后调节T型螺栓12将安装盘10固定在支架1上；
步骤四：通过图像获取装置9采集图片信息并将采集到的图片信息上传到上位机；
步骤五：上位机对采集到的图片信息进行处理后即可得到待测圆柱体工件7的直径。
进一步优化本方案，上位机对采集到的图片信息进行处理以得到待测圆柱体工件7的直径的过程包括以下步骤：
步骤一：采用滤波及形态学处理的方法对采集到的图片信息进行预处理，使得光条在边界处完整精确；
步骤二：提取光条中心并对光条中心进行拟合；
步骤三：根据拟合出的椭圆，计算出待测圆柱体工件的直径。
以下对上位机的的处理流程进行详细说明：
本发明选用线结构光的方法测量圆柱体工件的直径大小，线结构光法以激光三角形法为基本测量原理，线激光器2发出的激光面投射到被测圆柱体工件7的表面，与待测圆柱体工件7需要测量处的截面相交成一条光条，以激光为传递信息的载体，利用高分辨率的相机采集图像，建立数学模型，经过系统标定可以算出光条像素点在世界坐标系中的位置，即可得到被测圆柱体的直径大小。
在线结构光测量方法中，为了找到光条点的像素坐标和世界坐标系中对应的具体坐标，需要建立合适的测量模型。在线结构光测量方法中，常见的数学模型有：解析几何模型、人工神经网络模型和小孔成像模型，本发明使用最常用的小孔成像模型。
一、首先，建立图像物理坐标系、图像像素坐标系以及摄像机坐标系，模型原理如图6所示，
1、图像物理坐标系
O-xy为图像物理坐标系，以相机光轴与相机所拍摄图像平面交点O为原点，O也是相机光轴与图像平面的交点，也被称为主点。
2、图像像素坐标系
图像像素坐标系以相机所拍摄图像的左上角为坐标原点，(u，v)表示图像上某点的列坐标和行坐标。
3、摄像机坐标系
Oc-XcYcZc坐标系为摄像机坐标系，坐标系以相机光心Oc为原点，OcZc为光轴，OcXc和OcYc分别与图像物理坐标系的x和y轴平行。
4、世界坐标系
Ow-XwYwZw坐标系为世界坐标系，位置需要根据系统标定方法和系统测量选定，设空间中的一点P在世界坐标系下的坐标为(xw，yw，zw)，在摄像机坐标系中坐标为(xc，yc，zc)，在图像像素坐标系中坐标为(u，v)，(u，v)与(xc，yc，zc)之间的变换关系为：
利用上式从(u，v)计算(xc，yc，zc)时，不能得到唯一解。因此，在线结构光测量方法中需要加入光平面约束，光条上的点既满足小孔成像模型，又满足光平面约束条件。
设光平面在摄像机坐标系中的方程为axc+byc+czc+d＝0，联立该方程和(1)式可得到：
由此可以得到(u，v)和(xc，yc，zc)之间的一一对应关系。点P在摄像机坐标系下坐标(xc，yc，zc)和世界坐标系下坐标(xw，yw，zw)之间的关系如下：
R和T分别为摄像机坐标系转换到世界坐标系时的旋转矩阵和平移矩阵，这样就可以由(u，v)直接计算出该点在世界坐标系下的坐标值(xw，yw，zw)。
二、系统具体操作方法如图5所示，下面就所使用的具体方法结合图5进行详细说明：
1、基于线结构光的圆柱体直径测量系统，设计主要采用斜入式激光三角法，根据所用方法以及结合圆柱体测量的便捷性、实用性和可操作性，搭建上述测量系统；
2、利用滑轨4和滑块5机构，使滑动小车6能够沿滑轨4水平移动，以测量待测圆柱体工件不同截面的直径大小；
3、为使采集到的光条的边缘完整、精确，采用滤波及形态学处理的方法进行预处理，然后根据亚像素级边缘检测算法(本方法基于灰度重心法改进的方法)对光条中心进行拟合。
该方法将光条灰度重心作为光条中心点，使用加权平均的思想。设在图像第i列提取的光条中心像素坐标为(uid，vid)，第i列第j行上光条点灰度值为G(j，i)，则存在以下关系：
但是由于弧形光条亮度分布不均，用灰度重心法提取的光条中心效果不理想，本发明针对上述情况进行改进，先对图像采取开运算，去除光条周围的毛刺，平滑图像的边界，再使用Zhang并行快速细化算法对图像进行细化，最后对细化后的图像继续使用灰度重心法进行处理，得到精度相对高的光条中心，如图7所示。
把得到的光条中心线进行拟合，由于线激光入射方向与待测圆柱体存在一定的夹角，使得到的光条中心线经过拟合是一个椭圆，为了解决这一问题，本发明提出了一种基于圆心约束的圆柱体直径测量算法，建立以O为圆心的模型，如图8所示，A，B，C，D为圆上的点，H为AC和BD的交点，根据圆的几何关系可得：
AH×CH＝BH×DH＝r2-OH2 (5)
其中，r为圆的半径，设圆心O点的坐标为(x0，y0)，A，B，C，D点的坐标分别为(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，利用A，B，C，D点的坐标可以得到H点的坐标(x5，y5)。
为了提高测量精度，建立了一个与被测圆柱体轴线垂直的虚拟平面，如图9所示，其中，π2为与MN垂直的虚拟平面，Pi为圆柱体上的被测点，Qi点为Pi点在π2面上的投影，将虚拟平面上圆弧cd上的点Qi均分为4个区域，每个区域上的点的个数为n，A，B，C，D分别对应4个区域的点。设Ai为第i个点，则Bi为第i+n个点，Ci为第i+2n个点，Di为第i+3n个点。将Qi点的局部坐标带入(5)式中，可以得到优化圆心点的目标函数：
其中r为圆柱体半径的估计值。
在图9中，L为圆上的一条弦，F为弦的中点，OF⊥L，即OF·L＝0。故优化圆心点的目标函数还可以表示为：
联立(6)和(7)式，得到优化圆心点的优化函数为：
求(8)式的最小值是一个非线性优化问题，求出目标函数的最优解，得到优化后的圆心Oc，设Oc的坐标为(xc，yc)，将Oc和Qi点的局部坐标代入(9)式，得到被测圆柱体直径：
其中N＝4×n。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于线结构光的圆柱体直径测量系统，包括安装底板（8）、线激光器（2）、图像获取装置（9）以及对称设置在安装底板顶部的两个支架（1），其特征在于：所述的线激光器（2）和图像获取装置（9）分别设置在两个支架（1）的顶端，所述安装底板（8）的顶部设置有滑轨（4）且滑轨（4）位于所述的两个支架（1）之间，滑轨（4）上滑动设置有用于放置待测圆柱体工件（7）的滑动小车（6），滑动小车（6）的底部设置有与滑轨（4）相匹配的滑块（5），滑轨（4）的首端和末端均设置有用于对滑动小车（6）进行限位的限位块（3）。
2.根据权利要求1所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述滑动小车（6）的顶端开设有用于放置待测圆柱体工件（7）的V型槽。
3.根据权利要求1所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述图像获取装置（9）通过安装盘（10）可拆卸的安装在其所对应的支架（1）上。
4.根据权利要求3所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述图像获取装置（9）与安装盘（10）固定连接且图像获取装置（9）位于安装盘（10）远离支架（1）的一侧，安装盘（10）上对称开设有两条滑槽（11），每一条滑槽（11）内均穿设有一根与支架（1）螺纹连接的T型螺栓（12）。
5.根据权利要求4所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述的两条滑槽（11）均呈弧形且两者的内弧面相对设置。
6.根据权利要求1所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述滑轨（4）与所述的两个支架（1）三者的中心轴线在同一竖直平面内。
7.根据权利要求1所述的一种基于线结构光的圆柱体直径测量系统，其特征在于：所述图像获取装置（9）为与上位机相连的相机。
8.根据权利要求1-7任一项所述的一种基于线结构光的圆柱体直径测量系统的测量方法，其特征在于，包括以下步骤：
步骤一：将待测圆柱体工件（7）放置在滑动小车（6）上开设的V型槽内；
步骤二：开启线激光器（2）并在滑轨（4）内来回滑动滑动小车（6），使线激光器（2）发出的激光面与待测圆柱体工件（7）需要测量处的截面相交成一条光条；
步骤三：调节T型螺栓（12）使安装盘（10）与支架（1）分离，然后转动安装盘（10）使步骤二产生的光条位于图像获取装置（9）的视野内，然后调节T型螺栓（12）将安装盘（10）固定在支架（1）上；
步骤四：通过图像获取装置（9）采集图片信息并将采集到的图片信息上传到上位机；
步骤五：上位机对采集到的图片信息进行处理后即可得到待测圆柱体工件（7）的直径。
9.根据权利要求8所述的测量方法，其特征在于：所述步骤五中上位机对采集到的图片信息进行处理以得到待测圆柱体工件（7）的直径的过程包括以下步骤：
步骤一：采用滤波及形态学处理的方法对采集到的图片信息进行预处理，使得光条在边界处完整精确；
步骤二：提取光条中心并对光条中心进行拟合；
步骤三：根据拟合出的椭圆，计算出待测圆柱体工件的直径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163422.3A CN109708583A (zh) | 2019-03-05 | 2019-03-05 | 一种基于线结构光的圆柱体直径测量系统及测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163422.3A CN109708583A (zh) | 2019-03-05 | 2019-03-05 | 一种基于线结构光的圆柱体直径测量系统及测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109708583A true CN109708583A (zh) | 2019-05-03 |
Family
ID=66266235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910163422.3A Pending CN109708583A (zh) | 2019-03-05 | 2019-03-05 | 一种基于线结构光的圆柱体直径测量系统及测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109708583A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107084671A (zh) * | 2017-02-24 | 2017-08-22 | 浙江大学 | 一种基于三线结构光的凹球直径测量系统及测量方法 |
| CN109000572A (zh) * | 2018-09-17 | 2018-12-14 | 四川大学 | 一种圆柱直径检测方法 |
| CN209877895U (zh) * | 2019-03-05 | 2019-12-31 | 洛阳德晶智能科技有限公司 | 一种基于线结构光的圆柱体直径测量系统 |
-
2019
- 2019-03-05 CN CN201910163422.3A patent/CN109708583A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107084671A (zh) * | 2017-02-24 | 2017-08-22 | 浙江大学 | 一种基于三线结构光的凹球直径测量系统及测量方法 |
| CN109000572A (zh) * | 2018-09-17 | 2018-12-14 | 四川大学 | 一种圆柱直径检测方法 |
| CN209877895U (zh) * | 2019-03-05 | 2019-12-31 | 洛阳德晶智能科技有限公司 | 一种基于线结构光的圆柱体直径测量系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘斌;沈康;魏兆超;贾艳慧;张宝峰;: "基于线结构光视觉技术的微小直径高精度测量系统", 仪器仪表学报, no. 2, 15 December 2014 (2014-12-15), pages 126 - 129 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110455198A (zh) * | 2019-08-22 | 2019-11-15 | 吉林大学 | 基于线结构光视觉的矩形花键轴键宽及直径测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN209877895U (zh) | 一种基于线结构光的圆柱体直径测量系统 | |
| CN103047944B (zh) | 三维物体测量方法及其测量装置 | |
| CN109297433A (zh) | 3d视觉引导拆垛测量系统及其控制方法 | |
| CN107152295B (zh) | 一种盾构管片拼装机用视觉平台自动抓取方法及系统 | |
| CN103148865B (zh) | 一种摄像机模型标定方法及标定装置 | |
| CN108802043A (zh) | 隧道检测装置、检测系统及隧道病害信息提取方法 | |
| CN101458072A (zh) | 一种基于多传感器的三维轮廓测量装置及其测量方法 | |
| CN101539397B (zh) | 物体三维姿态的精密光学测量方法 | |
| CN207649542U (zh) | 一种多量程大尺寸高精度视觉测量机构 | |
| CN103198481B (zh) | 一种摄像机标定方法 | |
| CN110375674A (zh) | 一种精密制造设备的视觉检测系统 | |
| CN204479023U (zh) | 一种输电线路弧垂快速测量装置 | |
| CN107167088A (zh) | 玻璃变形量的测量方法及装置 | |
| CN106895795A (zh) | 单目视觉测量装置及其三维建模系统 | |
| CN111811433A (zh) | 基于红蓝正交条纹的结构光系统标定方法及装置和应用 | |
| CN102788573B (zh) | 一种线结构光定位投射影像获取装置 | |
| JP6599697B2 (ja) | 画像測定装置及びその制御プログラム | |
| CN109708583A (zh) | 一种基于线结构光的圆柱体直径测量系统及测量方法 | |
| CN202304767U (zh) | 一种基于多传感器的三维轮廓测量装置 | |
| CN110207605A (zh) | 一种基于机器视觉的金属结构变形的测量装置及方法 | |
| CN109678057A (zh) | 基于立体视觉的桥式吊车的摆角测量方法 | |
| CN105928463B (zh) | 基于特征点匹配的自动测量系统及测量方法 | |
| CN108050995A (zh) | 一种基于dem的倾斜摄影无像控点航摄测区归并方法 | |
| CN109916328A (zh) | 一种双ccd激光测量的v形槽标定板及方法 | |
| CN111290437A (zh) | 一种无人机巡检轨迹的调整方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |