CN116777969A - 一种4比特位深的高精度投影条纹图生成方法及电子设备 - Google Patents
一种4比特位深的高精度投影条纹图生成方法及电子设备 Download PDFInfo
- Publication number
- CN116777969A CN116777969A CN202310734678.1A CN202310734678A CN116777969A CN 116777969 A CN116777969 A CN 116777969A CN 202310734678 A CN202310734678 A CN 202310734678A CN 116777969 A CN116777969 A CN 116777969A
- Authority
- CN
- China
- Prior art keywords
- bit
- fringe pattern
- depth
- fringe
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000009792 diffusion process Methods 0.000 claims abstract description 21
- 230000010363 phase shift Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 abstract description 39
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种4比特位深的高精度投影条纹图生成方法及电子设备，属于机器视觉三维测量计算技术领域，包括：生成标准4比特位深正弦条纹图；将4比特位深正弦条纹图起始像素点灰度值取整，得到对应的取整灰度值；计算起始像素点灰度值取整引入的误差；使用二维误差扩散算法将误差扩散到与起始像素点相邻的像素点上，并且将处理过的像素点列为已处理像素点；依次将未处理像素点作为起始像素点，重复上述步骤，直至4比特位深正弦条纹图中所有像素点均为已处理像素点，得到4比特位深高精度投影条纹图。提高了使用4比特位深条纹图进行条纹投影的测量精度，拓展了条纹图可使用的比特位深，为条纹投影三维测量提供了更多比特位深条纹图的选择。
Description
技术领域
本发明涉及机器视觉三维测量计算技术领域，特别涉及一种4比特位深的高精度投影条纹图生成方法及电子设备。
背景技术
近年来，非接触式方法中条纹投影技术因其测量精度、测量速度和灵活性方面的优势在光学三维测量领域得到了广泛的关注。条纹投影技术主要过程是通过投影仪投影条纹图案至待测物体表面，再捕捉回受物体高度调制的变形条纹图，最后通过相位解调、系统标定得到物体三维信息。
其中投影条纹图案的比特位深多为8或1，分别用来追求高精度和高速率测量，以最常使用的DLPLightCrafter4500为例，投影图案比特位深越少，允许的最小投影积分时间越短，最大的投影速率越快；同时，受投影仪内部缓存器的限制，投影图案比特位深越少，允许投影的最大图案数目越多。但是降低条纹图比特位深灰导致量化级数偏低，进而导致测量精度低。所以为了完成高速动态测量，需要投影1比特位深的条纹图案，通常通过对8比特位深条纹图案进行下采样得到1比特位深条纹图，并在投影仪离焦条件下完成条纹投影测量，但也会带来精度的损失和测量深度范围的限制。4比特位深条纹图介于8比特位深和1比特位深条纹图之间，其投影最大速率相较8比特位深条纹图更快，同时由于在投影仪聚焦条件下完成投影，其测量深度范围相较1比特位深条纹图更大。但是其比特位深较少，可用于表示条纹图灰度值较少，条纹图正弦性较差，测量精度较低。
发明内容
本发明的目的在于克服现有技术中所存在的现有的4比特位深的投影条纹图生成方法由于比特位深比较少，可用于表示条纹灰度值较少，从而导致条纹图正弦性较差，测量精度较低的不足，提供一种4比特位深的高精度投影条纹图生成方法及电子设备。
为了实现上述发明目的，本发明提供了以下技术方案：
一种4比特位深的高精度投影条纹图生成方法，包括以下步骤：
S1：生成标准4比特位深正弦条纹图；
S2：将所述4比特位深正弦条纹图起始像素点灰度值取整，得到对应的取整灰度值；
S3：计算所述起始像素点灰度值取整引入的误差；
S4：使用二维误差扩散算法将所述误差扩散到与起始像素点相邻的像素点上，并且将处理过的像素点列为已处理像素点；
S5：依次将未处理像素点作为起始像素点，重复进行步骤S2～步骤S4，直至所述4比特位深正弦条纹图中所有像素点均为已处理像素点，得到4比特位深高精度投影条纹图。
采用上述技术方案，提高了使用4比特位深的条纹图进行条纹投影的测量精度，拓展了条纹图可使用的比特位深，为条纹投影三维测量提供了更多比特位深条纹图的选择，使用4比特位深条纹图进行条纹投影测量精度与使用8比特位深条纹图测量精度接近，但相较于投影8比特位深条纹图，4比特位深条纹图投影速率更快，能够投影图案数目更多，为灵活的三维测量提供了可选方案；相较于投影1比特位深条纹图，4比特位深条纹图可应用于大测量深度范围的动态三维测量过程；并且，通过计算误差，并将误差经过二维误差扩散算法扩散至周围像素点，得到高精度的4比特位深投影条纹图，4比特位深条纹图经过投影系统的低通滤波效应得到接近理想正弦分布的条纹图。
作为本发明的优选方案，步骤S1包括：确定待生成相移条纹的条纹周期，相移步数，根据需求生成三步相移中第一步标准4比特位深正弦条纹图。
作为本发明的优选方案，步骤S2中所述的正弦条纹图起始像素点灰度值的取值范围为0～15。
作为本发明的优选方案，所述取整灰度值的计算公式为：
Iq(i,j)＝Round[I(i,j)]
其中，I(i,j)为标准正弦条纹图第像i行第j列素点灰度值，Iq(i,j)为第i行第j列像素点取整后的灰度值，i＝1,2,......,m，j＝1,2,......,n，Round[A]返回的是距离A最近的整数。
作为本发明的优选方案，步骤S3所述的误差的计算公式为：
E(i,j)＝I(i,j)-Iq(i,j)
其中，E(i,j)为第i行第j列像素点取整引入的误差，I为正弦条纹图。
另一方面，公开了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的4比特位深的高精度投影条纹图生成方法。
与现有技术相比，本发明的有益效果在于：提高了使用4比特位深的条纹图进行条纹投影的测量精度，拓展了条纹图可使用的比特位深，为条纹投影三维测量提供了更多比特位深条纹图的选择，使用4比特位深条纹图进行条纹投影测量精度与使用8比特位深条纹图测量精度接近，但相较于投影8比特位深条纹图，4比特位深条纹图投影速率更快，能够投影图案数目更多，为灵活的三维测量提供了可选方案；相较于投影1比特位深条纹图，4比特位深条纹图可应用于大测量深度范围的动态三维测量过程；并且，通过计算误差，并将误差经过二维误差扩散算法扩散至周围像素点，得到高精度的4比特位深投影条纹图，4比特位深条纹图经过投影系统的低通滤波效应得到接近理想正弦分布的条纹图。
附图说明
图1为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的流程图；
图2为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的正弦条纹图三步相移中第一步相移条纹图的剖线图；
图3为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的4比特位深高精度投影条纹图；
图4为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的剖线分布图；
图5为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的4比特位深高精度投影条纹图拆分得到的4幅1比特位深子图；
图6为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的投影4比特位深高精度投影条纹图、传统4比特位深条纹图至被测物体表面后，捕捉回的变形条纹图；
图7为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的投影4比特位深高精度投影条纹图、传统4比特位深条纹图所得的被测物体相位信息图；
图8为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的测量场景的正视图和俯视图；
图9为本发明实施例1所述的一种4比特位深的高精度投影条纹图生成方法的投影4比特位深高精度投影条纹图、传统8比特位深条纹图、传统1比特位深条纹图所得的被测物体相位信息图；
图10为本发明实施例2所述的一种利用了实施例1所述的一种4比特位深的高精度投影条纹图生成方法的一种电子设备的结构示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种4比特位深的高精度投影条纹图生成方法，如图1所示，包括以下步骤：
S1：生成标准4比特位深正弦条纹图I；
步骤S1包括：确定待生成相移条纹的条纹周期，相移步数，根据需求生成三步相移中第一步标准4比特位深正弦条纹图。
具体的，确定待生成相移条纹的条纹周期T＝912pixels，相移步数N＝3，根据需求生成三步相移中第一步标准4比特位深的正弦条纹图I，以DLP4500为例，正弦条纹图的分辨率1140×912pixels。第一步相移条纹图任意一行剖线图灰度值分布如图2所示，表达式为：
其中，j是该行中当前像素点位置值。
S2：将所述4比特位深正弦条纹图起始像素点灰度值取整，得到对应的取整灰度值Iq(i,j)；
步骤S2中所述的正弦条纹图起始像素点灰度值的取值范围为0～15。
所述取整灰度值的计算公式为：
Iq(i,j)＝Round[I(i,j)]
其中，I(i,j)为标准正弦条纹图第像i行第j列素点灰度值，Iq(i,j)为第i行第j列像素点取整后的灰度值，i＝1,2,......,m，j＝1,2,......,n，Round[A]返回的是距离A最近的整数。
S3：计算所述起始像素点灰度值取整引入的误差；
步骤S3所述的误差的计算公式为：
E(i,j)＝I(i,j)-Iq(i,j)
其中，E(i,j)为第i行第j列像素点取整引入的误差，I为正弦条纹图。
S4：使用二维误差扩散算法将所述误差扩散到与起始像素点相邻的像素点上，并且将处理过的像素点列为已处理像素点；
步骤S4中所述的二维误差扩散算法使用到的误差扩散核为改进Floyd-Steinberg、Floyd-Steinberg、Stucki、Stenenson任意一种；
具体的所述二维误差扩散算法为改进Floyd-Steinberg，所述改进Floyd-Steinberg的误差扩散核为：
其中，_表示已经处理过的像素点，*表示正在处理的像素点。
所述误差扩散到相邻像素点上的计算公式为：
所述二维误差扩散算法为Floyd-Steinberg，所述Floyd-Steinberg的误差扩散核为：
所述误差扩散到相邻像素点上的计算公式为：
所述二维误差扩散算法为Stucki，所述Stucki的误差扩散核为：
所述误差扩散到相邻像素点上的计算公式为：
所述二维误差扩散算法为Stenenson，所述Stenenson的误差扩散核为：
所述误差扩散到相邻像素点上的计算公式为：
S5：依次将未处理像素点作为起始像素点，重复进行步骤S2～步骤S4，直至所述4比特位深正弦条纹图中所有像素点均为已处理像素点，得到如图3和图4所示的4比特位深高精度投影条纹图和它的灰度值分布图。
具体的，将4比特高精度投影条纹图的灰度值从以十进制数表示转化为以二进制数表示，再取出各个像素点相同位的数放在4幅对应的1比特位深子图中，4幅从高位到低位的1比特位深子图如图5所示，它们的权重分别为8,4,2,1。
按照上述操作生成该条纹周期下其他相移步数的条纹图。再以相同方式生成条纹周期T＝28.5pixels的三步相移4比特位深高精度投影条纹图对应的1比特位深子图。将所有生成的1比特位深子图加载至DLP4500中，选择投影图案比特位深为4，再添加投影图案，将改进后的4比特位深条纹图投影至待测物体并同步捕捉变形条纹图案，如图6所示，上面6幅变形条纹图案为投影4比特位深高精度投影条纹图至被测物体所得，下面6幅变形条纹图案为投影传统4比特位深条纹图所得。通过双频分层相位展开方法解算被测物体展开相位，进而获得物体三维面形信息，如图7所示，左边为投影4比特位深高精度投影条纹图所得重建结果，右边为投影传统4比特位深条纹图所得重建结果。
具体的，使用4比特位深高精度投影条纹图、传统8比特位深条纹图、传统1比特位深条纹图(使用传统dither算法得到的二值条纹图)对大测量深度范围的测量场景(两个相距约150mm的人像雕塑，如图8所示，左边为测量场景正视图，右边为测量场景俯视图)进行测量，获取得到物体相位信息的步骤如下：
第一步：按照生成双频分层三步相移4比特位深高精度投影条纹图，拆分并加载至投影仪中，按照顺序投影4比特位深高精度投影条纹图至被测物体表面。按照传统方法生成与4比特位深高精度投影条纹图同周期的8比特位深条纹图、1比特位深条纹图，同样加载并投影至被测物体表面。4比特位深高精度投影条纹图和传统8比特位深条纹图在投影仪聚焦条件下完成投影测量，传统1比特位深条纹图在投影仪离焦条件下完成投影测量。
第二步：分别捕捉受物体高度调制的三组变形条纹图案，解算物体相位信息，如图9所示，左边为投影4比特位深高精度投影条纹图所得的物体展开相位，中间为传统8比特位深条纹图所得的物体展开相位，右边为投影传统1比特位深条纹图所得的物体展开相位。
提高了使用4比特位深的条纹图进行条纹投影的测量精度，拓展了条纹图可使用的比特位深，为条纹投影三维测量提供了更多比特位深条纹图的选择，使用4比特位深条纹图进行条纹投影测量精度与使用8比特位深条纹图测量精度接近，但相较于投影8比特位深条纹图，4比特位深条纹图投影速率更快，能够投影图案数目更多，为灵活的三维测量提供了可选方案；相较于投影1比特位深条纹图，4比特位深条纹图可应用于大测量深度范围的动态三维测量过程；并且，通过计算误差，并将误差经过二维误差扩散算法扩散至周围像素点，得到高精度的4比特位深投影条纹图，4比特位深条纹图经过投影系统的低通滤波效应得到接近理想正弦分布的条纹图。
实施例2
如图10所示，一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，以及与所述至少一个处理器通讯连接的至少一个输入输出接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种4比特位深的高精度投影条纹图生成方法，其特征在于，包括以下步骤：
S1：生成标准4比特位深正弦条纹图；
S2：将所述4比特位深正弦条纹图起始像素点灰度值取整，得到对应的取整灰度值；
S3：计算所述起始像素点灰度值取整引入的误差；
S4：使用二维误差扩散算法将所述误差扩散到与起始像素点相邻的像素点上，并且将处理过的像素点列为已处理像素点；
S5：依次将未处理像素点作为起始像素点，重复进行步骤S2～步骤S4，直至所述4比特位深正弦条纹图中所有像素点均为已处理像素点，得到4比特位深高精度投影条纹图。
2.根据权利要求1所述的一种4比特位深的高精度投影条纹图生成方法，其特征在于，步骤S1包括：确定待生成相移条纹的条纹周期，相移步数，根据需求生成三步相移中第一步标准4比特位深正弦条纹图。
3.根据权利要求1所述的一种4比特位深的高精度投影条纹图生成方法，其特征在于，步骤S2中所述的正弦条纹图起始像素点灰度值的取值范围为0～15。
4.根据权利要求1所述的一种4比特位深的高精度投影条纹图生成方法，其特征在于，所述取整灰度值的计算公式为：
Iq(i,j)＝Round[I(i,j)]
其中，I(i,j)为标准正弦条纹图第i行第j列像素点灰度值，Iq(i,j)为第i行第j列像素点取整后的灰度值，i＝1,2,......,m，j＝1,2,......,n，Round[A]返回的是距离A最近的整数。
5.根据权利要求4所述的一种4比特位深的高精度投影条纹图生成方法，其特征在于，步骤S3所述的误差的计算公式为：
E(i,j)＝I(i,j)-Iq(i,j)
其中，E(i,j)为第i行第j列像素点取整引入的误差，I为正弦条纹图。
6.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的4比特位深的高精度投影条纹图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310734678.1A CN116777969A (zh) | 2023-06-20 | 2023-06-20 | 一种4比特位深的高精度投影条纹图生成方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310734678.1A CN116777969A (zh) | 2023-06-20 | 2023-06-20 | 一种4比特位深的高精度投影条纹图生成方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777969A true CN116777969A (zh) | 2023-09-19 |
Family
ID=87989044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310734678.1A Pending CN116777969A (zh) | 2023-06-20 | 2023-06-20 | 一种4比特位深的高精度投影条纹图生成方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777969A (zh) |
-
2023
- 2023-06-20 CN CN202310734678.1A patent/CN116777969A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10584963B2 (en) | System and methods for shape measurement using dual frequency fringe pattern | |
| CN110163817B (zh) | 一种基于全卷积神经网络的相位主值提取方法 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| CN109341589A (zh) | 一种光栅图像投影方法、三维重建方法及三维重建系统 | |
| CN113607085B (zh) | 一种基于半截断正弦条纹的二值离焦三维测量方法及装置 | |
| JP6598673B2 (ja) | データ処理装置およびその方法 | |
| CN102289784A (zh) | 一种基于点云模型的数字几何图像简化方法 | |
| Feng et al. | Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns | |
| CN111462246B (zh) | 一种结构光测量系统的设备标定方法 | |
| CN105157614A (zh) | 基于二值相移图案的三维测量方法 | |
| CN115311314B (zh) | 一种线激光轮廓数据的重采样方法、系统和存储介质 | |
| Tran et al. | A Structured Light RGB‐D Camera System for Accurate Depth Measurement | |
| CN110223384A (zh) | 一种白光干涉三维形貌重建方法、装置、系统及存储介质 | |
| CN113358065A (zh) | 一种基于二值编码的三维测量方法及电子设备 | |
| JP2011237296A (ja) | ３次元形状計測方法、３次元形状計測装置、及びプログラム | |
| US5717782A (en) | Method and apparatus for restoring digitized video pictures generated by an optical surface-height profiler | |
| CN109000587A (zh) | 获取精确高密度点云的方法 | |
| CN112802084B (zh) | 基于深度学习的三维形貌测量方法、系统和存储介质 | |
| CN116777969A (zh) | 一种4比特位深的高精度投影条纹图生成方法及电子设备 | |
| CN111862086A (zh) | 用于检测表面形貌的方法、设备、介质和系统 | |
| CN110751732A (zh) | 一种2d图像转3d图像的方法 | |
| CN110555385A (zh) | 一种基于变步长曲率滤波的焊缝特征点求取方法 | |
| WO2022254854A1 (ja) | ３次元計測装置 | |
| Peng et al. | Fringe pattern inpainting based on dual-exposure fused fringe guiding CNN denoiser prior | |
| CN114266850A (zh) | 一种基于连续标准化流及对抗精细化网络的点云补全方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |