CN114648654A - 一种融合点云语义类别和距离的聚类方法 - Google Patents
一种融合点云语义类别和距离的聚类方法 Download PDFInfo
- Publication number
- CN114648654A CN114648654A CN202210289114.7A CN202210289114A CN114648654A CN 114648654 A CN114648654 A CN 114648654A CN 202210289114 A CN202210289114 A CN 202210289114A CN 114648654 A CN114648654 A CN 114648654A
- Authority
- CN
- China
- Prior art keywords
- clustering
- category
- grid
- point cloud
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及自动驾驶车辆感知技术领域，提供了一种融合点云语义类别和距离的聚类方法。该方法包括：基于语义分割算法对激光雷达点云数据进行分割，输出带有语义类别标签的每个点；将语义分割后的点云分割为地面点云和非地面点云；基于非地面点云，计算与种子点对应栅格数n，根据8邻域搜索实现非地面点分段参数聚类，依次将栅格内未被聚类的点执行8邻域分段参数聚类；将候选类别点数量和该类别对应的点数量阈值比较，判断出8邻域中n个栅格范围内是否有聚类做相应处理，对类别相同或不同的聚类类别相应处理。本发明提高了分割速度同时减少欠分割和过分割，滤除错误语义分割点，使得聚类类别清晰化，解决大小尺寸不同的障碍物聚类合并参数选取。
Description
技术领域
本发明涉及自动驾驶车辆感知技术领域，尤其涉及一种融合点云语义类别和距离的聚类方法。
背景技术
随着自动驾驶技术的发展及应用，感知等相关技术也有了很大的发展。点云可以提供环境精确的3D数据，相比于相机和毫米波雷达，具有更优的检测精度，并且作为主动式传感器，不受光线变化干扰，具有更强的适应性，在自动驾驶领域一般作为主传感器使用。但是点云数据具有稀疏性和无序性特征，尤其对于低线束激光雷达或远距离，点云的数据间距较大。点云障碍物感知算法，经过预处理和地面检测后，通过聚类算法，如欧式聚类或DBSCAN等聚类算法，将障碍物点云分割为不同障碍物点云，由于点云的稀疏性和无序性，采用固定聚类参数的聚类算法，聚类的障碍物点云存在过分割或欠分割问题。
专利《一种激光雷达的点云数据聚类方法及装置与流程》文献公开号为CN110738223A，将点云栅格化处理，以设定栅格数的窗口对所有的栅格依次扫描，将窗口内有点的栅格分割为同一类别，实现点云快速聚类。该方法流程简单，便于实现，实时性高。但是由于点云由近到远点云分布逐渐稀疏，以固定栅格个数窗口扫描，导致聚类效果不能兼顾近距离和远距离，导致欠分割或过分割问题比较明显。
专利《一种基于椭圆域的自适应点云目标聚类方法》文献公开号为CN113269889A，考虑点云分布不均匀性，基于DBSCAN聚类和椭圆邻域实现自适应点云目标聚类的方法，有效解决欠分割和过分割问题。但是该方法没有考虑目标类别信息，对于体积较大的目标，如果有部分遮挡，可能会导致该目标过分割为两个类别。
专利《一种基于聚类的点云分割方法及系统》文献公开号为CN105957076B，对每个点计算法向量、平面曲率和相容集，再通过面片处理实现点云聚类。该方法考虑目标的法向量特征，可以有效解决相邻较近目标的分割问题，但由于需要计算每个点的法向量，当点云数量较多时，耗时较长，难以达到实时性要求。
发明内容
有鉴于此，本发明提供了一种融合点云语义类别和距离的聚类方法，以解决现有技术中点云数量较多，耗时较长，难以达到实时性要求以及欠分割和过分割的问题。
本发明提供了一种融合点云语义类别和距离的聚类方法，包括：
1.一种融合点云语义类别和距离的聚类方法，其特征在于，包括：
S1基于语义分割算法对激光雷达点云数据进行分割，输出带有语义类别标签的每个点；
S2将语义分割后的点云分割为地面点云和非地面点云；
S3基于所述非地面点云，投影到栅格地图中，根据种子点距离坐标原点距离r和栅格分辨率GMres,计算与种子点对应栅格数n，根据8邻域搜索实现非地面点分段参数聚类，依次将栅格内未被聚类的所述非地面点执行8邻域分段参数聚类；
S4统计每个聚类的中各语义类别点数量，所述语义类别点数量最多的类别为候选类别，将所述候选类别点数量和该类别对应的点数量阈值相比较，若所述候选类别点数量超过该类别对应的点数量阈值，则所述候选类别为当前所在的聚类类别，否则，所述候选类别为不确定类别；
S5基于所述S4所获得的每个聚类类别，根据各聚类类别设定对应的聚类距离合并参数，并计算所述距离合并参数对应的栅格数m，遍历每个聚类中，判断8邻域中m个栅格范围内，是否有类别相同的聚类类别或所述不确定类别的聚类，若有，则将两个类别合并，合并后的类别为对应确定的类别，否则，不合并。进一步地，所述S1中相应语义分割算法包括：RangeNet++，语义类别标
签包括：卡车、轿车、行人、地面。
进一步地，所述S3，包括：
S31将所述非地面点云投影至栅格地图GM中，每个所述栅格内存储在所述栅格范围内的点云序号id和栅格所属聚类序号N，令所有栅格初始聚类序号N都为0，将无序点云有序化；
S32从左至右，从上至下遍历所述栅格地图GM，以存在所述非地面点云的所述栅格初始聚类序号为初始值0的所述栅格为种子点Pseed，将所述种子点Pseed所在栅格标记为第N类；
其中，将所述种子点Pseed距离原点距离r设置聚类距离参数Dthr，根据所述聚类距离参数Dthr和栅格地图GM分辨率GMres，计算出所述种子点对应的栅格个数n，以所述种子点Pseed为中心点，8邻域方向分别搜索相邻n个所述栅格，如果相邻所述栅格内有所述非地面点云，并且所述栅格初始聚类序号为初始值0，则将所述栅格标记为与种子点Pseed为相同聚类序号，否则所述栅格初始聚类序号保持不变；
S33将所述8邻域内聚类序号由0变为N的非地面点依次为新的种子点Pseed，依次执行S32，直到所有该类种子点Pseed所述8邻域内无所述栅格初始聚类序号为初始值0为止；
S34令N＝N+1，并依次执行S32、S33，直到所有含有非地面点的栅格聚类序号均不为0，完成所述栅格地图GM分段聚类。进一步地，所述S31中将所述非地面点云投影至栅格地图GM中，栅格范围和栅格分辨率根据需求设定，其中，需求包括栅格横纵向距离，依照距离而设定的分辨率。
进一步地，所述S4还包括：对不一致的同一所述语义类别，进行滤波处理。
本发明与现有技术相比存在的有益效果是：
1.本发明通过将非地面点云投影到栅格地图中，将无序点云有序化，根据点距离原点的距离设置聚类参数，提高了分割速度同时减少欠分割和过分割；
2.本发明通过将栅格地图聚类结果根据类别统计值，滤除错误语义分割点，得到每个聚类的类别，提高聚类类别的稳定性；
3.根据聚类类别信息，设置聚类合并距离，根据障碍物尺寸大小不同，选取对应合并参数，进一步减少欠分割和过分割的情况。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一种融合点云语义类别和距离的聚类方法的流程图；
图2是本发明提供的栅格地图分段聚类流程图；
图3是本发明提供的语义分割类别滤波流程；
图4是本发明提供的聚类合并流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合附图详细说明根据本发明的一种融合点云语义类别和距离的聚类方法。
图1是本发明一种融合点云语义类别和距离的聚类方法的流程图。
如图1所示，该聚类方法包括：
S1，基于语义分割算法对激光雷达点云数据进行分割，输出带有语义类别标签的每个点；
S1中语义分割算法包括：RangeNet++，语义类别标签包括：卡车、轿车、行人、地面。
S2，将语义分割后的点云分割为地面点云和非地面点云；
S3，基于非地面点云，投影到栅格地图中，根据种子点距离坐标原点距离r和栅格分辨率GMres,计算与种子点对应栅格数n，根据8邻域搜索实现非地面点分段参数聚类，依次将栅格内未被聚类的非地面点执行8邻域分段参数聚类；
S31，将非地面点云投影至栅格地图GM中，每个栅格内存储在栅格范围内的点云序号id和栅格所属聚类序号N，令所有栅格初始聚类序号N都为0，将无序点云有序化；
S31中将非地面点云投影至栅格地图GM中，栅格范围和栅格分辨率根据需求设定，其中，需求包括栅格横纵向距离，依照距离而设定的分辨率。
S32，从左至右，从上至下遍历栅格地图GM，以存在非地面点云的栅格初始聚类序号为初始值0的栅格为种子点Pseed，将种子点Pseed所在栅格标记为第N类；
其中，将种子点Pseed距离原点距离r设置聚类距离参数Dthr，根据聚类距离参数Dthr和栅格地图GM分辨率GMres，计算出种子点对应的栅格个数n，以种子点Pseed为中心点，8邻域方向分别搜索相邻n个栅格，如果相邻栅格内有非地面点云，并且栅格初始聚类序号为初始值0，则将栅格标记为与种子点Pseed为相同聚类序号N，否则栅格初始聚类序号保持不变；
S33将8邻域内聚类序号由0变为N的非地面点依次为新的种子点Pseed，依次执行S32，直到所有该类种子点Pseed8邻域内无栅格初始聚类序号为初始值0为止；
S34令N＝N+1，并依次执行S32、S33，直到所有含有非地面点的栅格聚类序号均不为0，完成栅格地图GM分段聚类。
将非地面点云数据投影到栅格地图中，栅格范围和栅格分辨率根据需求设定(如栅格范围设置为横向-30～30m，纵向-15～100m，分辨率设置为0.2m)，每个栅格内的初始聚类序号为0，即未聚类状态；
遍历上述每个栅格，查找未聚类状态并且有非地面点云的栅格，以该栅格为种子点Pseed(如图2栅格A)，将该栅格类别设置为1(依次递增),根据Pseed所在栅格位置设置聚类距离阈值，聚类距离阈值转换为栅格个数，如图2所示聚类距离参数对应栅格个数)，如果有效非地面点对应栅格距离种子栅格距离小于设定阈值，则将该栅格类别设置为同种子点栅格类别。如图2中，种子点A距离栅格B距离为1个栅格，并且栅格B中有有效非地面点，栅格A和栅格B聚类阈值为1个栅格，则将栅格B加入种子点A类别1；
依次以新加入的栅格为搜索起点，根据所在位置对应聚类阈值对应栅格数，搜索相邻栅格满足有非地面点云并且未聚类的栅格(栅格类别为0)。如以B为搜索起点，将C加入聚类结果中，栅格C类别设置为1。同理将栅格DEFGHI加入聚类类别为1的聚类中。
本发明实施例将非地面点云投影到栅格地图中，将无序点云有序化，根据点距离原点的距离设置聚类参数，提高分割速度同时减少欠分割和过分割。
S4统计每个聚类的中各语义类别点数量，语义类别点数量最多的类别为候选类别，将候选类别点数量和该类别对应的点数量阈值相比较，若候选类别点数量超过该类别对应的点数量阈值，则候选类别为当前所在的聚类类别，否则，候选类别为不确定类别；
S4还包括：对不一致的同一语义类别，进行滤波处理。
本发明实施例将栅格地图聚类结果根据类别统计值，滤除错误语义分割点，得到每个聚类的类别。
图3是本发明实施例提供的语义分割类别滤波流程。
统计按照图2流程聚类的结果中不同类别点个数，图3表示不同类别点数柱状图。依次表示卡车类型点数量，轿车类型点数量，行人类型点数量，地面类型点数量，其他类型点数量。如图所示，卡车类别点数为200，轿车类别点数为20，行人类别点数为5，地面类别点数为10，其他类别点数为20；
卡车类别点数最多，并且卡车类别点数200大于卡车类别最低点数阈值，如阈值为100，则该聚类类别为卡车；
将该聚类结果中所有点类别都设置为卡车类别。
本发明实施例将栅格地图聚类结果根据类别统计值，滤除错误语义分割点，得到每个聚类的类别。
S5基于S4所获得的每个聚类类别，根据各聚类类别设定对应的聚类距离合并参数，并计算距离合并参数对应的栅格数m，遍历每个聚类中，判断8邻域中m个栅格范围内，是否有类别相同的聚类类别或不确定类别的聚类，若有，则将两个类别合并，合并后的类别为对应确定的类别，否则，不合并。
其中，不合并的聚类类别为S4所得到的不确定类别。
根据聚类类别信息，设置聚类合并距离，解决大小尺寸不同的障碍物聚类合并参数选取，进一步减少欠分割和过分割。
图4是本发明提供的聚类合并流程图。
经过前面几个流程，将点云按照栅格分段聚类和类别滤波方法，将点云聚类为两类，一类为类别1，聚类类型为卡车，用图中黑色圆点所示，另一类为类别2，聚类类型为轿车，用图中黑色矩形所示；
不同类别类型物体的合并聚类阈值参数不同，如卡车体积较大，合并聚类距离参数大例如卡车合并聚类距离参数为4个栅格距离，则将类别2合并到类别1中；
根据图3类别滤波流程，由于卡车类别点数远多于轿车类别点数，并且卡车类别点数超过卡车类别最低点数阈值，则将合并类别1和类别2的类别都设置为卡车类别。
根据聚类类别信息，设置聚类合并距离，解决大小尺寸不同的障碍物聚类合并参数选取，进一步减少欠分割和过分割。
本发明方法通过判断相邻点是否为同一个聚类类别，计算量小，能够满足自动驾驶对感知的实时性要求。将无序点云有序化，根据点距离原点的距离设置聚类参数，提高分割速度同时减少欠分割和过分割；通过设置聚类合并距离，解决大小尺寸不同的障碍物聚类合并参数选取，进一步减少欠分割和过分割。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (5)
1.一种融合点云语义类别和距离的聚类方法，其特征在于，包括：
S1基于语义分割算法对激光雷达点云数据进行分割，输出带有语义类别标签的每个点；
S2将语义分割后的点云分割为地面点云和非地面点云；
S3基于所述非地面点云，投影到栅格地图中，根据种子点距离坐标原点距离r和栅格分辨率GMres,计算与种子点对应栅格数n，根据8邻域搜索实现非地面点分段参数聚类，依次将栅格内未被聚类的所述非地面点执行8邻域分段参数聚类；
S4统计每个聚类的中各语义类别点数量，所述语义类别点数量最多的类别为候选类别，将所述候选类别点数量和该类别对应的点数量阈值相比较，若所述候选类别点数量超过该类别对应的点数量阈值，则所述候选类别为当前所在的聚类类别，否则，所述候选类别为不确定类别；
S5基于所述S4所获得的每个聚类类别，根据各聚类类别设定对应的聚类距离合并参数，并计算所述距离合并参数对应的栅格数m，遍历每个聚类中，判断8邻域中m个栅格范围内，是否有类别相同的聚类类别或所述不确定类别的聚类，若有，则将两个类别合并，合并后的类别为对应确定的类别，否则，不合并。
2.根据权利要求1所述的聚类方法，其特征在于，所述S1中相应语义分割算法包括：RangeNet++，语义类别标签包括：卡车、轿车、行人、地面。
3.根据权利要求1所述的聚类方法，其特征在于，所述S3，包括：
S31将所述非地面点云投影至栅格地图GM中，每个所述栅格内存储在所述栅格范围内的点云序号id和栅格所属聚类序号N，令所有栅格初始聚类序号N都为0，将无序点云有序化；
S32从左至右，从上至下遍历所述栅格地图GM，以存在所述非地面点云的所述栅格初始聚类序号为初始值0的所述栅格为种子点Pseed，将所述种子点Pseed所在栅格标记为第N类；
其中，将所述种子点Pseed距离原点距离r设置聚类距离参数Dthr，根据所述聚类距离参数Dthr和栅格地图GM分辨率GMres，计算出所述种子点对应的栅格个数n，以所述种子点Pseed为中心点，8邻域方向分别搜索相邻n个所述栅格，如果相邻所述栅格内有所述非地面点云，并且所述栅格初始聚类序号为初始值0，则将所述栅格标记为与种子点Pseed为相同聚类序号，否则所述栅格初始聚类序号保持不变；
S33将所述8邻域内聚类序号由0变为N的非地面点依次为新的种子点Pseed，依次执行S32，直到所有该类种子点Pseed所述8邻域内无所述栅格初始聚类序号为初始值0为止；
S34令N＝N+1，并依次执行S32、S33，直到所有含有非地面点的栅格聚类序号均不为0，完成所述栅格地图GM分段聚类。
4.根据权利要求1所述的聚类方法，其特征在于，所述S31中将所述非地面点云投影至栅格地图GM中，栅格范围和栅格分辨率根据需求设定，其中，需求包括栅格横纵向距离，依照距离而设定的分辨率。
5.根据权利要求1所述的聚类方法，其特征在于，所述S4还包括：对不一致的同一所述语义类别，进行滤波处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289114.7A CN114648654A (zh) | 2022-03-22 | 2022-03-22 | 一种融合点云语义类别和距离的聚类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289114.7A CN114648654A (zh) | 2022-03-22 | 2022-03-22 | 一种融合点云语义类别和距离的聚类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648654A true CN114648654A (zh) | 2022-06-21 |
Family
ID=81996357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210289114.7A Pending CN114648654A (zh) | 2022-03-22 | 2022-03-22 | 一种融合点云语义类别和距离的聚类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648654A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311457A (zh) * | 2022-10-09 | 2022-11-08 | 广东汇天航空航天科技有限公司 | 点云数据处理方法、计算设备、飞行装置及存储介质 |
| CN115376109A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 障碍物检测方法、障碍物检测装置以及存储介质 |
| CN115453570A (zh) * | 2022-09-13 | 2022-12-09 | 北京踏歌智行科技有限公司 | 一种多特征融合的矿区粉尘滤除方法 |
| CN115512147A (zh) * | 2022-11-16 | 2022-12-23 | 北京亮道智能汽车技术有限公司 | 基于语义信息的聚类方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-22 CN CN202210289114.7A patent/CN114648654A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115453570A (zh) * | 2022-09-13 | 2022-12-09 | 北京踏歌智行科技有限公司 | 一种多特征融合的矿区粉尘滤除方法 |
| CN115311457A (zh) * | 2022-10-09 | 2022-11-08 | 广东汇天航空航天科技有限公司 | 点云数据处理方法、计算设备、飞行装置及存储介质 |
| CN115376109A (zh) * | 2022-10-25 | 2022-11-22 | 杭州华橙软件技术有限公司 | 障碍物检测方法、障碍物检测装置以及存储介质 |
| CN115512147A (zh) * | 2022-11-16 | 2022-12-23 | 北京亮道智能汽车技术有限公司 | 基于语义信息的聚类方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net | |
| CN114648654A (zh) | 一种融合点云语义类别和距离的聚类方法 | |
| CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| CN111582083B (zh) | 一种基于消失点估计与语义分割的车道线检测方法 | |
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| CN111626217A (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| Huang et al. | Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads | |
| CN112801022A (zh) | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 | |
| CN111580131B (zh) | 三维激光雷达智能车在高速公路上识别车辆的方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN114488073A (zh) | 激光雷达采集到的点云数据的处理方法 | |
| CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
| Chen et al. | Front vehicle detection and distance estimation using single-lens video camera | |
| CN116071729A (zh) | 可行驶区域和路沿的检测方法、装置及相关设备 | |
| CN116109601A (zh) | 一种基于三维激光雷达点云的实时目标检测方法 | |
| Mingzhou et al. | Detection of highway lane lines and drivable regions based on dynamic image enhancement algorithm under unfavorable vision | |
| Ghahremannezhad et al. | Robust road region extraction in video under various illumination and weather conditions | |
| CN111915628A (zh) | 一种基于预测目标密集边界点的单阶段实例分割方法 | |
| CN117037103A (zh) | 一种道路检测方法和装置 | |
| CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
| CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
| CN112666573B (zh) | 一种矿区卸载区车后方挡土墙及障碍物的检测方法 | |
| Qing et al. | Localization and tracking of same color vehicle under occlusion problem | |
| CN116681932A (zh) | 一种对象识别方法、装置、电子设备及存储介质 | |
| Gong et al. | Complex lane detection based on dynamic constraint of the double threshold |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |