CN116823940A - 一种三维场景移动物体检测方法 - Google Patents
一种三维场景移动物体检测方法 Download PDFInfo
- Publication number
- CN116823940A CN116823940A CN202310393130.5A CN202310393130A CN116823940A CN 116823940 A CN116823940 A CN 116823940A CN 202310393130 A CN202310393130 A CN 202310393130A CN 116823940 A CN116823940 A CN 116823940A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- plane
- clouds
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本发明公开了一种三维场景移动物体检测方法，首先对同一场景在两个时间点创建的点云模型进行预处理，再将预处理后的两个点云进行配准；将配准后的两个点云分别进行物体检测，得到两个物体集合；之后将配准后的两个点云进行差分，得到它们的差异区域,根据差异区域从两个物体集合中分别提取得到两个候选移动物体集合；最后将候选移动物体集合进行暴力配准物体匹配，得到最终移动信息。本发明方法更加轻量简洁，便于用于公安，安防，机器人等地方。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种移动物体的检测估计的方法
技术背景
随着计算机视觉的的技术发展，三维视觉得到了广泛的应用，包括菜鸟驿站的无人车，军用民用的无人机，各种功能的机器人，还有VR和AR的发展，都显示出三维视觉实用性，先进性。最初只能用巨大的激光雷达采集数据，出现小型的三维扫描仪，再到手持的深度相机，我们使用传感器获取三维数据有了更多可能。作为传感器采集的关键信息，点云。点云是一些点的集合。相对于图像，点云有其不可替代的优势——深度。点云表示保留了三维空间中原始的几何信息，不进行离散化，极大程度上保留了场景的信息，是理想的三维数据的输入。这也是越来越多三维视觉工程把点云作为输入的原因。然而三维视觉的一些应用还是比较缺少，没有在三维空间中对场景的变化识别的成熟技术，而且越来越多的领域对它提出了更高的要求，比如在公安，安防，监控等方面。我们提出一种新的三维场景移动物体检测方法
发明内容
针对现有技术中存在的不足，本发明提供一种三维场景移动物体检测方法。
为了能实现平面物体移动的检测，本发明提出一种同场景下，检测平面上物体位置变化和位姿估计方法，输入为同一场景的平面上的点云，输出为场景下平面上物体的变化估计(包括平移旋转，还有其结合，或者消失，出现)。
一种三维场景移动物体检测方法，包括步骤如下：
步骤(1)：对同一场景在两个时间点创建的点云模型进行预处理；
步骤(2)：将预处理后的两个点云进行配准；
步骤(3)：将配准后的两个点云分别进行物体检测，得到两个物体集合；
步骤(4)：将配准后的两个点云进行差分，得到它们的差异区域,根据差异区域从两个物体集合中分别提取得到两个候选移动物体集合。
步骤(5)：将候选移动物体集合进行暴力配准物体匹配，得到最终移动信息。
本发明有益效果如下：
我们通过提出物体的平面投影补全物体，和点云封闭性判断物体等方法实现了对同一场景下，对两个点云的计算处理，实现平面物体的检测和变化物体的位置变化估计，和之前的其他方法相比，我们的方法更加轻量简洁，便于用于公安，安防，机器人等地方。
附图说明
图1为本发明实施例物体移动检测的流程图；
图2为本发明实施例的球面划分平面展开示意图。
具体实施方式
以下结合附图与实施例对本发明技术方案进行进一步限定。
如图1所示，一种三维场景移动物体检测方法，包括步骤如下：
步骤(1)对同一场景在两个时间点创建的点云模型进行预处理；
1.1获取同一场景在不同两个时刻的三维点云模型Pn和Po；
1.2首先对两个点云Pn和Po分别进行体素滤波，滤波体素大小为1cm，得到滤波后的点云Pn*和Po*；
1.3对滤波后的点云Pn*和Po*通过主成分分析法(Principal ComponentAnalysis，PCA)计算法向量，计算时所需领域为10个点，得到滤波后的点云Pn*和Po*的法向量Nn和No；
1.4对滤波后的点云Pn*和Po*通过主曲率估计法方法计算曲率，得到滤波后的点云Pn*和Po*的曲率Cn和Co；
步骤(2)将预处理后的两个点云进行配准；
2.1对点云Pn*提取Harris关键点，得到关键点集合Kn，并对这些关键点使用相邻点法向量估计法计算得到对应的高斯曲率Cn。对于关键点集合Kn，剔除高斯曲率Cn小于0.08的关键点，剩下的关键点集合称为Kn*。然后对集合关键点Ks*提取FPFH描述子Dn*。对点云Po*做同样操作，得到筛选后的关键点集合Ko*和描述子Do*；
2.2使用关键点集合Kn*、Ko*和描述子Dn*、Do*，通过TEASER++算法进行粗配准，得到点云Po到Pn的变换矩阵Tc；
2.3利用滤波后的点云Pn*和Po*的法向量Nn和No，通过点到面(Point to Plane)的迭代最近点算法(Iterative Closest Point，ICP)对点云Pn到Po进行精配准，得到变换矩阵Tj。ICP算法的初值为Tc；
2.4将点云Po通过如下公式变换到点云Pn的坐标系，得到点云POz：
pOz＝Tj*Tc*po
其中，POz表示点云POz中的每一个三维点(使用齐次坐标形式)，po表示点云Po中的每一个三维点(使用齐次坐标形式)；
步骤(3)将配准后的两个点云分别进行物体检测，得到两个物体集合；
3.1对点云POz使用随机采样一致性方法(Random Sample Consensus，RANSAC)提取平面，得到平面点云集合和平面点云对应的平面方程：
{(PO_pi，MO_pi)，i＝1，2…NO_pi}
将平面点云集合简记为Po_p，平面点云方程集合记为Mo_p其中，NO_pi表示点云POz中的平面数量，PO_pi表示第i个平面的三维点云，MO_pi表示第i个平面的平面方程。RANSAC方法迭代500次，领域阈值为2厘米，要求平面包含点数在1000-10000个。提取完平面后，点云POz中剩下的点云称为PO’。
对点云Pn做同样的操作，得到平面点云集合和平面点云对应的平面方程：
{(Pn_pj，Mn_pj)，j＝1，2…，Nn_pj}
将平面点云集合简记为Pn_p，平面点云方程集合记为Mn_p其中，Nn_pj表示点云Pn中的平面数量，Pn_pj表示第j个平面的三维点云，Mn_pj表示第j个平面的平面方程。RANSAC方法迭代500次，领域阈值为2厘米，要求平面包含点数在1000-10000个。提取完平面后，点云Pn中剩下的点云称为Pn’。
3.2对PO’进行欧式聚类，聚类阈值为2厘米，得到候选物体点云集合{Po_obm，m＝1，2…NO_ob}，简称为PO_ob；其中第m个类别是PO_obm，NO_ob表示类别的数量，并且计算PO_ob的每一个点云元素的质心坐标CenO_m。
对Pn’进行欧式聚类，聚类阈值为2厘米，得到候选物体点云集合{Pn_obk，k＝1，2…Nn_ob}简称Pn_ob，其中第k个类别是Pn_obk，Nn_ob表示类别的数量，并且计算Pn_ob的每一个点云元素的质心坐标Cenn_k。
3.3对点云集合Pn_ob和PO_ob的做如下操作来判断其是否为物体：
以下以点云集合PO_ob为例，对Pn_ob判断方法相同。
3.3.1计算判断点云集合PO_ob与点云集合PO_p是否接壤。计算方式为：
对于点云PO_obm和PO_pi的每一个三维点pO_obm和pO_pi，
其中，Adjacent函数用于判断输入两个点云是否接壤，值为1表示接壤，值为0表示不接壤。找到PO_pi接壤的平面后，向接壤平面投影，得到投影点云Pt，接着对PO_pi进行补全得到PO_pI，PO_pI＝PO_pi+Pt，完成物体的补全。
3.3.2根据点云PO_pI的封闭性判断其是否为物体。
对PO_pI点云做质心球面归一化。归一化计算方法是，先计算点云PO_pI的质心(质心计算公式在步骤4.2可见)，记录为pIo。对于点云PO_pI的每一个点pO_pI，归一化计算：
得到球面归一化点云PO_pI’。将点云PO_pI’根据球坐标系进行划分，其中点云任意一个点pO_pI’的坐标是(r，θ，φ)，已知r＝1，划分方式见图2(参考文献：Malkin Z.A new method to subdivide a spherical surface intoequal-area cells[J].arXiv preprint arXiv：1612.03467，2016)。对于θ＝0-10.2148°，10.2148°-20.7738°，20.7738°-30.1631°…，70.2010°-80.1375°，80.1375°-90°具体分法如下表格所示，/>分别均分10，10，12…40，120块如表格所示，总共划分成406块；
将点云中每一个点的三维坐标转换成球坐标，然后统计每一块中的点数，记为NO_pI，若所有406块区域的点数都大于500，则该点云为物体。Close()函数可以判断点云是否满足封闭，返回1表示封闭，0表示不封闭，判断封闭的点云是物体。
保存得到物体集合{PO_obz，z＝1，2…，O}，PO_obz表示物体点云，有O个；同样对于点云集合Pn_ob进行步骤3.3.1、3.3.2处理，得到物体集合{Pn_obq，q＝1，2…，a}，Pn_obq表示物体点云，有a个。
步骤(4)将配准后的两个点云进行差分，得到它们的差异区域，根据差异区域从两个物体集合中分别提取得到两个候选移动物体集合。
4.1计算点云差分，对Pn_obq和PO_obz点云的差分公式如下：PnO＝Diff(Pn_obq，PO_obz)；
其中PnO是Pn_obq对PO_obz差分后的点云，小写字母p代表三维点。POn＝Diff(PO_obz，Pn_obq)；
其中POn是PO_obz对Pn_obq差分后的点云，小写字母p代表三维点。；
对点云PnO进行欧式聚类，聚类阈值为2cm，得到候选物体点云集合PnO’，PnOu为第u个点云；
对点云POn进行欧式聚类，聚类阈值为2cm，得到候选物体点云集合POn’，POng为第g个点云.
4.2求出移动物体集合PO_mv和Pn_mv；{PO_mv}＝{Pl}，Pl∈{PO_obz}，对
其中，PO_mv是PO_obz中移动的物体，Cen表示计算点云的质心坐标。
{Pn_mv}＝{PL}，PL∈{Pn_obq}，对
其中，Pn_mv是Pn_obq中移动的物体。
步骤(5)将候选移动物体集合进行暴力配准物体匹配，得到最终移动信息；
5.1将Pn_mv中的点云和PO_mv中点云暴力匹配，并计算两两之间最小均方根误差(Root Mean Squared Error，RMSE)rmse，若rmse＜0.01，则物体匹配成功，对匹配成功的每一对物体点云，用迭代最近点算法(Iterative Closest Point，ICP)，输出保存变化矩阵M；
5.2从Pn_obq的点云中去除匹配上的物体点云，剩下的物体为新增的物体，从PO_obg点云中同样去除匹配上的物体点云，剩下的物体为新增的物体。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。
Claims (6)
1.一种三维场景移动物体检测方法，其特征在于，包括步骤如下：
步骤(1)：对同一场景在两个时间点创建的点云模型进行预处理；
步骤(2)：将预处理后的两个点云进行配准；
步骤(3)：将配准后的两个点云分别进行物体检测，得到两个物体集合；
步骤(4)：将配准后的两个点云进行差分，得到它们的差异区域，根据差异区域从两个物体集合中分别提取得到两个候选移动物体集合；
步骤(5)：将候选移动物体集合进行暴力配准物体匹配，得到最终移动信息。
2.根据权利要求1所述的一种三维场景移动物体检测方法，其特征在于，步骤(1)具体方法如下；
1.1获取同一场景在不同两个时刻的三维点云模型Pn和Po；
1.2首先对两个点云Pn和Po分别进行体素滤波，滤波体素大小为1cm，得到滤波后的点云Pn *和Po *；
1.3对滤波后的点云Pn *和Po *通过主成分分析法计算法向量，计算时所需领域为10个点，得到滤波后的点云Pn *和Po *的法向量Nn和No；
1.4对滤波后的点云Pn *和Po *通过主曲率估计法方法计算曲率，得到滤波后的点云Pn *和Po *的曲率Cn和Co。
3.根据权利要求2所述的一种三维场景移动物体检测方法，其特征在于，步骤(2)具体方法如下；
2.1对点云Pn *提取Harris关键点，得到关键点集合Kn，并对这些关键点使用相邻点法向量估计法计算得到对应的高斯曲率Cn；对于关键点集合Kn，剔除高斯曲率Cn小于0.08的关键点，剩下的关键点集合称为Kn *；然后对集合关键点Kn *提取FPFH描述子Dn *；对点云Po *做同样操作，得到筛选后的关键点集合Ko *和描述子Do *；
2.2使用关键点集合Kn *、Ko *和描述子Dn *、Do *，通过TEASER++算法进行粗配准，得到点云Po到Pn的变换矩阵Tc；
2.3利用滤波后的点云Pn *和Po *的法向量Nn和No，通过点到面的迭代最近点算法对点云Pn到Po进行精配准，得到变换矩阵Tj；ICP算法的初值为Tc；
2.4将点云Po通过如下公式变换到点云Pn的坐标系，得到点云POz：
pOz＝Tj*Tc*po
其中，pOz表示点云POz中的每一个三维点，po表示点云Po中的每一个三维点。
4.根据权利要求3所述的一种三维场景移动物体检测方法，其特征在于，步骤(3)具体方法如下；
3.1对点云POz使用随机采样一致性方法提取平面，得到平面点云集合和平面点云对应的平面方程：
{(PO_pi，MO_pi)，i＝1，2…NO_pi}
将平面点云集合简记为Po_p，平面点云方程集合记为Mo_p其中，NO_pi表示点云POz中的平面数量，PO_pi表示第i个平面的三维点云，MO_pi表示第i个平面的平面方程；RANSAC方法迭代500次，领域阈值为2厘米，要求平面包含点数在1000-10000个；提取完平面后，点云POz中剩下的点云称为PO’；
对点云Pn做同样的操作，得到平面点云集合和平面点云对应的平面方程：
{(Pn_pj，Mn_pj)，j＝1，2…，Nn_pj}
将平面点云集合简记为Pn_p，平面点云方程集合记为Mn_p其中，Nn_pj表示点云Pn中的平面数量，Pn_pj表示第j个平面的三维点云，Mn_pj表示第j个平面的平面方程；RANSAC方法迭代500次，领域阈值为2厘米，要求平面包含点数在1000-10000个；提取完平面后，点云Pn中剩下的点云称为Pn’；
3.2对PO’进行欧式聚类，聚类阈值为2厘米，得到候选物体点云集合{Po_obm，m＝1，2...NO_ob}，简称为PO_ob；其中第m个类别是PO_obm，NO_ob表示类别的数量，并且计算PO_ob的每一个点云元素的质心坐标CenO_m；
对Pn’进行欧式聚类，聚类阈值为2厘米，得到候选物体点云集合{Pn_obk，k＝1，2…Nn_ob}简称Pn_ob，其中第k个类别是Pn_obk，Nn_ob表示类别的数量，并且计算Pn_ob的每一个点云元素的质心坐标Cenn_k；
3.3对点云集合Pn_ob和PO_ob的做如下操作来判断其是否为物体：
以下以点云集合PO_ob为例，对Pn_ob判断方法相同；
3.3.1计算判断点云集合PO_ob与点云集合PO_p是否接壤；计算方式为：
对于点云PO_obm和PO_pi的每一个三维点pO_obm和po_pi，
其中，Adjacent函数用于判断输入两个点云是否接壤，值为1表示接壤，值为0表示不接壤；找到PO_pi接壤的平面后，向接壤平面投影，得到投影点云Pt，接着对PO_pi进行补全得到PO_pI，PO_pI＝Po_pi+Pt，完成物体的补全；
3.3.2根据点云PO_pI的封闭性判断其是否为物体；
对PO_pI点云做质心球面归一化；归一化计算方法是，先计算点云PO_pi的质心，记录为pIo；对于点云PO_pI的每一个点pO_pI，归一化计算：
得到球面归一化点云PO_pI’；将点云PO_pI’根据球坐标系进行划分，其中点云任意一个点pO_pI’的坐标是(r，θ，φ)，已知r＝1；对于θ＝0-10.2148°，10.2148°-20.7738°，20.7738°-30.1631°...，70.2010°-80.1375°，80.1375°-90°，/>分别均分10，10，12...40，120块如表格所示，总共划分成406块；
将点云中每一个点的三维坐标转换成球坐标，然后统计每一块中的点数，记为NO_pI，若所有406块区域的点数都大于500，则该点云为物体；
Close()函数可以判断点云是否满足封闭，返回1表示封闭，0表示不封闭，判断封闭的点云是物体；
保存得到物体集合{PO_obz，z＝1，2...，O}，PO_obz表示物体点云，有O个；同样对于点云集合Pn_ob进行步骤3.3.1、3.3.2处理，得到物体集合{Pn_obq，q＝1，2...，a}，Pn_obq表示物体点云，有a个。
5.根据权利要求4所述的一种三维场景移动物体检测方法，其特征在于，步骤(4)具体方法如下；
4.1计算点云差分，对Pn_obq和PO_obz点云的差分公式如下：
其中PnO是Pn_obq对PO_obz差分后的点云，小写字母p代表三维点；
其中POn是PO_obz对Pn_obq差分后的点云，小写字母p代表三维点；
对点云Pno进行欧式聚类，聚类阈值为2cm，得到候选物体点云集合PnO’，PnOu为第u个点云；
对点云POn进行欧式聚类，聚类阈值为2cm，得到候选物体点云集合Pon’，Pong为第g个点云；
4.2求出移动物体集合PO_mv和Pn_mv；
{PO_mυ}＝{Pl}，Pl∈{PO_obz}，对
其中，PO_mv是PO_obz中移动的物体，Cen表示计算点云的质心坐标；
对
其中，Pn_mv是Pn_obq中移动的物体。
6.根据权利要求5所述的一种三维场景移动物体检测方法，其特征在于，步骤(5)具体方法如下；
5.1将Pn_mv中的点云和PO_mv中点云暴力匹配，并计算两两之间最小均方根误差rmse，若rmse＜0.01，则物体匹配成功，对匹配成功的每一对物体点云，用迭代最近点算法，输出保存变化矩阵M；
5.2从Pn_obq的点云中去除匹配上的物体点云，剩下的物体为新增的物体，从PO_obg点云中同样去除匹配上的物体点云，剩下的物体为新增的物体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310393130.5A CN116823940A (zh) | 2023-04-13 | 2023-04-13 | 一种三维场景移动物体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310393130.5A CN116823940A (zh) | 2023-04-13 | 2023-04-13 | 一种三维场景移动物体检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823940A true CN116823940A (zh) | 2023-09-29 |
Family
ID=88124807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310393130.5A Pending CN116823940A (zh) | 2023-04-13 | 2023-04-13 | 一种三维场景移动物体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823940A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
-
2023
- 2023-04-13 CN CN202310393130.5A patent/CN116823940A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
| CN117894015B (zh) * | 2024-03-15 | 2024-05-24 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
| Chen et al. | Building change detection with RGB-D map generated from UAV images | |
| CN109544612B (zh) | 基于特征点几何表面描述的点云配准方法 | |
| Hashemi et al. | Template matching advances and applications in image analysis | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| Joglekar et al. | Area based image matching methods—A survey | |
| Liu et al. | A contrario comparison of local descriptors for change detection in very high spatial resolution satellite images of urban areas | |
| CN110232387B (zh) | 一种基于kaze-hog算法的异源图像匹配方法 | |
| Li et al. | Detecting and tracking dim small targets in infrared image sequences under complex backgrounds | |
| CN101131728A (zh) | 一种基于Shape Context的人脸形状匹配方法 | |
| Shen et al. | Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement | |
| Zhang et al. | Multiple Saliency Features Based Automatic Road Extraction from High‐Resolution Multispectral Satellite Images | |
| Elmikaty et al. | Car detection in aerial images of dense urban areas | |
| CN116823940A (zh) | 一种三维场景移动物体检测方法 | |
| Okorie et al. | Region-based image registration for remote sensing imagery | |
| CN111639562A (zh) | 一种手掌感兴趣区域的智能定位方法 | |
| Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
| Isaac et al. | A key point based copy-move forgery detection using HOG features | |
| Bychkov et al. | Development of Information Technology for Person Identification in Video Stream. | |
| Barbu | Automatic edge detection solution using anisotropic diffusion-based multi-scale image analysis and fine-to-coarse tracking | |
| CN115909099A (zh) | 基于无人机巡检的边坡危岩识别与监测方法 | |
| Guili et al. | A man-made object detection algorithm based on contour complexity evaluation | |
| Zhou et al. | Road detection based on edge feature with GAC model in aerial image | |
| Sahu et al. | Digital image texture classification and detection using radon transform | |
| CN107220985B (zh) | 基于图划分粒子群优化的sar图像自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |