CN114693943A - 一种用于目标检测的非极大值抑制加速方法、系统和设备 - Google Patents
一种用于目标检测的非极大值抑制加速方法、系统和设备 Download PDFInfo
- Publication number
- CN114693943A CN114693943A CN202210372890.3A CN202210372890A CN114693943A CN 114693943 A CN114693943 A CN 114693943A CN 202210372890 A CN202210372890 A CN 202210372890A CN 114693943 A CN114693943 A CN 114693943A
- Authority
- CN
- China
- Prior art keywords
- candidate
- algorithm
- bounding box
- candidate frames
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于目标检测的非极大值抑制加速方法、系统和设备,涉及图像识别技术领域,解决现有的非极大值抑制算法在候选边界框(候选框)数量较多的时候,算法耗时较多,影响算法整体收敛速度,其技术方案要点是:获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。本发明提升了现有非极大值抑制算法的收敛速度,降低了算法的耗时。
Description
技术领域
本发明涉及一种图像识别技术领域,更具体地说,它涉及一种用于目标检测的非极大值抑制加速方法、系统和设备。
背景技术
由于被检测目标在图像中的形状和大小可能是各种各样的,所以为了能够较好地在图像中检测这些目标,深度学习模型会生成数量众多、长宽各异的候选边界框。为了从多个候选边界框中选择一个最佳边界框,通常会使用非极大值抑制算法(简称NMS算法)“抑制”置信度低的边界框。由于非极大值抑制算法采用搜素局部最大值的方式来抑制极大值,即在抑制或删除相似候选边界框时,需逐一比较,直至找到最佳边界框。当候选边界框局部堆积且候选框数量较多情况下,算法耗时较多,影响算法整体收敛速度。以一幅图片有n个同类别待识别目标,深度学习模型输出m个候选边界框为例(正常情况下m>>n),理论情况下,为准确识别n个目标,需最大执行(m-n-1)!次非极大值抑制算法,导致非极大值抑制算法耗时增加。
基于上述问题,如何提升用于目标检测的非极大值抑制算法的收敛速度是目前急需解决的技术问题。
发明内容
本发明解决了现有的非极大值抑制算法在候选边界框局部堆积且候选框数量较多情况下,非极大值抑制算法耗时较多,影响非极大值抑制算法整体的收敛速度的问题,本发明的目的是提供一种用于目标检测的非极大值抑制加速方法,本发明在候选框数量较多且局部堆积时,通过聚类算法对候选框进行分组,充分利用计算机的计算资源,利用非极大值抑制算法对多个所分的组同时执行,从而实现提升非极大值抑制算法的收敛速度,减少非极大值抑制算法的耗时时间。
本发明的上述技术目的是通过以下技术方案得以实现的:
第一方面,提供了一种用于目标检测的非极大值抑制加速方法,包括:
获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
进一步的,对目标图像进行特征提取,获得特征图,具体为:
采用深度学习模型提取待检测目标的层次化特征,得到包含多个第一候选框的特征图,其中,第一候选框输出形式为(x,y,a,b),(x,y)表示第一候选框的左上角坐标,a,b分别表示第一候选框的长和宽。
进一步的,采用均值漂移聚类算法对第一候选框的中心点坐标进行聚类。
进一步的,根据第一候选框的长和宽计算均值漂移聚类算法滑动窗口的半径。
进一步的,均值漂移聚类算法滑动窗口的半径的计算式为:
进一步的,采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框,具体包括:
步骤一,根据多个第一候选框生成多组第一边界框集合,根据置信度对每组第一边界框集合中的第一候选框进行降序排序,获得降序排序信息;
步骤二,从降序排序信息中选择置信度最高的第一候选框,将置信度最高的第一候选框放入对应的第二边界框集合中,同时在第一边界框集合中置信度最高的第一候选框,其中,第二边界框集合的数量与第一边界框集合的数量相等,且一一对应;
步骤三,分别遍历多个第一边界框集合中的每个第一候选框,计算多个第一边界框集合中的每个第一候选框与放入第二边界框集合中的第一候选框的CIoU值,若CIoU值大于CIoU阈值,则将该第一候选框从第一边界框集合中删除;
步骤四,重复执行步骤二至步骤三,直至第一边界框集合为空,返回第二边界框集合,其中,第二边界框集合包括多个第二候选框。
进一步的,采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息,具体为:
分别对第二边界框集合中的第二候选框采用回归算法,获得检测目标的位置及类别信息。
第二方面,提供了一种用于目标检测的非极大值抑制加速系统,包括:
特征提取单元,用于获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
聚类分组单元,用于采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
去重单元,用于采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
处理单元,用于采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
第三方面,提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;所述存储器,用于存储计算机程序;所述处理器,用于执行所述存储器中所存储的程序,实现第一方面所述的一种用于目标检测的非极大值抑制加速方法。
与现有技术相比,本发明具有以下有益效果:
1、本发明提出采用聚类方法将特征图中的第一候选框进行预分组,定量描述了用于候选框分组的均值漂移聚类算法滑动窗口半径r的计算方法,将相同或相近目标的第一候选框分为一组,可有效提高分组精度,降低组间干扰和提升冗余框筛选的精度。
2、对各个分组的第一候选框,可以充分利用GPU的硬件资源并行执行非极大值抑制算法,从而极大的提高非极大值抑制算法的筛选速度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明实施例一提供的方法流程示意图;
图2为本发明实施例提供的候选框的坐标表示示例图;
图3为本发明实施例提供的聚类算法对候选框中心点分组示例图;
图4为本发明实施例二提供的加速系统的结构框图;
图5为本发明实施例三提供的电子设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例一:
为了从多个候选边界框中选择一个最佳边界框,通常会使用非极大值抑制算法(简称NMS算法)“抑制”置信度低的边界框。由于非极大值抑制算法采用搜素局部最大值的方式来抑制极大值,即在抑制或删除相似候选边界框时,需逐一比较,直至找到最佳边界框。当特征图中的候选边界框数量较多的时候,算法耗时较多,影响算法整体收敛速度。基于此,本实施例提供了一种用于目标检测的非极大值抑制加速方法,提升非极大值抑制算法的收敛速度,降低算法的耗时。
如图1所示,加速方法包括:
获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
本实施例的加速方法在候选边界框(候选框)数量较多的时,通过聚类算法对第一候选框进行分组,利用非极大值抑制算法对多个所分的组同时执行,从而实现提升非极大值抑制算法的收敛速度,减少非极大值抑制算法的耗时时间。
本实施例又一个实施例中,对目标图像进行特征提取,获得特征图,具体为:
采用深度学习模型提取待检测目标的层次化特征,得到包含多个第一候选框的特征图,其中,第一候选框输出形式为(x,y,a,b),(x,y)表示第一候选框的左上角坐标,a,b分别表示第一候选框的长和宽。
具体的,采用YOLOv3网络学习待检测目标的特征向量,获得包含多个第一候选框的特征图。
具体的,通过第一候选框的坐标值和其本身的长宽得出第一候选框的中心点坐标。
本实施例又一个实施例中,采用均值漂移聚类算法对第一候选框的中心点坐标进行聚类。
具体的,采用均值漂移聚类算法对候选框的中心点坐标进行聚类,不同于K-Means算法,均值漂移聚类算法无需事先指定K值,即拟分组数,有利于不确定目标数量场景下的分组。
本实施例又一个实施例中,根据第一候选框的长和宽计算均值漂移聚类算法滑动窗口的半径。
(2)每一次滑动到新的区域,计算滑动窗口内的均值作为中心点,滑动窗口内的点的数量为窗口内的密度,在每一次移动中,窗口会向密度更高的区域移动。
(3)移动窗口,计算窗口内的中心点以及窗口内的密度,直到没有方向在窗口内可以容纳更多的点,即一直移动到圆内密度不再增加为止。
(4)步骤(1)到步骤(3)会产生很多个滑动窗口,当多个滑动窗口重叠时,保留包含最多点的窗口,然后根据数据点所在的滑动窗口进行聚类。
本实施例又一个实施例中,均值漂移聚类算法滑动窗口的半径的计算式为:
如图3所示,本实施例又一个实施例中,采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框,具体包括:
步骤一,根据多个第一候选框生成多组第一边界框集合,根据置信度对每组第一边界框集合中的第一候选框进行降序排序,获得降序排序信息;
步骤二,从降序排序信息中选择置信度最高的第一候选框,将置信度最高的第一候选框放入对应的第二边界框集合中,同时在第一边界框集合中置信度最高的第一候选框,其中,第二边界框集合的数量与第一边界框集合的数量相等,且一一对应;
步骤三,分别遍历多个第一边界框集合中的每个第一候选框,计算多个第一边界框集合中的每个第一候选框与放入第二边界框集合中的第一候选框的CIoU值,若CIoU值大于CIoU阈值,则将该第一候选框从第一边界框集合中删除;
步骤四,重复执行步骤二至步骤三,直至第一边界框集合为空,返回第二边界框集合,其中,第二边界框集合包括多个第二候选框。
具体的,将经聚类算法分组后形成的一系列第一边界框集合B1~Bn、CIoU阈值N输入至非极大值抑制算法中;
非极大值抑制算法输出最终的边界框集合D1~Dn(初始化为空集合)。其具体实现如下:
(1)对第一边界框集合B1~Bn分别根据置信度进行降序排序;
(2)从第一边界框集合B1~Bn中分别选择置信度最高的第一候选框,将其放入对应的第二边界框集合D1~Dn中,并将其从第一边界框集合B1~Bn中删除;
(3)分别遍历第一边界框集合B1~Bn中的每个第一候选框,计算它们与第二边界框集合D1~Dn中当前放入的第一候选框的CIoU值,如果CIoU值大于阈值N,则把它从第一边界框集合B1~Bn中删除;
(4)重复步骤(2)-(3)直到第一边界框集合B1~Bn为空,返回第二边界框集合D1~Dn。
因此基于上述实施例技术方案,传统NMS算法与本发明非极大值抑制加速方法的时间复杂度均为O,但本发明的加速方法对多个分组的第一候选框并行采用非极大值抑制算法,使得每个分组的数据量大大减小,可以极大的提高NMS算法的速度;均值漂移聚类算法的时间复杂度为O,算法速度快。均值漂移算法的引入并不会消除NMS快速算法的运算时间的优势,因此本发明的非极大值抑制加速方法比传统的NMS算法效率高。
本实施例又一个实施例中,采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息,具体为:
分别对第二边界框集合中的第二候选框采用回归算法,获得检测目标的位置及类别信息。
具体的,分别对第二边界框集合D1~Dn中的第二候选框采用回归算法,获得被检测目标精确的位置和类别信息。此处的回归算法与现有技术一致,因此不做过多的叙述。
基于上述实施方案,本实施例一假设一幅图片中有7个待检测目标,深度学习模型输出第一候选框为40个,40个第一候选框可分为7组,每组第一候选框数量分别为7,8,5,9,12,5,4,假设一个NMS算法执行周期为T。
那么本发明的加速方法,最大耗时:max(7,8,5,9,12,5,4)-1=11T,相较于现有的非极大值抑制算法执行40次耗时40T,本发明的加速方法可极大的缩短算法的耗时。
实施例二:
如图4所示,本实施二在实施例一的基础上提供了一种用于目标检测的非极大值抑制加速系统,包括:
特征提取单元,用于获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
聚类分组单元,用于采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
去重单元,用于采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
处理单元,用于采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
本实施例的加速系统在候选边界框(候选框)数量较多的时,通过聚类分组单元对第一候选框进行分组,利用非极大值抑制算法对多个所分的组同时执行,从而实现提升非极大值抑制算法的收敛速度,减少非极大值抑制算法的耗时时间。
实施例三;
如图5所示,本实施例提供了一种电子设备,如图5所示,包括:处理器310、通信接口320、存储器330和通信总线340,其中,处理器310、通信接口320和存储器330通过通信总线340完成相互间的通信;所述存储器330,用于存储计算机程序;所述处理器310,用于执行所述存储器330中所存储的程序,实现如下步骤:获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于目标检测的非极大值抑制加速方法,其特征在于,包括:
获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
2.根据权利要求1所述的一种用于目标检测的非极大值抑制加速方法,其特征在于,对目标图像进行特征提取,获得特征图,具体为:
采用深度学习模型提取待检测目标的层次化特征,得到包含多个第一候选框的特征图,其中,第一候选框输出形式为(x,y,a,b),(x,y)表示第一候选框的左上角坐标,a,b分别表示第一候选框的长和宽。
4.根据权利要求3所述的一种用于目标检测的非极大值抑制加速方法,其特征在于,采用均值漂移聚类算法对第一候选框的中心点坐标进行聚类。
5.根据权利要求4所述的一种用于目标检测的非极大值抑制加速方法,其特征在于,根据第一候选框的长和宽计算均值漂移聚类算法滑动窗口的半径。
7.根据权利要求1所述的一种用于目标检测的非极大值抑制加速方法,其特征在于,采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框,具体包括:
步骤一,根据多个第一候选框生成多组第一边界框集合,根据置信度对每组第一边界框集合中的第一候选框进行降序排序,获得降序排序信息;
步骤二,从降序排序信息中选择置信度最高的第一候选框,将置信度最高的第一候选框放入对应的第二边界框集合中,同时在第一边界框集合中置信度最高的第一候选框,其中,第二边界框集合的数量与第一边界框集合的数量相等,且一一对应;
步骤三,分别遍历多个第一边界框集合中的每个第一候选框,计算多个第一边界框集合中的每个第一候选框与放入第二边界框集合中的第一候选框的CIoU值,若CIoU值大于CIoU阈值,则将该第一候选框从第一边界框集合中删除;
步骤四,重复执行步骤二至步骤三,直至第一边界框集合为空,返回第二边界框集合,其中,第二边界框集合包括多个第二候选框。
8.根据权利要求7所述的一种用于目标检测的非极大值抑制加速方法,其特征在于,采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息,具体为:
分别对第二边界框集合中的第二候选框采用回归算法,获得检测目标的位置及类别信息。
9.一种用于目标检测的非极大值抑制加速系统,其特征在于,包括:
特征提取单元,用于获取包含检测目标的目标图像,对目标图像进行特征提取,获得特征图,其中,特征图包括多个第一候选框;
聚类分组单元,用于采用聚类算法对特征图的多个第一候选框的中心点进行聚类处理,获得多组第一候选框;
去重单元,用于采用非极大值抑制算法同时去除多组第一候选框中冗余的第一候选框,获得第二候选框;
处理单元,用于采用回归算法对第二候选框进行回归处理,获得检测目标的位置及类别信息。
10.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;所述存储器,用于存储计算机程序;所述处理器,用于执行所述存储器中所存储的程序,实现权利要求1至7任一项所述的一种用于目标检测的非极大值抑制加速方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210372890.3A CN114693943A (zh) | 2022-04-07 | 2022-04-07 | 一种用于目标检测的非极大值抑制加速方法、系统和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210372890.3A CN114693943A (zh) | 2022-04-07 | 2022-04-07 | 一种用于目标检测的非极大值抑制加速方法、系统和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114693943A true CN114693943A (zh) | 2022-07-01 |
Family
ID=82144086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210372890.3A Pending CN114693943A (zh) | 2022-04-07 | 2022-04-07 | 一种用于目标检测的非极大值抑制加速方法、系统和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114693943A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546009A (zh) * | 2022-11-29 | 2022-12-30 | 合肥中科类脑智能技术有限公司 | 非极大值抑制算法的优化方法、装置以及设备、存储介质 |
-
2022
- 2022-04-07 CN CN202210372890.3A patent/CN114693943A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546009A (zh) * | 2022-11-29 | 2022-12-30 | 合肥中科类脑智能技术有限公司 | 非极大值抑制算法的优化方法、装置以及设备、存储介质 |
CN115546009B (zh) * | 2022-11-29 | 2023-02-03 | 合肥中科类脑智能技术有限公司 | 非极大值抑制算法的优化方法、装置以及设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
CN108846826B (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
CN112541483B (zh) | Yolo和分块-融合策略结合的稠密人脸检测方法 | |
CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
CN107728615A (zh) | 一种自适应区域划分的方法及系统 | |
CN109508675B (zh) | 一种针对复杂场景的行人检测方法 | |
CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
KR20220051162A (ko) | 시각적 포지셔닝 방법, 관련 모델의 훈련 방법 및 관련 장치, 기기 | |
CN111310821B (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
RU2697649C1 (ru) | Способы и системы сегментации документа | |
CN109829065B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
CN111291768A (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN113837275B (zh) | 基于扩张坐标注意力的改进YOLOv3目标检测方法 | |
CN110378942A (zh) | 基于双目相机的障碍物标识方法、系统、设备和存储介质 | |
CN111291760A (zh) | 图像的语义分割方法、装置及电子设备 | |
JP2020064604A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114693943A (zh) | 一种用于目标检测的非极大值抑制加速方法、系统和设备 | |
US8370363B2 (en) | Hybrid neighborhood graph search for scalable visual indexing | |
CN116188917B (zh) | 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 | |
CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 | |
CN116189214A (zh) | 版面分析方法、装置、电子设备及存储介质 | |
CN114972956A (zh) | 一种目标检测模型训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |