CN111368839A - 基于轻量型DAB-Net网络的快速识别方法 - Google Patents

基于轻量型DAB-Net网络的快速识别方法 Download PDF

Info

Publication number
CN111368839A
CN111368839A CN202010091953.9A CN202010091953A CN111368839A CN 111368839 A CN111368839 A CN 111368839A CN 202010091953 A CN202010091953 A CN 202010091953A CN 111368839 A CN111368839 A CN 111368839A
Authority
CN
China
Prior art keywords
dab
algorithm
net network
light
data output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010091953.9A
Other languages
English (en)
Inventor
张志佳
徐佳锋
杨凯雯
石印明
李响
胡鹏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN202010091953.9A priority Critical patent/CN111368839A/zh
Publication of CN111368839A publication Critical patent/CN111368839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标识别领域，特别是涉及基于轻量型DAB‑Net网络的快速识别方法。该方法以轻量型DAB‑Net网络结构为基础；再进行模型量化；采用多线程流水化计算将算法并行化；将算法分解为多个任务，分配对应的对个线程，每个线程执行单独的任务；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速。本发明基于轻量型DAB‑Net网络提高了识别速度。

Description

基于轻量型DAB-Net网络的快速识别方法
技术领域：
本发明属于目标识别领域，特别是涉及基于轻量型DAB-Net网络的快速识别方法。
背景技术
目标识别是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。它的目的就是如何快速、准确地检测出监控视频中的目标，即从序列图像中将目标提取出来。因此，目标识别也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。
2017年Seokju Lee等人的VGPNet：基于灭点的道路和路面标志的检测与识别中采用VPGNet利用道路的灭点信息作为引导，进行地面交通标志的检测与识别。Xingang Pan等人的SCNN车道线检测中采用SCNN网络，完成了车道线的分割识别。该网络基于ReNet与MRFNet网络实现，将传统的卷积连接层(layer-by-layer)转变为片连片的(slice-by-slice)的形式，使得图中像素行与列之间能够传递信息。
2018年Davy Neven等人端到端的车道检测：实例分割方法中采用LaneNet网络对车道线进行分割识别。该方法思路是采用基于ENet编解码结构的网络进行车道线分割提取，再用H-Net进行透视变换矩阵的估计，将二者进行结合从而得到车道线识别结果。
Yuenan Hou等人通过自注意力蒸馏学习轻型车道检测CNNS中采用自注意力蒸馏的方式，使用ENet、ResNet作为骨干网络，对分割模型进行改进并在图森数据、CULane和BDD100K多个数据集上验证了算法。
虽然现有技术中对于地面交通标识的识别方法较多，但是识别效果受各种因素影响较大且难以满足实时要求，因此，急需一种能够提高检测效率的识别方法。
发明内容
发明目的：
本发明基于轻量型DAB-Net网络结构，采用分解卷积、空洞卷积通过提高感受野等方式达到减小参数量的目的。同时通过KL散度优化算法进行模型量化、采用多线程优化技术将算法并行化，将多个处理步骤并行处理，达到提高地面交通标志检测速度的目的。
技术方案：
基于轻量型DAB-Net网络的快速识别方法，该方法包括：
步骤一：以轻量型DAB-Net网络结构为基础；
步骤二：进行模型量化；对轻量型DAB-Net网络模型通过KL散度优化算法，将32位模型量化至8位模型；KL散度是衡量近似分布带来的信息损失，通过不断改变预估分布的参数，得到不同的KL散度的值；在某个变化范围内，KL散度取到最小值的时候，对应的参数是最优参数；
步骤三：采用多线程流水化计算将算法并行化；将算法分解为多个任务，分配对应的对个线程，每个线程执行单独的任务；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速。
进一步的，轻量型DAB-Net网络结构具体包括：将原图像进行三次3×3的卷积特征提取，随后进行一次下采样；将特征图输入至DAB-1模块进行浅层特征提取，经过下采样模块；将处理后的特征图输入至DAB-2模块中进行深层特征提取；通过1×1卷积特征融合的方式输出1/8原图大小的分割结果；采用线性插值上采样的方式恢复至原图分辨率得到最终分割结果。
进一步的，步骤二中采用TensorRT-5.0工具对模型进行量化。
进一步的，步骤三的具体步骤包括：采用多线程流水化计算将算法并行化；该算法分解为5个任务，分配5个线程，每个线程执行单独的任务，算法的整体耗时只取决于算法中最耗时的部分；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速的目的。优点及效果：
本发明具有以下优点和有益效果：
本发明基于轻量型DAB-Net网络结构，通过KL散度优化算法进行模型量化、采用多线程优化技术将算法并行化，在PC端对比处理前后，处理后的模型与识别方法对地面交通标志检测的速度快，能够满足实时要求。
数据输入经过GPU的前向传播计算后，未量化与量化后速度从8ms减少到6ms。其中1080Ti的FP32计算能力为11.3TFlops。
通过并行多线程优化，本发明对于大小为1280×360的输入图像在PC机上的帧数从40FPS提高至133FPS，单帧检测时间约为7.5ms。
附图说明：
图1是DAB模块图；
图2是DAB-Net网络结构图；
图3是多线程设计方案；
图4是多线程方案时序图；
具体实施方式：
下面结合附图对本发明做进一步的说明：
本发明的技术思想是：基于轻量型DAB-Net网络结构，采用分解卷积、空洞卷积提高感受野等方式减小参数量。同时对于检测时间较长、串行算法顺序执行耗费时间的问题，通过KL散度优化算法模型量化、采用多线程优化技术将算法并行化，将多个处理步骤进行并行处理，提高地面交通标志的检测速度。
基于轻量型DAB-Net网络的快速识别方法，该方法基于轻量型DAB-Net网络结构，进行模型量化，采用多线程优化技术。
该方法的具体步骤为：
步骤一：以轻量型DAB-Net网络结构为基础；
DAB模块采用了分解卷积、空洞卷积来提高感受野，进一步减小参数量、提高计算速度；经过轻量化的改进，DAB-Net的参数量仅为0.76M；
具体方式如下：将原图像进行三次3×3的卷积特征提取，随后进行一次下采样；将特征图输入至DAB-1模块进行浅层特征提取，经过下采样模块；将特征图输入至DAB模块中进行深层特征提取；通过1×1卷积特征融合的方式输出1/8原图大小的分割结果；采用线性插值上采样的方式恢复至原图分辨率得到最终分割结果。
DAB网络结构中包括DAB-1模块(浅层特征提取)和DAB-2模块(深层特征提取)，DAB-1模块和DAB-2模块中包括DAB模块和concate。
步骤二：进行模型量化；具体方式如下：
训练后得到的模型为32位模型，通过KL散度优化算法将32位模型量化至8位模型来减少计算量；KL散度是衡量近似分布带来的信息损失，通过不断改变预估分布的参数，可以得到不同的KL散度的值；参数在某个变化范围内，KL散度取到最小值的时候，对应的参数是最优参数；采用TensorRT-5.0工具对模型进行量化。
步骤三：采用多线程优化技术，具体方式如下：
采用多线程流水化计算将算法并行化；该算法分解为5个任务，分配5个线程，每个线程执行单独的任务，算法的整体耗时只取决于算法中最耗时的部分；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；
当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速的目的。
下面结合附图和具体的实施方式对本发明做进一步说明：
实施例1
基于语义分割的地面交通标志识别方法在前端特征提取层通常采用VGG16、Res101等大型网络。采用大型网络提升检测精度的同时通常会降低检测速度。为提高检测速度，特征提取网络可以替换成轻量化网络，同时采用空洞卷积、卷积分解提高感受野等方式减少计算量。
基于轻量型DAB-Net网络的快速识别方法，该方法基于轻量型DAB-Net网络结构，进行模型量化，采用多线程优化技术，该方法的具体步骤为：
如图1、图2所示，步骤一：以轻量型DAB-Net网络结构为基础；
轻量型DAB-Net网络结构具体如下：
将原图像进行三次3×3的卷积特征提取，随后进行一次下采样；将特征图输入至DAB-1模块进行浅层特征提取，经过下采样模块；将特征图输入至DAB模块中进行深层特征提取；通过1×1卷积特征融合的方式输出1/8原图大小的分割结果；采用线性插值上采样的方式恢复至原图分辨率得到最终分割结果；
DAB模块采用了分解卷积，将3×3的卷积替换为1×3和3×1的卷积方式，又采用了尺度为[4,4,8,8,16,16]的空洞卷积来提高感受野，进一步减小了参数量、提高了计算速度；为增加网络特征提取能力，DAB-1模块中将每一个DAB模块进行3次堆叠，同时采用concate方式将浅层特征与深层特征进融合；DAB-2模块中将每一个DAB模块进行6次堆叠，也采用concate方式进行特征融合；经过轻量化的改进，DAB-Net的参数量仅为0.76M。
图2中小方框表示DAB模块，圆表示concate。
在Cityscapes上进行模型训练，将得到的模型用于分割地面区域；重新制作地面标志数据集，将百度的地面标志数据进行重新标定，增加地面区域的类别；将修改后的百度地面交通标志数据集用于训练，最终完成地面交通标志的分割识别。
步骤二：进行模型量化，具体方式如下：
训练后得到的模型为32位模型，通过KL散度优化算法将32位模型量化至8位模型来减少计算量；KL散度是衡量近似分布带来的信息损失，通过不断改变预估分布的参数，可以得到不同的KL散度的值；参数在某个变化范围内，KL散度取到最小值的时候，对应的参数是最优参数；采用TensorRT-5.0工具对模型进行量化。
步骤三：采用多线程优化技术，具体方式如下：
如图3和图4所示，采用多线程流水化计算将算法并行化；某一帧横向处理依次为读取图像数据、数据输入转换、GPU前向传播计算、数据输出转换、OpenCV图像后续处理等；该算法分解为5个任务，分配5个线程，每个线程执行单独的任务，算法的整体耗时只取决于算法中最耗时的部分；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；任务1、任务2、任务4、任务5等待于任务3的执行，每次任务3开始执行时，发送信号唤醒其他任务开始执行；由于任务1、任务2、任务4、任务5的耗时小于任务3，所以任务3执行完毕后，其他任务早已执行完毕并处在等待的状态；通过线程同步信号唤醒其他等待的线程来达到线程的同步。
数据输入转换是将图像数据转换为单行的浮点数据，再输入至GPU前向传播完成计算；完成前向传播后，将输出的浮点型数据进行转换恢复至图像标签；通过OpenCV图像处理工具对每个标签进行后续处理，可利用开运算闭运算平滑分割结果的边缘并去除空洞。
当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速的目的。
本发明将数据输入经过GPU的前向传播计算后，未量化与量化后速度从8ms减少到6ms。其中，1080Ti的FP32计算能力为11.3TFlops。通过并行多线程优化，本发明对于大小为1280×360的输入图像在PC机上的帧数从40FPS提高至133FPS，单帧检测时间约为7.5ms。本发明基于DAB-Net网络，对地面交通标志识别速度进行提高。涉及地面交通标志识别，DAB-Net网络，模型量化加速，多线程优化技术。利用本发明的识别方法对地面交通标志检测的速度相对与现有识别技术更快。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.基于轻量型DAB-Net网络的快速识别方法，其特征在于：该方法包括：
步骤一：以轻量型DAB-Net网络结构为基础；
步骤二：进行模型量化；对轻量型DAB-Net网络模型通过KL散度优化算法，将32位模型量化至8位模型；KL散度是衡量近似分布带来的信息损失，通过不断改变预估分布的参数，得到不同的KL散度的值；在某个变化范围内，KL散度取到最小值的时候，对应的参数是最优参数；
步骤三：采用多线程流水化计算将算法并行化；将算法分解为多个任务，分配对应的对个线程，每个线程执行单独的任务；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速。
2.根据权利要求1所述的基于轻量型DAB-Net网络的快速识别方法，其特征在于：轻量型DAB-Net网络结构具体包括：
将原图像进行三次3×3的卷积特征提取，随后进行一次下采样；将特征图输入至DAB-1模块进行浅层特征提取，经过下采样模块；将处理后的特征图输入至DAB-2模块中进行深层特征提取；通过1×1卷积特征融合的方式输出1/8原图大小的分割结果；采用线性插值上采样的方式恢复至原图分辨率得到最终分割结果。
3.根据权利要求1所述的基于轻量型DAB-Net网络的快速识别方法，其特征在于：步骤二中采用TensorRT-5.0工具对模型进行量化。
4.根据权利要求1所述的基于轻量型DAB-Net网络的快速识别方法，其特征在于：步骤三的具体步骤包括：
采用多线程流水化计算将算法并行化；该算法分解为5个任务，分配5个线程，每个线程执行单独的任务，算法的整体耗时只取决于算法中最耗时的部分；取GPU前向传播运算时间作为最小的循环周期，读图、数据输入处理、数据输出处理、Opencv后续处理包含于GPU运算耗时的时间内；通过线程同步信号唤醒其他等待的线程来达到线程的同步；
当前时刻的数据输入来源于前一时刻与前一状态的数据输出，通过延迟4帧的数据输出达到并行算法优化加速的目的。
CN202010091953.9A 2020-02-13 2020-02-13 基于轻量型DAB-Net网络的快速识别方法 Pending CN111368839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091953.9A CN111368839A (zh) 2020-02-13 2020-02-13 基于轻量型DAB-Net网络的快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091953.9A CN111368839A (zh) 2020-02-13 2020-02-13 基于轻量型DAB-Net网络的快速识别方法

Publications (1)

Publication Number Publication Date
CN111368839A true CN111368839A (zh) 2020-07-03

Family

ID=71207990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091953.9A Pending CN111368839A (zh) 2020-02-13 2020-02-13 基于轻量型DAB-Net网络的快速识别方法

Country Status (1)

Country Link
CN (1) CN111368839A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036231A (zh) * 2020-07-10 2020-12-04 武汉大学 一种基于车载视频的车道线和路面指示标志检测与识别方法
CN113033770A (zh) * 2021-03-04 2021-06-25 北京字跳网络技术有限公司 神经网络模型的测试方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493318A (zh) * 2018-10-09 2019-03-19 广东仙童智能机器人科技有限公司 一种图像并行处理方法、装置和计算机存储介质
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493318A (zh) * 2018-10-09 2019-03-19 广东仙童智能机器人科技有限公司 一种图像并行处理方法、装置和计算机存储介质
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI GEN 等: "DABNet: depth-wise Asymmetric Bottleneck for Real-time Semantic Segmentation", ARXIV *
李亚辉;刘俊;: "基于轻量级深度网络的目标识别方法", 计算机应用研究 *
赵晓冬;车军;张洵颖;程雪梅;: "受限资源下制导武器末制导机器视觉技术研究", 导航定位与授时 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036231A (zh) * 2020-07-10 2020-12-04 武汉大学 一种基于车载视频的车道线和路面指示标志检测与识别方法
CN113033770A (zh) * 2021-03-04 2021-06-25 北京字跳网络技术有限公司 神经网络模型的测试方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109087303B (zh) 基于迁移学习提升语义分割模型效果的框架
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN110059698B (zh) 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN111832546B (zh) 一种轻量级自然场景文本识别方法
CN109522900B (zh) 自然场景文字识别方法及装置
CN111368839A (zh) 基于轻量型DAB-Net网络的快速识别方法
Fu et al. Research on semantic segmentation of high-resolution remote sensing image based on full convolutional neural network
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN113313166A (zh) 基于特征一致性学习的船舶目标自动标注方法
CN115294550A (zh) 一种基于多任务学习的自动驾驶汽车道路场景理解方法
CN111723812B (zh) 一种基于序列知识蒸馏的实时语义分割方法
CN116912218A (zh) 一种基于深度学习的电池表面缺陷检测方法和装置
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
Tang et al. An elevator button recognition method combining yolov5 and ocr
Cao et al. An Improved YOLOv4 Lightweight Traffic Sign Detection Algorithm
CN114937153B (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN116188785A (zh) 运用弱标签的PolarMask老人轮廓分割方法
CN112686233B (zh) 基于轻量化边缘计算的车道线识别方法及装置
Si et al. Image semantic segmentation based on improved DeepLab V3 model
Luo et al. IDS-MODEL: An efficient multi-task model of road scene instance and drivable area segmentation for autonomous driving
Peng et al. Semantic segmentation model for road scene based on encoder-decoder structure
CN116071825B (zh) 一种动作行为识别方法、系统、电子设备及存储介质
CN117934850A (zh) 一种基于事件和脉冲神经网络的语义分割方法
Ning et al. SAMLoc: Structure-Aware Constraints With Multi-Task Distillation for Long-Term Visual Localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination