CN116664400A - 视频高时空分辨率信号处理方法 - Google Patents

视频高时空分辨率信号处理方法 Download PDF

Info

Publication number
CN116664400A
CN116664400A CN202310618236.0A CN202310618236A CN116664400A CN 116664400 A CN116664400 A CN 116664400A CN 202310618236 A CN202310618236 A CN 202310618236A CN 116664400 A CN116664400 A CN 116664400A
Authority
CN
China
Prior art keywords
video
resolution
convolution
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310618236.0A
Other languages
English (en)
Inventor
徐梦溪
吴哓彬
项鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202310618236.0A priority Critical patent/CN116664400A/zh
Publication of CN116664400A publication Critical patent/CN116664400A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

一种视频高时空分辨率信号处理方法，采用基于信号与信息处理算法的方式恢复和重构出高空间和高时间分辨视频序列，即一种视频超分辨率重建方法。其步骤为：将视频按顺序取其帧序列；从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5副图像的高维图像块；构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；将高维图像块送入深度卷积网络进行训练；最终将降质后或者分辨率较低的视频帧送入网络进行重建。本发明实现重建质量好、重建速度快，相比传统视频超分辨率模型重构效果好，能够进行视频实时重建。

Description

视频高时空分辨率信号处理方法
技术领域
本发明设计属于图像处理和深度学习应用领域，具体涉及一种光流法和深度网络结合的视频高时空分辨率信号处理方法。
背景技术
视频在摄制、传输与保存的过程中往往会产生高频信号缺失的分辨率降低问题，视频超分辨率重建的低分辨率视频帧直接获得高分辨率图像，快速高效，是一种有效的视频信号处理方法。视频超分辨率重建可以应用于监控、摄录像以及高清视频及电视转播等方向。
当前较为主流的超分辨率重建方法有插值法、重建法和学习法。基于插值的方法原理简单，计算量不大。基于重建的方法逆向利用图像的降质模型，该方法的核心思想是建模，在低分辨率与高分辨率之间形成对应的数学模型。基于学习的超分辨率重建算法更加深入的学习到了高低分辨率图像间的对应关系，这类算法通过特征提取，学习图像特征，超分辨率重构这三个阶段重建超分辨率图像。
深度学其端到端的模型特征让深度学习能够有效的应用到超分辨率重构中来。SRCNN(Super-resolution Reconstruction Neural Networks)网络将深度学习应用于超分辨率重建，提升了超分辨率重建质量，但是结构简单，重建质量和速度都很一般。ESPCN(Efficient Sub-Pixel Convolutional Neural Network)引入亚像素卷积层思想，设计了三层网络结构，极大的提升了重建效率，虽然可以直接应用于视频重建，但是网络结构过于简单，并没有考虑视频的帧间相关性与运动信息。
发明内容
本发明的目的是针对视频高频信号缺失、分辨率损失的问题对视频进行超分辨率重建，提升视频重建质量，实时重建高帧率与高清晰度视频。因此提出一种光流法和深度网络结合的视频高时空分辨率信号处理方法。
一种光流法和深度网络结合的视频高时空分辨率信号处理方法，包括以下步骤：
步骤1，将视频文件按顺序提取其帧序列；
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块；
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；
步骤4，将高维图像块送入深度卷积网络进行训练；
步骤5，将降质后或者分辨率较低的视频帧送入网络进行超分辨率图像重建。
进一步地，步骤2中所述的高维图像块构建方法为：
步骤2-1，选取视频帧序列连续的5张视频帧，我们标记该帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧；
步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像；
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
进一步地，步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
进一步地，步骤3中构建的深度卷积超分辨率网络模型为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块。第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像。
进一步地，步骤3中所述进行视频超分辨率重建的深度卷积网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C；
步骤3-2，浅层网络使用卷积操作提取图像特征信息；
步骤3-3，倒数第二层浅层网络形成H*W*C*r2 的图像特征块；
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2 的图像特征块中重建高分辨率图像。
进一步地，所述亚像素卷积层的具体实现方法是使用大小为KS的卷积核WS进行步长为1/r的卷积可以激活WS的不同部位，在像素之间的权重不需要计算，被激活的“像素”取决于他们的位置，最多有的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x，r)和mod(y，r)，x和y是和高分辨率空间相对应的输出像素；
通过公式表示上述过程
上式中，ISR为重构的超分辨率图像，LLR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置。使用均方误差作为网络迭代的依据，公式如下：
上式中，为迭代中的误差，r为缩放因子，H和W分别指图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
进一步地，步骤4中训练步骤为：步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；步骤4-2，对网络进行训练，选取Xiph基金会构建的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与以该图为基准帧的高维图像块分别作为标签和输入数据送入网络进行训练。
本发明的有益效果在于：（1）考虑视频帧之间地的信号关联性，向视频超分辨率重建网络中引入视频地帧间运动估计，能够有效地提升视频帧的重建质量，降低重建视频帧模糊效应。（2）网络结构引入亚像素卷积层，无需在重建低分辨率视频帧前进行插值放大，能够有效提高重建效率，达到一定的实时视频重建效果。
附图说明
图1是本发明的处理方法框架示意图。
实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种光流法和深度网络结合的视频高时空分辨率信号处理方法，包括以下步骤：步骤1，将视频文件按顺序提取其帧序列。
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块。步骤2中所述的高维图像块构建方法为：步骤2-1，选取视频帧序列连续的5张视频帧，我们标记该帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧。步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像。
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像。
步骤3中构建的深度卷积超分辨率网络模型为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块。第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像。
步骤3中所述进行视频超分辨率重建的深度卷积网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C。
步骤3-2，浅层网络使用卷积操作提取图像特征信息。
步骤3-3，倒数第二层浅层网络形成H*W*C*r2 的图像特征块。
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2 的图像特征块中重建高分辨率图像。
所述亚像素卷积层的具体实现方法是使用大小为的卷积核进行步长为1的卷积可以激活的不同部位，在像素之间的权重不需要计算，被激活的“像素”取决于他们的位置，最多有的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过(，)和(，)，x和y是和高分辨率空间相对应的输出像素。
通过公式表示上述过程
上式中,ISR为重构的超分辨率图像，LLR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置。使用均方误差作为网络迭代的依据，公式如下：
上式中，为迭代中的误差，r为缩放因子，H和W分别指输入图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
步骤4，将高维图像块送入深度卷积网络进行训练。步骤4中训练步骤为：步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow
框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001。
步骤4-2，对网络进行训练，选取Xiph基金会构建的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与以该图为基准帧的高维图像块分别作为标签和输入数据送入网络进行训练。
步骤5，将降质后或者分辨率较低的视频帧送入网络进行超分辨率图像重建。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种视频高时空分辨率信号处理方法，该方法是光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：包括以下步骤：
步骤1，将视频文件按顺序提取其帧序列；
步骤2，从视频的第3帧开始，每一帧都与其前后两帧做光流法运动估计；将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块；
步骤3，构建OF深度卷积超分辨率网络，浅层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；
步骤3中构建的OF深度卷积超分辨率网络为4层结构，分为三层卷积层和一层亚像素卷积层，输入图像为15通道的高维图像块；第一层卷积使用5×5的卷积核共64个，卷积后输出64通道的特征图像；第二层使用3×3的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像；
步骤4，将高维图像块送入OF深度卷积超分辨率网络进行训练；步骤5，将降质后或者分辨率较低的视频帧送入OF深度卷积超分辨率网络进行超分辨率图像重建；
步骤2中所述的高维图像块构建方法为：
步骤2-1，选取视频帧序列连续的5张视频帧，标记中间帧为第n帧，则前两帧分别为n-2、n-1帧，后两帧为n+1，n+2帧；
步骤2-2，在输入神经网络之前对这五张图像进行运动估计，以中心帧第n帧作为基准帧，对其余4帧使用光流法进行运动估计，生成四张运动估计图像；
步骤2-3，将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块；
步骤4中训练步骤为：
步骤4-1，使用Python语言，微软的开源深度学习框架TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；
步骤4-2，对网络进行训练，选取Xiph基金会构建的视频训练数据集Xiph的部分视频序列，其中包含10个视频序列共2695张图像帧；将训练数据集的高分辨率图像与高分辨率图像的高维图像块分别作为标签和输入数据送入网络进行训练。
2.根据权利要求2所述的方法，其特征在于：步骤2-1中所取的基准帧需要在视频帧序列的第3到第n-2帧范围内，以保证前后共4幅运动估计图像的生成。
3.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法，其特征在于：步骤3中OF深度卷积超分辨率网络的构建方法为：
步骤3-1，由于产生了5幅图像的高维图像块，输入的高维图像维度为H*W*5*C；
步骤3-2，浅层网络使用卷积操作提取图像特征信息；
步骤3-3，倒数第二层浅层网络形成H*W*C*r2 的图像特征块；
步骤3-4，最后一层网络亚像素卷积层从H*W*C*r2 的图像特征
块中重建高分辨率图像。
4.根据权利要求4所述的方法，其特征在于：所述亚像素卷积层的具体实现方法是使用大小为KS的卷积核WS进行步长为1/r的卷积可以激活WS的不同部位，在像素之间的权重不需要计算，被激活的像素取决于他们的位置，最多有的权重被激活；当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x，r)和mod(y，r)，x和y是和高分辨率空间相对应的输出像素；
通过公式表示为
5.上式中，ISR为重构的超分辨率图像，LLR是最后一层输出的低分辨率图像块，PS是周期性激活函数，WL是低分辨率图像的宽度，bL为神经网络的偏置；
使用均方误差作为网络迭代的依据，公式如下：
6.上式中，为迭代中的误差，r为缩放因子，H和W分别指图像的高和宽，ILR和IHR分别为输入的低分辨率图像和原始高分辨率图像。
CN202310618236.0A 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法 Pending CN116664400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310618236.0A CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910906175.1A CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN202310618236.0A CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910906175.1A Division CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法

Publications (1)

Publication Number Publication Date
CN116664400A true CN116664400A (zh) 2023-08-29

Family

ID=68974142

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310618236.0A Pending CN116664400A (zh) 2019-09-24 2019-09-24 视频高时空分辨率信号处理方法
CN201910906175.1A Active CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910906175.1A Active CN110634105B (zh) 2019-09-24 2019-09-24 一种光流法和深度网络结合的视频高时空分辨率信号处理方法

Country Status (1)

Country Link
CN (2) CN116664400A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277837A (zh) * 2020-01-21 2020-06-12 济南浪潮高新科技投资发展有限公司 一种应用于视频压缩技术的运动补偿方法
CN111402130B (zh) * 2020-02-21 2023-07-18 华为技术有限公司 数据处理方法和数据处理装置
CN111833245B (zh) * 2020-05-19 2022-11-08 南京邮电大学 一种基于多场景视频补帧算法的超分辨率重建方法
CN111696035A (zh) * 2020-05-21 2020-09-22 电子科技大学 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机
CN112184549B (zh) * 2020-09-14 2023-06-23 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112712537B (zh) * 2020-12-21 2022-10-18 深圳大学 视频时空超分辨率实现方法及装置
CN112669234A (zh) * 2020-12-28 2021-04-16 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN113066014B (zh) * 2021-05-19 2022-09-02 云南电网有限责任公司电力科学研究院 一种图像超分辨方法及装置
CN116051380B (zh) * 2023-01-13 2023-08-22 深圳大学 一种视频超分辨率处理方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931189B (zh) * 2016-05-10 2020-09-11 浙江大学 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107480772B (zh) * 2017-08-08 2020-08-11 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Also Published As

Publication number Publication date
CN110634105B (zh) 2023-06-20
CN110634105A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110634105B (zh) 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN111161150B (zh) 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN108830790B (zh) 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN111640060A (zh) 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
CN110751597A (zh) 基于编码损伤修复的视频超分辨方法
CN114677304A (zh) 一种基于知识蒸馏和深度神经网络的图像去模糊算法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN112422870B (zh) 一种基于知识蒸馏的深度学习视频插帧方法
CN113469884A (zh) 基于数据仿真的视频超分辨方法、系统、设备及存储介质
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
CN106600533A (zh) 单图像超分辨率重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN112396554A (zh) 一种基于生成对抗网络的图像超分辨率算法
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
CN109087247B (zh) 一种对立体图像进行超分的方法
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
Zhang et al. Image super-resolution via RL-CSC: when residual learning meets convolutional sparse coding
CN113674151A (zh) 一种基于深度神经网络的图像超分辨率重建方法
Zhong et al. High-quality face image super-resolution based on Generative Adversarial Networks
CN108629737B (zh) 一种提高jpeg格式图像空间分辨率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination