CN116309233A - 一种基于夜视增强的红外与可见光图像融合方法 - Google Patents
一种基于夜视增强的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN116309233A CN116309233A CN202310542951.0A CN202310542951A CN116309233A CN 116309233 A CN116309233 A CN 116309233A CN 202310542951 A CN202310542951 A CN 202310542951A CN 116309233 A CN116309233 A CN 116309233A
- Authority
- CN
- China
- Prior art keywords
- image
- night vision
- fusion
- enhancement
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 56
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于红外与可见光图像融合领域，具体涉及一种基于夜视增强的红外与可见光图像融合方法；该方法包括以下步骤：首先，对弱光夜视环境下的可见光图像进行预处理，得到夜视增强图像；第二，通过双尺度变换将红外、夜视增强图像分解为细节层和基层；第三，对红外和夜视增强图像通过显著性检测提取出图像的显著性特征图层，并转化为融合权重；第四，细节层采用显著权重进行融合，基层采用平均策略进行融合，并重构得到融合结果；最后，提出一种基于幂函数的区域像素增强算法，对融合结果进行增强。该发明方法能够有效解决融合图像的清晰度和对比度低问题，还能丰富图像的细节纹理，且融合耗时短。
Description
技术领域
本发明属于红外与可见光图像融合领域，具体涉及一种夜视增强的红外与可见光图像融合方法。
背景技术
红外图像和可见光图像具有不同的物理特性和成像机制，如红外传感成像不受光照强度、能见度、天气等外部环境的影响，在弱光夜视环境下也能根据实际场景的热辐射差异来区分背景和目标，抗外界干扰能力强，但获取的红外图像空间分辨率差，无法提供完整的环境、细节纹理等信息。可见光传感器在光源充足的外部环境下能够获取目标清晰、细节丰富、符合人类视觉感知的图像，但在弱光夜视环境下捕获到的图像较为模糊，不能有效表征目标场景的完整信息。将红外图像与可见光图像进行融合，可以充分结合两者的优点，从而生成更加全面和详细的图像，因此，红外与可见光图像融合广泛应用于军事侦察、医学影像、夜间行驶等计算机视觉应用领域。
红外与可见光图像融合的实现方法可分为像素级、特征级和决策级三个层次，其中像素级融合通过对源图像像素直接操作，能更好地保留源图像的有效信息，因此研究应用也最为广泛。目前，像素级图像融合方法主要分为传统方法和基于深度学习的方法，基于深度学习的方法具有出色的特征提取能力，因此具有广阔的研究前景，但融合过程需要大量的数据来确保训练结果的准确性，并且容易出现特征提取不完整的现象，导致融合结果不够清晰，纹理信息不够细致。传统方法主要包括基于多尺度变换、基于显著性、基于稀疏表示、基于子空间以及混合等方法。多尺度变换方法通过将源图像分解为多个尺度和方向的子图像，根据每个子图像的特点来选择对应的融合规则进行融合，其融合结果融合人们的视觉感知，因此研究最为广泛。但传统的多尺度变换方法存在很多缺陷，如金字塔变换缺少方向性，小波变换缺乏平移不变性，曲波和轮廓波变换可能导致图像出现伪吉布斯现象，非下采样轮廓波和非下采样剪切波分解过程的计算复杂度较高。在弱光夜视环境下，现有的红外与可见光图像融合方法都存在融合结果对比度较低、融合图像不够清晰，目标不够突出等问题。
发明内容
本发明的目的是为了解决弱光夜视环境下的红外与可见光图像融合结果的对比度较低、融合图像不够清晰、显著信息不够突出等问题。
为解决上述问题，本发明提供一种基于夜视增强的红外与可见光图像融合方法，通过对弱光夜视下的可见光图像进行增强，提高融合输入图像的整体质量，对融合图像再次进行增强，提高融合结果的对比度信息。
一种基于夜视增强的红外与可见光图像融合方法，主要包含以下步骤。
步骤（一）：图像预处理，通过使用基于引导滤波的动态范围压缩和对比度恢复自适应增强算法来增强弱光夜视环境下的可见光图像，得到夜视增强图像，以增强输入图像的清晰度和细节信息。具体实现步骤为：
①将弱光夜视环境下的可见光图像Ivi通过引导滤波器得到滤波图像Igvi，式中r表示滤波尺寸，eps表示滤波参数。
②对滤波结果Igvi取对数得到可见光的基层图像Ib，对可见光图像Ivi取对数运算再减去基层图像Ib得到细节层图像 Id，计算公式如下，式中加上常数C的作用是为了避免对数运算的结果为负数。
③基层Ib乘以一个尺度因子β进行动态压缩，加上另一个因子γ来恢复整体对比
度，再加上细节层Id可得到对数域的夜视增强图像，计算结果为：
。
④通过自然指数运算从对数域中恢复夜视增强图像
。
步骤（二）：图像分解，使用双尺度变换分别将夜视增强图像和红外图像分解为细节层图像和基层图像。具体实现步骤为：通过35*35尺寸模板的均值滤波器对夜视增强图像Ivi_en进行滤波，得到夜视增强图像的基层IBvi_en，细节层IDvi_en为Ivi_en减去IBvi_en；同理，红外图像Iir通过均值滤波器可得到红外图像的基层IBir和细节层IDir。
步骤（三）：构建融合权重，通过显著性检测提取出图像的显著性特征图层，并进一步转化为融合权重。具体实现步骤为：首先，夜视增强图像通过引导滤波器得到滤波图像，如下式，引导图P与滤波图像相同，变量j为vi_en、ir，分别代表夜视增强图像和红外图像。
显著性特征图层Sj表示为图像的基层IBj与引导滤波后结果Igj之差的绝对值，公
式表示为
，将红外图像和夜视增强图像依次通过引导滤波，可得到红外图像
的显著图层Sir和夜视增强图像的显著图层Svi_en，再将显著性特征图层转换为细节层融
合系数
。
步骤（四）：融合及重构，基层使用平均策略的方法进行融合，融合结果为
。细节层通过显著性检测构建的权重进行融合，融合结果为
,将细节层和基层融合结果相加重构得到融合结果
。
步骤（五）：增强融合图像，将步骤（四）中的融合图像img的像素值划分为三个区域段，使用基于幂函数的区域像素增强算法分别对三个不同的区域段的像素进行处理，从而得到最终的对比度增强图像。下式中A、B为区域划分参数，EA、EB为增强系数，（m,n）为像素点位置，imgEN为增强结果，增强校正系数a=1－A/ max(img)，b=1－B/ max(img)，σ=2。
当步骤（四）中的融合结果的像素值img（m,n）<A时，像素值处于低灰度级位置，图像整体颜色靠近黑色，为增强融合结果的对比度，对此位置的像素值乘以增强系数EA，此时增强系数EA<1。当步骤（四）中的融合结果的像素值A≤img（m,n）≤B时，像素值处于中间灰度级位置，对此位置的像素值不做处理，保留图像的灰度区域。当步骤（四）中的融合结果的像素值img（m,n）>B时，像素值处于高灰度级位置，图像整体颜色靠近白色，为增强融合结果的对比度，对此位置的像素值乘以增强系数EB，此时增强系数EB>1。
附图说明
图1为实现本发明方法的流程框图。
图2为数据集‘Camp’的红外、可见光图像及融合结果对比。
图3为数据集‘Road’的红外、可见光图像及融合结果对比。
图4为数据集‘Marne’的红外、可见光图像及融合结果对比。
具体实施方式
下面结合附图，通过具体实验与分析，对本发明方法的实现进行详细说明。
一种基于夜视增强的红外与可见光图像融合方法结构框图如附图1所示，包括图像预处理、图像分解、构建融合权重、融合及重构、增强融合图像五个步骤，实验中的红外输入源图像和可见光输入源图像来自TNO公共数据集。
（1）图像预处理；通过使用基于引导滤波的动态范围压缩和对比度恢复自适应增强算法来增强弱光夜视环境下的可见光图像，以增强输入图像的清晰度和细节信息，具体实现步骤为：
①对可见光源图像Ivi进行引导滤波，计算公式如下，引导图P与可见光图像相同，r表示滤波尺寸，取输入图像最大尺寸的0.04倍，根据图像尺寸大小自适应改变，eps表示滤波参数，此处取0.01；
②对滤波结果Igvi取对数得到可见光的基层图像Ib，计算公式如下，式中加上常数C的作用是为了避免对数运算的结果为负数，此处C=1；对可见光图像Ivi取对数运算再减去基层图像Ib得到细节层图像 Id。
③对Ib进行动态压缩和增强对比度操作可得到对数域的夜视增强图像，计算结果为：
式中β为动态压缩因子，
，目的是对基层实现动态范围压缩，
T=4为对比度目标基，保证β<1，以降低基层对比度来实现动态压缩。γ为增强对比度因子，
，用来恢复动态压缩过程中降低的对比度。
④最后通过自然指数运算从对数域中恢复夜视增强图像
。
（2）图像分解；使用双尺度变换分别将夜视增强图像和红外图像分解为细节层图像和基层图像。具体实现步骤为：通过35*35尺寸模板的均值滤波器对夜视增强图像Ivi_en进行滤波，得到夜视增强图像的基层IBvi_en，细节层IDvi_en为Ivi_en减去IBvi_en；同理，红外图像Iir通过均值滤波器可得到红外图像的基层IBir和细节层IDir。
（3）构建融合权重；通过显著性检测提取出图像的显著性特征图层，并进一步转化为融合权重。具体实现步骤为：首先，将夜视增强图像和红外图像通过引导滤波器，如下式，引导图P与滤波图像相同，变量j为vi_en、ir，分别代表夜视增强图像和红外图像。
显著性特征图层Sj表示为图像的基层IBj与引导滤波后结果Igj之差的绝对值，公
式表示为
，将红外图像和夜视增强图像依次通过引导滤波，可得到红外图像
的显著图层Sir和夜视增强图像的显著图层Svi_en，再将显著性特征图层转换为细节层融
合系数
。
（4）融合重构；基层使用平均策略的方法进行融合，基层融合结果为
，细节层通过显著性检测构建的权重进行融合，细节层融合
结果为
,将细节层和基层融合结果相加重构得到融合结
果
。
（5）增强融合图像，将（4）中的融合图像的像素值划分为三个区域段，使用基于幂函数的区域像素增强算法分别对三个不同的区域段进行增强，提高融合图像的对比度。图像像素的灰度等级为0~255，0为黑色，255为白色，下式中区域划分参数A=100， B=A+ max(img) /2，σ=2，（m,n）为像素点位置，增强校正系数a=1－A/ max(img)，b=1－B/ max(img)。
当（4）中的融合结果的像素值img（m,n）<A时，像素值处于低灰度级位置，图像整体颜色靠近黑色，为增强融合结果的对比度，对此位置的像素值乘以增强系数EA，此时增强系数EA<1。当（4）中的融合结果的像素值A≤img（m,n）≤B时，像素值处于中间灰度级位置，对此位置的像素值不做处理，保留图像的灰度区域。当（4）中的融合结果的像素值img（m,n）>B时，像素值处于高灰度级位置，图像整体颜色靠近白色，为增强融合结果的对比度，对此位置的像素值乘以增强系数EB，此时增强系数EB>1。
下面通过实验及主、客观评价对比来证明本发明方法的有效性，实验数据集选用TNO公共数据集，附图2~4分别为数据集‘Camp’、‘Road’、‘Marne’的红外与可见光图像融合图，其中（a）为红外图像，（b）为可见光图像，（c）为可见光的夜视增强图像，（d）为普通的双尺度变换算法（TIF）的融合结果，（e）表示本发明方法的具体实施方式（4）中的融合结果，用Ehn_TIF表示，（f）表示本发明方法的融合结果，即对（e）进行对比度增强的结果。
从附图2~4可看出，夜视增强图像（c）能够提高弱光夜视下可见光图像的清晰度和整体质量，为接下来的融合流程提供更多的有效信息。总的来说，融合结果（d）~（f）都能够将红外图像的热辐射信息和可见光图像的细致纹理融合到一副图像上，但对比图（e）和（f），TIF算法的融合图像（d）整体亮度较低，所呈现的细节信息较少，如在图3的‘Road’数据集中，对比图（e）和（f），融合结果（d）无法体现图像上方的窗户、门等具体细节，行人、通道等显著目标也较为模糊。融合结果（f）是在（e）的基础上进行对比度增强得到的结果，与图（f）比较，图（e）的整体图像显得灰暗，可轻易看出图（f）的对比度确实得到了增强。
客观评价采用平均梯度（average gradient，AG）、边缘强度（edge intensity，EI）、信息熵（information entropy，IE）、标准差（standard deviation，SD）空间频率（spatial frequency，SF）、以及视觉信息保真度（visual information fidelity，VIF）共6种指标，指标越大，代表融合效果越好。从表1可看出Ehn_TIF方法的融合结果除了在数据集‘Road’的客观评价指标VIF上比TIF方法要小，其余的指标都比TIF方法要好，而本发明提出的方法在3组数据集上的6个评价指标都要高于两种对比方法。其中指标AG、EI、SD较好表明融合结果的清晰度和对比度较高，指标EN、SF较好表示融合图像的细节纹理和边缘信息较为丰富，指标VIF越高表示融合图像越符合人类的视觉感知，由于采用了双尺度变换分解图像，三种方法的融合时间都比较短。
Claims (5)
1.一种基于夜视增强的红外与可见光图像融合方法，其特征在于，包含以下步骤:
步骤一：图像预处理，通过基于引导滤波的动态范围压缩和对比度恢复自适应增强算法来增强弱光夜视环境下的可见光图像，得到夜视增强图像；
步骤二：图像分解，使用双尺度变换分别将夜视增强图像和红外图像分解为细节层图像和基层图像；
步骤三：构建融合权重，通过显著性检测提取出图像的显著性特征图层，并进一步转化为融合权重；
步骤四：融合及重构，基层使用平均策略的方法进行融合，细节层通过显著性检测构建的权重进行融合，将细节层和基层融合结果相加重构得到融合结果；
步骤五：增强融合图像，提出一种基于幂函数的区域像素增强方法，将步骤四中的融合结果进行对比度增强，得到最终的增强图像。
2.根据权利要求1中所述的一种基于夜视增强的红外与可见光图像融合方法，其特征在于，步骤一中的图像预处理具体实现步骤为2-1到2-4：
2-1、将弱光夜视环境下的可见光图像Ivi通过引导滤波器得到滤波图像Igvi；
2-2、对滤波结果Igvi取对数得到可见光的基层图像Ib，对可见光图像Ivi取对数运算再减去基层图像Ib得到细节层图像 Id；
2-3、基层Ib乘以一个尺度因子β进行动态压缩，加上另一个因子γ来恢复整体对比度，再加上细节层Id可得到对数域的夜视增强图像x，计算结果为：
；
2-4、通过自然指数运算从对数域中恢复夜视增强图像
。
3.根据权利要求1中所述的一种基于夜视增强的红外与可见光图像融合方法，其特征在于，步骤二中图像分解的具体实现步骤为： 将步骤2-4中夜视增强图像Ivi_en通过均值滤波器得到基层IBvi_en，细节层IDvi_en为Ivi_en减去IBvi_en；同理，红外图像Iir通过均值滤波器可得到红外图像的基层IBir和细节层IDir。
4.根据权利要求1中所述的一种基于夜视增强的红外与可见光图像融合方法，其特征在于，步骤三中构建权重图的具体实现步骤为：将夜视增强图像通过引导滤波器得到滤波图像Igj，变量j为vi_en、ir，分别代表夜视增强图像和红外图像；显著性特征图层Sj表示为图像的基层IBj与引导滤波后结果Igj之差的绝对值，公式表示为
，将红外图像和夜视增强图像依次通过引导滤波，可得到红外图像的显著图层Sir和夜视增强图像的显著图层Svi_en，再将显著性特征图层转换为细节层融合系数/>
。
5.根据权利要求1中所述的一种基于夜视增强的红外与可见光图像融合方法，其特征在于，步骤五中使用基于幂函数的区域像素增强算法增强融合图像的具体实现为： 将步骤四中的融合图像的像素值划分为三个区域段，使用基于幂函数的区域像素增强算法分别对三个不同区域段的像素进行处理，从而得到最终的对比度增强图像，实现公式如下：
式中A、B为区域划分参数，EA、EB为增强系数，（m,n）为像素点位置，imgEN为增强结果，a和b为增强校正系数，用来控制EA、EB的大小，σ为幂次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310542951.0A CN116309233A (zh) | 2023-05-15 | 2023-05-15 | 一种基于夜视增强的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310542951.0A CN116309233A (zh) | 2023-05-15 | 2023-05-15 | 一种基于夜视增强的红外与可见光图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309233A true CN116309233A (zh) | 2023-06-23 |
Family
ID=86826121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310542951.0A Pending CN116309233A (zh) | 2023-05-15 | 2023-05-15 | 一种基于夜视增强的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309233A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543284A (zh) * | 2023-07-06 | 2023-08-04 | 国科天成科技股份有限公司 | 基于场景类的可见光红外双光融合方法和系统 |
-
2023
- 2023-05-15 CN CN202310542951.0A patent/CN116309233A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543284A (zh) * | 2023-07-06 | 2023-08-04 | 国科天成科技股份有限公司 | 基于场景类的可见光红外双光融合方法和系统 |
| CN116543284B (zh) * | 2023-07-06 | 2023-09-12 | 国科天成科技股份有限公司 | 基于场景类的可见光红外双光融合方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765336B (zh) | 基于暗亮原色先验与自适应参数优化的图像去雾方法 | |
| CN113222877B (zh) | 红外和可见光图像融合方法及其在机载光电视频中的应用 | |
| Ma et al. | An effective fusion defogging approach for single sea fog image | |
| Li et al. | Infrared image enhancement based on atmospheric scattering model and histogram equalization | |
| CN107274365A (zh) | 一种基于反锐化掩模和nsct算法的矿井图像增强方法 | |
| Song et al. | High dynamic range infrared images detail enhancement based on local edge preserving filter | |
| Li et al. | Low-light image enhancement via pair of complementary gamma functions by fusion | |
| CN106204470A (zh) | 基于模糊理论的低照度成像方法 | |
| CN103268598A (zh) | 基于Retinex理论的低照度低空遥感影像增强方法 | |
| CN105427257A (zh) | 图像增强方法及装置 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN113096053B (zh) | 基于多尺度引导滤波的高动态红外图像细节增强方法 | |
| CN106875358A (zh) | 基于Bayer格式的图像增强方法及图像增强装置 | |
| CN105096278A (zh) | 基于光照调整的图像增强方法和设备 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN104537678A (zh) | 一种从单幅遥感图像中去除云雾的方法 | |
| CN116309233A (zh) | 一种基于夜视增强的红外与可见光图像融合方法 | |
| Yang et al. | Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform | |
| CN115587945A (zh) | 高动态红外图像细节增强方法、系统及计算机存储介质 | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| CN113298744B (zh) | 一种端到端的红外与可见光图像融合方法 | |
| Zhuang et al. | Image enhancement by deep learning network based on derived image and retinex | |
| CN113822816A (zh) | 气雾散射模型优化的单张遥感图像去霾方法 | |
| Zhu et al. | Fusion of the low-light-level visible and infrared images for night-vision context enhancement | |
| CN117422631A (zh) | 基于自适应滤波分层的红外图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |