CN117061887A - 消除多通道ccd图像非均匀性校正后图像闪烁的方法 - Google Patents
消除多通道ccd图像非均匀性校正后图像闪烁的方法 Download PDFInfo
- Publication number
- CN117061887A CN117061887A CN202311074651.0A CN202311074651A CN117061887A CN 117061887 A CN117061887 A CN 117061887A CN 202311074651 A CN202311074651 A CN 202311074651A CN 117061887 A CN117061887 A CN 117061887A
- Authority
- CN
- China
- Prior art keywords
- channel
- adjacent
- image
- adjacent channel
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000009499 grossing Methods 0.000 claims abstract description 31
- 230000008030 elimination Effects 0.000 claims abstract description 20
- 238000003379 elimination reaction Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及数字图像处理,具体涉及消除多通道CCD图像非均匀性校正后图像闪烁的方法,驱动CCD输出多通道模拟图像信号,将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接;选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数;对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数;利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除;基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数;本发明提供的技术方案能够有效克服现有技术所存在的不能适用于不同场景的图像、实现方式复杂、实时性不高的缺陷。
Description
技术领域
本发明涉及数字图像处理,具体涉及消除多通道CCD图像非均匀性校正后图像闪烁的方法。
背景技术
在数字图像处理领域,CCD图像传感器为了实现更高帧率输出通常采用2通道或者4通道输出图像数据,每个通道的模拟图像信号经模数转换器转换成数字图像信号。而在实现过程中,由于各通道的电路走线以及模数转换器的差异,会使得各通道之间的图像在亮度和色度上出现偏差,进而导致图像拼接后出现接缝。
为了解决上述问题,有必要对这种偏差进行非均匀性校正。而这种偏差校正是通过调整各通道的增益系数来实现的,当然在增益系数动态调整的过程中必然会带来图像闪烁的问题,因此必须采用合适的方法来消除非均匀性校正后的图像闪烁。
现有技术主要中,大部分都是通过调整模数转换器的参数和CCD图像传感器的驱动时序来调整各通道差异,以实现各通道的非均匀性校正,然后固定参数。固定参数不会导致图像闪烁,但是对于不同亮度、不同场景的图像,由于采用同样参数进行非均匀性校正,必然会导致校正效果大打折扣。
此外,还有一种方法是根据图像亮度和色度动态调整参数,通过减小每次参数调整的步进长度,这样能够改善图像闪烁的问题。但是,这种方法实现方式复杂,如果步进长度过大,则不能有效改善图像闪烁的问题;反之,如果步进长度过小,虽然能够较好地消除图像闪烁,但算法收敛时间较长,实时性不高且实现复杂。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点,本发明提供了消除多通道CCD图像非均匀性校正后图像闪烁的方法,能够有效克服现有技术所存在的不能适用于不同场景的图像、实现方式复杂、实时性不高的缺陷。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
消除多通道CCD图像非均匀性校正后图像闪烁的方法,包括以下步骤:
S1、驱动CCD输出多通道模拟图像信号,将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接;
S2、选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数;
S3、对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数;
S4、利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除;
S5、基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数;
S6、对各非邻接通道的增益系数进行平滑处理,分别得到相应的第二平滑增益系数;
S7、利用第二平滑增益系数对各非邻接通道进行图像非均匀性校正和图像闪烁消除。
优选地,S1中将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接,包括:
利用AD转换器将多通道模拟图像信号分别转换为Bayer阵列图像,并进行图像拼接。
优选地,S2中选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数,包括:
设有A、B、C、D四通道,其中A通道为基准通道,B、C通道为邻接通道,D通道为非邻接通道,则邻接通道B、C的增益系数计算过程如下:
统计基准通道A中第一行G分量的累加值Gra和最后一列G分量的累加值Gca,邻接通道B中第一行G分量的累加值Grb和最后一列G分量的累加值Gcb,邻接通道C中第一行G分量的累加值Grc和最后一列G分量的累加值Gcc;
采用下式计算邻接通道B的增益系数Bgain:
Bgain=Gca/Gcb
采用下式计算邻接通道C的增益系数Cgain:
Cgain=Gra/Grc。
优选地,S3中对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数,包括:
将邻接通道B的增益系数Bgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道B的第一平滑增益系数Bgain_filter;
将邻接通道C的增益系数Cgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道C的第一平滑增益系数Cgain_filter。
优选地,S4中利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除,包括:
将邻接通道B输出的每个像素乘以邻接通道B的第一平滑增益系数Bgain_filter,完成邻接通道B的图像非均匀性校正和图像闪烁消除;
将邻接通道C输出的每个像素乘以邻接通道C的第一平滑增益系数Cgain_filter,完成邻接通道C的图像非均匀性校正和图像闪烁消除。
优选地,S5中基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数,包括:
采用下式计算邻接通道B的第一平滑增益系数差值B_diff:
B_diff=Bgain_filter-Bgain_filter_be
采用下式计算邻接通道C的第一平滑增益系数差值C_diff:
C_diff=Cgain_filter-Cgain_filter_be
其中,Bgain_filter_be、Cgain_filter_be分别代表邻接通道B、C上一帧的第一平滑增益系数;
当|B_diff|<0.01且|C_diff|<0.01时,表示邻接通道B、C调整完毕,然后以邻接通道B为基准通道,计算非邻接通道D的增益系数。
优选地,所述以邻接通道B为基准通道,计算非邻接通道D的增益系数,包括:
统计非邻接通道D中第一行G分量的累加值Grd和最后一列G分量的累加值Gcd;
采用下式计算非邻接通道D的增益系数Dgain:
Dgain=Grb/Grd。
优选地,S6中对各非邻接通道的增益系数进行平滑处理,分别得到相应的第二平滑增益系数,包括:
将非邻接通道D的增益系数Dgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到非邻接通道D的第二平滑增益系数Dgain_filter。
优选地,所述滤波器W为滑动窗口滤波器,所述滑动窗口滤波器为一个窗口长度N=16的行滤波器,所述滑动窗口滤波器的初始参数为(1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1)。
优选地,S7中利用第二平滑增益系数对各非邻接通道进行图像非均匀性校正和图像闪烁消除,包括:
将非邻接通道D输出的每个像素乘以非邻接通道D的第二平滑增益系数Dgain_filter,完成非邻接通道D的图像非均匀性校正和图像闪烁消除。
(三)有益效果
与现有技术相比,本发明所提供的消除多通道CCD图像非均匀性校正后图像闪烁的方法,能够有效解决动态调整参数过程中,因步进长度调整过大不能改善图像闪烁的问题,并且实现方式简单,计算效率较高,具有较好的实时性,同时能够确保对不同场景图像的适应能力,从而能够消除不同场景图像非均匀性校正后的图像闪烁。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图;
图2为本发明中将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
消除多通道CCD图像非均匀性校正后图像闪烁的方法,如图1和图2所示,①驱动CCD输出多通道模拟图像信号,将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接。
具体地,将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接,包括:
利用AD转换器将多通道模拟图像信号分别转换为Bayer阵列图像,并进行图像拼接。
②选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数,具体包括:
设有A、B、C、D四通道,其中A通道为基准通道,B、C通道为邻接通道,D通道为非邻接通道,则邻接通道B、C的增益系数计算过程如下(由于Bayer阵列图像中G分量占1/2,R、B分量各占1/4,所以G分量占比较大,可以通过统计G分量差异来表示各通道的实际差异):
统计基准通道A中第一行G分量的累加值Gra和最后一列G分量的累加值Gca,邻接通道B中第一行G分量的累加值Grb和最后一列G分量的累加值Gcb,邻接通道C中第一行G分量的累加值Grc和最后一列G分量的累加值Gcc;
采用下式计算邻接通道B的增益系数Bgain:
Bgain=Gca/Gcb
采用下式计算邻接通道C的增益系数Cgain:
Cgain=Gra/Grc。
③对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数,具体包括:
将邻接通道B的增益系数Bgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道B的第一平滑增益系数Bgain_filter;
将邻接通道C的增益系数Cgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道C的第一平滑增益系数Cgain_filter。
④利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除,具体包括:
将邻接通道B输出的每个像素乘以邻接通道B的第一平滑增益系数Bgain_filter,完成邻接通道B的图像非均匀性校正和图像闪烁消除;
将邻接通道C输出的每个像素乘以邻接通道C的第一平滑增益系数Cgain_filter,完成邻接通道C的图像非均匀性校正和图像闪烁消除。
⑤基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数,具体包括:
采用下式计算邻接通道B的第一平滑增益系数差值B_diff:
B_diff=Bgain_filter-Bgain_filter_be
采用下式计算邻接通道C的第一平滑增益系数差值C_diff:
C_diff=Cgain_filter-Cgain_filter_be
其中,Bgain_filter_be、Cgain_filter_be分别代表邻接通道B、C上一帧的第一平滑增益系数;
当|B_diff|<0.01且|C_diff|<0.01时,表示邻接通道B、C调整完毕,然后以邻接通道B为基准通道,计算非邻接通道D的增益系数。
具体地,以邻接通道B为基准通道,计算非邻接通道D的增益系数,包括:
统计非邻接通道D中第一行G分量的累加值Grd和最后一列G分量的累加值Gcd;
采用下式计算非邻接通道D的增益系数Dgain:
Dgain=Grb/Grd。
⑥对各非邻接通道的增益系数进行平滑处理,分别得到相应的第二平滑增益系数,具体包括:
将非邻接通道D的增益系数Dgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到非邻接通道D的第二平滑增益系数Dgain_filter。
本申请技术方案中,滤波器W为滑动窗口滤波器,滑动窗口滤波器为一个窗口长度N=16(经验证,窗口长度N取16时能够很好地解决图像闪烁问题)的行滤波器,滑动窗口滤波器的初始参数为(1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1)。
⑦利用第二平滑增益系数对各非邻接通道进行图像非均匀性校正和图像闪烁消除,具体包括:
将非邻接通道D输出的每个像素乘以非邻接通道D的第二平滑增益系数Dgain_filter,完成非邻接通道D的图像非均匀性校正和图像闪烁消除。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:包括以下步骤:
S1、驱动CCD输出多通道模拟图像信号,将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接;
S2、选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数;
S3、对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数;
S4、利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除;
S5、基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数;
S6、对各非邻接通道的增益系数进行平滑处理,分别得到相应的第二平滑增益系数;
S7、利用第二平滑增益系数对各非邻接通道进行图像非均匀性校正和图像闪烁消除。
2.根据权利要求1所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S1中将多通道模拟图像信号分别转换为Bayer阵列图像并进行图像拼接,包括:
利用AD转换器将多通道模拟图像信号分别转换为Bayer阵列图像,并进行图像拼接。
3.根据权利要求1所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S2中选定多通道中的基准通道,计算与基准通道相邻的各邻接通道的增益系数,包括:
设有A、B、C、D四通道,其中A通道为基准通道,B、C通道为邻接通道,D通道为非邻接通道,则邻接通道B、C的增益系数计算过程如下:
统计基准通道A中第一行G分量的累加值Gra和最后一列G分量的累加值Gca,邻接通道B中第一行G分量的累加值Grb和最后一列G分量的累加值Gcb,邻接通道C中第一行G分量的累加值Grc和最后一列G分量的累加值Gcc;
采用下式计算邻接通道B的增益系数Bgain:
Bgain=Gca/Gcb
采用下式计算邻接通道C的增益系数Cgain:
Cgain=Gra/Grc。
4.根据权利要求3所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S3中对各邻接通道的增益系数进行平滑处理,分别得到相应的第一平滑增益系数,包括:
将邻接通道B的增益系数Bgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道B的第一平滑增益系数Bgain_filter;
将邻接通道C的增益系数Cgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到邻接通道C的第一平滑增益系数Cgain_filter。
5.根据权利要求4所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S4中利用第一平滑增益系数对各邻接通道进行图像非均匀性校正和图像闪烁消除,包括:
将邻接通道B输出的每个像素乘以邻接通道B的第一平滑增益系数Bgain_filter,完成邻接通道B的图像非均匀性校正和图像闪烁消除;
将邻接通道C输出的每个像素乘以邻接通道C的第一平滑增益系数Cgain_filter,完成邻接通道C的图像非均匀性校正和图像闪烁消除。
6.根据权利要求4所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S5中基于各邻接通道的第一平滑增益系数计算与基准通道非相邻的各非邻接通道的增益系数,包括:
采用下式计算邻接通道B的第一平滑增益系数差值B_diff:
B_diff=Bgain_filter-Bgain_filter_be
采用下式计算邻接通道C的第一平滑增益系数差值C_diff:
C_diff=Cgain_filter-Cgain_filter_be
其中,Bgain_filter_be、Cgain_filter_be分别代表邻接通道B、C上一帧的第一平滑增益系数;
当|B_diff|<0.01且|C_diff|<0.01时,表示邻接通道B、C调整完毕,然后以邻接通道B为基准通道,计算非邻接通道D的增益系数。
7.根据权利要求6所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:所述以邻接通道B为基准通道,计算非邻接通道D的增益系数,包括:
统计非邻接通道D中第一行G分量的累加值Grd和最后一列G分量的累加值Gcd;
采用下式计算非邻接通道D的增益系数Dgain:
Dgain=Grb/Grd。
8.根据权利要求7所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S6中对各非邻接通道的增益系数进行平滑处理,分别得到相应的第二平滑增益系数,包括:
将非邻接通道D的增益系数Dgain逐步移入滤波器W,然后与窗口系数相乘后累加,将累加结果除以窗口长度N得到非邻接通道D的第二平滑增益系数Dgain_filter。
9.根据权利要求4或8所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:所述滤波器W为滑动窗口滤波器,所述滑动窗口滤波器为一个窗口长度N=16的行滤波器,所述滑动窗口滤波器的初始参数为(1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1)。
10.根据权利要求8所述的消除多通道CCD图像非均匀性校正后图像闪烁的方法,其特征在于:S7中利用第二平滑增益系数对各非邻接通道进行图像非均匀性校正和图像闪烁消除,包括:
将非邻接通道D输出的每个像素乘以非邻接通道D的第二平滑增益系数Dgain_filter,完成非邻接通道D的图像非均匀性校正和图像闪烁消除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311074651.0A CN117061887A (zh) | 2023-08-24 | 2023-08-24 | 消除多通道ccd图像非均匀性校正后图像闪烁的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311074651.0A CN117061887A (zh) | 2023-08-24 | 2023-08-24 | 消除多通道ccd图像非均匀性校正后图像闪烁的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117061887A true CN117061887A (zh) | 2023-11-14 |
Family
ID=88662389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311074651.0A Pending CN117061887A (zh) | 2023-08-24 | 2023-08-24 | 消除多通道ccd图像非均匀性校正后图像闪烁的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117061887A (zh) |
-
2023
- 2023-08-24 CN CN202311074651.0A patent/CN117061887A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3834130B2 (ja) | デジタルカメラ | |
CN101193316B (zh) | 一种自适应白平衡校正方法 | |
US7102669B2 (en) | Digital color image pre-processing | |
US8089528B2 (en) | Color signal processing circuit, image pickup apparatus, and color signal processing method | |
JPH10261078A (ja) | 撮像装置の階調補正方法 | |
US20090201417A1 (en) | Progressive-to-interlace conversion method, image processing apparatus, imaging apparatus | |
US8111301B2 (en) | Method of performing auto white balance in YCbCr color space | |
KR20040110502A (ko) | 디지털 영상장치의 화이트 밸런스 조정방법 | |
JP4352730B2 (ja) | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 | |
CN117061887A (zh) | 消除多通道ccd图像非均匀性校正后图像闪烁的方法 | |
US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
JP3315138B2 (ja) | 固体撮像装置 | |
CN1251517C (zh) | 色泽校正电路和使用该电路的数字摄像机信号处理电路 | |
JP2000354250A (ja) | 撮像装置 | |
US7262796B2 (en) | Processing of color signals in a color camera | |
JP4314898B2 (ja) | 撮像装置、及びその画像制御方法 | |
JPH02203677A (ja) | 撮像装置 | |
JP6899292B2 (ja) | 撮像装置 | |
JPH1175112A (ja) | 自動利得制御回路 | |
JP2638186B2 (ja) | カラーテレビジョン信号伝送方式 | |
JP4099010B2 (ja) | 信号処理回路 | |
US20080239156A1 (en) | Image pickup apparatus | |
CN116347053A (zh) | 图像增益自抑制的方法、装置及存储介质 | |
KR100531858B1 (ko) | 표시 장치의 자동 화이트 밸런스 장치 | |
JPS6213191A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |