CN109828430A - 一种基于压缩感知理论的立体成像装置及系统 - Google Patents
一种基于压缩感知理论的立体成像装置及系统 Download PDFInfo
- Publication number
- CN109828430A CN109828430A CN201811393465.2A CN201811393465A CN109828430A CN 109828430 A CN109828430 A CN 109828430A CN 201811393465 A CN201811393465 A CN 201811393465A CN 109828430 A CN109828430 A CN 109828430A
- Authority
- CN
- China
- Prior art keywords
- dmd
- imaging
- camera lens
- lens
- modulation areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 93
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 8
- 101100277918 Caenorhabditis elegans dmd-4 gene Proteins 0.000 description 19
- 238000003331 infrared imaging Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Radiation Pyrometers (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明涉及一种基于压缩感知理论的立体成像装置及系统，属于压缩感知成像技术领域。本发明提出的基于压缩感知理论的立体成像装置，包括DMD模块以及至少两个成像子系统，DMD模块包括至少两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上。本发明根据双目视觉立体成像原理，利用至少两个成像子系统对目标位置的图像信息进行采集，可以获得目标的深度信息，实现了三维几何图像的获取，同时利用DMD模块进行调制，将压缩感知技术和立体成像技术结合在一起，提高了成像的分辨率。
Description
技术领域
本发明涉及一种基于压缩感知理论的立体成像装置及系统，属于压缩感知成像技术领域。
背景技术
压缩感知，也被称为压缩采样、稀疏采样、压缩传感。它作为一个新的采样理论，通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性算法重建信号。压缩感知理论一经提出，就引起学术界和工业界的广泛关注。它在信息论、图像处理、地球科学、光学/微波成像、模式识别、无线通信、生物医学工程等领域受到高度关注。
近年来，运用压缩传感原理进行成像大大提高了成像质量，尤其是红外成像。红外成像技术具有隐蔽性好、抗干扰能力强、工作距离远和全天候等优点，广泛应用于战场侦察、精确制导、目标检测等军用领域和质量控制、医疗检查、公共场所安防等民用领域。然而，当前红外成像技术面临着以下两个问题：(1)红外图像传感器的分辨率不高，且成本随分辨率提高而急剧上升；(2)单一的二维红外图像无法表征场景的几何信息，即在红外相机成像过程中丢失了深度信息。因此，如何解决分辨率与成本的矛盾、如何还原场景深度信息成为技术发展的关键因素。
申请公布号为CN 104483025 A的中国发明专利申请文件中公开了一种单点红外成像系统，通过DMD技术能够实现单点红外成像，但是却无法获取到目标的三维几何图像，尤其是目标的立体结构比较复杂的时候，因此，该单点红外成像系统的探测可靠性较差。
发明内容
本发明的目的在于提供一种基于压缩感知理论的立体成像装置及系统，用于解决现有的基于压缩感知理论的成像系统无法获取到目标的三维几何图像造成探测可靠性较差的问题。
为实现上述目的，本发明提出一种基于压缩感知理论的立体成像装置及系统。
一种基于压缩感知理论的立体成像装置，包括DMD模块以及至少两个成像子系统，DMD模块包括至少两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的用于采集目标图像信息的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上，各成像子系统中的图像采集镜头采集目标位置的图像信息，目标位置的图像信息经过对应的光路分别成像在对应的DMD调制区域上，经过调制后的图像信息反射给中继镜头，然后由探测器接收。
本发明根据双目视觉立体成像原理，利用至少两个成像子系统对目标位置的图像信息进行采集，可以获得目标的深度信息，实现了三维几何图像的获取，同时利用DMD模块进行调制，将压缩感知技术和立体成像技术结合在一起，提高了成像的分辨率。
进一步的，图像采集镜头为红外镜头，中继镜头为红外中继镜头，探测器为红外探测器。
由于红外成像具有隐蔽性好、抗干扰能力强、工作距离远和全天候等优点，广泛应用于各种领域，因此，采用红外波段专用的各种设备可以进一步的提高红外成像的分辨率。
进一步的，DMD模块为一个DMD，各DMD调制区域为由DMD划分的各调制区域。
本发明的立体成像装置包括至少两个DMD调制区域进行立体成像，当然对于多个的调制区域可以选用多个DMD，本发明选用一个DMD，对该DMD进行区域划分实现多个调制区域，减少DMD的数量，进一步的节约成本。
一种基于压缩感知理论的立体成像系统，包括立体成像装置和图像处理装置，其特征在于，所述立体成像装置包括DMD模块以及至少两个成像子系统，所述DMD模块包括至少两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的用于采集目标图像信息的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上，各探测器连接图像处理装置，各成像子系统中的图像采集镜头采集目标位置的图像信息，目标位置的图像信息经过对应的光路分别成像在对应的DMD调制区域上，经过调制后的图像信息反射给中继镜头，然后由探测器接收，图像处理装置根据各探测器输出的图像信息进行相应的处理。
本发明根据双目视觉立体成像原理，利用至少两个成像子系统对目标位置的图像信息进行采集，可以获得目标的深度信息，实现了三维几何图像的获取，同时利用DMD模块进行调制，将压缩感知技术和立体成像技术结合在一起，提高了成像的分辨率。
进一步的，图像采集镜头为红外镜头，中继镜头为红外中继镜头，探测器为红外探测器。
由于红外成像具有隐蔽性好、抗干扰能力强、工作距离远和全天候等优点，广泛应用于各种领域，因此，采用红外波段专用的各种设备可以进一步的提高红外成像的分辨率。
进一步的，DMD模块为一个DMD，各DMD调制区域为由DMD划分的各调制区域。
本发明的立体成像装置包括至少两个DMD调制区域进行立体成像，当然对于多个的调制区域可以选用多个DMD，本发明选用一个DMD，对该DMD进行区域划分实现多个调制区域，减少DMD的数量，进一步的节约成本。
附图说明
图1是本发明基于压缩感知理论的红外立体成像装置示意图；
图2是本发明调制模板示意图；
图中：1为待成像目标、2为第一微型红外镜头、3为第二微型红外镜头、4为DMD、5为第一红外中继镜头、6为第二红外中继镜头、7为第一单点探测器、8为第二单点探测器。
具体实施方式
基于压缩感知理论的立体成像系统(以下简称立体成像系统)实施例：
立体成像系统包括立体成像装置和图像处理装置，立体成像装置包括DMD模块以及至少两个成像子系统，DMD模块包括两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上，各探测器连接图像处理装置。
各成像子系统中的图像采集镜头、中继镜头和探测器用于采集目标位置的图像信息，图像采集镜头采集目标位置的图像信息，目标位置的图像信息经过对应的光路分别成像在对应的DMD调制区域上，DMD调制区域进行调制，经过调制后的图像信息反射给中继镜头，然后由探测器接收，探测器将接收的信息传送至图像处理装置，即可恢复出两幅高分辨率的图像，进而得到三维几何图像。
为了可以采集红外波段信息，图像采集镜头为红外镜头，中继镜头为红外中继镜头，探测器为红外探测器，当然，本发明对图像采集镜头、中继镜头以及探测器并不做限制，可以更换各种光学元器件，以保证该装置还可以用于紫外、可见光等其他波段。
如图1所示，本实施例中，成像子系统的数量为两个，对应的DMD4调制区域也为两个，作为其他实施方式，也可以增加成像子系统的数量，对应的DMD4调制区域也进行增加，不管怎样，均要保证成像子系统的数量小于等于DMD4调制区域的数量，为了避免浪费，最好是相等的数量，当然，增加了成像子系统的个数，那么相应的计算就会复杂，因此，数量为两个即可，在本实施例中为了节约成本将DMD4划分为两个区域，当然，也可以直接使用两个DMD4或者多个DMD4，成像原理并未发生变化。
具体的，两个成像子系统分别为第一成像子系统与第二成像子系统，第一成像子系统包括第一微型红外镜头2、第一红外中继镜头5、第一单点探测器7以及DMD4中与第一成像子系统位置对应的区域，第二成像子系统包括第二微型红外镜头3、第二红外中继镜头6、第二单点探测器8以及DMD4中与第二成像子系统位置对应的区域，DMD4分辨率选择为1920×1080，划分为两个分辨率为960×1080的DMD4调制区域，DMD4表面的微镜按图2所示调制模板进行显示。
进一步的，DMD4可以更换不同的调制模板，调制模板与图2类似，可参考高斯随机矩阵或Hadamard矩阵设计进行调制成像。
本实施例中，第一微型红外镜头2与第二微型红外镜头3的光轴是平行的，具有一定的、共同的视场范围，使得待成像目标1可同时经过两条微型红外镜头分别成像在DMD4的不同区域，作为其他实施方式，第一微型红外镜头2与第二微型红外镜头3的光轴也可以不平行，而是在前方视场内发生交叉，使视场重叠范围更靠近于DMD4，适用于较近距离的立体成像。
本实施例中，为了节约成本，第一单点探测器7与第二单点探测器8为低分辨率探测器，分辨率小于960×1080即可，当然在不考虑成本的情况下，第一单点探测器7与第二单点探测器8的分辨率不做限制，可以实现相应的功能即可。
本实施例中，第一微型红外镜头2、第一红外中继镜头5、第二微型红外镜头3及第二红外中继镜头6均为单片透镜，其中，第一微型红外镜头2和第二微型红外镜头3的有效孔径均为10mm，焦距均为100mm，对无穷远距离成像，距离DMD4表面为100mm，第一红外中继镜头5和第二红外中继镜头6的有效孔径均为36.66mm，焦距均为50mm，对DMD4调制区域成像(放大倍率0.25)，距离DMD4表面为250mm，镜头均为专门设计定制加工，材料选用为硅，作为其他实施方式，上述镜头也可以是单片反射镜或者多片透镜或者多片反射镜组成，当然可以使用其他材料制成。
立体成像系统的工作过程如下：
待成像目标1发射红外线，同一位置发射的红外线经过光轴平行的第一微型红外镜头2，第二微型红外镜头3成像至DMD4表面的两个不同区域，形成两个一次像，按DMD4表面的微镜的调制模板进行显示，调制模板图像中的0和1分别对应微镜像元偏转-12°和﹢12°，以此方法对待成像目标1的两个一次像进行调制，经过调制后的光线分别被第一红外中继镜头5、第二红外中继镜头6收集到对应的第一单点探测器7与第二单点探测器8内，第一单点探测器7与第二单点探测器8将光信号转化为电信号，将两组电信号结合已知的调制模板，通过压缩感知算法，即可恢复出两幅高分辨率红外图像，然后根据待成像目标1在两幅图像中的像素坐标位置，即可得到待成像目标1与立体成像装置的距离信息。
坐标位置以及距离信息的计算过程如下：假设各单点探测器的测量矩阵为Y，原始信号为X，观测矩阵即调制模板为Ф，则有：Y＝ФX，根据各单点探测器的测量值Y和已知的观测矩阵Ф即可计算出高分辨率的原始信号X，即还原出高分辨率红外图像。然后根据双目立体视觉原理，设第一微型红外镜头2与第二微型红外镜头3光心之间的距离为B，且第一微型红外镜头2与第二微型红外镜头3的焦距相同，被观测点空间坐标为(Xc，Yc，Zc)，该观测点在重构出的左侧图像中的坐标为(Xleft，Yleft)，在重构出的右侧图像中的坐标为(Xright，Yright)，使两个微型红外镜头的光心位于同一水平线上，则被观测点在两幅图像中的Y坐标相同，Yright＝Yleft＝Y，根据三角几何关系有：
其中，f为两个微型红外镜头的焦距。
设D＝Xleft-Xright，代入上式可计算出被观测点的三维坐标：
最终得到的结果是两幅960×1080高分辨率红外图像以及视场内任一点的空间坐标，适用于高分辨率红外立体成像应用场合。
本发明可对红外目标进行立体成像和距离测量，可应用于军事侦察、航空遥测、工业检测、机器人导航、生物医学等领域。
基于压缩感知理论的立体成像装置实施例：
关于基于压缩感知理论的立体成像装置的结构组成以及工作过程在上述基于压缩感知理论的立体成像系统的实施例中已经详细介绍，这里不做赘述。
Claims (6)
1.一种基于压缩感知理论的立体成像装置，其特征在于，包括DMD模块以及至少两个成像子系统，所述DMD模块包括至少两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的用于采集目标图像信息的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上，各成像子系统中的图像采集镜头采集目标位置的图像信息，目标位置的图像信息经过对应的光路分别成像在对应的DMD调制区域上，经过调制后的图像信息反射给中继镜头，然后由探测器接收。
2.根据权利要求1所述的基于压缩感知理论的立体成像装置，其特征在于，所述图像采集镜头为红外镜头，中继镜头为红外中继镜头，探测器为红外探测器。
3.根据权利要求1或2所述的基于压缩感知理论的立体成像装置，其特征在于，所述DMD模块为一个DMD，各DMD调制区域为由DMD划分的各调制区域。
4.一种基于压缩感知理论的立体成像系统，包括立体成像装置和图像处理装置，其特征在于，所述立体成像装置包括DMD模块以及至少两个成像子系统，所述DMD模块包括至少两个DMD调制区域，各成像子系统与DMD调制区域一一对应，成像子系统包括沿光路依次设置的用于采集目标图像信息的图像采集镜头、中继镜头和探测器，各DMD调制区域设置在对应的图像采集镜头和中继镜头之间的光路上，各探测器连接所述图像处理装置，各成像子系统中的图像采集镜头采集目标位置的图像信息，目标位置的图像信息经过对应的光路分别成像在对应的DMD调制区域上，经过调制后的图像信息反射给中继镜头，然后由探测器接收，所述图像处理装置根据各探测器输出的图像信息进行相应的处理。
5.根据权利要求4所述的基于压缩感知理论的立体成像系统，其特征在于，所述图像采集镜头为红外镜头，中继镜头为红外中继镜头，探测器为红外探测器。
6.根据权利要求4或5所述的基于压缩感知理论的立体成像系统，其特征在于，所述DMD模块为一个DMD，各DMD调制区域为由DMD划分的各调制区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811393465.2A CN109828430A (zh) | 2018-11-21 | 2018-11-21 | 一种基于压缩感知理论的立体成像装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811393465.2A CN109828430A (zh) | 2018-11-21 | 2018-11-21 | 一种基于压缩感知理论的立体成像装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109828430A true CN109828430A (zh) | 2019-05-31 |
Family
ID=66859217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811393465.2A Pending CN109828430A (zh) | 2018-11-21 | 2018-11-21 | 一种基于压缩感知理论的立体成像装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828430A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114034385A (zh) * | 2021-10-20 | 2022-02-11 | 山东师范大学 | 基于压缩感知和动态局部高分辨率的光谱测量方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103363924A (zh) * | 2013-07-15 | 2013-10-23 | 中国科学院空间科学与应用研究中心 | 一种压缩的三维计算鬼成像系统及方法 |
| US20140253713A1 (en) * | 2011-10-25 | 2014-09-11 | Guangjie Zhai | Time-Resolved Single-Photon or Ultra-Weak Light Multi-Dimensional Imaging Spectrum System and Method |
| CN104154999A (zh) * | 2014-08-15 | 2014-11-19 | 中国科学院上海技术物理研究所 | 一种基于压缩感知的计算多光谱成像系统 |
| CN105116542A (zh) * | 2015-07-24 | 2015-12-02 | 北京航天控制仪器研究所 | 一种双视场计算关联成像系统及方法 |
| CN105611194A (zh) * | 2015-12-22 | 2016-05-25 | 中国科学院长春光学精密机械与物理研究所 | 基于dmd的双目高动态调光成像系统及成像方法 |
| CN106443691A (zh) * | 2016-09-09 | 2017-02-22 | 西安交通大学 | 一种基于数字微镜器件dmd的三维成像系统及成像方法 |
| CN108024037A (zh) * | 2017-11-28 | 2018-05-11 | 华中科技大学 | Hadamard矩阵感知成像系统及其成像方法 |
| US20180260649A1 (en) * | 2017-03-08 | 2018-09-13 | Raytheon Company | Multi-channel compressive sensing-based object recognition |
| CN209231707U (zh) * | 2018-11-21 | 2019-08-09 | 中国航空工业集团公司洛阳电光设备研究所 | 基于压缩感知理论的立体成像装置及系统 |
-
2018
- 2018-11-21 CN CN201811393465.2A patent/CN109828430A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140253713A1 (en) * | 2011-10-25 | 2014-09-11 | Guangjie Zhai | Time-Resolved Single-Photon or Ultra-Weak Light Multi-Dimensional Imaging Spectrum System and Method |
| CN103363924A (zh) * | 2013-07-15 | 2013-10-23 | 中国科学院空间科学与应用研究中心 | 一种压缩的三维计算鬼成像系统及方法 |
| CN104154999A (zh) * | 2014-08-15 | 2014-11-19 | 中国科学院上海技术物理研究所 | 一种基于压缩感知的计算多光谱成像系统 |
| CN105116542A (zh) * | 2015-07-24 | 2015-12-02 | 北京航天控制仪器研究所 | 一种双视场计算关联成像系统及方法 |
| CN105611194A (zh) * | 2015-12-22 | 2016-05-25 | 中国科学院长春光学精密机械与物理研究所 | 基于dmd的双目高动态调光成像系统及成像方法 |
| CN106443691A (zh) * | 2016-09-09 | 2017-02-22 | 西安交通大学 | 一种基于数字微镜器件dmd的三维成像系统及成像方法 |
| US20180260649A1 (en) * | 2017-03-08 | 2018-09-13 | Raytheon Company | Multi-channel compressive sensing-based object recognition |
| CN108024037A (zh) * | 2017-11-28 | 2018-05-11 | 华中科技大学 | Hadamard矩阵感知成像系统及其成像方法 |
| CN209231707U (zh) * | 2018-11-21 | 2019-08-09 | 中国航空工业集团公司洛阳电光设备研究所 | 基于压缩感知理论的立体成像装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨爱萍;卜令勇;郭岩松;杨扬;侯正信;: "双像素压缩成像系统设计与实现", 天津大学学报(自然科学与工程技术版), no. 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114034385A (zh) * | 2021-10-20 | 2022-02-11 | 山东师范大学 | 基于压缩感知和动态局部高分辨率的光谱测量方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN206541029U (zh) | 基于共轴三反无焦望远镜的四波束激光三维成像系统 | |
| EP2445221B1 (en) | Correcting frame-to-frame image changes due to motion for three dimensional (3-d) persistent observations | |
| FI113987B (fi) | Näyttöjärjestely | |
| US6894809B2 (en) | Multiple angle display produced from remote optical sensing devices | |
| US20030067537A1 (en) | System and method for three-dimensional data acquisition | |
| WO2018072669A1 (zh) | 辐射检查系统和方法 | |
| US20110013016A1 (en) | Visual Detection of Clear Air Turbulence | |
| CN107271039A (zh) | 紧凑微型快照式光谱成像探测装置及探测方法 | |
| US20030164875A1 (en) | System and method for passive three-dimensional data acquisition | |
| CN103338325A (zh) | 基于全景摄像机的车底盘图像采集方法 | |
| CN102081296B (zh) | 仿复眼视觉动目标快速定位及全景图同步获取装置及方法 | |
| CN102054272B (zh) | 一种基于联合分数傅里叶变换的位移矢量探测方法及装置 | |
| CN102997891A (zh) | 场景深度的测量装置和方法 | |
| CN102073863A (zh) | 基于深度指纹获取远距离视频监控目标特征尺寸的方法 | |
| US6781707B2 (en) | Multi-spectral display | |
| CN209231707U (zh) | 基于压缩感知理论的立体成像装置及系统 | |
| CN109828430A (zh) | 一种基于压缩感知理论的立体成像装置及系统 | |
| RU2559332C1 (ru) | Метод обнаружения малогабаритных беспилотных летательных аппаратов | |
| CN103083089A (zh) | 数字立体显微系统的虚拟标尺方法和系统 | |
| CN205679317U (zh) | 一种基于微透镜阵列传感器的数字变焦型光谱成像仪 | |
| US20030164841A1 (en) | System and method for passive three-dimensional data acquisition | |
| WO2003021967A2 (en) | Image fusion systems | |
| JP6868167B1 (ja) | 撮像装置および撮像処理方法 | |
| CN106644074A (zh) | 一种三维立体光谱成像系统 | |
| Karaca et al. | Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |