CN117710597A - 一种基于倾斜摄影数据的三维建模方法、系统及电子设备 - Google Patents

一种基于倾斜摄影数据的三维建模方法、系统及电子设备 Download PDF

Info

Publication number
CN117710597A
CN117710597A CN202311748686.8A CN202311748686A CN117710597A CN 117710597 A CN117710597 A CN 117710597A CN 202311748686 A CN202311748686 A CN 202311748686A CN 117710597 A CN117710597 A CN 117710597A
Authority
CN
China
Prior art keywords
dimensional
model
oblique
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311748686.8A
Other languages
English (en)
Inventor
赵乾
孙伟
杨桥林
高万元
苟引劳
张琛
牛永亮
何方圆
王亚林
薛鹏飞
张伟强
赵伟
葛正栋
鄢立涛
那启森
关建洲
张国元
徐力
王暄妍
杜有秀
牛超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Municipal Environmental Protection Engineering Co ltd
China Railway First Engineering Group Co Ltd
Original Assignee
Municipal Environmental Protection Engineering Co ltd
China Railway First Engineering Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Municipal Environmental Protection Engineering Co ltd, China Railway First Engineering Group Co Ltd filed Critical Municipal Environmental Protection Engineering Co ltd
Priority to CN202311748686.8A priority Critical patent/CN117710597A/zh
Publication of CN117710597A publication Critical patent/CN117710597A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于倾斜摄影数据的三维建模方法、系统及电子设备,属于实景三维图领域。该方法包括:获取待测区的影像数据,并对影像数据进行处理,得到三维倾斜摄影数据集;基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;将三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示,应用至现场。通过本发明实现了高效的三维场景数据处理,以及施工现场实时准确的可视化呈现。

Description

一种基于倾斜摄影数据的三维建模方法、系统及电子设备
技术领域
本发明涉及实景三维图技术领域,更具体的说是涉及一种基于倾斜摄影数据的三维建模方法、系统及电子设备。
背景技术
随着科技不断进步与发展,传统的摄影技术、人工测量结合建模软件建立的三维模型,在成本上投资高,在时间上周期长,早已经不够精确化和便捷化了,现有的摄影技术采用倾斜摄影,通过在无人机上搭载若干个传感器,从垂直角度、倾斜四个面的角度采集建筑物体和自然环境的影像,获取建筑物的高分辨率的纹理图像、高精度的位置、以及建筑物周边环境的真实情况,结合建模技。
但是,现有的基于倾斜摄影数据的三维建模方法存在传效率低成本高、模型精度不够的问题。
因此,如何提供新的一种基于倾斜摄影数据的三维建模方法、系统及电子设备是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于倾斜摄影数据的三维建模方法、系统及电子设备。
为了实现上述目的,本发明提供如下技术方案:
一种基于倾斜摄影数据的三维建模方法,包括以下步骤:
S100:获取待测区的影像数据,并对所述影像数据进行处理,得到三维倾斜摄影数据集;
S200:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
S300:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
S400:将所述三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
可选的,所述S100包括:
S101:获取待测区的影像数据;
S102:将所述影像数据按照预设帧进行裁剪并转化为相应的灰度图像;
S103:通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像,并生成三维倾斜摄影数据集。
3.根据权利要求2所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S103通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像的公式为:
G(x,y)=H(x,y,σ)*I(x,y);
式中,H(x,y,σ)为二维高斯函数,I(x,y)为灰度图像,G(x,y)为滤波去噪后的图像,*为卷积,σ为平滑程度。
可选的,所述S200包括:利用BIM构造建筑信息,将三维倾斜摄影数据与BIM模型进行融合,得到三维倾斜摄像模型。
可选的,所述S400包括:
S410:计算三维倾斜摄像模型的多个不规则三角面片,并对三维倾斜摄像模型中的每一个顶点进行抽稀,得到目标顶点;
S420:基于目标顶点确定要绑定的不规则三角网TIN模型中的三角形面片;
S430:基于三维倾斜摄像模型的初始位置,对于三维倾斜摄像模型中的每个目标顶点,计算要绑定的不规则三角网TIN模型中三角形面片之间的相对位置信息;
S440:基于相对位置信息判断三维倾斜摄像模型与待测区三维模型是否一致,若匹配不一致则返回S100,若匹配一致,则输出并应用到现场。
可选的,所述S410包括:
M=F(Δ01,…,Δi,…,Δm);
式中,F为三维倾斜摄像模型构建函数,Δi为第i个不会则的三角面片,i∈[1,m],且i为整数,不规则三角面片的个数为m+1;
M'=Simplify(M);
M'为各目标顶点。
可选的,所述S400中,若匹配一致,则判断是否存在纹理扭曲、破洞、搭连,若是,则进行纹理处理后,输出并应用到现场。
一种基于倾斜摄影数据的三维建模系统,包括:
数据采集模块:获取待测区的影像数据,并对所述影像数据进行处理,得到三维倾斜摄影数据集;
第一构建模块:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
第二构建模块:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
匹配输出模块:将所述三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行基于倾斜摄影数据的三维建模方法。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了基于倾斜摄影数据的三维建模方法、系统及电子设备,实现了高效的三维场景数据处理,以及施工现场实时准确的可视化呈现,具体为:
(1)对采集到的影像数据进行裁剪滤波去噪等处理,提高后续数据处理流程的效率;
(2)通过抽稀得到目标顶点,可以大大提高算法的效率,缩减运算时间,并基于相对位置变化计算顶点应在的位置,实现三维倾斜摄像模型与待测区三维模型快速且精准的匹配,避免最后运算结果数据的偏差和不精确问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图;
图2为本发明的数据采集设备的飞行路线示意图;
图3为本发明的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于倾斜摄影数据的三维建模方法、系统及电子设备,获取待测区的影像数据,并对影像数据进行处理,得到三维倾斜摄影数据集;基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;将三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示,应用至现场。通过本发明实现了高效的三维场景数据处理,以及施工现场实时准确的可视化呈现。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1,本发明实施例公开了一种基于倾斜摄影数据的三维建模方法,包括以下步骤:
S100:获取待测区的影像数据,并对影像数据进行处理,得到三维倾斜摄影数据集;
S200:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
S300:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
S400:将三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
在一个具体实施例中,S100包括:
S101:获取待测区的影像数据;
具体的,本实施例采用大疆精灵4PRO作为数据采集设备,根据如图2所示的项目制定飞行路线进行待测区的影像数据采集。
具体的,为提高模型精度,在待测区的典型位置布置像控点,采用自动手动坐标对应,提高航测精度,获取到数千张清晰的倾斜照片。
具体的,将部分照片进行修饰达到使用要求,如图片增强,尺寸大小的修饰,然后经过统一编码,保留符合要求的照片,生成三维倾斜摄影数据集,进行内业处理。
S102:将影像数据按照预设帧进行裁剪并转化为相应的灰度图像;
S103:通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像,并生成三维倾斜摄影数据集。
在一个具体实施例中,S103通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像的公式为:
G(x,y)=H(x,y,σ)*I(x,y);
式中,H(x,y,σ)为二维高斯函数,I(x,y)为灰度图像,G(x,y)为滤波去噪后的图像,*为卷积,σ为平滑程度。
在一个具体实施例中,S200包括:利用BIM构造建筑信息,将三维倾斜摄影数据与BIM模型进行融合,得到三维倾斜摄像模型。
在一个具体实施例中,S400包括:
S410:计算三维倾斜摄像模型的多个不规则三角面片,并对三维倾斜摄像模型中的每一个顶点进行抽稀,得到目标顶点;
S420:基于目标顶点确定要绑定的不规则三角网TIN模型中的三角形面片;
S430:基于三维倾斜摄像模型的初始位置,对于三维倾斜摄像模型中的每个目标顶点,计算要绑定的不规则三角网TIN模型中三角形面片之间的相对位置信息;
具体的,TIN模型中的三角面片是指通过一系列折点(点)连接形成的三角形,每个三角面在TIN中都有一个恒定的倾斜度。
TIN模型能够捕获在表面中发挥重要作用的线状要素(如山脊线或河道)的位置,并且在地形起伏变化较大或需要更多细节的区域具有较高的分辨率,而在表面起伏变化较小的区域具有较低的分辨率。
S440:基于相对位置信息判断三维倾斜摄像模型与待测区三维模型是否一致,若匹配不一致则返回S100,若匹配一致,则输出并应用到现场,可大幅提升显示效果。
在一个具体实施例中,S410包括:
M=F(Δ01,…,Δi,…,Δm);
式中,F为三维倾斜摄像模型构建函数,Δi为第i个不会则的三角面片,i∈[1,m],且i为整数,不规则三角面片的个数为m+1;
M'=Simplify(M);
M'为各目标顶点。
在一个具体实施例中,S400中,若匹配一致,则判断是否存在纹理扭曲、破洞、搭连,若是,则进行纹理处理后,输出并应用到现场。
另一方面,如图3,本发明实施例还公开了一种基于倾斜摄影数据的三维建模系统,包括:
数据采集模块:获取待测区的影像数据,并对影像数据进行处理,得到三维倾斜摄影数据集;
第一构建模块:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
第二构建模块:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
匹配输出模块:将三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
另一方面,本发明提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现基于倾斜摄影数据的三维建模方法的步骤。
对于实施例公开的系统装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于倾斜摄影数据的三维建模方法,其特征在于,包括以下步骤:
S100:获取待测区的影像数据,并对所述影像数据进行处理,得到三维倾斜摄影数据集;
S200:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
S300:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
S400:将所述三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
2.根据权利要求1所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S100包括:
S101:获取待测区的影像数据;
S102:将所述影像数据按照预设帧进行裁剪并转化为相应的灰度图像;
S103:通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像,并生成三维倾斜摄影数据集。
3.根据权利要求2所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S103通过选用二维高斯函数对灰度图像进行滤波去噪处理,得到滤波去噪后的图像的公式为:
G(x,y)=H(x,y,σ)*I(x,y);
式中,H(x,y,σ)为二维高斯函数,I(x,y)为灰度图像,G(x,y)为滤波去噪后的图像,*为卷积,σ为平滑程度。
4.根据权利要求1所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S200包括:利用BIM构造建筑信息,将三维倾斜摄影数据与BIM模型进行融合,得到三维倾斜摄像模型。
5.根据权利要求1所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S400包括:
S410:计算三维倾斜摄像模型的多个不规则三角面片,并对三维倾斜摄像模型中的每一个顶点进行抽稀,得到目标顶点;
S420:基于目标顶点确定要绑定的不规则三角网TIN模型中的三角形面片;
S430:基于三维倾斜摄像模型的初始位置,对于三维倾斜摄像模型中的每个目标顶点,计算要绑定的不规则三角网TIN模型中三角形面片之间的相对位置信息;
S440:基于相对位置信息判断三维倾斜摄像模型与待测区三维模型是否一致,若匹配不一致则返回S100,若匹配一致,则输出并应用到现场。
6.根据权利要求5所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S410包括:
M=F(Δ01,…,Δi,…,Δm);
式中,F为三维倾斜摄像模型构建函数,Δi为第i个不会则的三角面片,i∈[1,m],且i为整数,不规则三角面片的个数为m+1;
M'=Simplify(M);
M'为各目标顶点。
7.根据权利要求1所述的一种基于倾斜摄影数据的三维建模方法,其特征在于,所述S400中,若匹配一致,则判断是否存在纹理扭曲、破洞、搭连,若是,则进行纹理处理后,输出并应用到现场。
8.一种利用权利要求1-7任一项所述的基于倾斜摄影数据的三维建模方法的基于倾斜摄影数据的三维建模系统,其特征在于,包括:
数据采集模块:获取待测区的影像数据,并对所述影像数据进行处理,得到三维倾斜摄影数据集;
第一构建模块:基于三维倾斜摄影数据并结合GIS模型建立待测区域的三维倾斜摄像模型;
第二构建模块:通过三维激光扫描获得待测区的高精度点云数据,并使用点云数据构建不规则三角网TIN模型;
匹配输出模块:将所述三维倾斜摄像模型与不规则三角网TIN模型进行匹配,若匹配不一致则返回S100,若匹配一致,则输出显示。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的基于倾斜摄影数据的三维建模方法。
CN202311748686.8A 2023-12-19 2023-12-19 一种基于倾斜摄影数据的三维建模方法、系统及电子设备 Pending CN117710597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311748686.8A CN117710597A (zh) 2023-12-19 2023-12-19 一种基于倾斜摄影数据的三维建模方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311748686.8A CN117710597A (zh) 2023-12-19 2023-12-19 一种基于倾斜摄影数据的三维建模方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN117710597A true CN117710597A (zh) 2024-03-15

Family

ID=90163505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311748686.8A Pending CN117710597A (zh) 2023-12-19 2023-12-19 一种基于倾斜摄影数据的三维建模方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN117710597A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136259A (zh) * 2019-05-24 2019-08-16 唐山工业职业技术学院 一种基于倾斜摄影辅助bim和gis的三维建模技术
CN111260616A (zh) * 2020-01-13 2020-06-09 三峡大学 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN115098934A (zh) * 2022-08-10 2022-09-23 中建海峡建设发展有限公司 一种基于gis+bim的水泥搅拌桩管理系统及其施工方法
CN116129019A (zh) * 2022-12-29 2023-05-16 北京辰安科技股份有限公司 倾斜摄影的数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136259A (zh) * 2019-05-24 2019-08-16 唐山工业职业技术学院 一种基于倾斜摄影辅助bim和gis的三维建模技术
CN111260616A (zh) * 2020-01-13 2020-06-09 三峡大学 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN115098934A (zh) * 2022-08-10 2022-09-23 中建海峡建设发展有限公司 一种基于gis+bim的水泥搅拌桩管理系统及其施工方法
CN116129019A (zh) * 2022-12-29 2023-05-16 北京辰安科技股份有限公司 倾斜摄影的数据处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任超,霍文虎,张茜,张旻: "基于全景真三维技术的新型智慧城市时空信息基础设施探索", 地理信息世界, 25 August 2017 (2017-08-25), pages 8 - 13 *
侯庆明;吕扬;李兵;周庆;: "生产级倾斜实景三维建模方法比较分析", 北京测绘, no. 04, 25 April 2018 (2018-04-25) *
柏文锋;: "倾斜摄影测量辅助城市地铁前期规划研究", 铁道勘察, no. 03, 3 April 2019 (2019-04-03) *

Similar Documents

Publication Publication Date Title
CN108665536B (zh) 三维与实景数据可视化方法、装置与计算机可读存储介质
CN106683068B (zh) 一种三维数字化图像采集方法
Lerones et al. A practical approach to making accurate 3D layouts of interesting cultural heritage sites through digital models
CN115937288A (zh) 一种变电站三维场景模型构建方法
US20140015924A1 (en) Rapid 3D Modeling
Peña-Villasenín et al. 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center
Mousavi et al. The performance evaluation of multi-image 3D reconstruction software with different sensors
CN110517209B (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN113689578B (zh) 一种人体数据集生成方法及装置
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN106097433A (zh) 物体工业与影像模型的叠加方法及系统
CN108230442A (zh) 一种盾构隧道三维仿真方法
Ravanelli et al. A high-resolution photogrammetric workflow based on focus stacking for the 3D modeling of small Aegean inscriptions
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
CN115982806A (zh) 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质
CN109712197B (zh) 一种机场跑道网格化标定方法及系统
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
Rahaman Photogrammetry: What, How, and Where
Vincke et al. Vision based metric for quality control by comparing built reality to BIM
Drofova et al. Use of scanning devices for object 3D reconstruction by photogrammetry and visualization in virtual reality
Wang et al. Automatic measurement of grid structures displacement through fusion of panoramic camera and laser scanning data
Karnicki Photogrammetric reconstruction software as a cost-efficient support tool in conservation research
CN117710597A (zh) 一种基于倾斜摄影数据的三维建模方法、系统及电子设备
Thomas et al. Portable Mini Turntable for Close-Range Photogrammetry: A Preliminary Study
CN116433769B (zh) 空间校准方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination