CN116758044A - 一种基于ResNet网络的太赫兹图像质量评价方法 - Google Patents

一种基于ResNet网络的太赫兹图像质量评价方法 Download PDF

Info

Publication number
CN116758044A
CN116758044A CN202310775434.8A CN202310775434A CN116758044A CN 116758044 A CN116758044 A CN 116758044A CN 202310775434 A CN202310775434 A CN 202310775434A CN 116758044 A CN116758044 A CN 116758044A
Authority
CN
China
Prior art keywords
picture
target
data set
training
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310775434.8A
Other languages
English (en)
Inventor
马洒洒
谢巍
侯丽伟
李园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Henglin Photoelectric Technology Co ltd
Jiangsu Hengtong Terahertz Technology Co Ltd
Original Assignee
Shanghai Henglin Photoelectric Technology Co ltd
Jiangsu Hengtong Terahertz Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Henglin Photoelectric Technology Co ltd, Jiangsu Hengtong Terahertz Technology Co Ltd filed Critical Shanghai Henglin Photoelectric Technology Co ltd
Priority to CN202310775434.8A priority Critical patent/CN116758044A/zh
Publication of CN116758044A publication Critical patent/CN116758044A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明公开一种基于ResNet网络的太赫兹图像质量评价方法,包括以下步骤:准备太赫兹图像数据集;对训练数据集进行预处理;获取训练模型;用测试数据集评估训练模型效果,确定评估模型;输入测试图片,加载评估模型,得到测试图片的客观评价得分;获取二值图;引入目标区域占比,对二值图进行轮廓查找,根据预设的目标面积阈值排除部分背景干扰区域,将其余轮廓中面积最大的轮廓作为目标轮廓,然后通过目标区域在整张图片的占比作为目标区域占比得分;对目标的高度和宽度进行分析,得出目标区域位置得分;将所有的得分相加输出图片最终的得分。本发明在实现批量处理的同时,满足快速准确输出,保留了评价结果的可复现性,支持连续多张输入。

Description

一种基于ResNet网络的太赫兹图像质量评价方法
技术领域
本发明属于深度学习技术领域,具体涉及一种基于ResNet网络的太赫兹图像质量评价方法。
背景技术
目前,在太赫兹智能安检领域,围绕安检实现更快速、功能更准确的目标,选取高质量的图像数据非常必要。现有的图像质量评价方法大多是针对图像的失真程度,在实际的太赫兹图像应用领域,视觉效果仅是一个方面,还需要通过质量评价筛选掉低质量的太赫兹图像,来实现对后续的图像分析、存储等功能的改进。但是,低质量的太赫兹图像(如纯背景图像)处理过程不仅耗费资源,而且结果可能没有意义。因此,有必要提出一种新的太赫兹图像质量评价方法。
发明内容
为解决现有技术中存在的技术问题,本发明的目的在于提供一种基于ResNet网络的太赫兹图像质量评价方法。
为实现上述目的,达到上述技术效果,本发明采用的技术方案为:
第一方面,本发明公开了一种基于ResNet网络的太赫兹图像质量评价方法,包括以下步骤:
S101、准备太赫兹图像数据集;
所述太赫兹图像数据集包括训练数据集和测试数据集;
S102、对训练数据集进行预处理;
S103、获取训练模型;
S104、用测试数据集评估步骤S103的训练模型效果,确定最终的评估模型并进行保存;
S105、输入测试图片,加载步骤S104的评估模型,然后得到模型输出即测试图片的客观评价得分score0;
S106、对输入的测试图片进行预处理,得到二值图;
S107、引入目标区域占比,对步骤S106生成的二值图进行轮廓查找,根据预设的目标面积阈值排除掉部分背景干扰区域,将其余轮廓中面积最大的轮廓作为目标轮廓,然后通过目标区域在整张图片的占比作为目标区域占比得分score1;
S108、对目标的高度和宽度进行分析,得出目标区域位置得分score2;
S109、将所有的得分相加输出图片最终的得分score=score0+score1+score2。
第一方面中,优选地,步骤S102中,对训练数据集进行预处理的步骤包括:
一是数据集的标注工作,标注的质量直接影响算法的准确度和性能;
二是数据集的标签设置,通过数据形式用来描述图像的实际特征。
第一方面中,优选地,所述数据集的标注工作包括:
对数据集中的原始数据进行人工处理,为准确描述特征,对每张训练图片进行人体关键点的标注和人体所在矩形区域的标注。
第一方面中,优选地,所述数据集的标签设置包括:
根据标注的人体关键点和矩形区域制定客观的打分机制,打分的主要步骤包括:
一是关键点得分,由标注的关键点数量决定;
二是目标区域中心点得分,由标注的矩形区域中心点所在位置决定;
三是高度占比得分,由标注的矩形区域的高度与图像整体高度决定;
最后,将上述三项得分相乘的结果作为该张图片的分值即标签。
第一方面中,优选地,步骤S103中,获取训练模型的步骤包括:
选好训练要使用的ResNet18网络模型,在训练数据集上反复训练学习特征,最终得到训练模型。
第一方面中,优选地,步骤S106中,对输入的测试图片进行预处理的步骤包括:
一是色彩模式转换,将图片由RGB色彩模式转换至灰度色彩模式;
二是进行高斯去噪,去除图片中的部分噪声点干扰;
三是图像二值化处理,采用大津阈值法将图片转换为二值图。
第一方面中,优选地,步骤S108中,对目标的高度和宽度进行的分析包括:目标的高度大小、目标的高度与宽度的比值、目标中心点坐标在图片中的位置、目标起点坐标在图片中的位置。
第二方面,本发明还公开了一种基于ResNet网络的太赫兹图像质量评价设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
第三方面,本发明还公开了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
与现有技术相比,本发明的有益效果为:
1)根据行人目标在太赫兹图像中的表达和分布特征,制定了客观的打分机制,并以此作为训练数据的标签,大大提高了模型对于图像中行人目标的特征提取能力;
2)为使计算模型的量化值与人类主观观测值保持一致,根据太赫兹的成像环境和应用细则,引入了目标区域占比等主观评价因子,提高了模型的泛化能力;
3)模型稳定,在实现批量处理的同时,满足快速准确输出,还保留了评价结果的可复现性;支持连续多张输入,以分辨率为400*800的单张太赫兹图像为例,耗时仅在1.4ms左右,可以满足实时需求。
附图说明
图1为本发明实施例1的连续12张被动式太赫兹图像;
图2为本发明实施例1的单张图像的运行时间和得分;
图3为本发明实施例1按照得分从大到小排列的评价后的被动式太赫兹图像。
具体实施方式
下面对本发明进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
实施例1
如图1-3所示,一种基于ResNet网络的太赫兹图像质量评价方法,解决了太赫兹图像在安检应用领域中因低质量造成的资源浪费、分析冗余、效果展示无效等问题。本发明所提的方法的基础是客观评价方法,采用典型的ResNet深度学习网络进行评价模型的训练。为了使评价结果更为准确,后续又引入多个主观因子综合分析。
假设输入为单张太赫兹图像,输出为该输入图像的质量评价得分,本发明的评价方法主要实现过程如下:
S101、太赫兹图像数据集的准备,包括训练数据集和测试数据集。
S102、训练数据集的预处理,包括两个部分的工作:一是数据集的标注工作,标注的质量直接影响算法的准确度和性能;二是数据集的标签设置,通过数据形式用来描述图像的实际特征:
S102-1、对数据集中的原始数据进行人工的处理,为了准确描述特征,对每张训练图片进行人体关键点的标注和人体所在矩形区域的标注;
S102-2、根据标注的人体关键点和矩形区域制定了客观的打分机制,打分的主要步骤:一是关键点得分,由标注的关键点数量决定;二是目标区域中心点得分,由标注的矩形区域中心点所在位置决定;三是高度占比得分,由标注的矩形区域的高度与图像整体高度决定;最后,将上述三项得分相乘的结果作为该张图片的分值即标签。
S103、选好训练要使用的网络模型,本发明采用ResNet18网络模型,在训练集上反复训练学习特征,最终得到训练模型;
ResNet18是一种深度卷积神经网络结构,网络的基本架构是ResNet,具有18层深度,完全使用卷积层和全连接层构成,网络的典型特点是加入了多个残差模块,可以保留原始特征,使网络的学习更加顺畅和稳定,进一步提高了模型的精度和泛化能力。
S104、用测试数据集评估步骤S103的模型效果,确定最终的评估模型并进行保存;
测试数据集不参与训练过程,主要是测试训练好的模型的准确能力,但不能作为调参、选择特征等算法相关选择的依据,仅用于评价模型的效果好坏;
模型的保存就是对模型的结构以及权重进行保存,把训练好的模型保存下来,当需要使用的时候重新加载即可。
S105、输入一张测试图片,加载步骤S104的评估模型,然后得到模型输出即该输入图片的客观评价得分score0。
S106、首先对输入的测试图片进行预处理,预处理包括三个部分:一是色彩模式转换,将图片由RGB色彩模式转换至灰度色彩模式;二是进行高斯去噪,去除图片中的部分噪声点干扰;三是图像二值化处理,采用大津阈值法将图片转换为二值图.
S107、引入目标(即人体)区域占比,对步骤S106生成的二值图进行轮廓查找,根据预设的目标面积阈值排除掉部分背景干扰区域,将其余轮廓中面积最大的轮廓作为目标的轮廓,然后通过目标区域在整张图片的占比作为目标区域占比得分score1。
S108、对目标的高度和宽度进行分析,包括目标的高度大小、目标的高度与宽度的比值、目标中心点坐标在图片中的位置、目标起点坐标在图片中的位置,根据预设的条件依次判断,得出目标区域位置得分score2。
S109、将所有的得分相加输出图片最终的得分score=score0+score1+score2。
本发明还公开了一种基于ResNet网络的太赫兹图像质量评价设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
本发明还公开了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
本发明选取的训练数据集、测试数据集和测试图片均通过被动式太赫兹成像设备采集获得。通过步骤S101-S104确定了评估模型,为了验证算法的有效性,随机选取了某行人由通道式被动式太赫兹成像设备的入口到出口期间的12张太赫兹图片(见图1),测试本发明所提方法的有效性的步骤具体如下:
首先,将图1所示的12张图片作为输入;
然后,对上述的每一张图片依次执行步骤S105-S109,得到该图片对应的耗时和得分(见图2);
最后,按照得分由大到小的顺序对上述的12张图片进行排序,与排序结果对应的图片如图3所示,可见本发明公开的方法有效且较为准确。
本发明未具体描述的部分或结构采用现有技术或现有产品即可,在此不做赘述。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,包括以下步骤:
S101、准备太赫兹图像数据集;
所述太赫兹图像数据集包括训练数据集和测试数据集;
S102、对训练数据集进行预处理;
S103、获取训练模型;
S104、用测试数据集评估步骤S103的训练模型效果,确定最终的评估模型并进行保存;
S105、输入测试图片,加载步骤S104的评估模型,然后得到模型输出即测试图片的客观评价得分score0;
S106、对输入的测试图片进行预处理,得到二值图;
S107、引入目标区域占比,对步骤S106生成的二值图进行轮廓查找,根据预设的目标面积阈值排除掉部分背景干扰区域,将其余轮廓中面积最大的轮廓作为目标轮廓,然后通过目标区域在整张图片的占比作为目标区域占比得分score1;
S108、对目标的高度和宽度进行分析,得出目标区域位置得分score2;
S109、将所有的得分相加输出图片最终的得分score=score0+score1+score2。
2.根据权利要求1所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,步骤S102中,对训练数据集进行预处理的步骤包括:
一是数据集的标注工作,标注的质量直接影响算法的准确度和性能;
二是数据集的标签设置,通过数据形式用来描述图像的实际特征。
3.根据权利要求2所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,所述数据集的标注工作包括:
对数据集中的原始数据进行人工处理,为准确描述特征,对每张训练图片进行人体关键点的标注和人体所在矩形区域的标注。
4.根据权利要求2所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,所述数据集的标签设置包括:
根据标注的人体关键点和矩形区域制定客观的打分机制,打分的主要步骤包括:
一是关键点得分,由标注的关键点数量决定;
二是目标区域中心点得分,由标注的矩形区域中心点所在位置决定;
三是高度占比得分,由标注的矩形区域的高度与图像整体高度决定;
最后,将上述三项得分相乘的结果作为该张图片的分值即标签。
5.根据权利要求1所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,步骤S103中,获取训练模型的步骤包括:
选好训练要使用的ResNet18网络模型,在训练数据集上反复训练学习特征,最终得到训练模型。
6.根据权利要求1所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,步骤S106中,对输入的测试图片进行预处理的步骤包括:
一是色彩模式转换,将图片由RGB色彩模式转换至灰度色彩模式;
二是进行高斯去噪,去除图片中的部分噪声点干扰;
三是图像二值化处理,采用大津阈值法将图片转换为二值图。
7.根据权利要求1所述的一种基于ResNet网络的太赫兹图像质量评价方法,其特征在于,步骤S108中,对目标的高度和宽度进行的分析包括:目标的高度大小、目标的高度与宽度的比值、目标中心点坐标在图片中的位置、目标起点坐标在图片中的位置。
8.一种基于ResNet网络的太赫兹图像质量评价设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于ResNet网络的太赫兹图像质量评价方法的步骤。
CN202310775434.8A 2023-06-28 2023-06-28 一种基于ResNet网络的太赫兹图像质量评价方法 Pending CN116758044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310775434.8A CN116758044A (zh) 2023-06-28 2023-06-28 一种基于ResNet网络的太赫兹图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310775434.8A CN116758044A (zh) 2023-06-28 2023-06-28 一种基于ResNet网络的太赫兹图像质量评价方法

Publications (1)

Publication Number Publication Date
CN116758044A true CN116758044A (zh) 2023-09-15

Family

ID=87960683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310775434.8A Pending CN116758044A (zh) 2023-06-28 2023-06-28 一种基于ResNet网络的太赫兹图像质量评价方法

Country Status (1)

Country Link
CN (1) CN116758044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495941A (zh) * 2023-12-29 2024-02-02 美迪信(天津)有限责任公司 一种脂质层厚度评估方法、装置和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495941A (zh) * 2023-12-29 2024-02-02 美迪信(天津)有限责任公司 一种脂质层厚度评估方法、装置和存储介质
CN117495941B (zh) * 2023-12-29 2024-03-08 美迪信(天津)有限责任公司 一种脂质层厚度评估方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN110223323B (zh) 基于深度特征自适应相关滤波的目标跟踪方法
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN109029363A (zh) 一种基于深度学习的目标测距方法
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN109726746B (zh) 一种模板匹配的方法及装置
CN111339902B (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN114749342B (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN116758044A (zh) 一种基于ResNet网络的太赫兹图像质量评价方法
JP2014228357A (ja) ひび割れ検出方法
CN110910318A (zh) 综合诊断光路快速自动准直系统弱对比度纹影小球中心计算方法
CN110826581A (zh) 一种动物数量识别方法、装置、介质及电子设备
Madrid-Herrera et al. Human image complexity analysis using a fuzzy inference system
CN111915595A (zh) 图像质量评价方法、图像质量评价模型的训练方法和装置
CN115099297A (zh) 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法
CN117237325A (zh) 一种基于深度网络的工业缺陷检测方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN111695560A (zh) 基于卷积神经网络对农作物病虫害主动定位聚焦的方法
CN115457614B (zh) 一种图像质量评价方法、模型训练方法及装置
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN115482227A (zh) 机器视觉自适应成像环境调整方法
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN110838101B (zh) 一种基于边缘特性的图像分割质量评价方法
CN113269204B (zh) 一种彩色直接部件标记图像的颜色稳定性分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination