CN111160439A - 一种无人机系统自主能力评价方法、系统及可读存储介质 - Google Patents

一种无人机系统自主能力评价方法、系统及可读存储介质 Download PDF

Info

Publication number
CN111160439A
CN111160439A CN201911348710.2A CN201911348710A CN111160439A CN 111160439 A CN111160439 A CN 111160439A CN 201911348710 A CN201911348710 A CN 201911348710A CN 111160439 A CN111160439 A CN 111160439A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
autonomous
random
forests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911348710.2A
Other languages
English (en)
Inventor
刘贞报
院金彪
严月浩
江飞鸿
张红军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201911348710.2A priority Critical patent/CN111160439A/zh
Publication of CN111160439A publication Critical patent/CN111160439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供的一种无人机系统自主能力评价方法、系统、设备及可读存储介质,其级联森林中的每层均由若干个随机森林组成,多个随机森林可以共同学习影响无人机自主能力等级的各因素间的耦合关系,充分发挥随机森林所擅长的非线性、不规则数据处理能力,通过输入已经定级的无人机内外部因素样本,训练评价模型,可以更加准确地表征多种影响因素与无人机自主能力等级的复杂的非线性映射关系,获得更加可靠的评价结果。

Description

一种无人机系统自主能力评价方法、系统及可读存储介质
技术领域
本发明属于无人机自主能力评价领域,特别涉及一种无人机系统自主能力评价方法、系统、设备及可读存储介质。
背景技术
随着计算机技术、自动驾驶技术、遥控遥测技术、人工智能与模式识别技术的发展及其在无人机中的应用,以及对无人机战术研究的深入,无人机在民用和军用方面的应用日益广泛,可以完成空运、巡检、情报侦察、空中预警、反空袭、目标打击等任务,被誉为“空中多面手”、“空中骄子”。且随着任务越来越复杂,无人机自主性要求也越来越高,美军在无人系统路线图中指出无人机自主性发展路线为远程遥控、实时故障诊断、对故障或飞行条件的适应、航线动态规划、集群配合、集群战术再计划、集群战术目标、分布式控制、集群战略目标、完全自主集群。其他军事强国如以色列、俄罗斯、中国、英国、德国也把无人机自主能力的研发置于优先地位。目前全球军事无人机已发展成一支规模庞大的队伍,种类超过120种,总数超过一万架,如美军的“捕食者”,“全球鹰”,“RQ-11渡鸦”、“黄蜂”、“美洲狮”,以色列的“苍鹭”、“赫尔墨斯”、“云雀”,英国的“雷神”、“不死鸟”、“大乌鸦”,其中一些型号的无人机已经具备一定自主性。
最近,美国、澳大利亚、欧洲的一些国家已经开始开展关于如何生成替代定性分析的无人机系统自主性评估框架的研究,北约已经发起了一项具体的倡议,目的是建立一个一致的自主能力等级定义。顺应国际发展趋势,目前我国的无人机在完成侦查、打击等任务时与国外并无太大差距,但美国已开始研究自主能力更高的无人机,而国内的自主能力发展由于没有自主能力评估框架作为支撑,导致无人机的发展方向存在不少争议,因此国内应加快制定无人机自主能力评价准则的进度。
2005年在北京召开的中俄无人机学术研讨会上,对于无人机自主能力等级划分首次展开讨论。研究人员针对无人机自主能力评估开展了研究,北京航空航天大学提出了对无人机系统的自主控制进行九级评估,从自主功能,自主性类型,智能属性,信息共享能力等方面丰富了自主控制评价水平的内容。沈阳飞机设计研究所提出一种四指标模型用于判断无人平台的自主能力水平,包括人和平台交互能力、态势感知能力、环境适应能力和规划决策能力。
由于现有评价体系仅使用各指标加权量化的方式得到自主等级,忽略了不同因素之间的耦合关系及其与自主等级之间的严重非线性关系,数学模型方面很难使用某个固定函数形式进行表达,因此,迫切需要发展一种能够描述这种非线性关系的方法,以更加准确的划分无人机自主能力等级。
发明内容
针对现有技术中存在的问题现有评价体系仅使用各指标加权量化的方式得到自主等级,导致划分无人机自主能力等级不准确的问题,本发明提供一种无人机系统自主能力评价方法、系统、设备及可读存储介质,可以将无人机内部和外部因素与自主能力等级之间的非线性关系通过深度随机森林来精确描述,该方法相比于指标加权量化处理方法能够更加准确的划分无人机自主能力等级。
本发明是通过以下技术方案来实现:
一种无人机系统自主能力评价方法,其包括以下步骤:
步骤1:将无人机飞行科目测试中的性能数据,作为自主能力评价的因素样本;
步骤2:提取因数样本的特征;
步骤3:构建深度随机深林并进行训练;
步骤4:将取因数样本的特征输入至训练后的深度随机深林中,深度随机深林输出无人机系统的评价结果。
优选的,步骤1中所述性能数据包括无人机在静态测试、个体性能测试和群体测试中的性能数据。
优选的,步骤1中并对无人机的性能数据进行行量化和归一化处理。
优选的,步骤2中对因素样本进行多粒度扫描,提取因素样本的特征,将因素样本的特征输入至深度随机深林。
优选的,步骤3中所述深度随机深林包括N层级联森林,每层级联森林有M个随机森林,每个随机森林由多个决策树组成,每一层级联森林的输出合并原始输入后作为下一层级联森林的输入;
对多粒度扫描后的样本采用有放回无权重的抽样方式,为每个决策树产生各自的训练集,然后采用分类回归树算法对训练集进行计算,同时计算训练集影响无人机自主能力的各因素样本的基尼系数,并以基尼系数最小为原则进行构建决策树。
优选的,当获得无人机新的因数样本时,计算因数样本对基尼系数的影响,当样本对基尼系数产生影响时,对决策树进行更新。
优选的,步骤4中深度随机深林输出无人机系统评价结果的具体过程如下:
将步骤2得到的因数样本的特征输入至中训练后的深度随机森林,每棵决策树输出无人机自主能力等级的后验概率,然后将所有的后验概率进行加权平均,得到每个随机森林的分类结果,再通过各层级联森林对分类结果进行投票决策,最终输出无人机自主能力等级的后验概率,然后对后验概率进行最大化统计值,选择后验概率最大的类别作为最终的等级划分结果。
本发明还提供了一种终端系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比,本发明具有以下有益的技术效果:
本发明提供的基于深度随机森林的无人机系统自主能力评价方法,其级联森林中的每层均由若干个随机森林组成,多个随机森林可以共同学习影响无人机自主能力等级的各因素间的耦合关系,充分发挥随机森林所擅长的非线性、不规则数据处理能力,通过输入已经定级的无人机内外部因素样本,训练评价模型,可以更加准确地表征多种影响因素与无人机自主能力等级的复杂的非线性映射关系,获得更加可靠的评价结果。
本发明采用有放回无权重的抽样方式,为每个决策树产生各自的训练集,既能保证抽样的随机性,同时无权重的抽样有利于模型的并行处理,加快了模型的训练速度。
通过多粒度扫描,模型将发现评价因素中的重要特征因素,并为其分配更大的权重,从而得到更为准确的无人机自主能力等级划分。
引入增量学习的方式后,模型不仅能够进行无人机自主能力等级的准确划分,还能够学习新来的样本,达到更好的泛化效果。
附图说明
图1是本发明中无人机系统自主能力评价方法的整体示意图;
图2是包含多个决策树的随机森林;
图3是包含多层随机森林的级联森林;
图4是无人机系统自主能力等级划分示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
参照图1至图3,一种基于深度随机森林的无人机系统自主能力评价方法,包括以下步骤:
步骤1:获取因素样本,并对其进行预处理。
获取无人机飞行科目测试中的性能数据作为无人机系统自主能力评价的因素样本,并对该样本进行量化、归一化处理。
所述性能数据包括无人机在静态测试、个体性能测试和群体测试中的性能数据。
步骤2:提取因数样本的特征;
对步骤1中的因素样本数据进行多粒度扫描,即利用一个滑动窗口对原始数据进行分组,充分提取每个因素样本的特征,然后将通过多粒度扫描得到的因素样本的特征输入级联森林中。
步骤3:构建深度随机森林。
深度随机深林包括N层级联森林,每层级联森林由有M个随机森林,每个随机森林由多个决策树组成。
因素样本的特征在级联森林中的传递方式如下:假设因素样本的特征为X个,每个随机森林输出结果为L个,每层有M个随机森林,在层层递进的数据传输过程中,每一层的输出合并原始输入后作为下一层的输入,因此每一层输入的特征个数为:C=X+M*L(第一层为X个)。最后一层级联森林的输出结果为M*L,对该矩阵横向求和取平均值,最大的概率值就是其所属自主能力等级。
对多粒度扫描后的因素样本的特征采用有放回无权重的抽样方式,为每个决策树产生各自的训练集,确保每棵决策树构建的随机性,然后采用分类回归树算法对训练集进行计算,同时计算训练集影响无人机自主能力的各因素的基尼系数,并以基尼系数最小为原则进行决策树的构建。
最终建立由多棵决策树组成的随机森林,具有N层级联森林,每层具有M个随机森林,共有N/M层,每一层随机森林的输出作为下一层随机森林的输入。该级联森林即为深度随机森林。
步骤4:进行无人机系统自主能力评价。
首先获取需要进行自主能力评价的无人机系统数据,然后进行多粒度扫描,提取因数样本的特征,将得到的因数样本的特征输入步骤3中构建的级联森林中进行计算评价。
每棵决策树输出无人机自主能力等级的后验概率,然后对所有的决策树进行投票,投票的过程为将所有的后验概率向量进行加权平均,投票的结果即为每个随机森林的分类结果,再通过各层级联森林对分类结果进行投票决策,最终输出无人机自主能力等级的后验概率,然后对该后验概率进行最大化统计值,即选择后验概率最大的类别作为最终的等级划分结果。
步骤5:通过增量学习优化评价模型。
当获得新的无人机样本时,计算其对分类规则的基尼系数的影响,当样本对基尼系数产生影响时,对决策树进行更新,以产生更为合理的规则,此时决策树的投票结果会发生变化,进而调整了级联森林的输出,获得更为准确的无人机自主能力等级后验概率类向量,实现无人机系统自主能力评价模型的更新和优化。
在对级联森林进行训练时,将无人机原始评价数据进行随机分解,将分解的数据提供给每层随机森林进行交叉验证,防止训练过拟合。
参照图4,可以将无人机系统自主能力分为13级,定性描述为:零级为远程控制,一级为自动飞行控制,二级为外部独立系统导航,三级为无人系统自适应故障/事件,四级为实时障碍/事件检测和路径规划,五级为实时协作导航与路径规划,六级为动态任务规划,七级为实时协同任务规划,八级为无人机与有人机协作,九级为态势感知与理解,十级为群体认知与群体决策,十一级为群体作战,十二级为全自主。同时,零级表示最低的自主能力,一、二、三级表示较低的自主能力,四、五、六、七表示中等自主能力,八、九、十、十一级为高等的自主能力,十二级为最高等级自主能力。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述基于深度随机森林的无人机系统自主能力评价方法的步骤。其中,所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
在示例性实施例中,还提供了一种纠终端系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于深度随机森林的无人机系统自主能力评价方法的步骤。处理器可能是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种无人机系统自主能力评价方法,其特征在于,包括以下步骤:
步骤1:将无人机飞行科目测试中的性能数据,作为自主能力评价的因素样本;
步骤2:提取因数样本的特征;
步骤3:构建深度随机深林并进行训练;
步骤4:将取因数样本的特征输入至训练后的深度随机深林中,深度随机深林输出无人机系统的评价结果。
2.根据权利要求1所述的一种无人机系统自主能力评价方法,其特征在于,步骤1中所述性能数据包括无人机在静态测试、个体性能测试和群体测试中的性能数据。
3.根据权利要求1所述的一种无人机系统自主能力评价方法,其特征在于,步骤1中并对无人机的性能数据进行行量化和归一化处理。
4.根据权利要求1所述的一种无人机系统自主能力评价方法,其特征在于,步骤2中对因素样本进行多粒度扫描,提取因素样本的特征,将因素样本的特征输入至深度随机深林。
5.根据权利要求1所述的一种无人机系统自主能力评价方法,其特征在于,步骤3中所述深度随机深林包括N层级联森林,每层级联森林有M个随机森林,每个随机森林由多个决策树组成,每一层级联森林的输出合并原始输入后作为下一层级联森林的输入;
对多粒度扫描后的样本采用有放回无权重的抽样方式,为每个决策树产生各自的训练集,然后采用分类回归树算法对训练集进行计算,同时计算训练集影响无人机自主能力的各因素样本的基尼系数,并以基尼系数最小为原则进行构建决策树。
6.根据权利要求5所述的一种无人机系统自主能力评价方法,其特征在于,当获得无人机新的因数样本时,计算因数样本对基尼系数的影响,当样本对基尼系数产生影响时,对决策树进行更新。
7.根据权利要求1所述的一种无人机系统自主能力评价方法,其特征在于,步骤4中深度随机深林输出无人机系统评价结果的具体过程如下:
将步骤2得到的因数样本的特征输入至中训练后的深度随机森林,每棵决策树输出无人机自主能力等级的后验概率,然后将所有的后验概率进行加权平均,得到每个随机森林的分类结果,再通过各层级联森林对分类结果进行投票决策,最终输出无人机自主能力等级的后验概率,然后对后验概率进行最大化统计值,选择后验概率最大的类别作为最终的等级划分结果。
8.一种终端系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201911348710.2A 2019-12-24 2019-12-24 一种无人机系统自主能力评价方法、系统及可读存储介质 Pending CN111160439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348710.2A CN111160439A (zh) 2019-12-24 2019-12-24 一种无人机系统自主能力评价方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348710.2A CN111160439A (zh) 2019-12-24 2019-12-24 一种无人机系统自主能力评价方法、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN111160439A true CN111160439A (zh) 2020-05-15

Family

ID=70558168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348710.2A Pending CN111160439A (zh) 2019-12-24 2019-12-24 一种无人机系统自主能力评价方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN111160439A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813086A (zh) * 2020-07-15 2020-10-23 北京航空航天大学云南创新研究院 一种基于模型的无人系统自主性评估方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486439A (zh) * 2010-12-02 2012-06-06 现代自动车株式会社 使用车辆模拟器的用于车辆设备的自动评估系统
CN105844300A (zh) * 2016-03-24 2016-08-10 河南师范大学 一种基于随机森林算法的优化分类方法及装置
CN107679583A (zh) * 2017-10-24 2018-02-09 四川长虹电器股份有限公司 基于大数据获取故障解决方案的方法
CN109102032A (zh) * 2018-09-03 2018-12-28 中国水利水电科学研究院 一种基于深度森林和自编码的泵站机组诊断方法
CN109740639A (zh) * 2018-12-15 2019-05-10 中国科学院深圳先进技术研究院 一种风云卫星遥感影像云检测方法、系统及电子设备
CN109739986A (zh) * 2018-12-28 2019-05-10 合肥工业大学 一种基于深度集成学习的投诉短文本分类方法
CN109816010A (zh) * 2019-01-21 2019-05-28 北京工业大学 一种用于航班延误预测的基于选择性集成的cart增量学习分类方法
CN109934489A (zh) * 2019-03-12 2019-06-25 广东电网有限责任公司 一种电力设备状态评价方法
CN110222406A (zh) * 2019-05-30 2019-09-10 中国人民解放军国防科技大学 一种基于任务阶段复杂性的无人机自主能力评估方法
CN110490114A (zh) * 2019-08-13 2019-11-22 西北工业大学 一种基于深度随机森林和激光雷达的无人机实时空中目标检测避障方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486439A (zh) * 2010-12-02 2012-06-06 现代自动车株式会社 使用车辆模拟器的用于车辆设备的自动评估系统
CN105844300A (zh) * 2016-03-24 2016-08-10 河南师范大学 一种基于随机森林算法的优化分类方法及装置
CN107679583A (zh) * 2017-10-24 2018-02-09 四川长虹电器股份有限公司 基于大数据获取故障解决方案的方法
CN109102032A (zh) * 2018-09-03 2018-12-28 中国水利水电科学研究院 一种基于深度森林和自编码的泵站机组诊断方法
CN109740639A (zh) * 2018-12-15 2019-05-10 中国科学院深圳先进技术研究院 一种风云卫星遥感影像云检测方法、系统及电子设备
CN109739986A (zh) * 2018-12-28 2019-05-10 合肥工业大学 一种基于深度集成学习的投诉短文本分类方法
CN109816010A (zh) * 2019-01-21 2019-05-28 北京工业大学 一种用于航班延误预测的基于选择性集成的cart增量学习分类方法
CN109934489A (zh) * 2019-03-12 2019-06-25 广东电网有限责任公司 一种电力设备状态评价方法
CN110222406A (zh) * 2019-05-30 2019-09-10 中国人民解放军国防科技大学 一种基于任务阶段复杂性的无人机自主能力评估方法
CN110490114A (zh) * 2019-08-13 2019-11-22 西北工业大学 一种基于深度随机森林和激光雷达的无人机实时空中目标检测避障方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMIR BEHNAMIAN等: "Dimensionality Reduction in The Presence of Highly Correlated Variables for Random Forests: Wetland Case Study", 《IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
刘爽编著: "《支持向量机在自动文本分类中的应用》", 31 July 2014, 大连:大连海事大学出版社 *
李高垒等: "基于深度网络的空战态势特征提取", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813086A (zh) * 2020-07-15 2020-10-23 北京航空航天大学云南创新研究院 一种基于模型的无人系统自主性评估方法
CN111813086B (zh) * 2020-07-15 2023-08-25 北京航空航天大学云南创新研究院 一种基于模型的无人系统自主性评估方法

Similar Documents

Publication Publication Date Title
Geary et al. A guide to ecosystem models and their environmental applications
CN110197282B (zh) 一种基于遗传模糊逻辑树的威胁估计与态势评估方法
Pramanik et al. Interval neutrosophic multi-attribute decision-making based on grey relational analysis
CN103839073A (zh) 一种基于极化特征和近邻传播聚类的极化sar图像分类方法
US11790767B2 (en) Method, apparatus, device and storage medium for pre-warning of aircraft flight threat evolution
Capinha et al. Deep learning for supervised classification of temporal data in ecology
CN114863226A (zh) 一种网络物理系统入侵检测方法
CN111027627A (zh) 一种基于多层感知机的振动信息地形分类识别方法
Alvarez‐Martínez et al. Can Eltonian processes explain species distributions at large scale? A case study with Great Bustard (Otis tarda)
Park et al. A process for human-aided multi-entity bayesian networks learning in predictive situation awareness
Pan et al. Data-driven time series prediction based on multiplicative neuron model artificial neuron network
CN111160439A (zh) 一种无人机系统自主能力评价方法、系统及可读存储介质
CN116776208B (zh) 地震波分类模型的训练方法、地震选波方法、设备及介质
CN112926739A (zh) 一种基于神经网络模型的网络对抗效能评估方法
CN110598914B (zh) 一种多因素影响下矿井灾害气体浓度区间预测方法及系统
CN109636194B (zh) 一种输变电项目重大变动多源协同检测方法与系统
Valaboju et al. Drone Detection and Classification using Computer Vision
Bohnett et al. Examining diversity of terrestrial mammal communities across forest reserves in Sabah, Borneo
CN115293639A (zh) 一种基于隐马尔可夫模型的战场态势研判方法
CN115909027A (zh) 一种态势估计方法及装置
CN114548297A (zh) 基于领域自适应的数据分类方法、装置、设备及介质
CN112488146A (zh) 基于深度学习的飞机危险识别与趋势预测方法
He et al. Development of regime recognition tools for usage monitoring
Gan et al. Multi kernel SVM evaluation of UAV air ground combat effectiveness based on AFSA
Karthick et al. Analysing the Causes of Cyclonic Severity in Bay of Bengal and Its Effects in Biotic Species Using XGBoost Algorithm.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination