CN114475588A - 一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 - Google Patents
一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 Download PDFInfo
- Publication number
- CN114475588A CN114475588A CN202210193076.5A CN202210193076A CN114475588A CN 114475588 A CN114475588 A CN 114475588A CN 202210193076 A CN202210193076 A CN 202210193076A CN 114475588 A CN114475588 A CN 114475588A
- Authority
- CN
- China
- Prior art keywords
- moving object
- road
- automobile
- obstacle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000004888 barrier function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及汽车无人驾驶技术领域,尤其涉及一种汽车无人驾驶识别系统及汽车无人驾驶识别方法。一种汽车无人驾驶识别方法,包括以下步骤:步骤1:道路识别以及行进路线规划;步骤2:阻挡物规避;步骤3:潜在移动物规避;本发明通过道路识别、阻挡物识别以及对目标移动物跟踪预算,使得汽车可以安全通过复杂道路,避免碰撞。
Description
技术领域
本发明涉及汽车无人驾驶技术领域,尤其涉及一种汽车无人驾驶识别系统及汽车无人驾驶识别方法。
背景技术
随着汽车行业的不断发展,无人驾驶汽车已经逐步完善,已经通过不少的环境测试;如信号灯识别、高速上加速超车等;目前无人驾驶汽车还主要应用于规范的行进车道,如城市道路以及高速道路等;而当无人驾驶汽车行进在乡间市集道路上,由于该道路上会出现各种车辆以及偶尔的人群,目前的无人识别系统难以针对这种复杂的路况进行识别以及控制汽车行进。
发明内容
本发明的目的在于针对现有技术的不足,提供一种汽车无人驾驶识别方法,该识别方法可以有效识别多个目标,并对目标进行预算,控制汽车安全行进。
一种汽车无人驾驶识别方法,包括以下步骤:
步骤1:道路识别以及行进路线规划;
通过前侧摄像头获取道路图像,并提取道路特征,结合导航信息,进行道路识别和线路规划;
步骤2:阻挡物规避;
通过前侧摄像头获取的图像信息与初始道路图像进行比对,提取阻挡物的特征信息,进行阻挡物的规避;
步骤3:潜在移动物规避;
通过侧向的2个摄像头摄像,确定移动物,对移动物进行跟踪和路线预估,对有碰撞可能的移动物进行规避。
进一步地,步骤1还包括:指示牌识别;
通过前侧摄像头获取的图像,提取指示牌特征,并对指示牌信息进行识别。
进一步地,步骤2还包括阻挡物大小识别;通过行进距离与图像中阻挡物的区域,对阻挡物进行大小识别。
进一步地,步骤3包括:
步骤3.1:移动物的判断;
通过连续比较相邻两帧图像中的各个物体的相对位置,确定移动物;
步骤3.2:选取靠近移动物作为目标移动物;
通过比对连续两帧图像中的各个物体的相对位置,如果远离车辆,则为无效移动物,靠近车辆的为有效移动物。
步骤3.3:针对目标移动物进行跟踪,判断其是否影响行驶并进行针对规避。
进一步地,在进行步骤3.3时,每隔m秒选一帧图像,对图像中的目标移动物进行距离计算:
在汽车的一侧设置有至少两个摄像头,该侧任意两个摄像头的距离为Sn;如S1、S2、S3等,Sn表示对应两个摄像头的距离;
选取其中两个摄像头的图像,对每帧图像建立坐标系,目标移动物所在其中一个摄像头的图像中坐标变化为fj(x、y);另一个摄像头的图像中坐标变化为F j(x、y);由此可以计算出目标移动物相对汽车坐标变化。
在具体计算时:如果目标物的坐标值变化不大,说明与车辆的速度相当,大致相同,因此不会存在潜在的碰撞风险;目标物在两个图像中的坐标值均发生较大变化,由于摄像头的间距是固定的,可以假设目标物在非常短的时间内是匀速行进,目标物的速度分解为两个分量:Vx、Vy;x为平行汽车的速度分量;y为垂直汽车的速度分量;
在m秒中内,目标物的水平行走距离为m*Vx;垂直距离为m*V y;在图像中的水平移动距离为fj+1(x、y)-fj(x、y)的水平分量;该水平分量与目标物距离汽车的垂直距离有关,因此可以通过计算获得目标物的距离,以及速度Vx、Vy;从而判断出是否有碰撞的潜在风险。
一种汽车无人驾驶识别系统,其包括:
前摄像头模块,用于对道路以及汽车前方两侧进行摄像,获取道路图像信息;
道路识别模块,用于对道路图像信息进行识别,提取道路信息特征;
导航系统,用于对行进路线进行规划,以及获取所在道路的信息。
优选地,还包括阻挡物规避模块。
进一步地,还包括潜在移动物规避模块;潜在移动物规避模块包括设置在汽车每侧的2个摄像头,2个摄像头的间距为L。
本发明的有益效果:本发明通过道路识别、阻挡物识别以及对目标移动物跟踪预算,使得汽车可以安全通过复杂道路,避免碰撞。
附图说明
图1为汽车行进的示意图。
1——阻挡物;2——潜在移动物;3——汽车。
具体实施方式
以下结合附图对发明进行详细的描述。如图1所示。
实施例1:一种汽车无人驾驶识别方法,包括以下步骤:
步骤1:道路识别以及行进路线规划;
通过摄像头摄取前方道路图像,结合导航信息,对行驶路线进行规划;对摄取的道路图像提取道路的特征,特征包括:标记线(如虚线、实线、箭头等),将获取的特征与数据库中的线路特征进行比较,获取标记线信息;结合导航信息,进行线路规划;
步骤2:阻挡物1规避;
通过前置摄像头获取前方道路的图像信息,以正常路面的第一帧图像信息作为参考,比对后续每帧的图像信息,当出现异物时,根据图像信息判断是否可以通过,如果可以通过,则减少通过;如果不能通过则变道通过;
步骤3:潜在移动物2规避;
通过侧前方摄像头获取两个侧前图像信息,比较相邻两帧图片,提取移动物特征,确定靠近移动物,并进行跟踪;结合自身车速以及道路规则判断移动物是否产生阻碍风险,如果有则:提前减速规避;如果没有;则正常行驶。
进一步地,步骤1还包括:指示牌识别。
在行进过程中,可能出现道路维修等状态,需要对道路一般的指示牌进行识别,并作出新的规划路线。
进一步地,步骤2还包括阻挡物1大小识别;
间隔提取若干帧含有阻挡物1的图像,阻挡物1在每帧图像的区域为函数Si(x、y);x、y为图像的平面坐标;i为帧的排列数;结合自身车速,提取的邻两帧图像之间间隔车距为F(V);通过数Si(x、y)、F(V)计算出阻挡物1的大小。
在具体实施时,可以提取10个图像,每帧间隔t毫秒,t可以为5、6、7等;每两帧的车距为t*V;V为车速;同时获取摄像头的高度h,通过投影函数,获取阻碍物的长度和高度;当阻碍物的长度小于车辆两车轮的间距,且高度低于底盘高度时,可以调整车辆的位置,从阻挡物1的上方通过。当阻碍物的长度大于两车辆之间的距离时,且阻碍物的高度较低时,可以减速通过,此时阻碍物可能为减速带。当阻碍物的高度高于底盘时,选择切换车道避开。
进一步地,步骤3包括:
步骤3.1:移动物的判断;
通过连续比较相邻两帧图像中的各个物体的相对位置,确定移动物;
步骤3.2:选取靠近移动物作为目标移动物;
通过比对连续两帧图像中的各个物体的相对位置,如果远离车辆,则为无效移动物,靠近车辆的为有效移动物。
步骤3.3:针对目标移动物进行跟踪,判断其是否影响行驶并进行针对规避。
进一步地,在进行步骤3.3时,每隔m秒选一帧图像,对图像中的目标移动物进行距离计算:
在汽车3的一侧设置有至少两个摄像头,该侧任意两个摄像头的距离为Sn;如S1、S2、S3等,Sn表示对应两个摄像头的距离;
选取其中两个摄像头的图像,对每帧图像建立坐标系,目标移动物所在其中一个摄像头的图像中坐标变化为fj(x、y);另一个摄像头的图像中坐标变化为F j(x、y);由此可以计算出目标移动物相对汽车3坐标变化。
在具体计算时:如果目标物的坐标值变化不大,说明与车辆的速度相当,大致相同,因此不会存在潜在的碰撞风险;目标物在两个图像中的坐标值均发生较大变化,由于摄像头的间距是固定的,可以假设目标物在非常短的时间内是匀速行进,目标物的速度分解为两个分量:Vx、Vy;x为平行汽车3的速度分量;y为垂直汽车3的速度分量;
在m秒中内,目标物的水平行走距离为m*Vx;垂直距离为m*V y;在图像中的水平移动距离为fj+1(x、y)-fj(x、y)的水平分量;该水平分量与目标物距离汽车3的垂直距离有关,因此可以通过计算获得目标物的距离,以及速度Vx、Vy;从而判断出是否有碰撞的潜在风险。
一种汽车无人驾驶识别系统,其包括:
前摄像头模块,用于对道路以及汽车3前方两侧进行摄像,获取道路图像信息;
道路识别模块,用于对道路图像信息进行识别,提取道路信息特征;
导航系统,用于对行进路线进行规划,以及获取所在道路的信息。
汽车3无人驾驶在进行道路识别时,首先通过导航系统获取道路的信息,如该道路为几车道,需要行驶在第几车道;此为现有技术不再赘述;然后通过前摄像头模块获取道路图像,并通过道路识别模块提取道路信息特征,并进行识别,如道路上的标记线、中间的分隔物等;规划到汽车3所要行走的具体线路。
优选地,还包括阻挡物1规避模块。
阻挡物1规避模块,根据前侧摄像头获取图像信息,比对正常道路的图像信息,找出行驶线路上的异物特征,在出现异物特征时,提取间隔提取若干帧含有阻挡物1的图像,阻挡物1在每帧图像的区域为函数Si(x、y);x、y为图像的平面坐标;i为帧的排列数;结合自身车速,提取的邻两帧图像之间间隔车距为F(V);通过数Si(x、y)、F(V)计算出阻挡物1的大小。
当阻碍物的长度小于车辆两车轮的间距,且高度低于底盘高度时,可以调整车辆的位置,从阻挡物1的上方通过。当阻碍物的长度大于两车辆之间的距离时,且阻碍物的高度较低时,可以减速通过,此时阻碍物可能为减速带。当阻碍物的高度高于底盘时,选择切换车道避开。
进一步地,还包括潜在移动物2规避模块;潜在移动物2规避模块包括设置在汽车3每侧的2个摄像头,2个摄像头的间距为L。
通过该2个摄像头对侧向进行摄像,比对相邻帧的图像,找出靠近车辆的移动物,该移动物为目标移动物,通过2个摄像头拍摄形成的图像,并对图像建立坐标,对目标移动物的位置变化建立函数fj(x、y)和F j(x、y),根据该两个函数的变化,计算出目标移动物相对于汽车3的移动轨迹,从而判断是否可能在将来某一时刻会碰撞,如果有较大几率碰撞,汽车3将减速或加速,避开将来该时刻碰撞,规避潜在碰撞风险。
以上内容仅为发明的较佳实施例,对于本领域的普通技术人员,依据发明的思想,在具体实施方式及应用范围上均会有改变之处,本说明书内容不应理解为对发明的限制。
Claims (7)
1.一种汽车无人驾驶识别方法,其特征在于:其包括以下步骤:
步骤1:道路识别以及行进路线规划;
通过前侧摄像头获取道路图像,并提取道路特征,结合导航信息,进行道路识别和线路规划;
步骤2:阻挡物规避;
通过前侧摄像头获取的图像信息与初始道路图像进行比对,提取阻挡物的特征信息,进行阻挡物的规避;
步骤3:潜在移动物规避;
通过侧向的2个摄像头摄像,确定移动物,对移动物进行跟踪和路线预估,对有碰撞可能的移动物进行规避。
2.根据权利要求1一种汽车无人驾驶识别方法,其特征在于:步骤1还包括:指示牌识别;
通过前侧摄像头获取的图像,提取指示牌特征,并对指示牌信息进行识别。
3.根据权利要求1一种汽车无人驾驶识别方法,其特征在于:步骤2还包括阻挡物大小识别;通过行进距离与图像中阻挡物的区域,对阻挡物进行大小识别。
4.根据权利要求1一种汽车无人驾驶识别方法,其特征在于:步骤3包括:步骤3.1:移动物的判断;
通过连续比较相邻两帧图像中的各个物体的相对位置,确定移动物;
步骤3.2:选取靠近移动物作为目标移动物;
通过比对连续两帧图像中的各个物体的相对位置,如果远离车辆,则为无效移动物,靠近车辆的为有效移动物。
步骤3.3:针对目标移动物进行跟踪,判断其是否影响行驶并进行针对规避。
5.一种汽车无人驾驶识别系统,其特征在于:其包括:
前摄像头模块,用于对道路以及汽车前方两侧进行摄像,获取道路图像信息;
道路识别模块,用于对道路图像信息进行识别,提取道路信息特征;
导航系统,用于对行进路线进行规划,以及获取所在道路的信息。
6.根据权利要求1一种汽车无人驾驶识别系统,其特征在于:还包括阻挡物规避模块。
7.根据权利要求1一种汽车无人驾驶识别系统,其特征在于:还包括潜在移动物规避模块;潜在移动物规避模块包括设置在汽车每侧的2个摄像头,2个摄像头的间距为L。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210193076.5A CN114475588A (zh) | 2022-02-28 | 2022-02-28 | 一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210193076.5A CN114475588A (zh) | 2022-02-28 | 2022-02-28 | 一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114475588A true CN114475588A (zh) | 2022-05-13 |
Family
ID=81484262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210193076.5A Pending CN114475588A (zh) | 2022-02-28 | 2022-02-28 | 一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114475588A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115061655A (zh) * | 2022-08-19 | 2022-09-16 | 江苏际弘芯片科技有限公司 | 一种用于车载usb的扩展系统及扩展方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105216792A (zh) * | 2014-06-12 | 2016-01-06 | 株式会社日立制作所 | 对周围环境中的障碍物目标进行识别跟踪的方法和设备 |
CN108931971A (zh) * | 2018-05-24 | 2018-12-04 | 奇瑞汽车股份有限公司 | 用于无人驾驶的移动终端、车辆、服务器及无人驾驶系统 |
CN109062205A (zh) * | 2018-07-26 | 2018-12-21 | 武汉水草能源科技研发中心(有限合伙) | 人工智能汽车无人驾驶系统 |
CN109649401A (zh) * | 2017-10-11 | 2019-04-19 | 浙江容融荣环保科技有限公司 | 一种汽车无人驾驶系统 |
CN110333714A (zh) * | 2019-04-09 | 2019-10-15 | 武汉理工大学 | 一种无人驾驶汽车路径规划方法和装置 |
CN111552284A (zh) * | 2020-04-20 | 2020-08-18 | 宁波吉利汽车研究开发有限公司 | 无人驾驶车辆的局部路径规划方法、装置、设备及介质 |
-
2022
- 2022-02-28 CN CN202210193076.5A patent/CN114475588A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105216792A (zh) * | 2014-06-12 | 2016-01-06 | 株式会社日立制作所 | 对周围环境中的障碍物目标进行识别跟踪的方法和设备 |
CN109649401A (zh) * | 2017-10-11 | 2019-04-19 | 浙江容融荣环保科技有限公司 | 一种汽车无人驾驶系统 |
CN108931971A (zh) * | 2018-05-24 | 2018-12-04 | 奇瑞汽车股份有限公司 | 用于无人驾驶的移动终端、车辆、服务器及无人驾驶系统 |
CN109062205A (zh) * | 2018-07-26 | 2018-12-21 | 武汉水草能源科技研发中心(有限合伙) | 人工智能汽车无人驾驶系统 |
CN110333714A (zh) * | 2019-04-09 | 2019-10-15 | 武汉理工大学 | 一种无人驾驶汽车路径规划方法和装置 |
CN111552284A (zh) * | 2020-04-20 | 2020-08-18 | 宁波吉利汽车研究开发有限公司 | 无人驾驶车辆的局部路径规划方法、装置、设备及介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115061655A (zh) * | 2022-08-19 | 2022-09-16 | 江苏际弘芯片科技有限公司 | 一种用于车载usb的扩展系统及扩展方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7040374B2 (ja) | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム | |
US10796574B2 (en) | Driving assistance method and device | |
US10431094B2 (en) | Object detection method and object detection apparatus | |
Maurer et al. | A compact vision system for road vehicle guidance | |
Beymer et al. | A real-time computer vision system for measuring traffic parameters | |
JP7119365B2 (ja) | 運転行動データ生成装置、運転行動データベース | |
CN113306552B (zh) | 混合道路拥堵状态下无人驾驶汽车的超低速蠕行方法 | |
CN114126940A (zh) | 电子控制装置 | |
US11403951B2 (en) | Driving assistance for a motor vehicle when approaching a tollgate | |
CN116745195A (zh) | 车道外安全驾驶的方法和系统 | |
CN111055852B (zh) | 一种用于自动驾驶的感兴趣目标搜索区域确定方法 | |
CN113492846A (zh) | 控制装置、控制方法以及存储程序的计算机可读取存储介质 | |
CN114475588A (zh) | 一种汽车无人驾驶识别系统及汽车无人驾驶识别方法 | |
CN112689584B (zh) | 自动驾驶控制方法以及自动驾驶控制系统 | |
CN114516329A (zh) | 车辆自适应巡航控制系统、方法和计算机可读介质 | |
US20230245323A1 (en) | Object tracking device, object tracking method, and storage medium | |
CN117416344A (zh) | 自主驾驶系统中校车的状态估计 | |
CN108803626B (zh) | 自主汽车或者辅助驾驶系统规划路线的系统 | |
US20220036099A1 (en) | Moving body obstruction detection device, moving body obstruction detection system, moving body obstruction detection method, and storage medium | |
CN115775463A (zh) | 一种自动驾驶汽车的导航方法 | |
Feng et al. | Detection of approaching objects reflected in a road safety mirror using on-vehicle camera | |
CN109147389B (zh) | 自主汽车或者辅助驾驶系统规划路线的方法 | |
CN109165591B (zh) | 道路行人分类方法 | |
CN114973644A (zh) | 道路信息生成装置 | |
CN109145980B (zh) | 用于道路行人分类的磁力概率算法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |