CN114647319A - 一种用户车内屏幕显示信息流转的方法、系统及存储介质 - Google Patents
一种用户车内屏幕显示信息流转的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114647319A CN114647319A CN202210313167.8A CN202210313167A CN114647319A CN 114647319 A CN114647319 A CN 114647319A CN 202210313167 A CN202210313167 A CN 202210313167A CN 114647319 A CN114647319 A CN 114647319A
- Authority
- CN
- China
- Prior art keywords
- information
- screen
- vehicle
- entertainment system
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000001960 triggered effect Effects 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 238000005457 optimization Methods 0.000 description 7
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明公开了一种用户车内屏幕显示信息流转的方法、系统及存储介质，包括，S1、获取车内人员的身份信息及视线与屏幕的关联信息；S2、根据所述身份信息及关联信息，将预设的触发信息流转至对应的屏幕进行显示。本发明通过车内摄像头对车内人员的视频采集，车载娱乐系统进行视线追踪和算法仲裁，车内对应屏幕显示信息。本发明通过车内摄像头进行数据采集，以YUV或RGB格式传递给娱乐系统，娱乐系统通过算法追踪车内乘客的视线，结合仲裁算法,对车内显示信息的分发，表现就是哪些信息在视线所在屏幕进行显示和黑屏或屏幕亮度低的情况下进行视线所在屏幕的点亮及显示。
Description
技术领域
本发明属于汽车智能化技术领域，更具体涉及一种用户车内屏幕显示信息流转的方法、系统及存储介质。
背景技术
随着汽车的智能化的程度越来越高，车上的显示屏数量越来越多，导致用户想要看到的自己关注信息，又不能影响其他乘客的使用，变得不是那么方便。
如我国专利CN201910263281.2涉及一种防屏幕信息泄露的方法、装置及计算机可读存储介质。其中，一种防屏幕信息泄露的方法包括：接收到第一预设指令，开启防屏幕信息泄露隐私模式；获取用户的眼睛与屏幕的关联特征信息；基于关联特征信息在预设范围内，控制屏幕发出的可见光在预设范围内；否则，减少可见光范围。通过该发明提供的防屏幕信息泄露的方法，实现在用户不察觉的情况下，来阻止他人观察到自己的手机屏幕内容，防止个人隐私暴露，保护了用户的隐私。
该现有技术通过改变可见光范围来防止他人观察到自己屏幕的内容，并不能根据不同用户的实际需求在对应的屏幕显示对应的内容，并在一定程度上保护隐私，人性化较差，给用户的使用带来诸多不便。
发明内容
为解决上述问题，本发明提供了一种用户车内屏幕显示信息流转的方法、系统及存储介质，结合摄像头的能力解决了车内多屏的情况下，用户时刻能看到关注信息，且不影响他人使用。
为了解决上述技术问题，本发明采用的技术方案是这样的：一种用户车内屏幕显示信息流转的方法，包括以下步骤，
S1、获取车内人员的身份信息及视线与屏幕的关联信息；
S2、根据所述身份信息及关联信息，将预设的触发信息流转至对应的屏幕进行显示。
作为优化，步骤S1中，通过车内摄像头采集车内人员的图像或视频数据，并通过车载娱乐系统对该图像数据进行处理，获取所述身份信息及关联信息。
作为优化，所述身份信息包括驾驶员身份和非驾驶员身份。
作为优化，所述关联信息包括通过处理所述图像或视频数据中，车内人员的眼球和瞳孔位置获取的车内人员的视线与屏幕的对应关系。
作为优化，所述触发信息包括主动触发信息和被动触发信息；所述主动触发信息包括车载娱乐系统主动触发的信息，所述被动触发信息包括车内人员通过操作车载娱乐系统被动触发的信息。
作为优化，所述主动触发信息包括与驾驶相关的主动触发信息、与娱乐相关的主动触发信息。
作为优化，步骤S2包括，
S201、判断屏幕的显示状态；所述显示状态包括黑屏或低亮度或高亮度状态；
S202、若驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与驾驶相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若非驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若非驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与娱乐相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若车内人员的视线与屏幕无关联，则将屏幕调至低亮度或黑屏状态。
作为优化，在显示与娱乐相关的主动触发信息前，判断该主动触发信息是否涉及用户隐私。
基于上述方法，本发明还提供了一种用户车内屏幕显示信息流转的系统，以实现上述方法，包括，
摄像头，用于采集车内人员的图像或视频数据；
车载娱乐系统，用于处理所述图像或视频数据，获取车内人员的身份信息及视线与屏幕的关联信息，并根据该身份信息和关联信息向对应的屏幕分发触发信息；
若干车内屏幕，用于接收车载娱乐系统分发的触发信息并显示。
基于上述方法，本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行所述的用户车内屏幕显示信息流转的方法的步骤。
与现有技术相比，本发明具有如下优点：
本发明根据摄像头图像，通过追踪主驾乘客或副驾乘客视线技术，在对应视线所在的显示屏上显示内容。具体通过车内摄像头对车内人员的视频采集，车载娱乐系统进行视线追踪和算法仲裁，车内对应屏幕显示信息。本发明通过车内摄像头进行数据采集，以YUV或RGB格式传递给娱乐系统，娱乐系统通过算法追踪车内乘客的视线，结合仲裁算法,对车内显示信息的分发，表现就是哪些信息在视线所在屏幕进行显示和黑屏或屏幕亮度低的情况下进行视线所在屏幕的点亮及显示。
附图说明
图1为本发明的工作逻辑示意图；
图2为本发明的系统框图。
具体实施方式
下面将结合附图及实施例对本发明作进一步说明。
实施例：参见图1-图2，
一种用户车内屏幕显示信息流转的方法，包括以下步骤，
S1、获取车内人员的身份信息及视线与屏幕的关联信息。具体的，通过车内摄像头采集车内人员的图像或视频数据，并通过车载娱乐系统对该图像数据进行处理，获取所述身份信息及关联信息。所述身份信息包括驾驶员身份和非驾驶员身份。所述关联信息包括通过处理所述图像或视频数据中，车内人员的眼球和瞳孔位置获取的车内人员的视线与屏幕的对应关系。
具体的，摄像头通过线束连接娱乐系统，以YUV信号提供视频信号给娱乐系统，娱乐系统接收到摄像头视频信号，通过识别视频中乘客的眼球和瞳孔的位置，对乘客视线进行追踪，然后对车内信息进行分发显示和对显示屏的亮灭进行控制。
S2、根据所述身份信息及关联信息，将预设的触发信息流转至对应的屏幕进行显示。所述触发信息包括主动触发信息和被动触发信息；所述主动触发信息包括车载娱乐系统主动触发的信息，所述被动触发信息包括车内人员通过操作车载娱乐系统被动触发的信息。所述主动触发信息包括与驾驶相关的主动触发信息、与娱乐相关的主动触发信息。
S201、判断屏幕的显示状态；所述显示状态包括黑屏或低亮度或高亮度状态；
S202、若驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与驾驶相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若非驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若非驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与娱乐相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若车内人员的视线与屏幕无关联，则将屏幕调至低亮度或黑屏状态。
在显示与娱乐相关的主动触发信息前，判断该主动触发信息是否涉及用户隐私。
基于上述方法，本发明还提供了一种用户车内屏幕显示信息流转的系统，以实现上述方法，如图2所示，包括，
摄像头，用于采集车内人员的图像或视频数据；
车载娱乐系统，用于处理所述图像或视频数据，获取车内人员的身份信息及视线与屏幕的关联信息，并根据该身份信息和关联信息向对应的屏幕分发触发信息；
若干车内屏幕，用于接收车载娱乐系统分发的触发信息并显示。
具体的，本发明的工作逻辑为，如图1所示，，
对于驾驶员：
1）显示屏黑屏或屏幕亮度低状态，驾驶员看向对应的显示屏，则该视线所在的显示屏点亮同时显示屏上显示驾驶相关主要信息，如车速、里程、转速、油量或电量等。如果驾驶员操作控制车辆或娱乐系统，则对应的系统被动触发信息在驾驶员视线所在的屏幕上进行显示。如果非驾驶员控制车辆或操作娱乐系统，则对应的系统被动触发信息不在驾驶员视线所在的显示屏上进行显示。
2）车辆有主动触发信息产生，如蓝牙来电、微信信息、导航下道信息，则识别驾驶员视线在哪个屏幕上，则主动触发信息在对应的显示屏上显示。同时如果驾驶员的视线不在该显示屏上,则该显示屏亮度调低.避免对驾驶员行车进行干扰。
对于非驾驶员：
1）显示屏黑屏状态，副驾视线落在那个屏幕上，则该屏幕点亮同时显示娱乐相关内容，如歌曲信息、导航信息、时间信息等。如果非驾驶员操作车辆控制或娱乐系统，则系统被动触发信息在该用户所在的屏幕显示，驾驶员操作的车辆信息不在非驾驶员视线所在屏幕上进行显示。
2）如果有主动触发信息发生，同时不涉及用户隐私信息,如导航下道、显示屏弹框，则在副驾用户视线所在的屏幕上显示。同时如果没有任何人的视线在显示屏上,则显示屏亮度调低,避免对驾驶员行车进行干扰。
基于上述方法，本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行所述的用户车内屏幕显示信息流转的方法的步骤。
本发明根据摄像头图像，通过追踪主驾乘客或副驾乘客视线技术，在对应视线所在的显示屏上显示内容。具体通过车内摄像头对车内人员的视频采集，车载娱乐系统进行视线追踪和算法仲裁，车内对应屏幕显示信息。本发明通过车内摄像头进行数据采集，以YUV或RGB格式传递给娱乐系统，娱乐系统通过算法追踪车内乘客的视线，结合仲裁算法,对车内显示信息的分发，表现就是哪些信息在视线所在屏幕进行显示和黑屏或屏幕亮度低的情况下进行视线所在屏幕的点亮及显示。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种用户车内屏幕显示信息流转的方法，其特征在于，包括以下步骤，
S1、获取车内人员的身份信息及视线与屏幕的关联信息；
S2、根据所述身份信息及关联信息，将预设的触发信息流转至对应的屏幕进行显示。
2.根据权利要求1所述的用户车内屏幕显示信息流转的方法，其特征在于，步骤S1中，通过车内摄像头采集车内人员的图像或视频数据，并通过车载娱乐系统对该图像数据进行处理，获取所述身份信息及关联信息。
3.根据权利要求2所述的用户车内屏幕显示信息流转的方法，其特征在于，所述身份信息包括驾驶员身份和非驾驶员身份。
4.根据权利要求2所述的用户车内屏幕显示信息流转的方法，其特征在于，所述关联信息包括通过处理所述图像或视频数据中，车内人员的眼球和瞳孔位置获取的车内人员的视线与屏幕的对应关系。
5.根据权利要求1-4任一所述的用户车内屏幕显示信息流转的方法，其特征在于，所述触发信息包括主动触发信息和被动触发信息；所述主动触发信息包括车载娱乐系统主动触发的信息，所述被动触发信息包括车内人员通过操作车载娱乐系统被动触发的信息。
6.根据权利要求5所述的用户车内屏幕显示信息流转的方法，其特征在于，所述主动触发信息包括与驾驶相关的主动触发信息、与娱乐相关的主动触发信息。
7.根据权利要求6所述的用户车内屏幕显示信息流转的方法，其特征在于，步骤S2包括，
S201、判断屏幕的显示状态；所述显示状态包括黑屏或低亮度或高亮度状态；
S202、若驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与驾驶相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若非驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若非驾驶员身份的车内人员的视线与屏幕关联，或操作车载娱乐系统，则将对应屏幕调至高亮度状态，并将与娱乐相关的主动触发信息，或对应的被动触发信息流转至对应屏幕上显示；若驾驶员身份的车内人员操作车载娱乐系统，则在该对应屏幕上不显示被动触发信息；
若车内人员的视线与屏幕无关联，则将屏幕调至低亮度或黑屏状态。
8.根据权利要求7所述的用户车内屏幕显示信息流转的方法，其特征在于，在显示与娱乐相关的主动触发信息前，判断该主动触发信息是否涉及用户隐私。
9.一种用户车内屏幕显示信息流转的系统，其特征在于，包括，
摄像头，用于采集车内人员的图像或视频数据；
车载娱乐系统，用于处理所述图像或视频数据，获取车内人员的身份信息及视线与屏幕的关联信息，并根据该身份信息和关联信息向对应的屏幕分发触发信息；
若干车内屏幕，用于接收车载娱乐系统分发的触发信息并显示。
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行如权利要求1-8任一所述的用户车内屏幕显示信息流转的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313167.8A CN114647319A (zh) | 2022-03-28 | 2022-03-28 | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313167.8A CN114647319A (zh) | 2022-03-28 | 2022-03-28 | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114647319A true CN114647319A (zh) | 2022-06-21 |
Family
ID=81995582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210313167.8A Pending CN114647319A (zh) | 2022-03-28 | 2022-03-28 | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114647319A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024031709A1 (zh) * | 2022-08-12 | 2024-02-15 | 华为技术有限公司 | 一种显示方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407845A (zh) * | 2018-10-30 | 2019-03-01 | 盯盯拍（深圳）云技术有限公司 | 屏幕交互方法以及屏幕交互装置 |
| CN109933205A (zh) * | 2019-03-25 | 2019-06-25 | 一汽轿车股份有限公司 | 一种车载眼神交互装置 |
| CN111452616A (zh) * | 2020-03-30 | 2020-07-28 | 广州小鹏汽车科技有限公司 | 一种信息的显示控制方法、装置和车辆 |
| CN112383826A (zh) * | 2020-11-09 | 2021-02-19 | 中国第一汽车股份有限公司 | 车载娱乐终端的控制方法、装置、存储介质、终端及汽车 |
| CN112506353A (zh) * | 2021-01-08 | 2021-03-16 | 蔚来汽车科技(安徽)有限公司 | 车辆交互系统、方法、存储介质和车辆 |
| CN113330395A (zh) * | 2021-04-26 | 2021-08-31 | 华为技术有限公司 | 一种多屏交互的方法、装置、终端设备和车辆 |
-
2022
- 2022-03-28 CN CN202210313167.8A patent/CN114647319A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109407845A (zh) * | 2018-10-30 | 2019-03-01 | 盯盯拍（深圳）云技术有限公司 | 屏幕交互方法以及屏幕交互装置 |
| CN109933205A (zh) * | 2019-03-25 | 2019-06-25 | 一汽轿车股份有限公司 | 一种车载眼神交互装置 |
| CN111452616A (zh) * | 2020-03-30 | 2020-07-28 | 广州小鹏汽车科技有限公司 | 一种信息的显示控制方法、装置和车辆 |
| CN112383826A (zh) * | 2020-11-09 | 2021-02-19 | 中国第一汽车股份有限公司 | 车载娱乐终端的控制方法、装置、存储介质、终端及汽车 |
| CN112506353A (zh) * | 2021-01-08 | 2021-03-16 | 蔚来汽车科技(安徽)有限公司 | 车辆交互系统、方法、存储介质和车辆 |
| CN113330395A (zh) * | 2021-04-26 | 2021-08-31 | 华为技术有限公司 | 一种多屏交互的方法、装置、终端设备和车辆 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024031709A1 (zh) * | 2022-08-12 | 2024-02-15 | 华为技术有限公司 | 一种显示方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102017106516B4 (de) | Telematische Service-Tasten integriert mit Infotainmentsystem mit unterbrechungsfreier Stromversorgung mit optimiertem Verbrauch | |
| JP2022519895A (ja) | ユーザの注目方向および外観を相関させるシステムおよび方法 | |
| CN104969286B (zh) | 显示控制系统 | |
| US20170180546A1 (en) | In-vehicle device, control method thereof, and remote control system | |
| WO2023060048A1 (en) | Vehicle and mobile device interface for vehicle occupant assistance | |
| WO2023060049A1 (en) | Vehicle and mobile device interface for vehicle occupant assistance | |
| CN104025014B (zh) | 显示控制装置 | |
| US11238834B2 (en) | Method, device and system for adjusting image, and computer readable storage medium | |
| US10562539B2 (en) | Systems and methods for control of vehicle functions via driver and passenger HUDs | |
| CN111252074B (zh) | 多模态控制方法、装置、计算机可读存储介质和车辆 | |
| CN108831176B (zh) | 交通标识的观测方法、装置、系统、设备和介质 | |
| CN114647319A (zh) | 一种用户车内屏幕显示信息流转的方法、系统及存储介质 | |
| CN112558755A (zh) | 人机接口的能量和/或资源管理的方法和系统 | |
| CN110015236A (zh) | 一种车辆显示装置、方法及车辆 | |
| CN112667084A (zh) | 车载显示屏的控制方法及装置、电子设备和存储介质 | |
| CN112954486B (zh) | 基于视线注意力的车载视频留痕处理方法 | |
| CN115195643A (zh) | 座舱娱乐系统的控制方法、装置及设备 | |
| CN117270718A (zh) | 车载显示方法、装置、车辆及存储介质 | |
| JP2020104714A (ja) | 自動車の情報表示装置および情報表示方法 | |
| DE102019208235B4 (de) | Verfahren zur Bedienung einer HMD-Anzeigeeinheit für ein Fahrzeug, HMD-Anzeigeeinheit, Multifunktionslenkrad sowie Fahrzeug zur Verwendung bei dem Verfahren | |
| CN113206916A (zh) | 车载蓝牙电话切换方法、系统、电子设备及存储介质 | |
| CN111508046A (zh) | 一种基于OpenGL的车辆报警图标绘制方法、系统及存储介质 | |
| US9950623B2 (en) | Vehicular projection system | |
| JP2020049992A (ja) | 車載装置、車両用通信システム、及びプログラム | |
| CN117009927A (zh) | 一种应用显示方法、装置及车载终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |