CN113401056A - 显示控制装置、显示控制方法以及计算机可读取存储介质 - Google Patents

显示控制装置、显示控制方法以及计算机可读取存储介质 Download PDF

Info

Publication number
CN113401056A
CN113401056A CN202110236588.0A CN202110236588A CN113401056A CN 113401056 A CN113401056 A CN 113401056A CN 202110236588 A CN202110236588 A CN 202110236588A CN 113401056 A CN113401056 A CN 113401056A
Authority
CN
China
Prior art keywords
display control
driver
region
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110236588.0A
Other languages
English (en)
Inventor
东山匡史
川上慎司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN113401056A publication Critical patent/CN113401056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本发明涉及显示控制装置、显示控制方法以及计算机可读取存储介质。本发明提供一种有效地促使向视野区域上的规定区域进行注视的显示控制装置。显示控制装置以使图像与车辆的驾驶员的视野区域重叠的方式显示图像，对驾驶员的视线进行分析，并对根据该分析的结果而得到的视野区域上的驾驶员的视点进行检测。显示控制单元将视野区域上的规定区域作为显示控制的对象，基于视野区域上的规定区域、与由检测单元检测出的驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，显示控制单元使图像的显示的方式产生变化。

Description

显示控制装置、显示控制方法以及计算机可读取存储介质
技术领域
本发明涉及能够在驾驶员的视野区域重叠显示图像的显示控制装置、显示控制方法以及计算机可读取存储介质。
背景技术
在专利文献1中记载有如下内容：在推断为驾驶员识别了显示的警报的内容的情况下，变更该警报的显示方法(进行亮度的降低、显示位置的变更、显示的停止等)。另外，在专利文献2中记载了显示驾驶员的实际的视线分布和理想的视线分布。
现有技术文献
专利文献
专利文献1：日本特开2005-135037号公报
专利文献2：国际公开第2016/166791号
发明内容
发明所要解决的问题
在任一专利文献中均未提及为了促进向规定区域进行注视而控制对驾驶员进行显示的显示方式。
本发明的目的在于提供一种有效地促使向视野区域上的规定区域进行注视的显示控制装置、显示控制方法及计算机可读取存储介质。
用于解决问题的手段
本发明所涉及的显示控制装置具备：显示控制单元，其以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及检测单元，其对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，所述显示控制单元将所述视野区域上的规定区域作为显示控制的对象，基于所述视野区域上的规定区域、与由所述检测单元检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，所述显示控制单元使所述图像的显示的方式产生变化。
本发明的显示控制方法是在显示控制装置中执行的显示控制方法，所述显示控制方法具有如下步骤：以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，在所述显示控制方法中，将所述视野区域上的规定区域作为显示控制的对象，基于所述视野区域上的规定区域、与检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，使所述图像的显示的方式产生变化。
本发明所涉及的存储程序的计算机可读取存储介质，存储有用于使计算机发挥如下功能的程序：以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，将所述视野区域上的规定区域作为显示控制的对象，基于所述视野区域上的规定区域、与检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，使所述图像的显示的方式产生变化。
发明效果
根据本发明，能够有效地促使向视野区域上的规定区域进行注视。
附图说明
图1是车辆用控制装置(行驶控制装置)的框图。
图2是表示控制单元的功能块的图。
图3是表示驾驶员所见的视野区域的图。
图4是表示驾驶员所见的视野区域的图。
图5是表示显示控制处理的流程图。
图6是表示显示控制处理的流程图。
图7是表示显示控制处理的流程图。
图8是表示显示控制处理的流程图。
图9是表示显示控制处理的流程图。
图10是表示显示控制处理的流程图。
图11是表示显示控制处理的流程图。
附图标记说明
1：车辆；2：控制单元；20、21、22、23、24、25、26、27、28、29：ECU；200：控制部；218：HUD控制部；219：HUD。
具体实施方式
以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。
[第一实施方式]
图1是本发明的一个实施方式所涉及的车辆用控制装置(行驶控制装置)的框图，对车辆1进行控制。在图1中，以俯视图和侧视图表示车辆1的概略。作为一个例子，车辆1是轿车型的四轮的乘用车。此外，在本实施方式中，作为车辆1的构成例对构成为能够实现自动驾驶、驾驶辅助的功能的车辆进行说明，但只要搭载有后述的平视显示器(HUD)的构成就不限定于以下的说明的构成。
图1的控制装置包括控制单元2。控制单元2包括利用车内网络而连接为能够通信的多个ECU20～ECU29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储有处理器执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储设备以及接口等。另外，图1的控制装置的构成能够通过形成对程序所涉及的本发明进行实施的计算机而得以实现。
以下，对各ECU20～ECU29所负责的功能等进行说明。此外，关于ECU的数量、负责的功能，能够适当地设计，可以比本实施方式更细化或整合。
ECU20执行与车辆1的自动驾驶相关的控制。在自动驾驶中，自动控制车辆1的转向、加速减速中的至少任一者。在后述的控制例中，自动控制转向和加速减速的双方。
ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)对前轮进行转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作、或使前轮自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3，控制车辆1的行进方向。
ECU22以及ECU23进行检测车辆的周围状况的检测单元41～43的控制以及检测结果的信息处理。检测单元41是拍摄车辆1的前方的摄像机(以下，有时表述为摄像机41。)，在本实施方式的情况下，在车辆1的车顶前部安装于前窗的车室内侧。通过摄像机41拍摄到的图像的解析，能够提取目标物的轮廓、道路上的车道的划分线(白线等)。
检测单元42是Light Detection and Ranging(LIDAR)，对车辆1的周围的目标物进行检测，或对与目标物之间的距离进行测距。在本实施方式的情况下，设置有五个检测单元42，在车辆1的前部的各角部各设置一个，在后部中央各设置一个，在后部各侧方各设置一个。检测单元43是毫米波雷达(以下，有时表述为雷达43)，对车辆1的周围的目标物进行检测，或对与目标物之间的距离进行测距。在本实施方式的情况下，雷达43设置有五个，在车辆1的前部中央各设置有一个，在前部各角部各设置有一个，在后部各角部各设置有一个。
ECU22进行一方的摄像机41、各检测单元42的控制以及检测结果的信息处理。ECU23进行另一方的摄像机41、各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、雷达等种类不同的检测单元，能够多方面地进行车辆的周边环境的解析。
ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或者通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等来判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息、气象信息的服务器进行无线通信，获取这些信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a，ECU24进行从当前位置地到目的地的路线搜索等。此外，可以在数据库24a中构建上述的交通信息、气象信息等数据库。
ECU25具备车与车间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，进行车辆间的信息交换。
ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c检测到的车速等信息来切换变速器的变速档。在车辆1的驾驶状态为自动驾驶的情况下，ECU26与来自ECU20的指示对应地自动控制动力装置6，控制车辆1的加速减速。
ECU27控制包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU28进行输入输出装置9的控制。输入输出装置9进行对驾驶员的信息的输出和来自驾驶员的信息的输入的接受。声音输出装置91通过声音向驾驶员通知信息。显示装置92通过图像的显示向驾驶员通知信息。显示装置92例如配置在驾驶席正面，构成仪表板等。另外，在此，例示了通过声音和显示，但也可以通过振动、光来通知信息。另外，也可以将声音、显示、振动或者光中的多个组合来报告信息。进一步地，还可以根据应通知的信息的等级(例如紧急度)，使组合不同，或者使通知方式不同。另外，显示装置92包括导航装置。
输入装置93是配置在驾驶员能够操作的位置，且对车辆1进行指示的开关组，但也可以包括声音输入装置。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下，ECU29与来自ECU20的指示对应地自动控制制动装置10，控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而进行工作。
对ECU20所执行的与车辆1的自动驾驶相关的控制进行说明。ECU20在由驾驶员指示了目的地和自动驾驶时，按照由ECU24搜索到的引导路线，朝向目的地对车辆1的行驶进行自动控制。在自动控制时，ECU20从ECU22以及ECU23获取与车辆1的周围状况相关的信息(外部信息)，并基于获取到的信息来指示ECU21、ECU26以及ECU29来控制车辆1的转向、加速减速。
图2是表示控制单元2的功能块的图。控制部200与图1的控制单元2对应，包括外部识别部201、自身位置识别部202、车内识别部203、行动计划部204、驱动控制部205、设备控制部206。各功能块通过图1所示的一个ECU或多个ECU来实现。
外部识别部201基于来自外部识别用摄像机207以及外部识别用传感器208的信号，识别车辆1的外部信息。在此，外部识别用摄像机207例如是图1的摄像机41，外部识别用传感器208例如是图1的检测单元42、43。外部识别部201基于来自外部识别用摄像机207以及外部识别用传感器208的信号，例如识别交叉路口、铁路道口、隧道等场景、路肩等自由空间、其他车辆的行为(速度、行进方向)。自身位置识别部202基于来自GPS传感器211的信号识别车辆1的当前位置。在此，GPS传感器211例如对应于图1的GPS传感器24b。
车内识别部203基于来自车内识别用摄像机209以及车内识别用传感器210的信号，识别车辆1的搭乘者，另外，识别搭乘者的状态。车内识别用摄像机209例如是设置在车辆1的车内的显示装置92上的近红外摄像机，例如检测搭乘者的视线的方向。另外，车内识别用传感器210例如是检测搭乘者的生物体信号的传感器。车内识别部203基于这些信号，识别搭乘者的瞌睡状态、驾驶以外的作业中的状态等。
行动计划部204基于外部识别部201、自身位置识别部202的识别结果来计划最佳路线、避免风险路线等车辆1的行动。行动计划部204例如进行基于交叉路口、铁路道口等的开始点或终点的进入判定、基于其他车辆的行为预测的行动计划。驱动控制部205基于行动计划部204的行动计划来控制驱动力输出装置212、转向装置213、制动装置214。在此，驱动力输出装置212例如与图1的动力装置6对应，转向装置213与图1的电动动力转向装置3对应，制动装置214与制动装置10对应。
设备控制部206控制与控制部200连接的设备。例如，设备控制部206控制扬声器215，输出用于警告或导航的消息等规定的声音消息。另外，例如，设备控制部206控制显示装置216，显示规定的界面画面。显示装置216例如对应于显示装置92。另外，例如，设备控制部206控制导航装置217，获取导航装置217中的设定信息。
控制部200可以适当地包含图2所示以外的功能块，例如，也可以包括基于经由通信装置24c而获取的地图信息来计算到目的地为止的最佳路线的最佳路线计算部。另外，控制部200也可以从图2所示的摄像机、传感器以外获取信息，例如，可以经由通信装置25a获取其他车辆的信息。另外，控制部200不仅接收来自GPS传感器211的检测信号，还接收来自设置于车辆1的各种传感器的检测信号。例如，控制部200经由构成于车门部的ECU接收设置于车辆1的车门部的车门的开闭传感器、门锁的机构传感器的检测信号。由此，控制部200能够检测车门的锁定解除、车门的开闭动作。
平视显示器(HUD)控制部218对安装于车辆1的前窗附近的车室内侧的平视显示器(HUD)219进行控制。HUD控制部218和控制部200能够相互通信，HUD控制部218例如经由控制部200获取外部识别用摄像机207的摄像数据。HUD219在HUD控制部218的控制下，朝向前窗投射图像。例如，HUD控制部218从控制部200接收外部识别用摄像机207的摄像数据，基于该摄像数据，生成使HUD219投射的图像数据。该图像数据例如是透过前窗而与驾驶员看到的风景重叠(overlap)那样的图像数据。通过HUD219向前窗的投影，能够使驾驶员具有例如在前方的道路的风景上重叠有用于导航的图标图像(目的地信息等)那样的感觉。HUD控制部218能够经由通信接口(I/F)220而与外部的装置相互通信。外部的装置例如是由驾驶员持有的智能手机等便携终端221。通信I/F220可以构成为能够与多个网络连接，例如可以构成为能够与因特网连接。
以下，对本实施方式的动作进行说明。在驾驶员驾驶车辆时，驾驶员有对前方的注意义务。进一步地，根据交叉路口、弯道这样的各场景，在驾驶员透过前窗而能够视觉确认的视野区域中，存在需要唤起注意的区域。
图3以及图4是用于说明本实施方式的动作的图。图3以及图4示出了驾驶员透过前窗而能够视觉确认的视野区域。在图3的视野区域300中，区域301以及302表示需要唤起注意的区域。即，在图3所示的交叉路口的场景中，存在从左侧有人冲出、其他车辆进入交叉路口的可能性，因此区域301成为需要唤起注意的区域。另外，为了车辆的顺畅的通行，与信号灯相当的区域302成为需要唤起注意的区域。在本实施方式中，如图3所示，利用HUD219以在前窗上与风景重叠的方式将区域301和区域302显示为能够识别。例如，区域301和区域302被显示为具有浅色色调的半透明区域。
图4表示驾驶员由图3的显示状态而将视点停滞在区域301的情况。视点303是与驾驶员的视点对应的区域。即，图4表示驾驶员将视点停滞在区域301内的与路缘石对应的附近的状况。然后，随着驾驶员在区域301内沿箭头方向移动视点，视点303也沿箭头方向而在视野区域300上移动。视点区域304表示通过视点的移动而涵盖到的区域。在本实施方式中，在与区域301内的视点303的移动量对应的视点区域304中，仅与视点区域304对应的部分被解除区域301的识别显示。例如，在区域301的半透明显示中，与视点区域304对应的部分的半透明显示被解除。然后，在视点区域304的面积达到区域301的面积的规定的比例的情况下，区域301的识别显示全部被解除。
这样，根据本实施方式，如图3所示，将需要唤起注意的区域显示为能够识别，从而能够促使驾驶员在该区域停滞视点。另外，在驾驶员将视点停滞于该区域的情况下，如图4所示，区域301的一部分的识别显示被解除，由此能够使驾驶员意识到在需要唤起注意的区域停滞了视点。另外，在视点区域304的面积达到区域301的面积的规定的比例的情况下，区域301的识别显示全部被解除，从而能够赋予为了使驾驶员无遗漏地确认需要唤起注意的区域的动机。
图5是表示本实施方式中的显示控制的处理的流程图。图5的处理例如通过由HUD控制部218从ROM等存储区域读出程序并执行来实现。另外，图5的处理在车辆1开始行驶时开始。
在S101中，HUD控制部218获取车辆1的当前位置。例如，HUD控制部218可以从控制部200获取车辆1的当前位置。然后，在S102中，HUD控制部218基于在S101中获取的车辆1的当前位置，判定是否显示关注区域。在此，关注区域与图3以及图4的区域301、302对应。在S102中，在从车辆1的当前位置起规定距离内存在需要唤起注意的地点(point)的情况下，HUD控制部218判定为显示关注区域。例如，HUD控制部218基于从控制部200获取到的地图信息，在从车辆1的当前位置起规定距离内存在具有交叉路口、规定以上的曲率的弯道等特定场景的情况下，判定为显示关注区域。在S102中判定为不显示关注区域的情况下，重复从S101开始的处理。在S102中判定为显示关注区域的情况下，进入S103。
此外，可以针对每个场景预先学习需要唤起注意的地点。作为为此的构成，例如，HUD控制装置218具备包含GPU、数据分析部和数据储存部在内的学习单元。数据储存部针对与行驶道路等对应的每个场景储存视野区域上的驾驶员的视点的位置数据，数据分析部分析视野区域上的驾驶员的视点的分布。例如，可以事先进行基于熟练驾驶员的驾驶行驶，对该驾驶员的视点的分布进行分析，并将其结果按每个场景进行存储。在该情况下，作为需要唤起注意的地点而对熟练驾驶员的视点的分布倾向进行学习。
另一方面，不限于熟练驾驶员，也可以通过使用了视野区域上的驾驶员的视点的分布倾向的其他方法来学习需要唤起注意的地点。例如，可以根据视野区域上的驾驶员的视点的分布倾向，将该驾驶员容易看漏的要确认位置设为需要唤起注意的地点，按每个场景进行分类并学习。例如，在分析为在转弯时在车辆的前方附近存在视点极度分布的倾向的情况下(例如，存在凝视车辆的附近的习惯)，可以将在视野区域上与车辆的前方远处对应的区域作为需要唤起注意的地点进行学习。另外，此时，上述熟练驾驶员的视点的分布倾向可以作为教师数据来使用。在判断为车辆正在类似的场景中行驶时，将上述的各学习结果用作关注区域。
在S103中，HUD控制部218进行关注区域的显示。图6是表示S103的关注区域的显示处理的流程图。在S201中，HUD控制部218获取对象信息。在此，对象信息是成为用于确定需要唤起注意的区域的坐标的基准的对象的信息，例如是交通标识、信号灯这样的对象物的信息。另外，对象信息不限于对象物的信息，也可以是包含多个对象在内的范围的信息。例如，如图3的区域301那样，可以是横跨人行横道和路缘石的范围的信息。HUD控制部218例如可以经由控制部200，基于与视野区域300对应的外部识别用摄像机207的摄像数据，获取对象信息。
在S202中，HUD控制部218基于在S201中获取到的对象信息，确定成为HUD显示的对象的视野区域300中的关注区域的坐标。例如，HUD控制部218基于与视野区域300对应的外部识别用摄像机207的摄像数据来获取视野区域300的图像数据，并基于该图像数据来确定成为HUD显示的对象的视野区域300中的关注区域的坐标。
在S203中，HUD控制部218基于在S202中确定出的关注区域的坐标，生成用于对关注区域进行HUD显示的显示数据，并基于该显示数据对HUD219进行控制以在前窗显示。在此，显示数据与图3的区域301、302对应。另外，HUD控制部218例如将显示数据生成为，将关注区域形成为浅色色调的半透明的区域，从而能够与其他区域识别开。另外，HUD控制部218在使关注区域HUD显示时，利用计时器功能开始经过时间的测量。该测量结果在后述的S107中的显示控制中使用。在S203之后，结束图6的处理，进入图5的S104。
在图5的S104中，HUD控制部218获取驾驶员的视点。图7是表示S104的视点的获取的处理的流程图。在S301中，HUD控制部218分析驾驶员的视线。例如，可以由控制部200的车内识别部203通过车内识别用摄像机209、车内识别用传感器210分析驾驶员的视线，HUD控制部218获取其分析结果。
在S302中，HUD控制部218基于在301中的分析结果，确定视野区域300中的视点的坐标。例如，HUD控制部218基于与视野区域300对应的外部识别用摄像机207的摄像数据，确定视野区域300中的视点的坐标。在S302之后，结束图7的处理，进入图5的S105。
在图5的S105中，HUD控制部218判定在S103中显示的关注区域与在S104中获取的视点是否有重叠。例如可以基于在S202中确定的关注区域的坐标和在S302中确定的视点坐标来进行S105的判定。在S105中判定为有重叠的情况下，进行S106的显示控制，在S105中判定为没有重叠的情况下，进行S107的显示控制。
图8是表示S106的显示控制的处理的流程图。在S401中，HUD控制部218确定被判定为有重叠的重叠区域，解除在S103中进行的显示控制。在此，判定为有重叠的区域与图4的视点区域304对应。例如，HUD控制部218确定包含在S302中确定的视点坐标在内的规定区域、例如具有规定的直径的圆区域，解除该区域内的识别显示(例如半透明显示)。其结果是，能够使驾驶员意识到自身停滞了视点后的位置的半透明显示已消失。另外，在进行了视点的追踪之后的S401中，将包含视点坐标在内的规定区域(例如与视点303对应的圆区域)所移动出的痕迹的外廓区域确定为重叠区域(与视点区域304对应)。
在S402中，HUD控制部218获取视点的追踪量。视点的追踪量与图4的视点303的移动量、即作为重叠区域的视点区域304相当。另外，在驾驶员初次将视点停滞在关注区域的情况下，在S402中获取的视点的追踪量为初始值。初始值例如可以为零。
在S403中，HUD控制部218判定在S402中获取的追踪量是否达到了规定量。在此，所谓规定量，例如可以是关注区域的面积的规定的比例的面积。在判定为追踪量达到了规定量的情况下，在S404中，HUD控制部218针对全部关注区域，解除在S103中进行的显示控制。其结果是，能够使驾驶员意识到对于自身停滞了视点达到一定量的关注区域，全部的半透明显示已消失。在S404之后，结束图8的处理，从图5的S101的处理开始重复。
在S403中判定为追踪量未达到规定量的情况下，反复进行从S104起的处理。例如，在即使驾驶员将视点停滞在关注区域中并且视点在关注区域内移动时重叠区域也仍未达到规定量的情况下，重复从S104起的处理，从而进行视点的追踪。在该情况下，例如，如上所述，将包含视点坐标在内的规定区域(例如与视点303对应的圆区域)所移动的痕迹的外廓区域确定为重叠区域。
图9是表示S107的显示控制的处理的流程图。进入S107的情况例如与尽管显示了图3的区域301、302，但驾驶员在这些区域未停滞视点的情况相当。
在S501中，HUD控制部218基于计时器功能的测量结果，判定是否经过了规定时间。在此，在判定为经过了规定时间的情况下，在S502中，HUD控制部218使在S103中显示的关注区域的显示浓度变浓。根据这样的构成，能够促使驾驶员注意关注区域。另外，S502中的显示控制不限于浓度控制，也可以进行其他显示控制。例如，可以使在S103中显示的关注区域闪烁。在S502之后，结束图9的处理，重复从图5的S105开始的处理。
另一方面，在S501中判定为未经过规定时间的情况下，在S503中，HUD控制部218判定在S103中显示的关注区域与在S104中获取的视点是否有重叠。例如，可以基于在S202中确定的关注区域的坐标和在S302中确定的视点坐标来执行S503中的确定。在S503中判定为有重叠的情况下，进行S106的显示控制，在S503中判定为没有重叠的情况下，重复从S501起的处理。
如上所述，根据本实施方式，在车辆在存在交叉路口等需要唤起注意的地点的场景中行驶时，在前车窗上将该区域显示为以能够识别。另外，在驾驶员在规定时间内未将视点停滞于该区域的情况下，使该区域的显示方式进一步变化。根据这样的构成，能够对驾驶员有效地促进唤起注意。另外，在驾驶员将视点停滞于该区域的情况下，与视点的移动量对应地解除识别显示。根据这样的构成，能够赋予使驾驶员充分执行唤起注意的动机。
[第二实施方式]
以下，针对与第一实施方式不同的点来说明第二实施方式。在第一实施方式中，如图5中说明的那样，在S101中获取了车辆1的当前位置之后，在S102中判定为不显示关注区域的情况下，反复进行从S101起的处理。在本实施方式中，在S101之后，进行车辆1的外部的环境的风险判定。在此，风险判定例如是指对向车辆接近车辆1的可能性的判定。例如，在车辆1需要避开其他车辆、移动物的接近的情况下，不进行S103以后的处理而进行警告显示。
图10是表示本实施方式的显示控制的处理的流程图。例如，通过由HUD控制部218从ROM等存储区域读出程序并执行来实现图10的处理。另外，图10的处理在车辆1开始行驶时开始。
S101与第一实施方式的说明相同，因此省略其说明。在本实施方式中，在S101中获取车辆1的当前位置之后，在S601中，HUD控制部218进行风险判定。例如可以通过基于外部识别部201的识别结果来判定其他车辆、移动物的行驶路线、与车辆1的行驶路线重叠的可能性而进行风险判定。另外，例如，可以通过基于其他车辆而判定产生来自车辆1的死角区域的可能性来进行风险判定。另外，例如也可以基于冻结等路面状况、降雨、浓雾等气象条件来进行风险判定。风险判定的结果可以使用各种指标，例如，可以使用碰撞余量(MTC：Margin To Coreision)。
在本实施方式中，在S102中，HUD控制部218首先基于S601中的风险判定的结果，判定是否显示关注区域。例如，识别其他车辆的接近，在碰撞余量为阈值以下的情况下，HUD控制部218判定为不显示关注区域。另一方面，在基于风险判定结果而判定为显示关注区域的情况下，进一步基于在S101中获取的车辆1的当前位置，判定是否显示关注区域。
在S102中判定为不显示关注区域的情况下，在S602中，HUD控制部218判定是否进行警告显示。在S602的判定中，例如在S102中基于风险判定结果判定为不显示关注区域的情况下，判定为进行警告显示。另外，在S102中基于车辆1的当前位置判定为不显示关注区域的情况下，判定为不进行警告显示。在S602中判定为不进行警告显示的情况下，重复从S101开始的处理。在S602中判定为进行警告显示的情况下，进入S603。
在S603中，HUD控制部218生成用于进行警告显示的显示数据，并控制HUD219以将该显示数据显示在前窗。在此，显示数据例如可以是表示接近过来的其他车辆、移动物的方向的数据。另外，可以采用在视野区域300上包围接近来的其他车辆、移动物那样的区域显示。另外，也可以在进行了以上警告显示之后，如果检测出驾驶员将视点停滞在进行了该警告显示的附近，则解除警告显示。在S603之后，重复从S101开始的处理。
如上所述，根据本实施方式，在车辆1的行驶中，例如在判定出其他车辆、移动物的碰撞等风险的情况下，不进行关注区域的显示，而进行用于通知该风险的显示。根据这样的构成，能够使驾驶员更有效地意识到风险的发生。
[第三实施方式]
以下，针对与第一实施方式及第二实施方式不同的点，对第三实施方式进行说明。在第一实施方式以及第二实施方式中，构成为在S102中判定为显示关注区域的时机下显示关注区域。在本实施方式中，在基于内部设定的关注区域而判断为驾驶员未停滞视点的时机下，进行该关注区域的显示。根据这样的构成，在如熟练驾驶员那样在关注区域中停滞视点的可能性高的驾驶员的情况下，能够降低向前窗进行HUD显示的频度，从而能够使其集中精力在驾驶上。
图11是表示本实施方式的显示控制的处理的流程图。例如，通过由HUD控制部218从ROM等存储区域读出程序并执行来实现图11的处理。另外，图11的处理在车辆1开始行驶时开始。
S101与第一实施方式的说明相同，因此省略其说明。在本实施方式中，在S101中获取车辆1的当前位置之后，在S701中，HUD控制部218基于在S101中获取的车辆1的当前位置，判定是否设定关注区域。是否设定关注区域的判定基准与第一实施方式中的S102中的判定基准相同。如果在S701中确定不设置关注区域，则重复从S101开始的处理。如果在S701中确定设置关注区域，则处理进行到S702。
在S702中，HUD控制部218设定关注区域。所设定的关注区域与图3所示的区域301、302对应。但是，与第一实施方式不同，在该时机下，不进行关注区域的显示。即，在S702中，进行图6的S201以及S202的处理，不进行S203的处理。
在S702之后，进行S104以及S105的处理。S104以及S105与第一实施方式的说明相同，因此省略其说明。在S105中，判定在S702中设定的关注区域与在S104中获取的视点是否有重叠。在S105中判定为有重叠的情况下，重复从S101开始的处理。即，在本实施方式中，在驾驶员在需要唤起注意的区域中停滞视点的情况下，不进行向前窗的HUD显示。另一方面，在S105中判定为没有重叠的情况下，进入S703。
在S703中，HUD控制部218进行在S702中设定的关注区域的显示。在S703中，进行与第一实施方式的S203相同的处理。根据这样的构成，与第一实施方式同样地，能够促使驾驶员注意关注区域。在S703之后，重复从S105开始的处理。
在进行了S703的处理之后在S105中判定为有重叠的情况下，在S704中，HUD控制部218进行在S703中显示的关注区域的显示控制。例如，在S704中，也可以进行与第一实施方式的S106相同的处理，重复从S101开始的处理。或者，也可以不是在重叠区域达到了规定量的情况下将关注区域的显示全部解除，而是如果在S105中判定为有重叠，则将该关注区域的显示全部解除，重复从S101开始的处理。根据这样的构成，能够降低对熟练驾驶员的关注区域的显示的频度。
如上所述，根据本实施方式，在判断为驾驶员未观察所设定的关注区域的时机下，进行该关注区域的显示。根据这样的构成，在如熟练驾驶员那样观察关注区域的可能性较高的驾驶员的情况下，能够降低向前窗显示HUD的频度，并使其集中精力在驾驶上。
另外，也可以设定为能够切换第一实施方式、第二实施方式、第三实施方式的各动作。这样的切换例如在显示装置216上显示的用户界面画面上进行，控制部200将所选择的动作模式传达给HUD控制部218。
＜实施方式的总结＞
上述实施方式的显示控制装置具备：显示控制单元(218)，其以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及检测单元(209、210、203、S104)，其对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，所述显示控制单元将所述视野区域上的规定区域作为显示控制的对象，基于所述视野区域上的规定区域、与由所述检测单元检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，所述显示控制单元使所述图像的显示的方式产生变化(S106)。
根据这样的构成，能够有效地促使驾驶员向视野区域上的规定区域(关注区域)进行注视。
另外，所述图像是与所述规定区域重叠的图像(301、302)。另外，所述显示控制单元对所述图像进行识别显示以使其变得能够识别。
根据这样的构成，例如，通过将规定区域设为浅色色调的显示，能够容易地使驾驶员进行识别。
另外，当在所述视野区域上确定所述规定区域时，进行所述识别显示(S103)。另外，在所述视野区域上确定所述规定区域，在与所述规定区域不同的位置检测到所述驾驶员的视点的情况下，进行所述识别显示(S703)。
根据这样的构成，若识别出规定区域，则进行识别显示，从而能够迅速地进行规定区域的显示。另外，例如对熟练驾驶员而言，能够降低规定区域的显示的频度。
另外，所述显示控制单元在作为所述条件而检测到所述重叠的情况下，解除对所述图像中的与所述重叠对应的部分进行的所述识别显示(S401)。另外，所述显示控制单元在作为所述条件而所述重叠超过规定量的情况下，解除对所述图像进行的所述识别显示(S404、S704)。
根据这样的构成，能够使驾驶员有效地意识到在规定区域停滞了视点。
另外，在进行了所述识别显示之后，在与所述规定区域不同的位置检测到所述驾驶员的视点的情况下，所述显示控制单元使所述识别显示的方式产生变化。所述显示控制单元通过使所述图像的浓度产生变化，从而使所述识别显示的方式产生变化(S502)。
根据这样的构成，在驾驶员未在规定区域停滞视点的情况下，能够有效地促使驾驶员向视野区域上的规定区域进行注视。
另外，显示控制装置还具备判定所述车辆的外部环境的风险的判定单元(S601)，根据所述判定单元的判定结果，作为所述图像，所述显示控制单元以使警告所述风险的图像与所述视野区域重叠的方式进行显示(S603)。根据这样的构成，例如在移动体、其他车辆接近本车辆的情况下，能够进行表示该接近的意思的警告显示。另外，在驾驶员观察到该接近的位置的情况下，能够解除该警告显示。
本发明并不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。

Claims (12)

1.一种显示控制装置，其特征在于，
所述显示控制装置具备：
显示控制单元，其以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及
检测单元，其对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，
所述显示控制单元将所述视野区域上的规定区域作为显示控制的对象，
基于所述视野区域上的规定区域、与由所述检测单元检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，所述显示控制单元使所述图像的显示的方式产生变化。
2.根据权利要求1所述的显示控制装置，其特征在于，所述图像是与所述规定区域重叠的图像。
3.根据权利要求2所述的显示控制装置，其特征在于，所述显示控制单元对所述图像进行识别显示以使其变得能够识别。
4.根据权利要求3所述的显示控制装置，其特征在于，当在所述视野区域上确定所述规定区域时，进行所述识别显示。
5.根据权利要求3所述的显示控制装置，其特征在于，在所述视野区域上确定所述规定区域，在与所述规定区域不同的位置检测到所述驾驶员的视点的情况下，进行所述识别显示。
6.根据权利要求4或5所述的显示控制装置，其特征在于，所述显示控制单元在作为所述条件而检测到所述重叠的情况下，解除对所述图像中的与所述重叠对应的部分进行的所述识别显示。
7.根据权利要求4或5所述的显示控制装置，其特征在于，所述显示控制单元在作为所述条件而所述重叠超过规定量的情况下，解除对所述图像进行的所述识别显示。
8.根据权利要求3所述的显示控制装置，其特征在于，在进行了所述识别显示之后，在与所述规定区域不同的位置检测到所述驾驶员的视点的情况下，所述显示控制单元使所述识别显示的方式产生变化。
9.根据权利要求8所述的显示控制装置，其特征在于，所述显示控制单元通过使所述图像的浓度产生变化，从而使所述识别显示的方式产生变化。
10.根据权利要求1至5中任一项所述的显示控制装置，其特征在于，
所述显示控制装置还具备判定所述车辆的外部的风险的判定单元，
根据所述判定单元的判定结果，作为所述图像，所述显示控制单元以使警告所述风险的图像与所述视野区域重叠的方式进行显示。
11.一种显示控制方法，是在显示控制装置中执行的显示控制方法，其特征在于，
所述显示控制方法具有如下步骤：
以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及
对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，
在所述显示控制方法中，将所述视野区域上的规定区域作为显示控制的对象，
基于所述视野区域上的规定区域、与检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，使所述图像的显示的方式产生变化。
12.一种计算机可读取存储介质，其特征在于，
所述计算机可读取存储介质存储有用于使计算机发挥如下功能的程序：
以使图像与车辆的驾驶员的视野区域重叠的方式显示所述图像；以及
对所述驾驶员的视线进行分析，并对根据该分析的结果而得到的所述视野区域上的所述驾驶员的视点进行检测，
将所述视野区域上的规定区域作为显示控制的对象，
基于所述视野区域上的规定区域、与检测出的所述驾驶员的视点之间的重叠的判定结果，在该重叠满足条件的情况下，使所述图像的显示的方式产生变化。
CN202110236588.0A 2020-03-17 2021-03-03 显示控制装置、显示控制方法以及计算机可读取存储介质 Pending CN113401056A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020046809A JP2021149319A (ja) 2020-03-17 2020-03-17 表示制御装置、表示制御方法およびプログラム
JP2020-046809 2020-03-17

Publications (1)

Publication Number Publication Date
CN113401056A true CN113401056A (zh) 2021-09-17

Family

ID=77691396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110236588.0A Pending CN113401056A (zh) 2020-03-17 2021-03-03 显示控制装置、显示控制方法以及计算机可读取存储介质

Country Status (3)

Country Link
US (1) US20210291736A1 (zh)
JP (1) JP2021149319A (zh)
CN (1) CN113401056A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189932A (ja) * 2020-06-03 2021-12-13 トヨタ自動車株式会社 移動体検知システム
WO2023100741A1 (ja) * 2021-12-01 2023-06-08 本田技研工業株式会社 車両並びにその制御装置及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
CN108541325A (zh) * 2015-12-25 2018-09-14 株式会社电装 驾驶辅助装置以及驾驶辅助方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
CN108541325A (zh) * 2015-12-25 2018-09-14 株式会社电装 驾驶辅助装置以及驾驶辅助方法
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays

Also Published As

Publication number Publication date
JP2021149319A (ja) 2021-09-27
US20210291736A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP6729220B2 (ja) 車両用運転支援装置
US11634150B2 (en) Display device
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP7039940B2 (ja) 車両制御装置
CN110036426B (zh) 控制装置和控制方法
CN103171439A (zh) 自动驾驶系统的行为预测
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
CN111731296B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
JP7423837B2 (ja) 自動運転車用情報提示装置
JP7201576B2 (ja) 自動運転車用情報提示装置
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
US20210197863A1 (en) Vehicle control device, method, and program
JP7158368B2 (ja) 自動運転車用情報提示装置
WO2022230781A1 (ja) 車両用報知制御装置及び車両用報知制御方法
CN114194105B (zh) 自动驾驶车用信息提示装置
CN113370972B (zh) 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
US20210171060A1 (en) Autonomous driving vehicle information presentation apparatus
RU2768687C1 (ru) Способ управления движением и устройство управления движением для транспортного средства
JP2022152607A (ja) 運転支援装置、運転支援方法、及びプログラム
CN110712644A (zh) 驾驶辅助系统和方法
WO2023090166A1 (ja) 車両用制御装置及び車両用制御方法
JP7101161B2 (ja) 車両制御装置、車両制御方法及びプログラム
WO2023194793A1 (ja) 情報提供装置及び情報提供方法
WO2023021930A1 (ja) 車両用制御装置及び車両用制御方法
JP2023076380A (ja) 車両用制御装置及び車両用制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination