CN115257794A - 用于控制车辆中的平视显示器的系统和方法 - Google Patents
用于控制车辆中的平视显示器的系统和方法 Download PDFInfo
- Publication number
- CN115257794A CN115257794A CN202210471951.1A CN202210471951A CN115257794A CN 115257794 A CN115257794 A CN 115257794A CN 202210471951 A CN202210471951 A CN 202210471951A CN 115257794 A CN115257794 A CN 115257794A
- Authority
- CN
- China
- Prior art keywords
- hud
- vehicle
- processors
- driver
- warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000003213 activating effect Effects 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009849 deactivation Effects 0.000 claims description 10
- 230000036541 health Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
- B60K35/265—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/178—Warnings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/741—Instruments adapted for user detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本文公开了用于控制车辆中的平视显示器(HUD)的系统和方法。一个实施例响应于来自车辆的驾驶员的命令而停用HUD;将紧急度级别指派给与当前车辆上下文相关联的信息项;以及在紧急度级别超过预定阈值时激活HUD以向驾驶员显示信息项。
Description
技术领域
本文描述的主题一般而言涉及车辆,并且更具体地,涉及用于控制车辆中的平视显示器的系统和方法。
背景技术
配备平视显示器(有时也称为“平视显示器”)(HUD)的新型车辆变得越来越普遍。HUD允许车辆的驾驶员查看诸如当前车速、车外或车内温度以及导航信息(例如,在下一个路口左转的指令)之类的信息,而无需将视线从前方的道路上移开。虽然车辆HUD很有用,但一些驾驶员发现HUD上显示的信息令人讨厌或分散注意力,因此他们停用了HUD。由于HUD被停用,驾驶员可能错过紧急和重要的信息项,包括与安全性有关的项。
发明内容
本文呈现了用于控制车辆中的平视显示器(HUD)的系统的示例。该系统包括一个或多个处理器和可通信地耦合到所述一个或多个处理器的存储器。存储器存储包括指令的HUD停用模块,指令在由一个或多个处理器执行时使一个或多个处理器响应于来自车辆的驾驶员的命令而停用HUD。存储器还存储包括指令的紧急度评估模块,指令在由一个或多个处理器执行时使一个或多个处理器将紧急度级别指派给与当前车辆上下文相关联的信息项。存储器还存储包括指令的HUD激活模块,指令在由一个或多个处理器执行时使一个或多个处理器在紧急度级别超过预定阈值时激活HUD以向驾驶员显示信息项。
另一个实施例是一种用于控制车辆中的平视显示器(HUD)并存储指令的非暂态计算机可读介质,指令在由一个或多个处理器执行时使一个或多个处理器响应于来自车辆的驾驶员的命令而停用HUD。指令还使一个或多个处理器将紧急度级别指派给与当前车辆上下文相关联的信息项。指令还使一个或多个处理器在紧急度级别超过预定阈值时激活HUD以向驾驶员显示信息项。
在另一个实施例中,公开了一种控制车辆中的平视显示器(HUD)的方法。该方法包括响应于来自车辆的驾驶员的命令而停用HUD。该方法还包括将紧急度级别指派给与当前车辆上下文相关联的信息项。该方法还包括在紧急度级别超过预定阈值时激活HUD以向驾驶员显示信息项。
附图说明
为了能够详细理解本公开的上述特征的方式,可以通过参考实施方式对上面简要概括的本公开进行更具体的描述,其中一些实施方式在附图中示出。但是,应该注意的是,附图仅图示了本公开的可能实施方式并且因此不应该被认为是对其范围的限制。本公开可以允许其它实施方式。
图1图示了车辆的一个实施例,其中可以实现本文公开的系统和方法。
图2是平视显示器控制系统的实施例的功能框图。
图3图示了根据本发明的说明性实施例的配备有平视显示器的车辆的内部。
图4图示了根据本发明的说明性实施例的在车辆的平视显示器上显示的信息项。
图5图示了根据本发明的另一个说明性实施例的在车辆的平视显示器上显示的信息项。
图6是根据本发明的说明性实施例的控制车辆中的平视显示器的方法的流程图。
为了促进理解,在可能的情况下,使用完全相同的附图标记来表示附图中共有的完全相同的元件。此外,一个或多个实施例的元素可以有利地适用于本文描述的其它实施例中的利用。
具体实施方式
在平视显示器(HUD)控制系统的各种实施例中,系统评估与当前车辆上下文相关联的各种信息项的紧急度或重要性,这些信息项可能显示在先前已被驾驶员或其他用户禁用的HUD上。在各种实施例中,如果与那些项相关联的紧急度级别超过预定阈值,那么系统激活HUD以向驾驶员显示信息项。如果驾驶员先前已停用HUD,那么这解决了驾驶员错过紧急安全警告或其它重要信息的问题。在一些实施例中,在HUD已经向驾驶员显示(一个或多个)紧急信息项之后,系统再次自动停用HUD。
在一些实施例中,HUD控制系统检测并跟踪驾驶员的注视方向,并且系统在HUD的视场(FOV)的与驾驶员检测到的注视方向一致的部分中显示紧急信息项。换句话说,系统在驾驶员视线已经指向的HUD的特定部分上显示(一个或多个)紧急信息项,以增加驾驶员看到所显示信息的可能性。
在其它实施例中,如果HUD控制系统检测到驾驶员的视线指向除HUD的FOV之外的某处(例如,如果驾驶员正在向驾驶员侧窗外看),那么系统可以发射代替激活HUD并在HUD上显示紧急信息项的某种可听信号(例如,音调、哔哔声或计算机生成的口头警告或消息),或者系统除了激活HUD并显示紧急信息项之外还可以发射可听信号。
在一些实施例中,与车辆相关联的驾驶员或其他用户可以配置HUD控制系统的偏好。具体而言,系统可以经由用户接口接收来自驾驶员/用户的一个或多个偏好以配置与不同类型的信息项相关联的紧急度、上面提到的预定的紧急度阈值或两者。
参考图1,图示了车辆100的示例,其中可以实现本文公开的系统和方法。车辆100可以包括HUD控制系统170或其组件和/或模块。如本文所使用的,“车辆”是任何形式的机动交通工具。在一种或多种实施方式中,车辆100可以是汽车。在一些实施方式中,车辆100可以是任何其它形式的机动交通工具。车辆100可以包括HUD控制系统170或支持HUD控制系统170或与HUD控制系统170交互并因此受益于本文讨论的功能的能力。虽然本文将关于汽车描述布置,但应理解的是,实施方式不限于汽车。代替地,本文讨论的原理的实施方式可以应用于任何种类的车辆。如本文所用的,车辆100的实例同样适用于能够结合本文描述的系统或方法的任何设备。
车辆100还包括各种元件。将理解的是,在各种实施方式中,车辆100可能没有必要具有图1中所示的所有元件。车辆100可以具有图1中所示的各种元件的任何组合。另外,车辆100可以具有除图1中所示的那些元件以外的附加元件。在一些布置中,车辆100可以在没有图1中所示的一个或多个元件的情况下被实现,包括HUD控制系统170。虽然在图1中各种元件被示为位于车辆100内,但是将理解的是,这些元件中的一个或多个可以位于车辆100的外部。另外,所示的元件可以物理上相隔大距离。如图1中所示,车辆100可以经由网络190与一个或多个其它网络节点185通信。此类其它网络节点185可以包括例如云服务器、边缘服务器、路边单元(RSU)或其它基础设施(例如,十字路口的交通信号)、用户的移动设备和/或其它连接的车辆。例如,车辆100可以从一个或多个云或边缘服务器接收交通或天气信息。在与服务器通信时,车辆100可以使用诸如蜂窝数据之类的技术。在与其它车辆通信时,车辆100可以使用诸如专用短程通信(DSRC)或蓝牙低能量(蓝牙LE)之类的技术。
车辆100的可能元件中的一些在图1中示出并且将结合后续的图进行描述。但是,为了本描述的简洁,将在图2-6的讨论之后提供对图1中的许多元件的描述。此外,将认识到的是,为了图示的简单和清楚,在适当的情况下,在不同的图中已经重复附图标记以指示对应或类似的元件。此外,该讨论概述了众多具体细节以提供对本文描述的实施例的透彻理解。但是,本领域技术人员将理解的是,可以使用这些元件的各种组合来实践本文描述的实施例。
车辆100包括传感器系统120。传感器系统120可以包括一个或多个车辆传感器121。车辆传感器121可以包括一个或多个定位系统,诸如航位推算系统或全球导航卫星系统(GNSS),诸如全球定位系统(GPS)。车辆传感器121还可以包括输出例如与车辆100有关的速度和转向角数据的车辆-总线传感器。传感器系统120还可以包括一个或多个环境传感器122。环境传感器122可以包括(一个或多个)雷达传感器123、(一个或多个)光检测和测距(LIDAR)传感器124、(一个或多个)声纳传感器125和(一个或多个)相机126。例如,环境传感器122可以被用于检测和识别车辆100外部的环境中的物体(例如,其它车辆、行人、骑自行车者、动物、交通标志、障碍物、建筑装备等)。环境传感器122对于支持高级驾驶员辅助系统(ADAS)180的功能特别有用。
车辆100还包括通信系统130。通信系统130包括输入系统131、输出系统132和(一个或多个)音频设备134。输出系统132可以包括一个或多个显示设备。例如,输出系统132可以包括中央控制台触摸屏显示器。在本文讨论的各种实施例中,输出系统132包括HUD 133。除了HUD 133之外,输出系统132可以包括其它显示设备(图1中未示出)。
如上面所提到的,车辆100包括ADAS 180。ADAS 180可以使用经由传感器系统120、地图数据116和其它源(例如,交通信息服务器或另一个连接的车辆)获得的信息来预测或检测潜在的危险交通情况并帮助车辆100的驾驶员避开事故。在一些实施例中,ADAS 180发出警告或警报,以便驾驶员可以采取纠正动作。在其它实施例中,ADAS 180在必要时临时干预车辆100的转向和/或加速以避免事故。例如,在一些实施例中,ADAS 180可以检测到车辆100太靠近同一车道上的前面(领先)车辆并发出前向碰撞警告(forward-collisionwarning)和/或通过自动制动进行主动干预,以防止车辆100追尾前方车辆。类似的警告和/或主动干预可以应用于例如车道偏离(lane departure)和交叉路口处的潜在危险交叉交通(cross-traffic)。
参考图2,进一步图示了图1的HUD控制系统170的一个实施例。在这个实施例中,HUD控制系统170被示为包括来自图1的车辆100的一个或多个处理器110。一般而言,一个或多个处理器110可以是HUD控制系统170的一部分,取决于实施例,HUD控制系统170可以包括与车辆100的一个或多个处理器110分开的一个或多个处理器,或者HUD控制系统170可以通过数据总线或另一个通信路径访问一个或多个处理器110。
在一个实施例中,存储器210存储HUD停用模块220、紧急度评估模块230、HUD激活模块240、注视检测模块250和配置模块260。存储器210是随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存或用于存储模块220、230、240、250和260的其它合适存储器。模块220、230、240、250和260例如是计算机可读指令,指令在由一个或多个处理器110执行时使一个或多个处理器110执行本文公开的各种功能。
如图2中所示,HUD控制系统170与传感器系统120、通信系统130(特别是包括HUD133)和ADAS 180(参考图1)接口。在一些实施例中,HUD控制系统170还可以经由网络190与其它网络节点185(例如,云服务器、边缘服务器、RSU或其它基础设施系统、用户的移动设备和/或其它连接的车辆)通信,如以上联系图1所讨论的。
HUD控制系统170可以将诸如用户偏好280之类的数据存储在数据库270中。用户偏好280在下面进一步讨论。
HUD停用模块220一般包括指令,指令在由一个或多个处理器110执行时使一个或多个处理器110响应于来自车辆100的人类驾驶员的命令而停用HUD 133。取决于实施例,人类驾驶员可以经由例如按钮、开关、旋钮或基于触摸屏的菜单驱动的用户接口发出停用命令。在其它实施例中,驾驶员可以经由由与HUD停用模块220接口的语音识别器处理的口头命令或通过由与HUD停用模块220接口的基于手势的用户接口处理的手势(例如,手的运动)来停用HUD 133。
取决于特定实施例,HUD 133被“停用”意味着什么可以不同。在一些实施例中,当驾驶员或其他用户停用HUD 133时,HUD 133被断电。在不同的实施例中,驾驶员或其他用户停用HUD 133使得HUD 133进入低功率待机模式。在这种低功率待机模式下,显示器处于非活动状态且无显示。在又一个实施例中,驾驶员或其他用户停用HUD 133使得HUD 133进入其保持完全通电但仍然无显示的状态。
紧急度评估模块230一般包括指令,指令在由一个或多个处理器110执行时使一个或多个处理器110将紧急度级别指派给与当前车辆上下文相关联的信息项(即,与车辆100有关的上下文)。一般而言,车辆上下文涉及(1)车辆100的当前状态或状况(位置、速度、航向、车辆组件或系统的操作状况等);(2)车辆100外部的一种或多种环境条件(例如,车辆、行人、障碍物、天气条件、交通密度、道路条件等);或(3)前述的组合。例如,经由车辆传感器121检测到的在一个或多个轮胎中具有低轮胎压力的车辆100(车辆的状态或状况)是车辆上下文的一个示例。另一个示例是车辆100接近十字路口,在该十字路口行人(由环境传感器122检测到的物体)正在人行横道中穿过车辆100前面的街道。另一个示例是车辆100在由于暴雨而潮湿的道路上以58mph的速度行驶。又一个示例是车辆100处于特定位置(例如,表述为GPS坐标)并且在同一交通车道中检测到的前方(领先)车辆后面100英尺行驶。车辆上下文可以是良性的(低危险风险)或危险的(对车辆100及其乘员或其他道路用户的高危险风险)。
紧急度评估模块230将紧急度级别指派给与给定车辆上下文相关联的信息项。在一些实施例中,紧急度评估模块230将数字紧急度值或分数(例如,从0到10或从0到100)指派给这些信息项。在一些实施例中,紧急度评估模块230将“低”、“中等”或“高”的较不精细的紧急度级别指派给与车辆上下文相关联的信息项。在一些实施例中,这些技术被组合。例如,信息项的紧急度分数可以是“25”,从而将其置于“低”紧急度类别中。另一个信息项的紧急度分数可以是“52”,从而将其置于“中等”紧急度类别中。另一个信息项的紧急度分数可能是“83”,从而将其置于“高”紧急度类别中。
如果不采取纠正动作,那么ADAS 180向HUD控制系统170输出指示车辆100将在5秒内追尾领先车辆的前向碰撞警告的情况是潜在危险车辆上下文的示例。在这种情况下(在激活HUD 133之后)可以输出到HUD 133的指令“刹车!”是具有高紧急度级别的信息项的示例。相反,指示车辆100当前在45mph的速度区中以44mph的速度行驶的信息项具有相对较低的紧急度级别。出于某种原因停用HUD 133的驾驶员可能希望看到前者(“刹车!”)出现在重新激活的HUD 133上,而不是后者(“44mph”)。
紧急信息项的其它示例包括但不限于与从ADAS 180接收的车道偏离警告相关联的文本或图形消息、与从ADAS 180接收的交叉路口处的交叉交通警告相关联的文本或图形消息、恶劣天气警告、车辆健康警告(例如,发动机油压、燃油油位、电荷、发动机冷却液温度、低轮胎压力)、车门开启警告、安全带警告、限速警告和导航图(例如,对于有关导航的紧急通知,诸如不要在错误的方向上进入单向街道)。在一些实施例中,被发送者标记为紧急或通过对其内容的分析被识别为紧急的接收到的文本消息或电子邮件消息也可以从紧急度评估模块230接收指派的高紧急度级别。在来自ADAS 180的安全警告的情况下,直到预计发生不期望的事件(例如,碰撞或车道偏离)的时间段越短,紧急度评估模块230指派给相关联信息项的级别越高。本领域技术人员将认识到的是,在紧急度评估模块230指派给信息项的紧急度级别与和该信息项所属的车辆上下文相关联的风险(或危险)级别之间存在密切关系。
具有低相关联的紧急度级别的信息项的其它示例包括但不限于GPS导航信息、有利天气条件的报告、速度计读数、里程计读数和外部温度读数。
HUD激活模块240一般包括指令,指令在由一个或多个处理器110执行时使一个或多个处理器110在与信息项相关联的紧急度级别超过预定阈值时激活(先前停用的)HUD133以向驾驶员显示信息项。取决于实施例,预定阈值可以不同。例如,在一个实施例中,预定阈值是与紧急度评估模块230指派给信息项的数字紧急度分数相比较的数值。在另一个实施例中,预定阈值可以与紧急度类别对应,诸如“中等”。如果由紧急度评估模块230为信息项指派“高”紧急度级别,那么紧急度级别超过“中等”阈值级别,并且HUD激活模块240重新激活HUD 133以显示该信息项。
如本领域技术人员所知,车辆中使用不同种类的HUD。本文所述的HUD控制系统170的各种实施例可以与多种不同类型的HUD中的任何一种结合操作。例如,在一个实施例中,HUD 133是一种基于投影的显示系统,该系统将文本和图形投影到车辆100的挡风玻璃的至少一部分上。这在图3中进行说明。
图3图示了根据本发明的说明性实施例的配备有HUD 133的车辆100的内部300。在这个实施例中,HUD 133的投影部分(图3中未示出)可以位于车辆100的仪表板后面。如本领域的技术人员也知道的,可以采用光学技术和装置来使显示的信息或图像看起来好像它们比实际距离驾驶员更远(即,距离挡风玻璃的内表面更远)。在一些实施例中,从坐在驾驶员座位上的驾驶员的角度来看,HUD 133的视场(FOV)从显示区域的中心向任一侧延伸近似20度。在其它实施例中,HUD 133的FOV涵盖车辆100的整个挡风玻璃。在图3中所示的示例中,HUD 133的FOV被限制到挡风玻璃310的特定部分。
图4图示了根据本发明的说明性实施例的显示在HUD 133上的信息项410。在图4的示例中,紧急度评估模块230已将高紧急度级别指派给与从ADAS 180接收的前向碰撞警告相关联的信息项410(“刹车!”)。在这种情况下,HUD激活模块240已经确定与信息项410相关联的紧急度级别超过预定阈值。因此,HUD激活模块240激活HUD 133以显示紧急信息项410。
在一些实施例中,以上讨论的HUD停用模块220包括另外的指令,指令在由一个或多个处理器110执行时使一个或多个处理器110在HUD 133已经向驾驶员显示信息410之后自动停用HUD 133。在HUD 133再次被停用之前紧急信息项410在HUD 133上保持可见多长时间取决于情况和特定实施例。一般而言,信息项410保持显示,只要其产生的车辆上下文与车辆100的驾驶员相关即可。在一些情况下,这可能是几秒钟,或者在其它情况下可能会更长一些。
注视检测模块250一般包括指令,指令在由一个或多个处理器110执行时使一个或多个处理器110检测车辆100的驾驶员的注视方向。为了检测驾驶员的注视方向,注视检测模块250可以结合本领域众所周知的注视检测/跟踪算法使用车辆100内部的相机。这些算法中的一些算法检测驾驶员的眼睛指向的方向,并使用几何原理确定驾驶员在车辆100内部或外部看什么(例如,通过挡风玻璃310的外部物体,通过侧窗的外部物体、仪表板等)。检测驾驶员的注视方向(即,驾驶员正在看的方向和驾驶员正在看什么)可以支持包括在HUD控制系统170的一些实施例中的若干附加特征。
例如,在一个实施例中,HUD激活模块240包括另外的指令,指令在由一个或多个处理器110执行时使一个或多个处理器110将信息项410显示在HUD 133的FOV的与检测到的注视方向一致的一部分(即,驾驶员当前正在通过其看的挡风玻璃310的部分)中。这在图5中图示。
图5图示了根据本发明的说明性实施例的显示在车辆100的HUD 133上的信息项410(“刹车!”)。在图5的示例中,注视检测模块250已经确定驾驶员当前正在通过挡风玻璃310的显示“刹车!”的部分看(其紧急度级别已超过上面讨论的预定阈值的信息项410)。HUD133的投影部分调整显示信息项410的位置以匹配检测到的位置。这个特征有助于确保驾驶员看到与由ADAS 180产生的前向碰撞警告相关联的信息项410。
在另一个实施例中,HUD激活模块240包括另外的指令,指令在由一个或多个处理器执行时使一个或多个处理器在驾驶员的检测到的注视方向(由注视检测模块250检测)不位于HUD 133的FOV内时,经由(一个或多个)音频设备134发射可听信号。换句话说,如果注视检测模块250检测到驾驶员没有注视位于HUD 133的FOV内的位置,那么HUD激活模块240使得发射可听信号。例如,如上面所讨论的,如果检测到驾驶员正在向驾驶员侧窗外看,HUD激活模块240可以使得发射某种可听信号(例如,音调、哔哔声或计算机模拟的口头警告或消息)来代替激活HUD 133和在HUD 133上显示紧急信息项410。在不同的实施例中,HUD激活模块240除了激活HUD 133和在HUD 133上显示紧急信息项410以将驾驶员的注意力吸引到所显示的信息项410之外还可以使得发射可听信号。
配置模块260一般包括指令,指令在由一个或多个处理器110执行时使一个或多个处理器110从驾驶员(或另一个用户)接收一个或多个偏好以配置与各种类型的信息项410相关联的紧急度级别、预定紧急度阈值或两者,具体取决于实施例。在一些实施例中,配置模块260给予驾驶员对紧急度级别评估模块230指派给与特定车辆上下文相关联的某些种类的信息项410的紧急度级别的某种程度的控制。例如,在一个实施例中,驾驶员可以选择提升某些种类的恶劣天气警告的紧急度级别,尤其是如果那些类型的恶劣天气警告在驾驶员生活和工作的地区特别受关注。例如,龙卷风在美国的某些地区比在其它地区更常见,并且驾驶员可能希望给予那些类型的警告高优先级。
在一些实施例中,驾驶员可以为至少一些类型的信息项410配置紧急度阈值,以控制哪些信息项410导致HUD激活模块240激活HUD 133以在驾驶员停用HUD 133后显示信息项410。例如,在一个实施例中,驾驶员可以指定应当激活HUD 133以显示紧急度分数大于“75”(在0到100的标尺上)的特定可配置类别(例如,“天气警报”)中的信息项410。在另一个实施例中,驾驶员可以指定应当激活HUD 133以显示具有“高”紧急度级别(在包括“低”、“中等”和“高”的紧急度方案中)的特定类别中的信息项410。在一些实施例中,紧急度阈值跨信息项410的所有类型或类别是全局的。在其它实施例中,对于不同类型或类别的信息项410,可以有多个不同的紧急度阈值。
图6是根据本发明的说明性实施例的控制车辆中的HUD 133的方法600的流程图。将从图2中的HUD控制系统170的角度讨论方法600。虽然结合HUD控制系统170讨论方法600,但是应当认识到的是,方法600不限于在HUD控制系统170内实现,而是HUD控制系统170是可以实现方法600的系统的一个示例。
在方框610处,HUD停用模块220响应于来自车辆100的驾驶员的命令而停用HUD133。如上面所讨论的,取决于实施例,驾驶员可以经由例如按钮、开关、旋钮或基于触摸屏的菜单驱动的用户接口发出停用命令。在其它实施例中,驾驶员可以经由由与HUD停用模块220接口的语音识别器处理的口头命令或通过由与HUD停用模块220接口的基于手势的用户接口处理的手势(例如,手的运动)来停用HUD 133。
在方框620处,紧急度评估模块230将紧急度级别指派给与当前车辆上下文相关联的信息项410。如上面所讨论的,在一些实施例中,紧急度评估模块230将数字紧急度值或分数(例如,从0到10或从0到100)指派给信息项410。在一些实施例中,紧急度评估模块230将“低”、“中等”或“高”的较不精细的紧急度级别指派给与车辆上下文相关联的信息项。在一些实施例中,这些技术被组合,如上面所解释的。
在方框630处,当与信息项410相关联的紧急度级别超过预定阈值时,HUD激活模块240激活HUD 133以向驾驶员显示信息项410。如上面所讨论的,在一个实施例中,预定阈值是与由紧急度评估模块230指派给信息项410的数字紧急度分数相比较的数值。在另一个实施例中,预定阈值可以与紧急度类别(诸如“中等”)对应。如果紧急度评估模块230为信息项指派“高”紧急度级别,那么紧急度级别超过“中等”阈值级别,并且HUD激活模块240重新激活HUD 133以显示该信息项。
在一些实施例中,方法600还包括HUD停用模块220,从而在HUD 133已经向驾驶员显示信息项410之后自动停用HUD 133,如上面所讨论的。在一些实施例中,方法600利用检测驾驶员的注视方向的注视检测模块250来支持HUD激活模块240在HUD 133的FOV中与驾驶员的检测到的注视方向一致的部分中显示紧急信息项410。在一些实施例中,方法600包括当注视检测模块250检测到的驾驶员的注视方向不在HUD 133的FOV内时,HUD激活模块240发射可听信号。取决于特定实施例,可听信号可以与显示紧急信息项410结合发射(例如,可听信号用于将驾驶员的注意力吸引到HUD 133),或者可以发射可听信号来代替激活HUD133和显示这种信息项410。在一些实施例中,方法600包括配置模块260从驾驶员接收一个或多个偏好以配置由紧急度评估模块230指派给各种类型的信息项410的紧急度级别、上面讨论的预定阈值或两者。
现在将全面详细讨论作为示例车辆环境的图1,在该示例车辆环境中可以实现本文公开的系统和方法。在一些情况下,车辆100可以被配置为在自主模式、一种或多种半自主操作模式和/或手动模式之间选择性地切换。这种切换,在过渡到手动模式时也被称为移交(handover),可以以现在已知或以后开发的合适方式来实现。“手动模式”是指车辆的全部或大部分导航和/或操纵是根据从用户(例如,人类驾驶员/操作者)接收的输入来执行的。
车辆100可以包括一个或多个处理器110。在一种或多种布置中,一个或多个处理器110可以是车辆100的主处理器。例如,一个或多个处理器110可以是电子控制单元(ECU)。车辆100可以包括一个或多个数据存储库115,用于存储一种或多种类型的数据。(一个或多个)数据存储库115可以包括易失性和/或非易失性存储器。合适的数据存储库115的示例包括RAM、闪存、ROM、PROM(可编程只读存储器)、EPROM、EEPROM(电可擦除可编程只读存储器)、寄存器、磁盘、光盘、硬盘驱动器或任何其它合适的存储介质,或它们的任何组合。(一个或多个)数据存储库115可以是一个或多个处理器110的(一个或多个)组件,或者(一个或多个)数据存储库115可以可操作地连接到一个或多个处理器110以供其使用。贯穿本描述使用的术语“可操作地连接”可以包括直接或间接连接,包括没有直接物理接触的连接。
在一种或多种布置中,一个或多个数据存储库115可以包括地图数据116。地图数据116可以包括一个或多个地理区域的地图。在一些情况下,地图数据116可以包括关于一个或多个地理区域中的道路、交通控制设备、道路标记、结构、特征和/或地标的信息或数据。在一种或多种布置中,地图数据116可以包括一个或多个地形图117。(一个或多个)地形图117可以包括关于一个或多个地理区域的地面、地形、道路、表面和/或其它特征的信息。在一种或多种布置中,地图数据116可以包括一个或多个静态障碍物地图118。(一个或多个)静态障碍物地图118可以包括关于位于一个或多个地理区域内的一个或多个静态障碍物的信息。
一个或多个数据存储库115可以包括传感器数据119。在这种背景下,“传感器数据”是指关于车辆配备的传感器的任何信息,包括关于此类传感器的能力和其它信息。如下文将解释的,车辆100可以包括传感器系统120。传感器数据119可以与传感器系统120的一个或多个传感器相关。作为示例,在一种或多种布置中,传感器数据119可以包括关于传感器系统120的一个或多个LIDAR传感器124的信息。
如上所述,车辆100可以包括传感器系统120。传感器系统120可以包括一个或多个传感器。“传感器”是指可以检测和/或感测某物的任何设备、组件和/或系统。一个或多个传感器可以被配置为实时检测和/或感测。如本文所使用的,术语“实时”是指用户或系统感测到对于要进行的特定处理或确定足够即时的处理响应性的水平,或者使处理器能够跟上某个外部处理的水平。
在其中传感器系统120包括多个传感器的布置中,传感器可以彼此独立地起作用。可替代地,传感器中的两个或更多个可以彼此组合工作。在这种情况下,两个或更多个传感器可以形成传感器网络。传感器系统120和/或一个或多个传感器可以可操作地连接到一个或多个处理器110、(一个或多个)数据存储库115和/或车辆100的另一个元件(包括图1中所示的任何元件)。
传感器系统120可以包括任何合适类型的传感器。本文将描述不同类型传感器的各种示例。但是,将理解的是,实施方式不限于所描述的特定传感器。传感器系统120可以包括一个或多个车辆传感器121。(一个或多个)车辆传感器121可以检测、确定和/或感测关于车辆100本身的信息。在一种或多种布置中,(一个或多个)车辆传感器121可以被配置为检测和/或感测车辆100的位置和/或朝向改变,诸如例如基于惯性加速度。在一种或多种布置中,(一个或多个)车辆传感器121可以包括一个或多个加速度计、一个或多个陀螺仪、惯性测量单元(IMU)、航位推算系统、全球导航卫星系统(GNSS)、全球定位系统(GPS)、导航系统147、和/或其它合适的传感器。(一个或多个)车辆传感器121可以被配置为检测和/或感测车辆100的一个或多个特点。在一种或多种布置中,(一个或多个)车辆传感器121可以包括速度计以确定车辆100的当前速度。
可替代地或附加地,传感器系统120可以包括被配置为获取和/或感测驾驶环境数据的一个或多个环境传感器122。“驾驶环境数据”包括关于车辆所处的外部环境或其一个或多个部分的任何数据或信息。例如,一个或多个环境传感器122可以被配置为检测、量化和/或感测车辆100的外部环境的至少一部分中的障碍物和/或关于这些障碍物的信息/数据。一个或多个环境传感器122可以被配置为检测、测量、量化和/或感测车辆100的外部环境的至少一部分中的其它事物,诸如例如附近的车辆、车道标记、标志、交通灯、交通标志、车道线、人行横道、靠近车辆100的路缘、越野物体等。
本文将描述传感器系统120的传感器的各种示例。示例传感器可以是一个或多个环境传感器122和/或一个或多个车辆传感器121的一部分。而且,传感器系统120可以包括用于跟踪或以其它方式监视与车辆100的驾驶员/操作者相关的方面的操作者传感器。但是,将理解的是,实施方式不限于所描述的特定传感器。作为示例,在一种或多种布置中,传感器系统120可以包括一个或多个雷达传感器123、一个或多个LIDAR传感器124、一个或多个声纳传感器125和/或一个或多个相机126。
车辆100还可以包括通信系统130。通信系统130可以包括被配置为促进车辆100和一个或多个通信源之间的通信的一个或多个组件。如本文所使用的,通信源是指车辆100可以与之通信的人或设备,诸如外部网络、计算设备、车辆100的操作者或乘员等。作为通信系统130的一部分,车辆100可以包括输入系统131。“输入系统”包括使得能够将信息/数据输入到机器中的任何设备、组件、系统、元件或布置或它们的组。在一个或多个示例中,输入系统131可以接收来自车辆乘员(例如,驾驶员或乘客)的输入。车辆100可以包括输出系统132。“输出系统”包括使得能够将信息/数据呈现给一个或多个通信源(例如,人、车辆乘客等)的任何设备、组件或布置或它们的组。通信系统130还可以包括作为输入系统131或输出系统132的一部分或可以与输入系统131或输出系统132交互的特定元件,诸如HUD 133和一个或多个音频设备134(例如,扬声器和麦克风)。
车辆100可以包括一个或多个车辆系统140。一个或多个车辆系统140的各种示例在图1中示出。但是,车辆100可以包括更多、更少或不同的车辆系统。应当认识到的是,虽然分开定义特定的车辆系统,但是每个或任何系统或其部分可以经由车辆100内的硬件和/或软件以其它方式组合或分离。车辆100可以包括推进系统141、制动系统142、转向系统143、节气门系统144、传动系统145、信令系统146和/或导航系统147。这些系统中的每一个都可以包括现在已知或以后开发的一个或多个设备、组件和/或它们的组合。
一个或多个处理器110可以可操作地连接以与各种车辆系统140和/或其各个组件通信。例如,返回到图1,一个或多个处理器110可以进行通信以从各种车辆系统140发送和/或接收信息以控制车辆100的移动、速度、操纵、航向、方向等。
车辆100可以包括一个或多个模块,本文描述其中的至少一些。模块可以被实现为计算机可读程序代码,该程序代码在由处理器110执行时实现本文描述的各种处理中的一个或多个。处理器110可以是能够接收和执行指令的一个或多个线程以执行任务的设备,诸如CPU。一个或多个模块可以是一个或多个处理器110的组件,或者一个或多个模块可以在一个或多个处理器110可操作地连接到的其它处理系统上执行和/或分布在其中。模块可以包括可由一个或多个处理器110执行的指令(例如,程序逻辑)。可替代地或附加地,一个或多个数据存储库115可以包含此类指令。
在一种或多种布置中,本文描述的模块中的一个或多个可以包括人工或计算智能元素,例如神经网络、模糊逻辑或其它机器学习算法。另外,在一种或多种布置中,其中一个或多个模块可以分布在本文描述的多个模块当中。在一种或多种布置中,本文描述的模块中的两个或更多个可以组合成单个模块。
本文公开了详细实施方式。但是,应该理解的是,所公开的实施方式仅旨在作为示例。因此,本文公开的具体结构和功能细节不应被解释为限制性的,而仅仅是作为权利要求的基础以及作为教导本领域技术人员以实际上任何适当的详细结构来以各种方式利用本文中的各方面的代表性基础。另外,本文使用的术语和短语不旨在限制,而是为了提供可能的实施方式的可理解的描述。在图1-6中示出了各种实施方式,但是实施方式不限于所示出的结构或应用。
附图中的流程图和框图图示了根据各种实施方式的系统、方法和计算机程序产品的可能实施方式的体系架构、功能和操作。就这一点而言,流程图或框图中的每个方框可以表示代码的模块、片段或部分,其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应当注意的是,在一些替代实施方式中,方框中指出的功能可以不按图中指出的次序发生。例如,取决于所涉及的功能,可以基本上同时执行连续示出的两个方框,或者有时可以以相反的次序执行这些方框。
上面描述的系统、部件和/或方法可以以硬件或硬件和软件的组合来实现,并且可以以集中式方式在一个处理系统中或者以其中不同的元件分布在多个互连的处理系统上的分布式方式来实现。适用于执行本文描述的方法的任何种类的处理系统或其他装置都是合适的。硬件和软件的典型组合可以是具有计算机可用程序代码的处理系统,程序代码在被加载和执行时控制处理系统,以使其执行本文描述的方法。系统、部件和/或方法还可以被嵌入在机器可读的计算机可读存储设备中,诸如计算机程序产品或其它数据程序存储设备,有形地实施机器可执行的指令的程序,以执行本文描述的方法。这些元素也可以嵌入在应用产品中,该应用产品包括使得能够实现本文描述的方法的所有特征,并且在加载到处理系统中时能够执行这些方法。
此外,本文描述的布置可以采取实施在一种或多种计算机可读介质中的计算机程序产品的形式,该计算机可读介质具有实施或嵌入(诸如存储)在其上的计算机可读程序代码。可以利用一种或多种计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。短语“计算机可读存储介质”是指非暂态存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备,或前述的任意合适组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下:具有一根或多根电线的电连接、便携式计算机磁盘、硬盘驱动器(HDD)、固态驱动器(SSD)、RAM、ROM、EPROM或闪存、光纤、便携式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、光学存储设备、磁存储设备,或前述的任意合适组合。在本文档的上下文中,计算机可读存储介质可以是可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。
可以使用任何适当的介质来发送实施在计算机可读介质上的程序代码,包括但不限于无线、有线、光纤、电缆、RF等,或者上述的任意合适组合。可以以一种或多种编程语言的任意组合来编写用于执行本布置的各方面的操作的计算机程序代码,所述编程语言包括诸如JavaTM、Smalltalk、C++之类的面向对象的编程语言以及诸如“C”编程语言或类似编程语言之类的常规过程编程语言。程序代码可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分地在用户计算机上并且部分地在远程计算机上,或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络(包括LAN或WAN)连接到用户的计算机,或者可以与外部计算机建立连接(例如通过使用互联网服务提供商的互联网)。
在以上描述中,概述了某些特定细节以提供对各种实施方式的透彻理解。但是,本领域技术人员将理解的是,可以在没有这些细节的情况下实践本发明。在其它情况下,没有详细示出或描述众所周知的结构以避免不必要地模糊实施方式的描述。除非上下文另有要求,否则在整个说明书和随后的权利要求书中,词语“包括(comprise)”及其变体(诸如“包括(comprises)”和“包括(comprising)”)应被解释为开放的、包容性的意义,即,“包括”,但不限于”。另外,本文提供的标题仅为方便起见,并不解释要求保护的发明的范围或含义。
贯穿本说明书对“一个或多个实施方式”或“实施方式”的引用意味着结合该实施方式描述的特定特征、结构或特点被包括在至少一个或多个实施方式中。因此,在本说明书的各个地方出现的短语“在一个或多个实施方式中”或“在实施方式中”不一定全都指相同的实施方式。此外,特定特征、结构或特点可以在一个或多个实施方式中以任何合适的方式组合。而且,如本说明书和所附权利要求书中使用的,单数形式“一个”、“一种”和“该”包括复数形式,除非内容另有明确规定。还应当注意的是,除非内容另有明确规定,否则术语“或”一般以其包括“和/或”的含义使用。
本文中使用的标题(例如,“背景技术”和“发明内容”)和子标题仅用于对本公开内容内的主题进行一般组织,并不旨在限制本技术或其任何方面的公开。对具有所述特征的多个实施方式的叙述并不旨在排除具有附加特征的其它实施方式,或结合所述特征的不同组合的其它实施方式。如本文所使用的,术语“包括”和“包含”以及它们的变体旨在是非限制性的,使得相继的项或列表的叙述不排除也可以在本技术的设备和方法中有用的其它类似项。类似地,术语“能够(can)”和“可以(may)”以及它们的变体旨在是非限制性的,使得对实施方式能够或可以包括某些元素或特征的叙述不排除不包含那些元素或特征的本技术的其它实施方式。
本公开的广泛教导可以以多种形式实现。因此,虽然本公开包括特定示例,但本公开的真实范围不应当受到如此限制,因为在研究说明书和以下权利要求之后,其它修改对于本领域技术人员而言将变得显而易见。本文对一个方面或各个方面的引用意味着结合实施方式或特定系统描述的特定特征、结构或特点被包括在至少一个或多个实施方式或方面中。短语“在一个方面”(或其变体)的出现不一定是指相同的方面或实施方式。还应当理解的是,本文讨论的各种方法步骤不必以与所描绘的相同的次序来执行,并且并非在每个方面或实施方式中都要求每个方法步骤。
一般而言,如本文中所使用的,“模块”包括执行特定任务或实现特定数据类型的例程、程序、对象、组件、数据结构等。在进一步的方面,存储器一般存储所述模块。与模块相关联的存储器可以是嵌入在处理器、RAM、ROM、闪存或另一种合适的电子存储介质中的缓冲器或高速缓存。在更进一步的方面,如本公开所设想的模块被实现为专用集成电路(ASIC)、片上系统(SoC)的硬件组件,作为可编程逻辑阵列(PLA),或作为嵌入有用于执行所公开功能的既定配置集(例如,指令)的另一个合适的硬件组件。
如本文所使用的,术语“一个”和“一种”被定义为一个或多于一个。如本文所使用的,术语“多个”被定义为两个或多于两个。如本文所使用的,术语“另一个”被定义为至少第二个或更多个。如本文所使用的,术语“包括”和/或“具有”被定义为包括(即,开放语言)。如本文所使用的,短语“……和……中的至少一个”是指并且涵盖所关联的所列项目中的一个或多个的任意和所有可能的组合。作为示例,短语“A、B和C中的至少一个”包括仅A、仅B、仅C或其任意组合(例如,AB、AC、BC或ABC)。
已经出于说明和描述的目的提供了实施方式的前述描述。该描述并非旨在是详尽的或限制本公开。特定实施方式的个别元素或特征一般不限于那个特定实施方式,而是在适用的情况下是可互换的并且可以在选择的实施方式中使用,即使未具体示出或描述。同样也可以以许多方式变化。此类变化不应当被视为偏离本公开,并且所有此类修改都旨在包括在本公开的范围内。
虽然前面针对所公开的设备、系统和方法的实施方式,但是可以在不脱离其基本范围的情况下设计所公开的设备、系统和方法的其它和进一步的实施方式。其范围由随后的权利要求书确定。
Claims (20)
1.一种用于控制车辆中的平视显示器(HUD)的系统,所述系统包括:
一个或多个处理器;以及
存储器,可通信地耦合到所述一个或多个处理器并存储:
HUD停用模块,所述HUD停用模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器响应于来自车辆的驾驶员的命令而停用HUD的指令;
紧急度评估模块,所述紧急度评估模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器将紧急度级别指派给与当前车辆上下文相关联的信息项的指令;以及
HUD激活模块,所述HUD激活模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器在所述紧急度级别超过预定阈值时激活HUD以向驾驶员显示所述信息项的指令。
2.如权利要求1所述的系统,其中HUD停用模块还包括在由所述一个或多个处理器执行时使所述一个或多个处理器在HUD已向驾驶员显示所述信息项之后自动停用HUD的指令。
3.如权利要求1所述的系统,还包括注视检测模块,所述注视检测模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器检测驾驶员的注视方向的指令,其中HUD激活模块还包括在由所述一个或多个处理器执行时使所述一个或多个处理器在HUD的视场的与注视方向一致的部分中显示所述信息项的指令。
4.如权利要求1所述的系统,其中所述信息项是从车辆的高级驾驶员辅助系统(ADAS)接收的前向碰撞警告、从ADAS接收的车道偏离警告和从ADAS接收的交叉交通警告中的一个。
5.如权利要求1所述的系统,其中所述信息项是恶劣天气警告、车辆健康警告、车门开启警告、安全带警告、限速警告、导航图、文本消息、和电子邮件消息中的一个。
6.如权利要求1所述的系统,还包括注视检测模块,所述注视检测模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器检测驾驶员的注视方向的指令,其中HUD激活模块还包括在由所述一个或多个处理器执行时使所述一个或多个处理器在注视方向不在HUD的视场内时发射可听信号的指令。
7.如权利要求1所述的系统,其中HUD在被停用时是断电、处于低功率待机模式和通电无显示中的一个。
8.如权利要求1所述的系统,还包括配置模块,所述配置模块包括在由所述一个或多个处理器执行时使所述一个或多个处理器从驾驶员接收一个或多个偏好以配置紧急度级别和预定阈值中的至少一个的指令。
9.一种用于控制车辆中的平视显示器(HUD)并存储指令的非暂态计算机可读介质,所述指令在由一个或多个处理器执行时使所述一个或多个处理器:
响应于来自车辆的驾驶员的命令而停用HUD;
将紧急度级别指派给与当前车辆上下文相关联的信息项;以及
在所述紧急度级别超过预定阈值时,激活HUD以向驾驶员显示所述信息项。
10.如权利要求9所述的非暂态计算机可读介质,其中所述指令还包括使所述一个或多个处理器检测驾驶员的注视方向并且在HUD的视场的与注视方向一致的部分中显示所述信息项的指令。
11.如权利要求9所述的非暂态计算机可读介质,其中所述信息项是从车辆的高级驾驶员辅助系统(ADAS)接收的前向碰撞警告、从ADAS接收的车道偏离警告和从ADAS接收的交叉交通警告中的一个。
12.如权利要求9所述的非暂态计算机可读介质,其中所述信息项是恶劣天气警告、车辆健康警告、车门开启警告、安全带警告、限速警告、导航图、文本消息、和电子邮件消息中的一个。
13.一种控制车辆中的平视显示器(HUD)的方法,所述方法包括:
响应于来自车辆的驾驶员的命令而停用HUD;
将紧急度级别指派给与当前车辆上下文相关联的信息项;以及
在所述紧急度级别超过预定阈值时,激活HUD以向驾驶员显示所述信息项。
14.如权利要求13所述的方法,还包括在HUD已经向驾驶员显示所述信息项之后自动停用HUD。
15.如权利要求13所述的方法,还包括:
检测驾驶员的注视方向;以及
在HUD的视场的与注视方向一致的部分中显示所述信息项。
16.如权利要求13所述的方法,其中所述信息项是从车辆的高级驾驶员辅助系统(ADAS)接收的前向碰撞警告、从ADAS接收的车道偏离警告和从ADAS接收的交叉交通警告中的一个。
17.如权利要求13所述的方法,其中所述信息项是恶劣天气警告、车辆健康警告、车门开启警告、安全带警告、限速警告、导航图、文本消息、和电子邮件消息中的一个。
18.如权利要求13所述的方法,还包括:
检测驾驶员的注视方向;以及
当注视方向不在HUD的视场内时,发射可听信号。
19.如权利要求13所述的方法,其中HUD在被停用时是断电、处于低功率待机模式和通电无显示中的一个。
20.如权利要求13所述的方法,还包括从驾驶员接收一个或多个偏好以配置紧急度级别和预定阈值中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/244,228 | 2021-04-29 | ||
US17/244,228 US11590845B2 (en) | 2021-04-29 | 2021-04-29 | Systems and methods for controlling a head-up display in a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115257794A true CN115257794A (zh) | 2022-11-01 |
Family
ID=83760132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210471951.1A Pending CN115257794A (zh) | 2021-04-29 | 2022-04-29 | 用于控制车辆中的平视显示器的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11590845B2 (zh) |
JP (1) | JP2022171637A (zh) |
CN (1) | CN115257794A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116923425B (zh) * | 2023-08-01 | 2024-06-04 | 深圳市哲思特科技有限公司 | 具有智能感知系统的新能源汽车智能座舱及其控制方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8686922B2 (en) | 1999-12-15 | 2014-04-01 | American Vehicular Sciences Llc | Eye-location dependent vehicular heads-up display system |
US7873446B2 (en) * | 2007-02-13 | 2011-01-18 | Honeywell International Inc. | Altimeter setting display and storage system and method |
KR20090075266A (ko) * | 2008-01-03 | 2009-07-08 | (주) 디보스 | 영상 표시 장치 및 그 구동 방법 |
US8907887B2 (en) * | 2008-05-19 | 2014-12-09 | Honeywell International Inc. | Methods and systems for operating avionic systems based on user gestures |
US8629903B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
FR2947083B1 (fr) * | 2009-06-23 | 2011-11-11 | Thales Sa | Dispositif et procede d'aide a l'atterrissage |
KR20110056003A (ko) * | 2009-11-20 | 2011-05-26 | 삼성전자주식회사 | 휴대 단말기의 길 안내 방법 및 장치 |
US20120306637A1 (en) * | 2011-06-01 | 2012-12-06 | Johnson Controls Technology Company | System and method for selectively altering content of a vehicle interface |
US9247779B1 (en) * | 2012-11-08 | 2016-02-02 | Peter Aloumanis | Enhanced global positioning system (GPS) based functionality for helmets |
US20140257659A1 (en) | 2013-03-11 | 2014-09-11 | Honda Motor Co., Ltd. | Real time risk assessments using risk functions |
US9809169B1 (en) * | 2013-03-15 | 2017-11-07 | Mouhamad A. Naboulsi | Safety control system for vehicles |
DE102014003550A1 (de) * | 2014-03-12 | 2014-09-18 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs |
JP6648411B2 (ja) * | 2014-05-19 | 2020-02-14 | 株式会社リコー | 処理装置、処理システム、処理プログラム及び処理方法 |
GB201411309D0 (en) * | 2014-06-25 | 2014-08-06 | Tomtom Int Bv | Vehicular human machine interfaces |
CN106660495B (zh) * | 2014-07-01 | 2020-02-18 | 日产自动车株式会社 | 车辆用显示装置以及车辆用显示方法 |
DE102015210753A1 (de) * | 2015-06-12 | 2016-12-15 | Ford Global Technologies, Llc | Verfahren zum Betrieb eines Head-up-Displays in einem Fahrzeug sowie Fahrzeug mit Head-up-Display |
US10080257B2 (en) * | 2015-08-11 | 2018-09-18 | Ford Global Technologies, Llc | Windshield deicer power conservation system |
KR101895485B1 (ko) * | 2015-08-26 | 2018-09-05 | 엘지전자 주식회사 | 운전 보조 장치 및 그 제어 방법 |
US10181266B2 (en) * | 2015-09-11 | 2019-01-15 | Sony Corporation | System and method to provide driving assistance |
KR20170091259A (ko) * | 2016-01-30 | 2017-08-09 | 이정용 | 유사홀로그램 방식의 자동차 사이드 영상 조사장치. |
JP2019059245A (ja) * | 2016-02-05 | 2019-04-18 | マクセル株式会社 | ヘッドアップディスプレイ装置及びその表示制御方法 |
FR3052877B1 (fr) * | 2016-06-17 | 2020-11-06 | Peugeot Citroen Automobiles Sa | Dispositif de commande d'un affichage tete haute. |
US9904287B1 (en) * | 2017-05-04 | 2018-02-27 | Toyota Research Institute, Inc. | Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle |
US10569708B2 (en) * | 2017-06-15 | 2020-02-25 | Toyota Research Institute, Inc. | Vehicles outputting context dependent warnings and alerts |
TWI653170B (zh) * | 2017-11-01 | 2019-03-11 | 宏碁股份有限公司 | 駕駛提示方法與系統 |
TWI637289B (zh) * | 2018-05-18 | 2018-10-01 | 緯創資通股份有限公司 | 基於眼球追蹤的顯示控制系統 |
US10562539B2 (en) * | 2018-07-10 | 2020-02-18 | Ford Global Technologies, Llc | Systems and methods for control of vehicle functions via driver and passenger HUDs |
US11208039B2 (en) * | 2019-07-25 | 2021-12-28 | Adam Benjamin Tannenbaum | Vehicular surveillance system |
KR20210044348A (ko) * | 2019-10-14 | 2021-04-23 | 현대자동차주식회사 | 이동체의 디스플레이 방법 및 장치 |
CN113126294B (zh) * | 2020-01-10 | 2023-07-21 | 未来(北京)黑科技有限公司 | 一种多层次成像系统 |
US11366327B1 (en) * | 2020-12-09 | 2022-06-21 | Rockwell Collins, Inc. | Heads-up user interface and controls for interactive heads-up display of traffic targets |
US20220203996A1 (en) * | 2020-12-31 | 2022-06-30 | Cipia Vision Ltd. | Systems and methods to limit operating a mobile phone while driving |
-
2021
- 2021-04-29 US US17/244,228 patent/US11590845B2/en active Active
-
2022
- 2022-04-28 JP JP2022075184A patent/JP2022171637A/ja active Pending
- 2022-04-29 CN CN202210471951.1A patent/CN115257794A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220348078A1 (en) | 2022-11-03 |
US11590845B2 (en) | 2023-02-28 |
JP2022171637A (ja) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108859938B (zh) | 用于自动驾驶车辆的自动车辆应急灯控制的方法和系统 | |
CN108068825B (zh) | 用于无人驾驶车辆(adv)的视觉通信系统 | |
JP6737600B2 (ja) | 視界遮断環境における自律移動体の操作方法 | |
US9828001B2 (en) | Confidence icons for apprising a driver of confidence in an autonomous operation of a vehicle | |
US11513518B2 (en) | Avoidance of obscured roadway obstacles | |
WO2017169026A1 (ja) | 運転支援装置、自動運転制御装置、車両、運転支援方法およびプログラム | |
CN108973990B (zh) | 用于自动驾驶控制的方法、介质和系统 | |
US10435035B2 (en) | Screen reduction system for autonomous vehicles | |
US10239527B2 (en) | Driving ratings for leading or following vehicle selection | |
US10328949B2 (en) | Sensor blind spot indication for vehicles | |
US20170174129A1 (en) | Vehicular visual information system and method | |
JP2018081080A (ja) | 自律走行車(adv)用の緊急処理システム | |
JP2018536912A (ja) | 運転支援を提供するシステムおよび方法 | |
US20160264047A1 (en) | Systems and methods for a passing lane vehicle rear approach alert | |
US11873007B2 (en) | Information processing apparatus, information processing method, and program | |
US11225266B2 (en) | Systems and methods for improving visual scanning behavior associated with controlling a vehicle | |
US11745745B2 (en) | Systems and methods for improving driver attention awareness | |
JP2017194948A (ja) | 情報提示制御装置、自動運転車、及び自動運転車運転支援システム | |
CN111724627A (zh) | 检测前方车辆向后滑动的自动告警系统 | |
US11590845B2 (en) | Systems and methods for controlling a head-up display in a vehicle | |
US10482787B2 (en) | Selective presentation of coasting coach indicator for consecutive learned deceleration areas in close proximity | |
CN113401056A (zh) | 显示控制装置、显示控制方法以及计算机可读取存储介质 | |
EP2797027A1 (en) | A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver | |
CN113302086A (zh) | 视觉通信系统 | |
US20230347876A1 (en) | Adas timing adjustments and selective incident alerts based on risk factor information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230710 Address after: Aichi Prefecture, Japan Applicant after: Toyota Motor Corp. Address before: California, USA Applicant before: Toyota Research Institute, Inc. |
|
TA01 | Transfer of patent application right | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |