CN108349384A - 车辆信息显示控制装置及自动驾驶信息的显示方法 - Google Patents
车辆信息显示控制装置及自动驾驶信息的显示方法 Download PDFInfo
- Publication number
- CN108349384A CN108349384A CN201580084063.2A CN201580084063A CN108349384A CN 108349384 A CN108349384 A CN 108349384A CN 201580084063 A CN201580084063 A CN 201580084063A CN 108349384 A CN108349384 A CN 108349384A
- Authority
- CN
- China
- Prior art keywords
- display
- information
- image
- control mode
- actuator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000008859 change Effects 0.000 claims description 9
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 45
- 238000012545 processing Methods 0.000 description 18
- 230000009471 action Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000007787 solid Substances 0.000 description 8
- 238000004040 coloring Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
- B60K35/232—Head-up displays [HUD] controlling the projection distance of virtual images depending on the condition of the vehicle or the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
- G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/12—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time in graphical form
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/161—Explanation of functions, e.g. instructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/172—Driving mode indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/175—Autonomous driving
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/182—Distributing information between displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/184—Displaying the same information on different displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Instrument Panels (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
车辆信息显示控制装置(10)包括获取包含表示车辆的各致动器处于手动控制模式还是自动控制模式的信息在内的自动驾驶信息的自动驾驶信息获取部(11);以及基于自动驾驶信息将图像显示于显示装置(20)的第1显示区域(21)及第2显示区域(22)的显示控制部(12)。显示控制部(12)将手动控制模式的致动器所对应的图像显示于第1显示区域(21),将自动控制模式的致动器所对应的图像显示于第2显示区域(22)。
Description
技术领域
本发明涉及车辆信息显示控制装置,尤其涉及自动驾驶信息的显示方法。
背景技术
例如下述专利文献1公开了如下技术,即:通过在阶段性进行车辆从手动驾驶模式到自动驾驶模式的切换时向驾驶员提示自动化等级,从而消除驾驶员对于自动驾驶模式的不谐调感。
现有技术文献
专利文献
专利文献1:日本专利特开2015-24746号公报
发明内容
发明所要解决的技术问题
专利文献1中,以“1”、“2”、“3”等数值来表示向驾驶员提示的自动化等级。因此,驾驶员能大致掌握自动化的程度(比率),但难以掌握车辆的致动器(转向器、加速器、制动器、变速器等)中的哪一个被自动控制,哪一个被手动控制。
本发明是为了解决上述技术问题而完成的,其目的在于提供一种能使驾驶员容易地掌握各致动器的控制模式(自动控制模式或手动控制模式)的车辆信息显示控制装置。
解决技术问题的技术方案
本发明所涉及的车辆信息显示控制装置包括:自动驾驶信息获取部,该自动驾驶信息获取部获取自动驾驶信息,所述自动驾驶信息包含表示车辆的各致动器处于手动控制模式还是自动控制模式的信息;以及显示控制部,该显示控制部基于自动驾驶信息将图像显示于显示装置,显示装置具有第1显示区域及第2显示区域,显示控制部将手动控制模式的致动器所对应的图像显示于第1显示区域,将自动控制模式的致动器所对应的图像显示于第2显示区域。
发明效果
根据本发明所涉及的车辆信息显示控制装置,将各致动器所对应的图像根据该致动器的控制模式分开显示于第1显示区域或第2显示区域,因此驾驶员能根据显示有各致动器所对应的图像的区域来容易地掌握各致动器的控制模式。
本发明的目的、特征、方面以及优点通过以下详细的说明和附图会变得更为明了。
附图说明
图1是表示本发明的实施方式所涉及的驾驶辅助系统的结构的框图。
图2是表示实施方式1中的第1显示区域的图。
图3是表示实施方式1中的第2显示区域的图。
图4是用于说明平视显示器(HUD)的动作的图。
图5是用于说明HUD的动作的图。
图6是表示车辆信息显示控制装置的硬件结构的一个示例的图。
图7是表示车辆信息显示控制装置的硬件结构的一个示例的图。
图8是表示本发明所涉及的车辆信息显示控制装置的动作的流程图。
图9是表示自动驾驶信息的显示例的图。
图10是表示自动驾驶信息的显示例的图。
图11是表示自动驾驶信息的显示例的图。
图12是表示自动驾驶信息的显示例的图。
图13是表示自动驾驶信息的显示变化的示例的图。
图14是表示自动驾驶信息的显示变化的示例的图。
图15是表示自动驾驶信息的显示变化的示例的图。
图16是表示自动驾驶信息的显示变化的示例的图。
图17是用于说明能变更虚像距离的HUD的图。
图18是用于说明能变更虚像距离的HUD的图。
图19是表示实施方式2中的第1显示区域及第2显示区域的图。
图20是表示自动驾驶信息的显示例的图。
图21是表示自动驾驶信息的显示例的图。
图22是表示自动驾驶信息的显示例的图。
图23是表示自动驾驶信息的显示变化的示例的图。
图24是表示自动驾驶信息的显示变化的示例的图。
图25是表示自动驾驶信息的显示变化的示例的图。
图26是表示实施方式3中的自动驾驶系统的动作的流程图。
图27是表示自动驾驶信息的显示例的图。
图28是表示自动驾驶信息的显示例的图。
图29是表示自动驾驶信息的显示例的图。
图30是表示自动驾驶信息的显示例的图。
图31是表示自动驾驶信息的显示例的图。
图32是表示到实施方式4中的可自动转向区间为止的距离或时间的通知方法的图。
图33是表示通知用图像的虚像距离的变化的示例的图。
图34是表示到实施方式4中的可自动转向区间为止的距离或时间的通知方法的图。
图35是表示通知用图像的虚像距离的变化的示例的图。
图36是到表示实施方式4中的需手动转向区间为止的距离或时间的显示例的图。
图37是表示通知用图像的虚像距离的变化的示例的图。
图38是表示字符信息的显示例的图。
具体实施方式
<实施方式1>
图1是表示本发明的实施方式所涉及的驾驶辅助系统的结构的框图。如图1所示,该驾驶辅助系统构成为包括:车辆信息显示控制装置10、显示装置20、自动驾驶系统30、手动驾驶装置40及致动器50。以下,将搭载了该驾驶辅助系统的车辆称为“本车辆”。
致动器50是控制本车辆的行驶的设备,包含转向器51、加速器52(油门)、制动器53及变速器54(齿轮)等多个要素(有时也将上述各个要素称为“致动器”)。除此以外,可以将车头灯、转向灯等照明装置等也包含在致动器50中。
手动驾驶装置40是用于使驾驶员通过手动操作(manual operation)对致动器50进行控制的设备,包含用于对转向器51进行操作的方向盘41、用于对加速器52进行操作的加速踏板42、用于对制动器53进行操作的制动踏板43、用于对变速器54进行操作的变速杆44(有时也将上述各个要素称为“手动驾驶装置”)。除此以外,也可以包含照明装置的操作设备等。
自动驾驶系统30是进行致动器50的自动控制的系统,包含驾驶关联信息获取装置31、HMI(Human-Machine Interface:人机接口)装置32及自动驾驶控制装置33。
驾驶关联信息获取装置31包含各种传感器、通信装置,并获取与本车辆的驾驶相关的各种信息(驾驶关联信息)。作为驾驶关联信息,例如可列举出本车辆周边的障碍物(行人、其他车辆、地上物等)的信息、地图信息、本车辆的当前位置及行驶预定路经的信息、交通信息(堵塞信息、施工信息等)、表示驾驶员的状况的信息(清醒度、视线位置、手脚的位置等)等。
HMI装置32是本车辆的驾驶员对自动驾驶控制装置33输入指示、或自动驾驶控制装置33将各种信息提示给驾驶员的用户接口。HMI装置32中的输入单元可以是操作按钮、键盘、远程操作开关等硬件,也可以是使用了显示于画面的按钮(图标)的软件按键。信息的输出单元是显示装置、音频输出装置等。在作为输出单元的显示装置中显示作为输入单元的软件按键时,可以将HMI装置32构成为触摸面板。
自动驾驶控制装置33基于驾驶关联信息获取装置31获取到的驾驶关联信息及输入至HMI装置32的驾驶员的指示,进行致动器50的自动控制。
以下,将致动器50由自动驾驶系统30(自动驾驶控制装置33)进行自动控制的控制模式称为“自动控制模式”,将致动器50由使用了手动驾驶装置40的驾驶员通过手动操作来进行控制的控制模式称为“手动控制模式”。另外,控制模式也可以按致动器50的每个要素来设定,也存在例如仅转向器51为自动控制模式、而加速器52、制动器53及变速器54为手动控制模式的情况。
车辆信息显示控制装置10包含自动驾驶信息获取部11及显示控制部12。自动驾驶信息获取部11从自动驾驶控制装置33获取自动驾驶信息。自动驾驶信息至少包含表示本车辆的各致动器(转向器51、加速器52、制动器53及变速器54)处于手动控制模式还是自动控制模式的信息。显示控制部12基于自动驾驶信息获取部11获取到的自动驾驶信息,将图像显示于显示装置20。
显示装置20包括第1显示区域21和第2显示区域22,以作为图像的显示画面。第1显示区域21及第2显示区域22可以是分别独立的两个画面,第1显示区域21及第2显示区域22也可以配置在一个画面内。此外,图1中,以一个框来表示显示装置20,但也可以分别独立地设置具备第1显示区域21的显示装置和具备第2显示区域22的显示装置。
显示控制部12将各致动器所对应的图像根据该致动器的控制模式分开显示于显示装置20的第1显示区域21或第2显示区域22。具体而言,显示控制部12将手动控制模式的致动器所对应的图像显示于第1显示区域21,将自动控制模式的致动器所对应的图像显示于第2显示区域22。
实施方式1中,设为第1显示区域21通过平视显示器(HUD)来实现,第2显示区域22通过液晶显示装置(LCD)来实现。
将图像显示于第1显示区域21的HUD通过在车辆的挡风玻璃(前玻璃)上显示图像,从而使该图像作为虚像显示在驾驶员的视野中。即,如图2所示,实施方式1中的第1显示区域21成为本车辆的挡风玻璃201的一部分区域。HUD所显示的图像(虚像)由驾驶员看来宛如存在于本车辆的前方的空间。
如图3所示,构成第2显示区域22的LCD设为配备在驾驶座的仪表组202内。然而,第2显示区域22的配置并不限于此,处于驾驶员能容易地用眼睛进行确认的位置即可。例如,可以将第2显示区域22配置于仪表板的中央面板(驾驶座与副驾驶座之间)。
这里,参照图4及图5,对HUD所显示的图像(虚像)进行说明。如图4所示,HUD能将图像100作为虚像而显示于从本车辆的驾驶员200的位置通过挡风玻璃201(前玻璃)能用眼睛确认的位置。实际显示图像100的位置在挡风玻璃201上,但由驾驶员200看来图像100宛如存在于车辆前方的风景中。
本说明书中,将由驾驶员200看到的图像100的外观上的显示位置称为“虚像位置”。虚像位置由以驾驶员200的位置为基准的图像100的方向即“虚像方向”和从驾驶员200的位置到图像100为止的外观上的距离即“虚像距离”来规定。由此,用于定义虚像位置的基准点优选为驾驶员200的位置,但只要是能视为驾驶员200的位置的车辆的特定位置即可,例如可以将驾驶座、挡风玻璃201的特定的点设为基准点,例如可以将与驾驶员的眼睛附近相对应的位置设为基准点。此外,也可以将为了设计HUD设置位置而假设的驾驶员两眼的中心点所对应的车内空间的一点设为基准点。
虚像方向实质上相当于由驾驶员200看到的挡风玻璃201上的图像100的位置,例如,如图5所示那样以三维极坐标系的偏角(θi、φi)来表示。虚像距离实质上相当于到由驾驶员200看到的图像100为止的外观上的距离,例如,如图5所示那样由三维极坐标系的动径(ri)等来表示。驾驶员200通过使自身眼睛的焦点(focus)的距离Fd与虚像距离(ri)相一致,从而能在以三维极坐标(ri,θi,φi)表示的虚像位置用眼睛确认图像100。
图6及图7是分别表示车辆信息显示控制装置10的硬件结构的一个示例的图。车辆信息显示控制装置10中的自动驾驶信息获取部11及显示控制部12例如由图6所示的处理电路60来实现。即,处理电路60包括从自动驾驶系统30获取自动驾驶信息的自动驾驶信息获取部11、以及基于自动驾驶信息将图像显示于显示装置20的第1显示区域21和第2显示区域22的显示控制部12。处理电路60可以应用专用的硬件,也可以应用执行存储器中所储存的程序的处理器(Central Processing Unit:中央处理单元、中央处理装置、处理装置、运算装置、微处理器、微型计算机、Digital Signal Processor:数字信号处理器)。
在处理电路60是专用的硬件的情况下,处理电路60相当于例如单一电路、复合电路、程序化了的处理器、并联程序化了的处理器、ASIC、FPGA、或它们的组合等。自动驾驶信息获取部11及显示控制部12的功能可以分别由多个处理电路60来实现,也可以将上述功能进行汇总而由一个处理电路60来实现。
图7示出了使用处理器构成处理电路60时的车辆信息显示控制装置10的硬件结构。该情况下,自动驾驶信息获取部11及显示控制部12的功能由软件等(软件、固件、或软件与固件)的组合来实现。软件等被表记为程序,储存于存储器62。作为处理电路60的处理器61读取存储于存储器62的程序并执行,从而实现各部分的功能。即,车辆信息显示控制装置10包括存储器62,该存储器62用于储存在由处理电路60执行时最终执行如下步骤的程序:从自动驾驶系统30获取自动驾驶信息的步骤;以及基于自动驾驶信息将图像显示于显示装置20的第1显示区域21及第2显示区域22的步骤。换言之,该程序也可以说是使计算机执行自动驾驶信息获取部11及显示控制部12的动作的步骤、方法的程序。
此处,例如RAM(Random Access Memory:随机存取存储器)、ROM(Read OnlyMemory:只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory:可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory:电可擦写可编程只读存储器)等非易失性或易失性的半导体存储器、HDD(Hard Disk Drive:硬盘驱动器)、磁盘、软盘、光盘、压缩盘、迷你盘、DVD(Digital Versatile Disc:数字多功能光盘)及其他驱动装置等相当于存储器62。
以上,对自动驾驶信息获取部11及显示控制部12的各功能由硬件及软件等的任一方实现的结构进行了说明。然而,并不限于此,也可以是如下结构,即:自动驾驶信息获取部11及显示控制部12的一部分由专用的硬件来实现,其他的一部分由软件等来实现。例如,对于自动驾驶信息获取部11,可利用作为专用的硬件的处理电路来实现其功能,对于显示控制部12,可通过由作为处理器61的处理电路60读取出储存于存储器62的程序并执行来实现其功能。
如上所述,处理电路60能通过硬件、软件等、或它们的组合来实现上述各功能。
接着,举出自动驾驶信息的具体显示例,对实施方式1所涉及的车辆信息显示控制装置10的动作进行说明。图8是表示车辆信息显示控制装置10的动作的流程图。
若车辆信息显示控制装置10启动,则自动驾驶信息获取部11从自动驾驶控制装置33获取包含各致动器的控制模式(手动控制模式或自动控制模式)的信息在内的自动驾驶信息(步骤S1)。显示控制部12基于自动驾驶信息获取部11获取到的自动驾驶信息来确认各致动器的控制模式(步骤S2)。然后,显示控制部12将各致动器所对应的图像分开显示于显示装置20的第1显示区域21或第1显示区域21(步骤S3)。车辆信息显示控制装置10反复进行该一系列的动作。
步骤S3中,显示控制部12将致动器50的各要素(致动器50、转向器51、加速器52、致动器53)中的手动控制模式的致动器所对应的图像显示于第1显示区域21,将其中的自动控制模式的致动器所对应的图像显示于第2显示区域22。
例如,在转向器51、加速器52、制动器53及变速器54全部处于手动控制模式的情况下,如图9所示,显示控制部12将转向器51所对应的转向器图像51a、加速器52所对应的加速器图像52a、制动器53所对应的制动器图像53a及变速器54所对应的变速器图像54a显示于第1显示区域21。反之,在转向器51、加速器52、制动器53及变速器54全部处于自动控制模式的情况下,如图10所示,显示控制部12将转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a显示于第2显示区域22。因此,转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a与各致动器的控制模式的变化相匹配地在第1显示区域21和第2显示区域22之间移动。
在手动控制模式的致动器与自动控制模式的致动器混在一起的情况下,显示控制部12将手动控制模式的致动器所对应的图像显示于第1显示区域21,将自动控制模式的致动器所对应的图像显示于第2显示区域22。例如,在仅转向器51为自动控制模式、而加速器52、制动器53及变速器54处于手动控制模式的情况下,如图11所示,将加速器图像52a、制动器图像53a及变速器图像54a显示于第1显示区域21,将转向器图像51a显示于第2显示区域22。
根据实施方式1所涉及的驾驶辅助系统,各致动器所对应的图像(转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a)根据各致动器的手动控制模式分开显示于第1显示区域21或第2显示区域22,因此,驾驶员能根据它们的显示位置容易地掌握各致动器的控制模式。
此外,自动控制模式的致动器所对应的图像也可以并不完全从第1显示区域21消去,而是以不醒目的显示形态残留于第1显示区域21(例如,可以以虚线进行显示,使颜色变为灰色,或降低亮度)。例如,图12是使自动控制模式的致动器所对应的图像(此处为转向器图像51a)显示于第2显示区域22、并且也以不醒目的显示形态(此处为虚线显示)残留于第1显示区域21的示例。
这里,在自动控制模式中有时存在以下两种模式,即:不允许手动操作的介入的模式;以及若进行手动操作则转移到手动控制模式的模式。该情况下,可以设为能识别两者。例如,在转向器51处于不允许手动操作的介入的自动控制模式的情况下,与上述图11同样地,将转向器图像51a从第1显示区域21消去并显示于第2显示区域22,而在转向器51处于若进行手动操作则转移到手动控制模式的自动控制模式的情况下,如图12所示,可以使转向器图像51a以不醒目的显示形态残留于第1显示区域21,并显示于第2显示区域22。
此外,在使转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a在第1显示区域21和第2显示区域22之间移动时,可以引入动画效果。例如,图13是当转向器51从手动控制模式切换到自动控制模式时、显示于第1显示区域21的转向器图像51a向下方移动而从第1显示区域21消去,并从第2显示区域22的上部出现的显示变化的示例。
此外,在使图像显示于第1显示区域21的HUD能改变虚像距离(从驾驶员到HUD所显示的图像为止的外观上的距离)的情况下,可以引入具有向内缩进的动画效果。该动画效果通过连续或阶段性改变转向器图像51a的虚像距离来实现。例如,图14是当转向器51从手动控制模式切换到自动控制模式时、显示于第1显示区域21的转向器图像51a向驾驶员的跟前侧移动而从第1显示区域21消去的显示变化的示例。
本说明书中,有时也如图15所示将图14所示的具有向内缩进的图像的动作作为示出虚像距离相对于时间的变化的曲线来表示(此处,将第1显示区域21上的图像的虚像距离假设为50m)。图14及图15中示出消去第1显示区域21上的转向器图像51a时使其向驾驶员的跟前侧移动的示例,但也可以如图16所示,使其以远离驾驶员的方式移动,之后消去。
另外,本实施方式中,示出了如下示例:以HUD来实现显示手动控制模式的致动器所对应的图像的第1显示区域21,以LCD来实现显示自动控制模式的致动器所对应的图像的第2显示区域22,但也可以与之相反。即,也可以采用以LCD来实现第1显示区域21、以HUD来实现第2显示区域22的系统结构。
<实施方式2>
实施方式2中,示出利用HUD来实现显示装置20的第1显示区域21及第2显示区域22双方的示例。本实施方式中,作为显示装置20的HUD能同时显示虚像距离不同的多个图像。
若如之前所示的图5那样以三维极坐标来表示虚像位置,则虚像距离(ri)相等的面成为球面,在如车辆用HUD那样虚像方向被限制在一定范围(车辆的前方)内的情况下,也可以将虚像距离相等的面近似为平面。实际上,HUD中,较多的HUD进行了光学性改进以使虚像的显示面成为平面。以下的说明中,如图17所示将虚像距离相等的面作为平面来处理(图17中,将车辆的前进方向设为y轴,将y=ri的平面规定为虚像距离ri的显示面)。
例如,若HUD显示虚像距离为25m的第1图像100a、虚像距离为50m的第2图像100b、虚像距离为75m的第3图像100c,则如图18所示,由驾驶员看来,在前方25m处存在第1图像100a,在前方50m处存在第2图像100b,在前方75m处存在第3图像100c。
实施方式2中,如图19所示,在挡风玻璃201上规定有显示虚像距离为50m的图像的第1显示区域21和显示虚像距离为20m的图像的第2显示区域22。即,第1显示区域21是位于本车辆的前方50处的虚拟的画面,第2显示区域22是位于驾驶员的前方20m处的虚拟的画面。第1显示区域21与第2显示区域22在由驾驶员进行观察时可以重叠。
车辆信息显示控制装置10的动作基本与实施方式1(图8)相同。例如,在转向器51、加速器52、制动器53及变速器54全部处于手动控制模式的情况下,如图20所示,显示控制部12将转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a显示于第1显示区域21(显示于第1显示区域21的各图像的虚像距离为50m)。反之,在转向器51、加速器52、制动器53及变速器54全部处于自动控制模式的情况下,如图21所示,显示控制部12将转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a显示于第2显示区域22(显示于第2显示区域22的各图像的虚像距离为20m)。
在手动控制模式的致动器与自动控制模式的致动器混在一起的情况下,显示控制部12将手动控制模式的致动器所对应的图像显示于第1显示区域21,将自动控制模式的致动器所对应的图像显示于第2显示区域22。例如,仅转向器51为自动控制模式、而加速器52、制动器53及变速器54处于手动控制模式的情况下,如图22所示,显示控制部12将加速器图像52a、制动器图像53a及变速器图像54a显示于第1显示区域21,将转向器图像51a显示于第2显示区域22。
根据实施方式2所涉及的车辆信息显示控制装置10,各致动器所对应的图像(转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a)根据各致动器的手动控制模式分开显示于外观上的距离不同的第1显示区域21或第2显示区域22,因此驾驶员能根据它们的显示位置容易地掌握各致动器的控制模式。
在使转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a在第1显示区域21和第2显示区域22之间移动时,可以引入动画效果。例如,图23及图24是当转向器51从手动控制模式切换到自动控制模式时、显示于第1显示区域21的转向器图像51a向驾驶员的跟前侧移动、并在第2显示区域22上停止的显示变化的示例。该动画效果通过使转向器图像51a的虚像距离从50m向20m连续或逐级递增地改变来实现。此外,如图25所示,示出了显示于第1显示区域21的转向器图像51a在第2显示区域22与第1显示区域21之间交替地来回数次、最后在第2显示区域22上停止的显示变化的示例。
实施方式2中,将第1显示区域21及第2显示区域22的从驾驶员起的外观上的距离分别设为50m及20m,但上述距离并不限于此。此外,第2显示区域22可以配置地比第1显示区域21要远。
图20~图22的示例中,关于显示于第1显示区域21及第2显示区域22的图像,若依据透视法,则由驾驶员看到的图像的立体角(相当于由驾驶员看到的图像的大小)与距离的平方成反比,看上去较远的第1显示区域21上的图像(手动控制模式的致动器所对应的图像)与看上去较近的第2显示区域22上的图像(自动控制模式的致动器所对应的图像)相比,看上去大很多。然而,第1显示区域21上的图像与第2显示区域22上的图像的立体角的关系也可以不准确地依据透视法,即使图像外观上的距离变近,立体角的变化也可以变缓和。例如,可以使用将距离作为变量的变换式来决定各图像的立体角,以使得由驾驶员看来,第2显示区域22上的图像的立体角成为第1显示区域21上的图像的立体角的2倍。此外,也可以与透视法相反,使看上去较近的第2显示区域22上的图像的立体角成为看上去较远的第1显示区域21上的图像的立体角以下。该情况下,能防止第1显示区域21上的图像与第2显示区域22上的图像相比过于不醒目。
<实施方式3>
实施方式3中,示出车辆信息显示控制装置10与自动驾驶系统30的协作动作的具体例。此处,示出实施方式2的驾驶辅助系统中的示例,但本实施方式也能应用于实施方式1的系统。
图26是表示自动驾驶系统30的动作的流程图。图26所示的流程是自动驾驶系统30的动作的一个示例,本发明的应用并不限于此。此外,这里为了简单起见,将自动驾驶系统30所规定的本车辆的动作模式仅仅假定为致动器50的所有要素均为手动控制模式的“手动驾驶模式”与致动器50的所有要素均为自动控制模式的“自动驾驶模式”这两种。
此外,自动驾驶信息获取部11从自动驾驶控制装置33获取的自动驾驶信息除了包含表示本车辆的各致动器是手动控制模式还是自动控制模式的信息以外,还包含手动控制模式的致动器是否处于能切换到自动控制模式的状态的信息、到产生将自动控制模式的致动器切换到手动控制模式的需要为止的距离或时间的信息、手动控制模式的致动器成为能切换到自动控制模式的状态为止的距离或时间的信息。
在自动驾驶系统30启动后,自动驾驶控制装置33立即将本车辆设为手动驾驶模式(步骤S101)。此时,致动器50成为手动控制模式,因此车辆信息显示控制装置10的显示控制部12如图27所示,将转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a显示于第1显示区域21。
在本车辆以手动驾驶模式行驶的期间,自动驾驶控制装置33基于驾驶关联信息获取装置31获取到的驾驶关联信息,确认本车辆是否处于能转移到自动驾驶模式的状态(步骤S102)。例如,在高速道路等汽车专用道路中允许自动驾驶模式的情况下,自动驾驶控制装置33根据地图信息及本车辆的当前位置的信息来确认本车辆行驶中的道路,若本车辆正在汽车专用道路上行驶,则判断为能转移到自动驾驶模式。
在能转移到自动驾驶模式的情况下(步骤S102中为“是”),自动驾驶控制装置33使用HMI装置32将这一意思通知给驾驶员(步骤S103)。此时,显示控制部12基于自动驾驶信息来对在自动驾驶系统30中进行步骤S103的通知的情况进行检测,并利用显示装置20进行该通知。作为该通知的方法,例如如图28所示,考虑使第1显示区域21上的转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a闪烁的方法。该通知之后,驾驶员能操作HMI装置32,向自动驾驶控制装置33发出切换到自动驾驶模式的指示。
自动驾驶控制装置33若接收到切换到自动驾驶模式的指示(步骤S104中为“是”),则在再次确认了能转移到自动驾驶模式的基础上(步骤S105),将本车辆切换到自动驾驶模式(步骤S106)。另外,在没有切换到自动驾驶模式的指示的情况下(步骤S104中为“否”)、或即使具有该指示也不能转移到自动驾驶模式的情况下(步骤S105中为“否”),返回到步骤S101,继续手动驾驶模式。
若本车辆成为自动驾驶模式,则致动器50成为自动控制模式,因此车辆信息显示控制装置10的显示控制部12如图29所示,将转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a从第1显示区域21消去,并使它们显示于第2显示区域22。即,显示控制部12使转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a从第1显示区域21向第2显示区域22移动。
在本车辆以自动驾驶模式行驶的期间,自动驾驶控制装置33基于驾驶关联信息获取装置31获取到的驾驶关联信息,确认到需要切换到手动驾驶模式为止的距离或时间是否在预定的阈值以下(步骤S107)。例如,在汽车专用道路以外不允许自动驾驶模式的情况下,自动驾驶控制装置33根据地图信息、本车辆的当前位置及行驶预定路径的信息来计算到本车辆离开汽车专用道路为止的距离或时间,并将该值与阈值进行比较。例如,该阈值若是距离则优选为5km,若是时间则优选为5分钟左右。在到需要切换到手动驾驶模式为止的距离或时间比阈值要大的情况下(步骤S107中为“否”),返回至步骤S106,继续自动驾驶模式。
在到需要切换到手动驾驶模式为止的距离或时间为阈值以下的情况下(步骤S107中为“是”),自动驾驶控制装置33进一步确认是否需要立即切换到手动驾驶模式(步骤S108)。该确认通过将到需要切换到手动驾驶模式为止的距离或时间与比步骤S107中的阈值要小的第2阈值进行比较来进行。第2阈值可以为0,但也可以留有余量,若是距离则可设为1km,若是时间则可设为1分钟等。
若无需立即切换到手动驾驶模式(步骤S108中为“否”),则自动驾驶控制装置33使用HMI装置32将产生了切换到自动驾驶模式的需要这一意思通知给驾驶员(步骤S109),之后继续自动驾驶模式。此时,显示控制部12基于自动驾驶信息对在自动驾驶系统30中进行步骤S109的通知的情况进行检测,并利用显示装置20进行该通知。作为该通知的方法,例如如图30所示,考虑使第2显示区域22上的转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a闪烁的方法。
虽然省略了图26中的图示,但在本车辆处于自动驾驶模式的情况下,驾驶员可以在任意的时刻操作HMI装置32使本车辆返回至手动驾驶模式(步骤S101)。通常,若接收到步骤S109的通知,则驾驶员会主动将本车辆设为手动驾驶模式。
然而,若之后本车辆继续自动驾驶模式下的行驶,则产生立即切换至手动驾驶模式的需要(步骤S108中为“是”)。该情况下,自动驾驶控制装置33判断驾驶员是否处于能进行手动驾驶的状态(步骤S110)。该判断例如基于驾驶员的视线、清醒度、手脚的位置(是否正在操作手动驾驶装置40)等来进行。若驾驶员处于能进行手动驾驶的状态(步骤S110中为“是”),则返回至步骤S101,自动驾驶控制装置33使本车辆转移至手动驾驶模式。
然而,若驾驶员不处于能进行手动驾驶的状态(步骤S110中为“否”),则自动驾驶控制装置33向驾驶员发出表示需要切换到自动驾驶模式意思的警告(步骤S111)。此时,显示控制部12基于自动驾驶信息对在自动驾驶系统30中进行步骤S111的警告的情况进行检测,并利用显示装置20进行该警告。作为该警告的方法,例如如图31所示,考虑使第1显示区域21上的转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a从图30的状态变化为更醒目的颜色的方法等。
在进行了步骤S111的警告后,自动驾驶控制装置33再次确认驾驶员是否处于能进行利用了手动驾驶装置40的手动驾驶的状态(步骤S112)。若驾驶员处于能进行手动驾驶的状态(步骤S112中为“是”),则返回至步骤S101,自动驾驶控制装置33使本车辆转移至手动驾驶模式。
然而,若驾驶员未成为能进行手动驾驶的状态(步骤S112中为“否”),则自动驾驶控制装置33使本车辆回避到路肩等并紧急停止(步骤S113),之后返回至步骤S112,等待驾驶员成为能进行手动驾驶的状态。
如上所述,根据实施方式3所涉及的驾驶辅助系统,各致动器所对应的图像(转向器图像51a、加速器图像52a、制动器图像53a及变速器图像54a)根据各致动器的手动控制模式分开显示于第1显示区域21或第2显示区域22,因此驾驶员能根据它们的显示位置容易地掌握各致动器的控制模式。
另外,在进行步骤S103、S109的通知及步骤S111的警告时,显示控制部12使显示装置20显示的画面并不限于各个图28、图30及图31的示例,可以是任意的形态。即,各致动器所对应的图像的显示形态从通常状态变化即可,除了闪烁的方法、改变颜色的方法以外,也考虑改变大小、形状、动作、显示位置等的方法等。此外,通知或警告的种类也不限于上述3种。例如,在一般道路中执行自动驾驶模式的情况下,在车辆周围检测到行人或其他车辆时,可以进行唤起驾驶员注意他们的存在的通知,并进行催促转移至手动驾驶模式的通知。
<实施方式4>
实施方式4中,提出在实施方式2中对到致动器能切换到自动控制模式为止的距离或时间进行通知的方法、以及对到产生将致动器切换至手动控制模式的需要为止的距离或时间进行通知的方法。
首先,示出对到能将致动器切换至自动控制模式的区间为止的距离或时间进行通知的方法的示例。图32及图33是对从本车辆到能将转向器51切换到自动控制模式的区间(可自动转向区间)为止的距离或时间进行通知的示例。
例如,若在时刻t0从本车辆到可自动转向区间为止的距离为5km,则显示控制部12控制显示装置20,如图32的(a)部分所示那样,以虚像距离100m显示模仿了转向器图像51a的通知用图像51b。通知用图像51b优选为与转向器图像51a相区分,且具有比转向器图像51a更不醒目的颜色(例如灰色)或亮度。
之后,随着本车辆接近可自动转向区间,如图32的(b)部分所示那样,显示控制部12缩短通知用图像51b的虚像距离,使通知用图像51b接近第1显示区域21上的转向器图像51a。然后,在本车辆到达了可自动转向区间的时刻t1,通知用图像51b与转向器图像51a位于相同位置,转向器图像51a与通知用图像51b完全重叠。此时,如图32的(c)部分所示,可以设为使转向器图像51a闪烁等,来进行图26的流程的步骤S103的通知。
由此,在图32及图33的示例中,通过通知用图像51b与第1显示区域21上的转向器图像51a之间的距离之差,从而呈现出从本车辆到可自动转向区间为止的距离或时间。由此,驾驶员能根据其显示直观地掌握从本车辆到可自动转向区间为止的距离或时间。
此外,图34及图35是对从本车辆到可自动转向区间为止的距离或时间进行通知的其他示例。
例如,若在时刻t0从本车辆到可自动转向区间为止的距离为5km,则显示控制部12控制显示装置20,如图34的(a)部分所示那样,将模仿了转向器图像51a的通知用图像51b显示于第1显示区域21上的转向器图像51a的位置。
之后,随着本车辆接近可自动转向区间,如图34的(b)部分所示那样,显示控制部12缩短通知用图像51b的虚像距离,使通知用图像51b接近第2显示区域22上的转向器图像51a的显示位置(转向器51为自动控制模式时转向器图像51a所显示的位置)。然后,在本车辆到达了可自动转向区间的时刻t1,通知用图像51b与第2显示区域22上的转向器图像51a的显示位置位于相同位置。此时,如图34的(c)部分所示,可以设为使转向器图像51a闪烁等,来开始图26的流程的步骤S103的通知。
由此,在图34及图35的示例中,通过通知用图像51b与第2显示区域22上的转向器图像51a的显示位置之间的距离之差,从而呈现出从本车辆到可自动转向区间为止的距离或时间。
接着,示出对到需要将致动器切换至手动控制模式的区间为止的距离或时间进行通知的方法的示例。图36及图37是对从本车辆到能将转向器51切换到自动控制模式的区间(需手动转向区间)为止的距离或时间进行通知的示例。
例如,若在时刻t0从本车辆到需手动转向区间为止的距离为5km,则显示控制部12控制显示装置20,如图36的(a)部分所示那样,将模仿了转向器图像51a的通知用图像51b显示于第2显示区域22上的转向器图像51a的位置。此时,可以使转向器图像51a闪烁等,来开始图26的流程的步骤S109的通知。
之后,随着本车辆接近需手动转向区间,如图36的(b)部分所示那样,显示控制部12延长通知用图像51b的虚像距离,使通知用图像51b接近第1显示区域21上的转向器图像51a的显示位置(转向器51为手动控制模式时转向器图像51a所显示的位置)。然后,在本车辆到达了需手动转向区间的时刻t1(或者到需手动转向区间为止的距离或时间在第2阈值以下的时刻),通知用图像51b与第2显示区域22中的转向器图像51a的显示位置位于相同位置。此时,如图36的(c)部分所示,可以设为改变转向器图像51a的颜色等,来进行图26的流程的步骤S111的警告。
实施方式2中,示出了在HUD中控制虚像距离以实现虚拟的两个显示区域的示例,但例如也可以利用三维裸眼立体显示装置来呈现外观上的距离不同的两个平面(相当于第1显示区域21和第2显示区域22),并将手动控制模式的致动器所对应的图像与自动控制模式的致动器所对应的图像分别显示于不同的平面。并且,也可以显示由摄像头拍摄到的本车辆前方的风景视频来作为其背景图像。该情况下,在显示装置的画面上可获得与使用了HUD的情况相同的视觉效果。
此外,也可以利用具有重叠设置的两片显示面(至少跟前侧的显示面是透明的)的液晶显示器来实现第1显示区域21和第2显示区域22。例如可以将内侧(远离驾驶员侧)的显示面用作为第1显示区域21,来显示手动控制模式的致动器所对应的图像,并将跟前侧(接近驾驶员侧)的显示面用作为第2显示区域22,来显示自动控制模式的致动器所对应的图像。此外,也可以采用至少一个显示面的位置能由显示控制部12控制的结构,通过物理性地前后移动第1显示区域21或第2显示区域22,从而给手动控制模式的致动器所对应的图像或自动控制模式的致动器所对应的图像提供动画效果。
由此,在图36及图37的示例中,通过通知用图像51b与第1显示区域21上的转向器图像51a的显示位置之间的距离之差,从而呈现出从本车辆到需手动转向区间为止的距离或时间。由此,驾驶员能根据其显示直观地掌握从本车辆到需手动转向区间为止的距离或时间。
本发明通过改变手动控制模式的致动器所对应的图像与自动控制模式的致动器所对应的图像的显示区域,从而使得能容易地区别两者,但也可以进一步改变两者的显示形态。例如,可以改变手动控制模式的致动器所对应的图像与自动控制模式的致动器所对应的图像的色调、亮度、浓度等着色。
例如,在实施方式2中,可以根据空气透视法改变看上去远的手动控制模式的致动器所对应的图像的着色与看上去较近的自动控制模式的致动器所对应的图像的着色。
此外,例如,也可以将手动控制模式的致动器所对应的图像设为平面图像,而将自动控制模式的致动器所对应的图像设为立体图像。另外,也可以仅对手动控制模式的致动器所对应的图像和自动控制模式的致动器所对应的图像中的一方应用动画效果(例如闪烁、颜色的变化等)。
并且,在使用HUD作为显示装置20的情况下,为了对以看上去较远的方式显示的图像的信息进行补充,可以追加显示字符信息。例如,图38是将图32的(a)中通知用图像51b所示的信息(到可自动转向区间为止的距离)作为字符信息来显示的示例。
另外,能应用本发明的自动驾驶当然也包含自动泊车。此外,自动泊车也包含方向盘操作(转向器控制)自动进行而加速器操作需要手动进行的半自动泊车、以及转向器、加速器及其他致动器的控制全部自动进行的准自动泊车。
另外,本发明在其发明的范围内可以对各实施方式进行自由组合,也能对各实施方式适当地进行变形、省略。
本发明进行了详细的说明,但上述说明仅是所有方面中的示例,本发明并不局限于此。未举例示出的无数变形例可解释为是在不脱离本发明的范围的情况下可设想到的。
标号说明
10车辆信息显示控制装置、11自动驾驶信息获取部、12显示控制部、20显示装置、21第1显示区域、22第2显示区域、30自动驾驶系统、31驾驶关联信息获取装置、32HMI装置、33自动驾驶控制装置、40手动驾驶装置、41方向盘、42加速踏板、43制动踏板、44变速杆、50致动器、51转向器、52加速器、53制动器、54变速器、60处理电路、61处理器、62存储器、51a转向器图像、52a加速器图像、53a制动器图像、54a变速器图像、51b通知用图像、201挡风玻璃、202仪表组。
Claims (11)
1.一种车辆信息显示控制装置,其特征在于,包括:
自动驾驶信息获取部,该自动驾驶信息获取部获取自动驾驶信息,所述自动驾驶信息包含表示车辆的各致动器处于手动控制模式还是自动控制模式的信息;以及
显示控制部,该显示控制部基于所述自动驾驶信息将图像显示于显示装置,
所述显示装置具有第1显示区域及第2显示区域,
所述显示控制部将手动控制模式的致动器所对应的图像显示于第1显示区域,将自动控制模式的致动器所对应的图像显示于第2显示区域。
2.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述第1显示区域及所述第2显示区域分别由独立的显示装置构成。
3.如权利要求2所述的车辆信息显示控制装置,其特征在于,
构成所述第1显示区域的显示装置及构成所述第2显示区域的显示装置中的一方是平视显示器,另一方是液晶显示装置。
4.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述第1显示区域及所述第2显示区域由单一的显示装置构成。
5.如权利要求4所述的车辆信息显示控制装置,其特征在于,
构成所述第1显示区域及所述第2显示区域的单一的显示装置是平视显示器。
6.如权利要求5所述的车辆信息显示控制装置,其特征在于,
对于所述第1显示区域和所述第2显示区域,由所述车辆的驾驶员所看到的外观上的距离互不相同。
7.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述自动驾驶信息还包含手动控制模式的致动器是否处于能切换到自动控制模式的状态的信息,
若手动控制模式的致动器处于能切换到自动控制模式的状态,则所述显示控制部改变该致动器所对应的图像的显示形态。
8.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述自动驾驶信息还包含到产生将自动控制模式的致动器切换到手动控制模式的需要为止的距离或时间的信息,
若到产生将自动控制模式的致动器切换到手动控制模式的需要为止的距离或时间在预定的阈值以下,则所述显示控制部改变该致动器所对应的图像的显示形态。
9.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述显示装置包含平视显示器,
所述自动驾驶信息还包含到产生将自动控制模式的致动器切换到手动控制模式的需要为止的距离或时间的信息,
所述显示控制部利用所述平视显示器来显示用于通知到产生将自动控制模式的致动器切换到手动控制模式的需要为止的距离或时间的通知用图像,并根据到产生将该致动器切换到手动控制模式的需要为止的距离或时间来改变所述通知用图像的由驾驶员所看到的外观上的距离。
10.如权利要求1所述的车辆信息显示控制装置,其特征在于,
所述显示装置包含平视显示器,
所述自动驾驶信息还包含到手动控制模式的致动器成为能切换到自动控制模式的状态为止的距离或时间的信息,
所述显示控制部利用所述平视显示器来显示用于通知到手动控制模式的致动器成为能切换到自动控制模式的状态为止的距离或时间的通知用图像,并根据到该致动器成为能切换到自动控制模式的状态为止的距离或时间来改变所述通知用图像的由驾驶员所看到的外观上的距离。
11.一种自动驾驶信息的显示方法,该自动驾驶信息的显示方法是车辆信息显示控制装置中的自动驾驶信息的显示方法,其特征在于,
所述车辆信息显示控制装置的自动驾驶信息获取部获取自动驾驶信息,所述自动驾驶信息包含表示车辆的各致动器处于手动控制模式还是自动控制模式的信息,
所述车辆信息显示控制装置的显示控制部将手动控制模式的致动器所对应的图像显示于第1显示区域,将自动控制模式的致动器所对应的图像显示于第2显示区域。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/080733 WO2017072953A1 (ja) | 2015-10-30 | 2015-10-30 | 車両情報表示制御装置および自動運転情報の表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108349384A true CN108349384A (zh) | 2018-07-31 |
CN108349384B CN108349384B (zh) | 2021-02-23 |
Family
ID=58631480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580084063.2A Active CN108349384B (zh) | 2015-10-30 | 2015-10-30 | 车辆信息显示控制装置及自动驾驶信息的显示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10086845B2 (zh) |
JP (1) | JP6381826B2 (zh) |
CN (1) | CN108349384B (zh) |
DE (1) | DE112015007079B4 (zh) |
WO (1) | WO2017072953A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111516592A (zh) * | 2019-02-01 | 2020-08-11 | 丰田自动车株式会社 | 车辆用显示装置 |
CN112298198A (zh) * | 2019-07-23 | 2021-02-02 | 丰田自动车株式会社 | 车辆位置感测系统 |
WO2024027273A1 (zh) * | 2022-08-01 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 基于自动驾驶的车辆导航方法、装置、设备、存储介质及程序产品 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015214685B4 (de) * | 2015-07-31 | 2017-04-27 | Volkswagen Aktiengesellschaft | Verfahren und System zum Darstellen von Fahrmodi eines Fahrzeugs |
JP6815724B2 (ja) * | 2015-11-04 | 2021-01-20 | トヨタ自動車株式会社 | 自動運転システム |
JP6738613B2 (ja) * | 2016-02-10 | 2020-08-12 | 株式会社小糸製作所 | 車両用表示システム |
JP6778872B2 (ja) * | 2016-06-28 | 2020-11-04 | パナソニックIpマネジメント株式会社 | 運転支援装置及び運転支援方法 |
KR20180051288A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US10732627B1 (en) * | 2017-05-25 | 2020-08-04 | State Farm Mutual Automobile Insurance Company | Driver re-engagement system |
JP6547155B2 (ja) * | 2017-06-02 | 2019-07-24 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、およびプログラム |
JP2018203009A (ja) * | 2017-06-02 | 2018-12-27 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、およびプログラム |
JP6939264B2 (ja) * | 2017-08-29 | 2021-09-22 | 日本精機株式会社 | 車載表示装置 |
US10682953B1 (en) * | 2017-09-28 | 2020-06-16 | Evan W. Mills | Device providing sensory feedback for vehicle pedal selection |
JP6766791B2 (ja) * | 2017-10-04 | 2020-10-14 | 株式会社デンソー | 状態検出装置、状態検出システム及び状態検出プログラム |
JP2019093879A (ja) * | 2017-11-22 | 2019-06-20 | クラリオン株式会社 | 運転支援装置、及び運転支援方法 |
JP2019109590A (ja) * | 2017-12-15 | 2019-07-04 | 日本精機株式会社 | 表示装置、表示方法及び表示プログラム |
US11465626B2 (en) * | 2019-02-06 | 2022-10-11 | Toyota Jidosha Kabushiki Kaisha | Virtualized driver assistance |
JP2020168918A (ja) * | 2019-04-02 | 2020-10-15 | 株式会社ジェイテクト | 操舵装置 |
JP2020199839A (ja) * | 2019-06-07 | 2020-12-17 | 株式会社デンソー | 表示制御装置 |
WO2021014954A1 (ja) * | 2019-07-24 | 2021-01-28 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
JP7173090B2 (ja) * | 2019-07-24 | 2022-11-16 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
WO2022029907A1 (ja) * | 2020-08-05 | 2022-02-10 | 三菱電機株式会社 | 通知装置および通知方法 |
JP7534181B2 (ja) * | 2020-10-13 | 2024-08-14 | 株式会社Subaru | 車両の表示装置 |
CN116467859B (zh) * | 2023-03-30 | 2024-05-10 | 昆易电子科技(上海)有限公司 | 数据处理方法、系统、设备和计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003214536A (ja) * | 2002-12-11 | 2003-07-30 | Toyota Motor Corp | 自動変速機の表示装置 |
JP2005201432A (ja) * | 2003-09-05 | 2005-07-28 | Toyota Motor Corp | 無段変速機の変速比表示装置 |
JP2006142944A (ja) * | 2004-11-18 | 2006-06-08 | Honda Motor Co Ltd | 表示装置 |
CN1840943A (zh) * | 2005-03-29 | 2006-10-04 | 马自达汽车株式会社 | 具有自动变速器的车辆的显示装置 |
JP2012032811A (ja) * | 2010-07-09 | 2012-02-16 | Toshiba Corp | 表示装置、画像データ生成装置、画像データ生成プログラム及び表示方法 |
CN103064239A (zh) * | 2011-10-19 | 2013-04-24 | 扬明光学股份有限公司 | 车用投影系统 |
CN103171605A (zh) * | 2011-12-21 | 2013-06-26 | 沃尔沃汽车公司 | 用于控制车辆的驾驶模式的系统 |
JP2014218199A (ja) * | 2013-05-09 | 2014-11-20 | 株式会社デンソー | 視線入力装置 |
JP2015016769A (ja) * | 2013-07-10 | 2015-01-29 | 矢崎総業株式会社 | ヘッドアップディスプレイ装置 |
JP2015024746A (ja) * | 2013-07-26 | 2015-02-05 | 日産自動車株式会社 | 自動運転制御装置及び自動運転制御方法 |
CN104827908A (zh) * | 2014-02-10 | 2015-08-12 | 丰田自动车株式会社 | 车辆信息显示设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103649599B (zh) * | 2011-07-07 | 2015-07-15 | 丰田自动车株式会社 | 车辆的控制装置以及控制方法 |
DE102012210445A1 (de) | 2012-06-20 | 2013-12-24 | Continental Automotive Gmbh | Head-up-Display |
US8825258B2 (en) * | 2012-11-30 | 2014-09-02 | Google Inc. | Engaging and disengaging for autonomous driving |
DE102013110909A1 (de) * | 2013-10-01 | 2015-04-02 | Scania Cv Ab | Vorrichtung zum automatischen Fahren eines Fahrzeugs |
DE102013018966A1 (de) | 2013-11-12 | 2015-05-13 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Betreiben eines Displays beim Umschalten eines Kraftfahrzeugs von einem automatischen in einen manuellen Fahrmodus, Fahrerassistenzeinrichtung und Kraftfahrzeug |
JP2016090274A (ja) * | 2014-10-30 | 2016-05-23 | トヨタ自動車株式会社 | 警報装置、警報システム及び携帯端末 |
KR101601553B1 (ko) * | 2014-12-03 | 2016-03-21 | 현대자동차주식회사 | 차량의 주행 제어 시스템 및 주행 제어 시스템에서 속도 설정 모드를 변경하는 방법 |
KR20160076262A (ko) * | 2014-12-22 | 2016-06-30 | 엘지전자 주식회사 | 차량의 주행 모드 전환 장치 및 그 방법 |
-
2015
- 2015-10-30 JP JP2017547315A patent/JP6381826B2/ja active Active
- 2015-10-30 US US15/749,748 patent/US10086845B2/en active Active
- 2015-10-30 WO PCT/JP2015/080733 patent/WO2017072953A1/ja active Application Filing
- 2015-10-30 DE DE112015007079.6T patent/DE112015007079B4/de active Active
- 2015-10-30 CN CN201580084063.2A patent/CN108349384B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003214536A (ja) * | 2002-12-11 | 2003-07-30 | Toyota Motor Corp | 自動変速機の表示装置 |
JP2005201432A (ja) * | 2003-09-05 | 2005-07-28 | Toyota Motor Corp | 無段変速機の変速比表示装置 |
JP2006142944A (ja) * | 2004-11-18 | 2006-06-08 | Honda Motor Co Ltd | 表示装置 |
CN1840943A (zh) * | 2005-03-29 | 2006-10-04 | 马自达汽车株式会社 | 具有自动变速器的车辆的显示装置 |
JP2012032811A (ja) * | 2010-07-09 | 2012-02-16 | Toshiba Corp | 表示装置、画像データ生成装置、画像データ生成プログラム及び表示方法 |
CN103064239A (zh) * | 2011-10-19 | 2013-04-24 | 扬明光学股份有限公司 | 车用投影系统 |
CN103171605A (zh) * | 2011-12-21 | 2013-06-26 | 沃尔沃汽车公司 | 用于控制车辆的驾驶模式的系统 |
JP2014218199A (ja) * | 2013-05-09 | 2014-11-20 | 株式会社デンソー | 視線入力装置 |
JP2015016769A (ja) * | 2013-07-10 | 2015-01-29 | 矢崎総業株式会社 | ヘッドアップディスプレイ装置 |
JP2015024746A (ja) * | 2013-07-26 | 2015-02-05 | 日産自動車株式会社 | 自動運転制御装置及び自動運転制御方法 |
CN104827908A (zh) * | 2014-02-10 | 2015-08-12 | 丰田自动车株式会社 | 车辆信息显示设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111516592A (zh) * | 2019-02-01 | 2020-08-11 | 丰田自动车株式会社 | 车辆用显示装置 |
CN112298198A (zh) * | 2019-07-23 | 2021-02-02 | 丰田自动车株式会社 | 车辆位置感测系统 |
WO2024027273A1 (zh) * | 2022-08-01 | 2024-02-08 | 腾讯科技(深圳)有限公司 | 基于自动驾驶的车辆导航方法、装置、设备、存储介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN108349384B (zh) | 2021-02-23 |
US10086845B2 (en) | 2018-10-02 |
DE112015007079T5 (de) | 2018-08-16 |
JP6381826B2 (ja) | 2018-08-29 |
DE112015007079B4 (de) | 2022-12-15 |
US20180222491A1 (en) | 2018-08-09 |
WO2017072953A1 (ja) | 2017-05-04 |
JPWO2017072953A1 (ja) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108349384A (zh) | 车辆信息显示控制装置及自动驾驶信息的显示方法 | |
JP6717856B2 (ja) | ヘッドアップディスプレイ装置 | |
CN108495765A (zh) | 车辆信息显示控制装置及自动驾驶信息的显示方法 | |
CN108349505A (zh) | 车辆信息显示控制装置及自动驾驶信息的显示方法 | |
JP5850673B2 (ja) | 自動車用コンビネーションインストルメントおよび自動車 | |
JP6516642B2 (ja) | 電子装置、画像表示方法および画像表示プログラム | |
CN103575289B (zh) | 导航系统和用于导航的方法 | |
US20200057546A1 (en) | User interface and methods for inputting and outputting information in a vehicle | |
JP2022179574A (ja) | 表示制御装置及び表示制御プログラム | |
JP2016145783A (ja) | 車両用表示制御装置及び車両用表示制御方法 | |
CN107428249A (zh) | 车辆用图像显示系统以及方法 | |
JP6443716B2 (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
JP6939264B2 (ja) | 車載表示装置 | |
JP2016053622A (ja) | 表示装置 | |
CN113924225A (zh) | 用于通过机动车辆中的驾驶员辅助系统对行驶方向执行修正的方法以及用于此的控制设备 | |
WO2022209439A1 (ja) | 虚像表示装置 | |
JP2019040634A (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
US20210403088A1 (en) | Steering system for a vehicle | |
US20210197863A1 (en) | Vehicle control device, method, and program | |
CN114867992A (zh) | 用于呈现虚拟导航元素的方法和装置 | |
JP2016172480A (ja) | 車両用表示装置 | |
WO2015068269A1 (ja) | 表示装置 | |
JP2017178300A (ja) | 車両用情報提供装置 | |
JP2018034623A (ja) | 車両用表示制御装置及び車両用表示システム | |
JP2016218665A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |