CN112262068B - 车辆控制系统 - Google Patents

车辆控制系统 Download PDF

Info

Publication number
CN112262068B
CN112262068B CN201980039323.2A CN201980039323A CN112262068B CN 112262068 B CN112262068 B CN 112262068B CN 201980039323 A CN201980039323 A CN 201980039323A CN 112262068 B CN112262068 B CN 112262068B
Authority
CN
China
Prior art keywords
information
sign
route
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980039323.2A
Other languages
English (en)
Other versions
CN112262068A (zh
Inventor
大友贤太郎
河原悠
石桥笃
齐藤正树
冈本进一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN112262068A publication Critical patent/CN112262068A/zh
Application granted granted Critical
Publication of CN112262068B publication Critical patent/CN112262068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096838—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the user preferences are taken into account or the user selects one route out of a plurality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

车辆控制系统(1)在搭乘者(200)观察看板(300)，且与看板(300)对应的看板信息(SI)中包含看板路径信息(SCI)的情况下，在显示装置(5)上显示看板信息(SI)。在持续观察看板信息(SI)中的看板路径信息(SCI)的情况下，控制装置(8)生成基于看板路径信息(SCI)的路径信息(CI)。已生成的路径信息(CI)被输出到车辆控制(ECU)，通过车辆控制(ECU)进行基于路径信息(CI)的路径控制。通过搭乘者的简单的动作就能够自动地进行路径变更。

Description

车辆控制系统
技术领域
本发明涉及车辆控制系统。
背景技术
以往，例如存在一种进行车道保持控制、自适应巡航控制等对车辆行驶路径进行控制的路径控制的车辆控制系统。另一方面，为了检测搭乘者的状态，设置有检测车辆搭乘者的视线的状态即视线状态的视线状态拍摄装置(例如，专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-021731号公报
发明内容
发明欲解决的技术问题
然而，对于搭乘者，在进行了路径控制的状态下，有时想要通过从当前的路径观察设置于车辆外的看板来变更路径。在该情况下，搭乘者从正在进行路径控制的状态改变为自身操作车辆的手动驾驶状态，由此进行路径变更，存在搭乘者的动作复杂这样的问题。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够通过搭乘者的简单的动作自动地进行路径变更的车辆控制系统。
用于解决问题的技术手段
为了实现上述目的，本发明涉及的车辆控制系统的特征在于，包括：前方拍摄装置，所述前方拍摄装置对车辆的前方进行拍摄；看板位置检测部，所述看板位置检测部基于由所述前方拍摄装置拍摄到的前方图像，来检测看板在所述前方图像中的位置；视线状态拍摄装置，所述视线状态拍摄装置对所述车辆的搭乘者的眼睛进行拍摄；视线状态检测部，所述视线状态检测部基于由所述视线状态拍摄装置拍摄到的视线图像，来检测视线的状态即视线状态；第1视线判定部，所述第1视线判定部基于所述看板的位置和所述视线状态，来判定所述视线是否位于所述前方图像中的与所述看板对应的看板区域；看板信息获取部，在判定为所述视线位于所述看板区域的情况下，所述看板信息获取部从地图信息中获取与所述看板对应的看板信息；看板信息判定部，所述看板信息判定部基于所述看板信息，来判定在所述看板信息中是否包含一个以上作为与所述车辆的路径相关的信息的看板路径信息；显示装置，在判定为所述看板信息包含所述看板路径信息的情况下，所述显示装置显示所述看板信息；第2视线判定部，所述第2视线判定部基于由所述显示装置显示的所述看板信息和所述视线状态，来判定所述视线是否位于所述看板信息中的与所述看板路径信息对应的所述看板路径信息区域；选择部，在所述第2视线判定部判定为所述视线位于所述看板路径信息区域的情况下，所述选择部选择与所述视线所处的所述看板路径信息区域对应的看板路径信息；输入部，在决定向基于所述搭乘者通过所述选择部选出的所述看板路径信息的路径进行路径变更的情况下，所述输入部进行与路径变更决定对应的输入；以及路径变更处理部，通过对所述输入部进行与所述路径变更决定对应的输入，从而所述路径变更处理部进行基于所述看板路径信息的路径变更处理。
另外，在上述车辆控制系统中，在选择了所述看板路径信息时，所述显示装置将所述看板信息的显示方式设置成能够识别已选择的所述看板路径信息的显示方式。
发明效果
本发明涉及的车辆控制系统，起到能够通过搭乘者的简单的动作自动地进行路径变更的效果。
附图说明
图1是示出实施方式中的车辆控制系统的结构例的图。
图2是实施方式中的车辆控制系统的框图。
图3是示出显示装置所显示的看板信息(通常显示方式)的图。
图4是示出显示装置所显示的看板信息(识别显示方式)的图。
图5是实施方式中的车辆控制系统的流程图。
图6是变形例中的车辆控制系统的流程图。
符号说明
1 车辆控制系统
2 前方拍摄装置
3 视线状态拍摄装置
4 导航装置
5 显示装置
6 扬声器
7 麦克风
8 控制装置
8a 看板位置检测部
8b 视线状态检测部
8c第1视线判定部
8d 看板信息获取部
8e 看板信息判定部
8f第2视线判定部
8g 选择部
8h 决定部
8i 确认部
8j 路径变更处理部
8k 声音识别部
9车辆控制ECU
10 操作装置
11 车辆行驶装置
100 车辆
101 车室
102 挡风玻璃
103 仪表板
200 搭乘者
201、202 眼睛
300 看板
CI 路径信息
CV 路径图像
MI 地图信息
SI 看板信息
SCI 看板路径信息
SV 看板图像
WV 提醒图像
XI 路径变更确认信息
具体实施方式
以下，基于附图详细说明本发明涉及的车辆控制系统的实施方式。另外，本发明并不限定于该实施方式。另外，下述实施方式中的构成要素包括本领域技术人员能够容易想到的要素、或者实质上相同的要素。另外，下述的实施方式中的构成要素能够在不脱离发明的主旨的范围内进行各种省略、置换、变更。
[实施方式]
对实施方式涉及的车辆控制系统进行说明。图1是示出实施方式中的车辆控制系统的结构例的图。图2是实施方式中的车辆控制系统的框图。图3是示出显示装置所显示的看板信息(通常显示方式)的图。图4是示出显示装置所显示的看板信息(识别显示方式)的图。图5是实施方式中的车辆控制系统的流程图。图6是变形例中的车辆控制系统的流程图。
本实施方式所涉及的车辆控制系统1例如应用于仅能够进行自动驾驶、能够进行手动驾驶和自动驾驶的车辆100，且如图1所示地设置于车室101。在此，在车室101中，在位于车辆前方的挡风玻璃102的下侧设置有仪表板103。在仪表板103设置有仪表104。在比仪表板103靠车辆后方的位置设置有旋转自如地支承于转向柱105的后述的方向盘10a。本实施方式中的搭乘者200是就座于在比方向盘10a更靠车辆方向设置的未图示的座椅的驾驶员，能够经由挡风玻璃102来观察车辆100的前方、仪表板103。如图1以及图2所示，车辆控制系统1具备前方拍摄装置2、视线状态拍摄装置3、导航装置4、显示装置5、扬声器6、麦克风7、控制装置8、车辆控制ECU 9、操作装置10以及车辆行驶装置11。
前方拍摄装置2拍摄车辆100的前方。前方拍摄装置2安装于能够拍摄车辆100前方的位置，在本实施方式中安装于仪表板103。前方拍摄装置2与控制装置8电连接，将拍摄到的图像作为前方图像FV输出到控制装置8。前方拍摄装置2是摄像机，生成连续的多个前方图像FV。在此，前方图像是包括在搭乘者200观察前方时能够看到的看板300等的观察对象在内的车辆100前方的实际场景。此外，前方拍摄装置2也可以通过连续拍摄静止图像来生成动态图像。
视线状态拍摄装置3拍摄车辆100的搭乘者200的眼睛。视线状态拍摄装置3是输入部，在决定为搭乘者200进行路径变更的情况下，进行与路径变更决定对应的输入。本实施方式中的视线状态拍摄装置3使用红外线从搭乘者200的2个眼睛201、202的视点拍摄视线L。视线状态拍摄装置3安装于车室101中的能够检测各眼睛201、202的位置，在本实施方式中安装于仪表板103。视线状态拍摄装置3与控制装置8电连接，将拍摄到的图像作为视线图像输出到控制装置8。在此，视线状态拍摄装置3具有未图示的红外线LED和红外线摄像机。红外线LED是照射能够由红外线摄像机拍摄的红外光的LED。红外线LED向搭乘者200的包含各眼睛201、202的面部203照射红外光。红外线摄像机基于在面部203反射后的红外光，至少拍摄各眼睛201、202，并生成连续的多个视线图像LV。
导航装置4至少获取车辆100的当前位置信息，具有地图信息MI。导航装置4基于来自GPS(Global Positioning System：全球定位系统)卫星的位置信息等来获取车辆100的当前位置信息。导航装置4基于车辆100的当前位置信息，而将地图信息MI中的车辆100周边的地图信息MI显示于后述的显示装置5。另外，在由搭乘者200设定目的地时，导航装置4通过显示装置5中的显示、来自扬声器的声音，而对搭乘者200引导路线直至目的地。导航装置4与控制装置8电连接，控制装置8能够获取地图信息MI。在此，地图信息MI至少包含搭乘者200能够从车室101内观察的车辆100所行驶的道路周边的看板300的位置以及看板信息SI。在此，看板信息SI包含各种信息，在包含了与车辆100的路径相关的信息且与看板300对应的看板信息SI中，在看板信息SI中包含看板路径信息SCI。本实施方式中的看板信息SI被显示为与显示装置5对应的看板图像SV。看板路径信息SCI是与车辆100的路线有关的信息。本实施方式中的看板路径信息SCI作为与显示装置5对应的路径图像CV来显示。路径图像CV例如是文字、箭头等图形、符号等能够被搭乘者200识别为与路径相关的信息的图像。另外，地图信息MI也可以通过搭载于车辆100的通信装置从外部适当地获取。
搭乘者200能够观察显示装置5。显示装置5在后述的看板信息判定部8e判定为在看板信息SI中包含看板路径信息SCI的情况下显示看板信息SI。如图3所示，本实施方式中的显示装置5显示包含与看板路径信息SCI对应的路径图像CV在内的与看板信息SI对应的看板图像SV。另外，在选择了看板路径信息SCI时，显示装置5将看板信息SI的显示方式设定为能够识别已选择的看板路径信息SCI的显示方式。如图4所示，本实施方式中的显示装置5中，作为看板信息SI的显示方式，通过在与看板路径信息SCI对应的路径图像CV上重叠提醒图像WV，从而成为能够识别已选择的看板路径信息SCI的显示方式。在此，提醒图像WV只要是能够对与搭乘者200所选择的看板路径信息SCI对应的路径图像CV进行提醒的图像即可，是文字、箭头等的图形、符号等，可以进行通常显示或闪烁显示等。本实施方式中的显示装置5设置于仪表板103，是液晶面板、有机EL面板等监视器。显示装置5与控制装置8电连接，通过控制装置8进行显示控制。另外，显示装置5可以具有触摸面板功能，也可以是将显示信息在挡风玻璃102上显示为虚像的平视显示器、将显示信息显示在未图示的合成器中的平视显示器。
扬声器6是通知装置，如图1以及图2所示，输出能够供搭乘者200基于听觉来识别的通知信息。扬声器6与控制装置8电连接，通过控制装置8进行声音输出控制。在确认部8i中，为了进行对将路径变更为基于搭乘者200决定的看板路径信息SCI的路径的最终确认，本实施方式中的扬声器6输出搭乘者200能够识别的声音信息。
麦克风7供搭乘者200的声音输入。麦克风7是输入部，在搭乘者200决定进行路径变更的情况下，进行与路径变更决定对应的输入。麦克风7与控制装置8电连接，将基于搭乘者200发出的声音的声音信息输出到控制装置8。
控制装置8进行路径变更处理。本实施方式中的控制装置8基于搭乘者200的视线L进行路径的选择/决定/确认。控制装置8具有看板位置检测部8a、视线状态检测部8b、第1视线判定部8c、看板信息获取部8d、看板信息判定部8e、第2视线判定部8f、选择部8g、决定部8h、确认部8i、路径变更处理部8j以及声音识别部8k。在此，各部是控制装置8所具有的一个功能。在此，控制装置8的硬件结构与已知的控制装置8的硬件结构相同，例如具有未图示的CPU、RAM、ROM。
看板位置检测部8a基于由前方拍摄装置2拍摄到的前方图像FV，来检测看板300在前方图像FV中的位置。本实施方式中的看板位置检测部8a检测与前方图像FV中的看板300对应的看板区域SE。
视线状态检测部8b基于由视线状态拍摄装置3拍摄到的视线图像LV，来检测视线L的状态即视线状态。在此，视线状态至少是存在视线L的状态下的搭乘者200的视线L，包含没有视线L的状态下的各眼睛201、202的闭眼。视线状态检测部8b基于连续多个视线图像LV中的眼睛201、202的位置以及红外线摄像机与搭乘者200的相对位置，来检测搭乘者200的视线L(视线L的方向)，生成视线信息LI。另外，基于连续多个视线图像LV中的视点检测的有无，来检测闭眼并生成闭眼信息。
第1视线判定部8c基于看板300的位置和视线状态，判定视线L是否位于前方图像FV中的与看板300对应的看板区域SE。本实施方式所涉及的第1视线判定部8c根据前方图像FV中的看板区域SE(2维坐标)和基于由视线状态检测部8b检测出的视线L的视点在前方图像FV中的位置，来判定搭乘者200是否正观察看板300。
在判定为视线L位于看板区域SE的情况下，看板信息获取部8d从地图信息MI中获取与看板300对应的看板信息SI。本实施方式中的看板信息获取部8d根据车辆100的当前位置以及看板300相对于车辆100的位置，来计算看板300在地图信息MI中的位置(地图信息MI上的坐标)，获取与计算出的看板300在地图信息MI中的位置一致或大致一致的位置处的看板信息SI。
看板信息判定部8e基于看板信息SI，来判定在看板信息SI中是否包含1个以上看板路径信息SCI。
在显示装置5显示包含看板路径信息SCI的看板信息SI的情况下，第2视线判定部8f基于看板信息SI和视线状态，来判定视线L是否位于与看板信息SI中的看板路径信息SCI对应的看板路径信息区域SCIE。本实施方式涉及的第2视线判定部8f根据与显示装置5所显示的看板信息对应的看板图像SV(2维坐标)和视点在基于由视线状态检测部8b检测出的视线L的看板图像SV中的位置，来判定搭乘者200是否正在观察与显示装置5所显示的看板路径信息SCI对应的路径图像CV。
在第2视线判定部8f判定为视线L的位置位于看板路径信息区域SCIE的情况下，选择部8g选择与视线L的位置所在的看板路径信息区域SCIE对应的看板路径信息SCI。搭乘者200观察路径图像CV，从而本实施方式中的选择部8g选择与观察到的路径图像CV对应的看板路径信息SCI作为搭乘者200选择的看板路径信息SCI。
决定部8h通过由搭乘者200对输入部进行与路径变更决定对应的输入，从而将所选择的看板路径信息SCI决定为用于进行路径变更处理的看板路径信息SCI。本实施方式中的决定部8h基于视线信息，来持续观察所选择的看板路径信息SCI，从而决定为用于进行路径变更处理的看板路径信息SCI。
确认部8i向搭乘者200确认进行基于看板路径信息SCI的路径变更处理，该看板路径信息SCI用于进行决定部8h已决定的路径变更处理。本实施方式中的确认部8i通过扬声器6向车室101内输出催促搭乘者200确认的路径变更确认信息XI、例如“确认是该路径吗？”，并判定有无搭乘者200对确认信息的回答。
通过对输入部进行与路径变更决定对应的输入，路径变更处理部8j进行基于看板路径信息SCI的路径变更处理。本实施方式中的路径变更处理部8j基于搭乘者200利用确认部8i确认的看板路径信息SCI来生成路径信息CI，并向车辆控制ECU 9输出路径信息CI。
声音识别部8k识别由麦克风7输入的搭乘者200的声音，通过与预先存储在未图示的存储部中的声音信息进行比较，来选择与所输入的搭乘者200的声音对应的声音信息。
车辆控制ECU 9控制车辆100的行驶状态。本实施方式中的车辆控制ECU 9能够进行使车辆100在规定的车道上行驶的车道保持控制、以规定车距对前方车辆进行追随行驶的追随行驶控制(自适应巡航控制)等路径控制。车辆控制ECU 9能够基于已输入的路径信息CI，例如在车道保持控制中进行从当前的车道向其他车道的车道变更、即车道变换控制。
操作装置10是用于对车辆100进行手动驾驶而由搭乘者200作为驾驶员操作的装置。操作装置10具有方向盘10a、加速踏板10b、制动踏板10c以及组合开关10d。方向盘10a被支承为旋转自如，搭乘者200用手进行旋转操作，从而使车辆100转弯，变更车辆100的转向轮(主要是前轮)的转向角。方向盘10a通过未图示的旋转角传感器检测转向角。加速踏板10b被支承为摆动自如，搭乘者200用脚踩踏，从而使车辆100加速，由此前进、后退，对车辆100的驱动轮(主要是前轮或后轮)变更驱动力。加速踏板10b通过未图示的踩踏量传感器来检测加速器踩踏量。制动踏板10c被支承为摆动自如，搭乘者200用脚踩踏，从而使车辆100减速、停止，对车辆100的全轮变更制动力。制动踏板10c通过未图示的踩踏量传感器来检测制动器踩踏量。组合开关10d被支承为摆动自如，搭乘者200用手操作，从而使后述的方向指示器(转向灯)11d的信号灯闪烁显示。组合开关10d通过未图示的转向灯开关来检测方向指示器11d操作的有无/方向指示。操作装置10经由车辆行驶装置11而与车辆控制ECU 9连接，向车辆控制ECU 9输出转向角、加速器踩踏量、制动器踩踏量以及方向指示器11d操作的有无/方向指示等能够进行车辆100的行驶控制的操作量。
车辆行驶装置11用于使车辆100行驶。车辆行驶装置11具有转向装置11a、驱动装置11b、制动装置11c、方向指示器11d。转向装置11a例如是通过马达等转向促动器来变更车辆100的转向轮的转向角的转向装置。驱动装置11b例如是在车辆100的驱动轮产生驱动力的装置，具有作为驱动源的马达、向马达供给电力的电池以及将来自马达的驱动力向驱动轮传递的变速器等。制动装置11c例如是通过由制动促动器产生的液压使制动块与制动盘接触的液压制动装置。方向指示器11d例如通过使信号灯闪烁显示，输出与车辆100的移动方向有关的方向指示信息作为视觉系统输出。车辆行驶装置11将转向角、加速器踩踏量、制动器踩踏量以及方向指示器11d的操作的有无/方向指示等操作量从方向盘10a、加速踏板10b、制动踏板10c以及组合开关10d直接或者经由电连接的车辆控制ECU 9而分别输入到转向装置11a、驱动装置11b、制动装置11c以及方向指示器11d。车辆行驶装置11基于操作量，分别进行转向装置11a、驱动装置11b、制动装置11c以及方向指示器11d的转向操纵控制、驱动控制、制动控制以及方向指示控制。
接着，对本实施方式中的车辆控制系统1的动作进行说明。图5是实施方式中的车辆控制系统的流程图。在此，看板300设定为将存在于车辆100行驶的前方的多个分叉路显示为看板路径信息SCI的看板信息SI。
首先，车辆控制系统1通过车辆控制ECU 9进行车道保持控制作为路径控制(步骤ST101)。在此，搭乘者200在进行车道保持控制的情况下，选择在当前车辆100行驶中的车道上直行的路径。
接着，控制装置8获取从前方拍摄装置2输出的前方图像FV(步骤ST102)。
接着，看板位置检测部8a检测看板300在获取到的前方图像FV中的位置(步骤ST103)。
接着，控制装置8获取视线图像LV(步骤ST104)。
接着，视线状态检测部8b检测视线状态(步骤ST105)。
接着，第1视线判定部8c判定视线L是否位于前方图像FV中的与看板300对应的看板区域SE(步骤ST106)。
接着，看板信息获取部8d在判定为视线L位于看板区域SE(步骤ST106：是)时，从地图信息MI中获取与看板300对应的看板信息SI(步骤ST107)。
接着，看板信息判定部8e判定在看板信息SI中是否存在看板路径信息SCI(步骤ST108)。
接着，在由看板信息判定部8e判定为在看板信息SI中存在看板路径信息SCI(步骤ST108：是)时，控制装置8将看板信息SI显示于显示装置5(步骤ST109)。在此，如图3所示，控制装置8将与看板信息SI对应的看板图像SV显示于显示装置5。需要说明的是，看板图像SV可以基于看板信息SI而与看板300相同，也可以与看板300近似图像、将看板300简化的图像，也可以是与搭乘者200的视野相同的图像。
接着，如图3所示，第2视线判定部8f判定视线L是否位于与看板信息SI中的看板路径信息SCI对应的看板路径信息区域SCIE(步骤ST110)。在此，如图3所示，第2视线判定部8f将与看板信息SI对应的看板图像SV显示于显示装置5。在此，在看板图像SV中包含分别与多个看板路径信息SCI1～SCI8对应的路径图像CV1～CV8。
接着，若判定为视线L位于看板路径信息区域SCIE(步骤ST110：是)，则选择部8g选择与视线L的位置所在的看板路径信息区域SCIE对应的看板路径信息SCI(步骤ST111)。在此，在由搭乘者200观察看板图像SV中的例如路径图像CV1的情况下，选择看板路径信息SCI1～SCI8中的看板路径信息SCI1。
接着，控制装置8将看板信息SI的显示方式变更为能够识别已选择的看板路径信息SCI的显示方式(步骤ST112)。在此，如图4所示，作为看板信息SI的显示方式，控制装置8进行显示装置5的显示控制，以在与看板路径信息SCI对应的路径图像CV上重叠显示提醒图像WV。在搭乘者200选择了看板路径信息SCI1的情况下，在与看板路径信息SCI1对应的路径图像CV1中，例如将比路径图像CV1即箭头更大且颜色不同的箭头重叠显示为提醒图像WV。
接着，如图5所示，决定部8h判定是否持续观察所选择的看板路径信息SCI(步骤ST113)。在此，决定部8h判定视线L位于与搭乘者200所选择的看板路径信息SCI对应的看板路径信息区域SCIE的时间是否超过了规定时间(例如数秒)，作为对输入部的与路径变更决定所对应的输入。
接着，若判定为持续观察所选择的看板路径信息SCI(步骤ST113：是)，则确认部8i向搭乘者200告知路线变更确认信息XI(步骤ST114)。在此，确认部8i通过扬声器6，输出例如“确认是该路径吗？”等声音作为路径变更确认信息XI。
接着，声音识别部8k判定搭乘者200是否已确认(步骤ST115)。在此，为了选择基于已决定的看板路径信息SCI的路径是否可以，搭乘者200向麦克风7输入声音，从而声音识别部8k判定声音信息是否为基于以下这样的意志的信息，即：可以是基于搭乘者200已决定的看板路径信息SCI的路径。
接着，若判定为搭乘者200已确认(步骤ST115：是)，则路径变更处理部8j进行路径变更处理(步骤ST116)。在此，路径变更处理部8j基于搭乘者200已确认的看板路径信息SCI而生成路径信息CI，并向车辆控制ECU 9输出路径信息CI。车辆控制ECU 9基于路径信息CI进行路径控制。维持直行。在搭乘者200确认了看板路径信息SCI1～SCI8中的看板路径信息SCI1的情况下，生成与看板路径信息SCI1对应的路径信息CI，车辆控制ECU 9进行维持使车辆100直行的路径、即维持当前的路径的路径控制。
另外，若判定为视线L不位于看板区域SE(步骤ST106：否)，由看板信息判定部8e判定为在看板信息SI中没有看板路径信息SCI(步骤ST108：否)，判定为视线L不位于看板路径信息区域SCIE(步骤ST110：否)，判定为未持续观察已选择的看板路径信息SCI(步骤ST113：否)，判定为搭乘者200未确认(步骤ST115：否)，则结束本控制周期，转移到下一个控制周期。
如上所述，在本实施方式中的车辆控制系统1中，在搭乘者200观察看板300、且在与看板300对应的看板信息SI中包含看板路径信息SCI的情况下，在显示装置5上显示看板信息SI，在持续观察看板信息SI中的看板路径信息SCI的情况下，生成基于看板路径信息SCI的路径信息CI，通过车辆控制ECU 9根据路径信息CI进行路径控制。即，搭乘者200能够通过观察看板300、观察显示于显示装置5的看板路径信息SCI这样的简单的动作来进行路线变更处理。由此，能够通过搭乘者200的简单的动作自动地进行路径变更。
另外，本实施方式中的车辆控制系统1在与看板300对应的看板信息SI中包含看板路径信息SCI的情况下，在显示装置5上显示看板信息SI，搭乘者200对显示装置5所显示的看板路径信息SCI进行观察。因此，即使行驶中的车辆100通过看板300，搭乘者200也能够选择看板信息SI中包含的看板路径信息SCI。因此，搭乘者200能够在不继续观察看板300的情况下进行看板路径信息SCI的选择。由此，能够抑制搭乘者200匆忙进行路径变更的情况。
另外，本实施方式中的车辆控制系统1设为当选择了看板路径信息SCI时，将显示装置5所显示的看板信息SI的显示方式设置为能够识别已选择的看板路径信息SCI的显示方式。因此，在搭乘者200开始观察与看板路径信息SCI对应的路径图像CV的情况下，与看板信息SI对应的看板图像SV从通常显示方式起，通过在路径图像CV上重叠提醒图像WV，从而变化为识别显示方式。由此，搭乘者200能够掌握车辆控制系统1识别出与自身开始观察的看板路径信息SCI对应的路径图像CV，并且能够识别自身开始观察路径图像CV。
另外，上述实施方式中的车辆控制系统1并不限定于使用视线状态拍摄装置3作为输入部的本发明在此限定的内容，也可以使用麦克风7作为输入部。图6是变形例中的车辆控制系统的流程图。在此，变形例中的车辆控制系统1的基本动作与实施方式中的车辆控制系统1的基本动作相同或大致相同，因此，对相同步骤省略或简化其说明。
如图6所示，控制装置8在路径控制中(步骤ST201)，获取前方图像FV(步骤ST202)，检测看板300的位置(步骤ST203)，获取视线图像LV(步骤ST204)，检测视线状态(步骤ST205)。
接着，若判定为视线L位于看板区域SE(步骤ST206：是)，则控制装置8从地图信息MI中获取与看板300对应的看板信息SI(步骤ST207)，若判定为在看板信息SI中存在看板路径信息SCI(步骤ST208：是)，则将看板信息SI显示于显示装置5(步骤ST209)，若判定为视线L位于看板路径信息区域SCIE(步骤ST210：是)，则选择与视线L的位置所在的看板路径信息区域SCIE对应的看板路径信息SCI(步骤ST211)，将看板信息SI的显示方式变更为能够识别已选择的看板路径信息SCI的显示方式(步骤ST212)。
接着，决定部8h判定搭乘者200是否已决定(步骤ST213)。在此，控制装置8在通过对麦克风7输入声音而获取了声音信息的情况下，作为搭乘者200与路径变更决定对应的输入，例如判定是否为基于以下这样的意志的声音信息，即：路径变更决定为“设为该路径”、“朝向该处”等。
接着，控制装置8若判定为搭乘者200已决定(步骤ST213：是)，则向搭乘者200告知路线变更确认信息XI(步骤ST214)，并判定为搭乘者200已确认(步骤ST215：是)，进行路径变更处理(步骤ST216)。
另外，若判定为搭乘者200未决定(步骤ST213：否)，则结束本控制周期，转移到下一个控制周期。
如以上那样，变形例中的车辆控制系统1在搭乘者200观察看板300、且在与看板300对应的看板信息SI中包含看板路径信息SCI的情况下，在显示装置5上显示看板信息SI，在通过声音决定了搭乘者200所选择的看板路径信息SCI的情况下，生成基于看板路径信息SCI的路径信息CI，并由车辆控制ECU 9基于路径信息CI进行路径控制。即，搭乘者200能够通过观察看板300、根据显示装置5所显示的看板路径信息SCI来发出声音这样的简单的动作来进行路径变更处理。由此，能够通过搭乘者200的简单的动作自动地进行路径变更。
另外，本实施方式中的车辆控制系统1也可以使用视线状态拍摄装置3作为输入部，基于视线L来决定所选择的看板路径信息SCI。控制装置8例如也可以基于眼睛是否闭上作为视线状态来进行对已选择的看板路径信息SCI的决定。
另外，本实施方式中的车辆控制系统1也可以在显示装置5上显示看板图像SV时，如图3以及图4所示，将用于结束路径变更的动作的取消图像PV重叠显示于看板图像SV。在该情况下，第2视线判定部8f判定视线L是否位于看板信息SI中的显示有取消图像PV的取消图像区域PVE，若判定为视线L位于取消图像区域PVE，则向搭乘者200报告取消确认信息YI。在此，控制装置8通过扬声器6输出例如“是否取消”、“是否关闭画面”等声音作为取消确认信息YI。控制装置8判定搭乘者200是否已确认。在此，搭乘者200为了选择是否可以结束路径变更的动作，向麦克风7输入声音，从而声音识别部8k判定声音信息是否为基于以下这样的意志的信息，即：搭乘者200可以结束路径变更的动作，当搭乘者200确认时结束路径变更的动作。
另外，本实施方式中的车辆控制系统1也可以在选择了显示装置5所显示的看板图像SV中的看板路径信息SCI的情况下，如图4所示，将与基于所选择的看板路径信息SCI的子信息SBI对应的提醒图像WV’重叠显示于看板图像SV。在此，子信息SBI是指，与基于所选择的看板路径信息SCI的路线有关的信息，例如，包括路线上的服务区域、连接点、出口的名称、距离等。通过在显示装置5显示子信息SBI，从而决定路径变更时，搭乘者200能够获得与路径相关的信息，因此能够容易地进行路径变更的决定。
另外，本实施方式中的车辆控制系统1通过搭乘者200选择在显示装置5显示的看板信息SI中的看板路径信息SCI来进行路径变更，但在看板信息SI中包含目的地信息GI的情况下，也可以通过选择目的地信息GI来变更导航装置4的目的地。另外，在车辆控制ECU 9能够从导航装置4获取包含路线信息的目的地信息的情况下，也可以进行基于到达目的地的路线的自动行驶控制。

Claims (2)

1.一种车辆控制系统，其特征在于，包括：
前方拍摄装置，所述前方拍摄装置对车辆的前方进行拍摄；
看板位置检测部，所述看板位置检测部基于由所述前方拍摄装置拍摄到的前方图像，来检测车辆外的看板在所述前方图像中的位置；
视线状态拍摄装置，所述视线状态拍摄装置对所述车辆的搭乘者的眼睛进行拍摄；
视线状态检测部，所述视线状态检测部基于由所述视线状态拍摄装置拍摄到的视线图像，来检测视线的状态即视线状态；
第1视线判定部，所述第1视线判定部基于所述看板的位置和所述视线状态，来判定所述视线是否位于所述前方图像中的与所述看板对应的看板区域；
看板信息获取部，在判定为所述视线位于所述看板区域的情况下，所述看板信息获取部从地图信息中获取与所述看板对应的看板信息；
看板信息判定部，所述看板信息判定部基于所述看板信息，来判定在所述看板信息中是否包含一个以上作为与所述车辆的路径相关的信息的看板路径信息；
显示装置，在判定为所述看板信息包含所述看板路径信息的情况下，所述显示装置显示所述看板信息；
第2视线判定部，所述第2视线判定部基于由所述显示装置显示的所述看板信息和所述视线状态，来判定所述视线是否位于所述看板信息中的与所述看板路径信息对应的看板路径信息区域；
选择部，在所述第2视线判定部判定为所述视线位于所述看板路径信息区域的情况下，所述选择部选择与所述视线所处的所述看板路径信息区域对应的所述看板路径信息；
输入部，在决定向基于所述搭乘者通过所述选择部选出的所述看板路径信息的路径进行路径变更的情况下，所述输入部进行与路径变更决定对应的输入；以及
路径变更处理部，通过对所述输入部进行与所述路径变更决定对应的输入，从而所述路径变更处理部进行基于所述看板路径信息的路径变更处理。
2.如权利要求1所述的车辆控制系统，其特征在于，
在选择了所述看板路径信息时，所述显示装置将所述看板信息的显示方式设置成能够识别已选择的所述看板路径信息的显示方式。
CN201980039323.2A 2018-06-12 2019-02-05 车辆控制系统 Active CN112262068B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018111939A JP7146466B2 (ja) 2018-06-12 2018-06-12 車両制御システム
JP2018-111939 2018-06-12
PCT/JP2019/004049 WO2019239629A1 (ja) 2018-06-12 2019-02-05 車両制御システム

Publications (2)

Publication Number Publication Date
CN112262068A CN112262068A (zh) 2021-01-22
CN112262068B true CN112262068B (zh) 2024-01-09

Family

ID=68841791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039323.2A Active CN112262068B (zh) 2018-06-12 2019-02-05 车辆控制系统

Country Status (5)

Country Link
US (1) US11372415B2 (zh)
JP (1) JP7146466B2 (zh)
CN (1) CN112262068B (zh)
DE (1) DE112019003007T5 (zh)
WO (1) WO2019239629A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736608A (ja) * 1993-07-15 1995-02-07 Sony Corp 画面表示情報の選択システムおよびその選択方法
JPH08305993A (ja) * 1995-04-28 1996-11-22 Mitsubishi Electric Corp 移動体用表示装置
JP2001175992A (ja) * 1999-12-14 2001-06-29 Mazda Motor Corp 車両用表示装置
CN103782255A (zh) * 2011-09-09 2014-05-07 泰利斯航空电子学公司 交通工具娱乐系统的眼动追踪控制
WO2014114425A1 (de) * 2013-01-26 2014-07-31 Audi Ag Verfahren und anzeigesystem zum blickrichtungsabhängigen skalieren einer darstellung
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061259A (ja) 2002-07-29 2004-02-26 Mazda Motor Corp 情報提供装置、情報提供方法及び情報提供用プログラム
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP2014016955A (ja) 2012-07-11 2014-01-30 Nissan Motor Co Ltd 車両走行システム
WO2015141308A1 (ja) 2014-03-18 2015-09-24 日産自動車株式会社 車両操作装置
WO2015175826A1 (en) * 2014-05-14 2015-11-19 Kapach Yair Systems and methods for detecting traffic signs
US10402665B2 (en) * 2014-05-14 2019-09-03 Mobileye Vision Technologies, Ltd. Systems and methods for detecting traffic signs
JP6533707B2 (ja) 2015-07-15 2019-06-19 日立オートモティブシステムズ株式会社 運転状態監視方法，装置，およびそれを備えた車両
JP6456516B2 (ja) 2015-10-30 2019-01-23 三菱電機株式会社 運転支援装置
JP2017097682A (ja) * 2015-11-26 2017-06-01 マツダ株式会社 標識認識システム
FR3044800B1 (fr) * 2015-12-07 2018-08-17 Valeo Schalter Und Sensoren Gmbh Dispositif et procede d'assistance a la conduite
KR20170141484A (ko) * 2016-06-15 2017-12-26 엘지전자 주식회사 차량용 제어장치 및 그것의 제어방법
US10553110B2 (en) * 2017-06-23 2020-02-04 Here Global B.V. Detection and estimation of variable speed signs
US10762364B2 (en) * 2018-04-19 2020-09-01 Here Global B.V. Method, apparatus, and system for traffic sign learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736608A (ja) * 1993-07-15 1995-02-07 Sony Corp 画面表示情報の選択システムおよびその選択方法
JPH08305993A (ja) * 1995-04-28 1996-11-22 Mitsubishi Electric Corp 移動体用表示装置
JP2001175992A (ja) * 1999-12-14 2001-06-29 Mazda Motor Corp 車両用表示装置
CN103782255A (zh) * 2011-09-09 2014-05-07 泰利斯航空电子学公司 交通工具娱乐系统的眼动追踪控制
WO2014114425A1 (de) * 2013-01-26 2014-07-31 Audi Ag Verfahren und anzeigesystem zum blickrichtungsabhängigen skalieren einer darstellung
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法

Also Published As

Publication number Publication date
DE112019003007T5 (de) 2021-04-08
JP2019215214A (ja) 2019-12-19
WO2019239629A1 (ja) 2019-12-19
US11372415B2 (en) 2022-06-28
US20210089038A1 (en) 2021-03-25
JP7146466B2 (ja) 2022-10-04
CN112262068A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11492017B2 (en) Information presentation device and information presentation method
US10137907B2 (en) Startup suggestion device and startup suggestion method
JP6346614B2 (ja) 情報表示システム
KR101860610B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
JP5492962B2 (ja) 視線誘導システム
US20180118109A1 (en) Information presentation apparatus
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
JPWO2018061294A1 (ja) 周辺監視装置
JP2007249364A (ja) 安全運転支援システム及び安全運転支援装置
US20100079270A1 (en) Method for displaying a visual warning signal
JP5286035B2 (ja) 車速制御装置
US11591018B2 (en) Parking assistance device
JP4222183B2 (ja) 車両周辺画像表示装置
JP2005067514A (ja) 車両用表示装置
JP6448714B2 (ja) 情報表示システム
JP2014130463A (ja) 制御装置
WO2019053928A1 (ja) 車両用投影制御装置、および、ヘッドアップディスプレイ装置
KR20170017647A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
JP5663102B2 (ja) 表示装置、表示方法及び表示プログラム
CN112937565B (zh) 自动驾驶车辆用信息提示装置
CN112262068B (zh) 车辆控制系统
JP6124745B2 (ja) 車載システム
JP2009149306A (ja) 車両用表示装置
JP5492963B2 (ja) 視線誘導システム
JP5287827B2 (ja) 表示制御装置及び車載表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant