CN109032124A - 车辆控制系统、车辆控制方法及存储介质 - Google Patents

车辆控制系统、车辆控制方法及存储介质 Download PDF

Info

Publication number
CN109032124A
CN109032124A CN201810535931.XA CN201810535931A CN109032124A CN 109032124 A CN109032124 A CN 109032124A CN 201810535931 A CN201810535931 A CN 201810535931A CN 109032124 A CN109032124 A CN 109032124A
Authority
CN
China
Prior art keywords
passenger
vehicle
automatic driving
degree
driving mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810535931.XA
Other languages
English (en)
Other versions
CN109032124B (zh
Inventor
中村佳史
加治俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN109032124A publication Critical patent/CN109032124A/zh
Application granted granted Critical
Publication of CN109032124B publication Critical patent/CN109032124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0095—Automatic control mode change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供一种能够使乘客识别自动驾驶的实施条件的车辆控制系统、车辆控制方法及存储介质，车辆控制系统具备：第一检测部，其检测驾驶操作件由乘客操作的情况；第二检测部，其检测所述乘客的面部或视线的朝向；以及切换控制部，其将自动驾驶控制部执行的自动驾驶模式切换为包括第一自动驾驶模式和第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式，所述切换控制部将所述驾驶操作件未被操作且所述乘客的面部或视线的朝向为第一角度范围内的情况作为所述第一自动驾驶模式的执行条件，将所述驾驶操作件未被操作且所述乘客的面部或视线的朝向为比所述第一角度范围宽的第二角度范围内的情况作为所述第二自动驾驶模式的执行条件。

Description

车辆控制系统、车辆控制方法及存储介质
技术领域
本发明涉及车辆控制系统、车辆控制方法及存储介质。
背景技术
以往，公开了如下技术：在自动驾驶能够开始的情况下向乘客通知规定的信息，乘客接受该通知而放开转向盘时开始自动驾驶(例如，参照美国专利8352110号说明书)。与此相关联，近些年根据自动驾驶的自动化的程度而对乘客要求周边监视等的任务。
然而，在以往的技术中，在根据对乘客要求的任务的程度而设置使自动驾驶的自动化的程度不同的多个自动驾驶模式的情况下，乘客无法充分识别各自动驾驶模式在怎样的条件下开始。
发明内容
本发明的方案考虑这样的情况而完成，其目的之一在于，提供一种能够使乘客识别自动驾驶的实施条件的车辆控制系统、车辆控制方法及存储介质。
本发明的车辆控制系统、车辆控制方法及存储介质采用了以下的结构。
(1)本发明的一方案为车辆控制系统，其具备：第一检测部，其检测驾驶操作件由乘客操作的情况；第二检测部，其检测所述乘客的面部或视线的朝向；自动驾驶控制部，其执行自动驾驶；以及切换控制部，其将所述自动驾驶控制部执行的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式，所述切换控制部将未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件，所述切换控制部将未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(2)在(1)的方案的车辆控制系统的基础上，所述第一自动驾驶模式是对所述乘客要求有周边监视义务的驾驶模式，所述第二自动驾驶模式是对所述乘客不要求有周边监视义务的驾驶模式。
(3)在(1)或(2)的方案的车辆控制系统的基础上，所述车辆控制系统还具备对表示所述乘客的清醒的程度的清醒度进行检测的第三检测部，所述切换控制部还将由所述第三检测部检测出的清醒度为阈值以上的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(4)在(1)至(3)中任一方案的车辆控制系统的基础上，在所述第二自动驾驶模式下所述本车辆能够行驶的最大速度比在所述第一自动驾驶模式下所述本车辆能够行驶的最大速度小。
(5)在(1)至(4)中任一方案的车辆控制系统的基础上，所述切换控制部还将所述本车辆正在规定的地带行驶的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(6)在(5)的方案的车辆控制系统的基础上，所述规定的地带是通过参照地图信息而能够识别所述本车辆的行驶车道的地带。
(7)在(1)至(6)中任一方案的车辆控制系统的基础上，所述切换控制部还将在所述本车辆行驶的本车道中的所述本车辆的前方存在其他车辆的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(8)在(7)的方案的车辆控制系统的基础上，所述切换控制部将存在于所述本车辆的前方的其他车辆的速度小于阈值的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(9)在(1)至(8)中任一方案的车辆控制系统的基础上，所述车辆控制系统还具备：第一显示部，其设置于所述乘客就坐的座椅的前方；以及第二显示部，其在车宽方向上设置于与所述第一显示部的设置位置不同的位置，在多个所述自动驾驶模式为所述第一自动驾驶模式或所述第二自动驾驶模式的情况下，所述第一显示部显示与驾驶相关的注意提醒信息，所述第一显示部设置在以就坐于所述座椅的乘客朝向正面时的面部或视线的朝向为基准的所述第一角度范围内，所述第二显示部设置在以就坐于所述座椅的乘客朝向正面时的面部或视线的朝向为基准的所述第一角度范围及所述第二角度范围这双方的范围内。
(10)在(1)至(9)中任一方案的车辆控制系统的基础上，所述切换控制部在将所述第一自动驾驶模式切换为所述自动驾驶控制部执行的自动驾驶模式的情况下，根据所述本车辆的将来的行进方向对作为所述第一角度范围的基准的朝向和所述第一角度范围中的一方或双方进行变更。
(11)本发明的另一方案为车辆控制方法，其使车载计算机进行如下处理：检测驾驶操作件由乘客操作的情况；检测所述乘客的面部或视线的朝向；执行自动驾驶；将用于执行所述自动驾驶的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式；将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件；以及将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
(12)本发明的另一方案为存储介质，该存储介质存储有车辆控制程序，该车辆控制程序使车载计算机进行如下处理：检测驾驶操作件由乘客操作的情况；检测所述乘客的面部或视线的朝向；执行自动驾驶；将用于执行所述自动驾驶的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式；将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件；以及将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
根据(1)、(2)、(4)～(8)、(11)或(12)的方案，能够使乘客识别自动驾驶的实施条件。
根据(3)的方案，在乘客的清醒度为阈值以上时，从第二自动驾驶模式切换为第一自动驾驶模式，因此能够抑制在乘客未清醒的状况下切换为任务进一步增加的自动驾驶模式的情况。
根据(10)的方案，在切换为第一自动驾驶模式的情况下，根据本车辆的将来的行进方向来对作为第一角度范围的基准的朝向和第一角度范围中的一方或双方进行变更，因此即便乘客使视线朝向本车辆的将来的行进方向侧的情况下也继续进行周边监视，能够使第一自动驾驶模式下的自动驾驶控制继续。
附图说明
图1是包括实施方式的车辆控制系统的车辆系统的结构图。
图2是表示通过本车位置识别部识别本车辆相对于行驶车道的相对位置及姿态的情形的图。
图3是表示基于推荐车道来生成目标轨道的情形的图。
图4是用于说明车道变更时的处理的图。
图5是用于说明车道变更时的处理的图。
图6是表示本车辆M中的HMI的一例的图。
图7是例示出第三显示部与发光部的位置关系的一个侧面的图。
图8是例示出第三显示部与发光部的位置关系的另一侧面的图。
图9是用于说明使用第三显示部的画面的一部分区域来通知第三显示部能够使用的情况的图。
图10是表示从手动驾驶切换为驾驶支援之后直至执行通过驾驶支援进行的车道变更为止的各种场景的图。
图11是表示在手动驾驶时显示的第一画面及第二画面的一例的图。
图12是表示通过主开关被操作而显示的第三画面及第四画面的一例的图。
图13是表示在自动开关被操作时显示在第一显示部及HUD上的画面的一例的图。
图14是表示在第二程度的驾驶支援中显示在第一显示部及HUD上的画面的一例的图。
图15是示意性地表示从上方观察本车辆时的车室内的结构的图。
图16是表示在本车辆的行为发生变化之前的第一时机显示的第三画面及第四画面的一例的图。
图17是表示在本车辆的行为发生变化之前的第二时机显示的第三画面及第四画面的一例的图。
图18是示意性地表示在车道变更开始时作为第一角度范围的基准的朝向变更的情形的图。
图19是表示在场景(1)～(3)中由主控制部执行的处理的流程的一例的流程图。
图20是表示从第二程度的驾驶支援切换为第三程度的驾驶支援且之后从第三程度的驾驶支援切换为第二程度的驾驶支援为止的各种场景的图。
图21是表示在本车辆的加速控制时显示的第三画面及第四画面的一例的图。
图22是表示在低速追随行驶时显示的第三画面及第四画面的一例的图。
图23是表示为了使乘客进行周边监视而显示的第三画面和第四画面的一例的图。
图24是表示从第三程度的驾驶支援切换为第二程度的驾驶支援的情况下的第三画面和第四画面的一例的图。
图25是表示在场景(4)～(6)中由主控制部及自动驾驶控制单元执行的处理的流程的一例的流程图。
图26是表示直至从第二程度的驾驶支援切换为通过手动驾驶进行的行驶为止的各种场景的图。
图27表示在向手动驾驶时切换的切换要求时显示的第三画面和第四画面的一例的图。
图28是表示加强用于使乘客执行手动驾驶的警告的第三画面及第四画面的一例的图。
图29是表示显示结束自动驾驶的意旨的信息的第三画面及第四画面的一例的图。
图30是表示代替控制时的第三画面及第四画面的一例的图。
图31是表示在场景(7)～(9)中由HMI控制部执行的处理的流程的一例的流程图。
图32是用于说明与驾驶支援相关联的各种设备或控制的切换时机的图。
具体实施方式
以下，参照附图来说明本发明的车辆控制系统、车辆控制方法及存储介质的实施方式。在实施方式中，车辆控制系统适用于能够自动驾驶(自主驾驶)的自动驾驶车辆。原则上，自动驾驶是在不需要由乘客进行操作的状态下车辆进行行驶的驾驶。自动驾驶可以认为是驾驶支援的一种。自动驾驶车辆也能够通过手动驾驶进行行驶。在以下的说明中，作为一例，说明“乘客”是指就坐于驾驶员座即设有驾驶操作件的座椅的乘客的情况，但没有限定于此，也可以是就坐于副驾驶座等其他座位的乘客。
在本实施方式中，驾驶支援的程度中例如包括第一程度、控制程度(自动化率)比第一程度高的第二程度、以及控制程度比第二程度高的第三程度。在第一程度的驾驶支援中，例如通过ACC(Adaptive Cruise Control System)、LKAS(Lane Keeping AssistanceSystem)等驾驶支援装置工作来执行驾驶支援控制。在第二程度及第三程度的驾驶支援中，例如，不需要乘客对驾驶操作件操作而执行自动地控制车辆的加减速及转向这双方的自动驾驶。伴随上述的驾驶支援的执行，对乘客要求有与该驾驶支援的程度相应的任务(义务)。例如，在第一程度及第二程度的驾驶支援中，对乘客要求有周边监视义务，与此相对，在第三程度的驾驶支援中，对乘客不要求有周边监视义务(或者周边监视义务的程度低)。在乘客不尽到周边监视义务的情况下，例如，驾驶支援的程度降低。进行第二程度的驾驶支援的状态为“第一自动驾驶模式”的一例，进行第三程度的驾驶支援的状态为“第二自动驾驶模式”的一例。
[整体结构]
图1是包括实施方式的车辆控制系统的车辆系统1的结构图。搭载有车辆系统1的车辆(以下，称作本车辆M)例如为二轮、三轮、四轮等的车辆，其驱动源为柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、导航装置50、MPU(Map Positioning Unit)60、车辆传感器70、驾驶操作件80、车室内相机90、主控制部100、驾驶支援控制部200、自动驾驶控制单元300、HMI(Human MachineInterface)400、行驶驱动力输出装置500、制动装置510及转向装置520。上述的装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而彼此连接。图1所示的结构只是一例，可以省略结构的一部分，也可以进一步追加其他结构。
例如，在车辆系统1所具备的多个构成要素中，将车室内相机90、主控制部100及自动驾驶控制单元300合起来的构件为“车辆控制系统”的一例。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10在搭载有车辆系统1的本车辆M的任意的部位安装有一个或多个。在对前方进行拍摄的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。在对后方进行拍摄的情况下，相机10安装于后风窗玻璃上部、背门等。在对侧方进行拍摄的情况下，相机10安装于车门上后视镜等。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体摄影机。
雷达装置12向本车辆M的周边放射毫米波等电波，并且检测由物体反射后的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆M的任意部位安装有一个或多个。雷达装置12也可以通过FMCW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。
探测器14是测定相对于照射光的散射光来检测直至对象的距离的LIDAR(LightDetection and Ranging、或者Laser Imaging Detection and Ranging)。探测器14在本车辆M的任意部位安装有一个或多个。
物体识别装置16对相机10、雷达装置12及探测器14中的一部分或全部的检测结果进行传感器融合处理来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制单元300输出。
通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等与存在于本车辆M的周边的其他车辆进行通信，或者经由无线基地站与各种服务器装置进行通信。另外，通信装置20与车外的人员所持有的终端装置进行通信。
导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53，并将第一地图信息54保持于HDD(Hard Disk Drive)、闪存器等存储装置。GNSS接收机基于从GNSS卫星接收到的信号来确定本车辆M的位置。本车辆M的位置也可以通过利用了车辆传感器70的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板及按键等。导航HMI52也可以与后述的HMI400一部分或全部共用化。路径决定部53例如根据由GNSS接收机51确定的本车辆M的位置(或者输入的任意位置)，参照第一地图信息54来决定直至由乘客使用导航HMI52输入的目的地为止的路径(例如，包括与行驶到目的地时的途经地相关的信息)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point Of Interest)信息等。由路径决定部53决定的路径向MPU60输出。导航装置50也可以基于由路径决定部53决定的路径来进行使用了导航HMI52的路径引导。需要说明的是，导航装置50例如也可以通过用户持有的智能手机、平板终端等终端装置的功能来实现。导航装置50还可以经由通信装置20向导航服务器发送当前位置和目的地来取得从导航服务器回复的路径。
MPU60例如作为推荐车道决定部61而发挥功能，将第二地图信息62保持于HDD、闪存器等存储装置。推荐车道决定部61将从导航装置50提供的路径分割为多个区段(例如在车辆行进方向上按100[m]分割)，并参照第二地图信息62而按区段决定推荐车道。推荐车道决定部61进行在从左侧起的第几个车道上行驶这样的决定。推荐车道决定部61在路径中存在分支部位、汇合部位等的情况下，决定推荐车道，以使本车辆M能够在用于向分支目的地行进的合理的行驶路径上行驶。
第二地图信息62是比第一地图信息54精度高的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界的信息等。在第二地图信息62中可以包括道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。道路信息中包括高速道路、收费道路、国道、都道府县道这样的表示道路的类别的信息、道路的车道数、紧急停车带的区域、各车道的宽度、道路的坡度、道路的位置(包括经度、纬度、高度的三维坐标)、车道的转弯的曲率、车道的汇合及分支点的位置、设置于道路的标识等信息。第二地图信息62可以通过使用通信装置20访问其他装置而随时更新。
车辆传感器70包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测本车辆M的朝向的方位传感器等。
驾驶操作件80例如可以包括油门踏板、制动踏板、变速杆、转向盘及其他操作件。在驾驶操作件80上安装有对操作量或操作的有无进行检测的操作传感器。操作传感器的检测结果向主控制部100、驾驶支援控制部200、自动驾驶控制单元300、行驶驱动力输出装置500、制动装置510及转向装置520中的任一个构成要素或多个构成要素输出。
车室内相机90例如以就坐于在车室内设置的座椅的乘客(尤其是就坐于驾驶员座的乘客)的面部为中心进行拍摄。车室内相机90是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机90例如周期性地对乘客进行拍摄。车室内相机90的拍摄图像向主控制部100输出。
[各种控制装置]
车辆系统1例如具备主控制部100、驾驶支援控制部200及自动驾驶控制单元300。主控制部100也可以与驾驶支援控制部200或自动驾驶控制单元300中的某一个合并。
[主控制部]
主控制部100对驾驶支援的程度进行切换，或者对HMI400进行控制。主控制部100例如具备切换控制部110、HMI控制部120、操作件状态判定部130及乘客状态监视部140。切换控制部110、HMI控制部120、操作件状态判定部130及乘客状态监视部140分别通过CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等处理器执行程序来实现。上述的功能部中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等硬件来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(HardDisk Drive)、闪存器等存储装置，也可以保存于DVD、CD-ROM等能够装卸的存储介质，并将存储介质装配于驱动装置而安装于存储装置。
切换控制部110例如基于从HMI400所包含的规定的开关(例如后述的主开关及自动开关)输入的操作信号，将驾驶支援的程度从手动驾驶的状态切换为第一以上的程度，或者从第一以上的程度切换为手动驾驶的状态。切换控制部110例如可以基于对油门踏板、制动踏板、转向盘等驾驶操作件80指示加速、减速或转向的操作，来将驾驶支援的程度从第一以上的程度切换为手动驾驶的状态。
例如，在第一程度的驾驶支援(驾驶支援控制)中，将本车辆M的设定车速(下限速度及上限速度)设定在规定的速度范围(例如50～100[km/h]程度)内。乘客也可以适当变更该设定车速。
例如，在第二程度的驾驶支援(自动驾驶控制)中，将本车辆M的设定车速(下限速度及上限速度)设定为法定速度等基准速度。例如，当本车辆M在高速道路上行驶的情况下，与该高速道路的法定速度匹配而将上限速度设定为80[km/h]、100[km/h]程度，并将下限速度设定为50[km/h]程度。
在第三程度的驾驶支援(自动驾驶控制)中，设定与第二程度的驾驶支援同样的设定车速。第三程度的驾驶支援例如在第二程度的驾驶支援下前行车辆的速度为规定速度以下时开始。前行车辆是指在本车辆M行驶的行驶车道(本车道)上存在于本车辆M的前方的规定距离(例如50～100[m]程度)以内且在规定距离以内最接近本车辆M的车辆。规定速度例如为60[km/h]。
切换控制部110也可以基于由行动计划生成部323生成的行动计划来切换驾驶支援的程度。例如，切换控制部110可以在由行动计划规定的自动驾驶的结束预定地点使驾驶支援结束。
切换控制部110可以在由导航装置50确定出的本车辆M的位置存在于由本车位置识别部322识别出本车辆的行驶车道的地带的情况下，将驾驶支援的程度切换为第三程度。换言之，切换控制部110也可以当本车辆M在地图信息中包含车道数、各车道的宽度等信息的区间中行驶的情况下，将驾驶支援的程度切换为第三程度。
HMI控制部120使HMI400输出与驾驶支援的程度的切换相关联的通知等。HMI控制部120也可以使HMI400输出与操作件状态判定部130或乘客状态监视部140中的一方或双方处理的处理结果相关的信息。HMI控制部120也可以将输入到HMI400的信息向驾驶支援控制部200或自动驾驶控制单元300中的任一方或双方输出。对HMI控制部120的功能的详细情况后述。HMI400为“信息输出部”的一例，HMI控制部120为“输出控制部”的一例。
操作件状态判定部130例如判定驾驶操作件80所包含的转向盘是否为正被操作的状态(具体而言，是指在当前驾驶员正进行有意图的操作的情况下能够立即操作的状态或把持状态)。以下，将转向盘正由乘客操作(把持)的状态称作“手握”，并将不是这样的状态称作“非手握”来进行说明。对操作件状态判定部130的功能的详细情况后述。
乘客状态监视部140例如具备图像处理部140A和监视判定部140B。图像处理部140A也可以代替乘客状态监视部140而具备车室内相机90。图像处理部140A例如对车室内相机90的拍摄图像进行解析来检测驾驶员座的乘客的视线的朝向、面部的朝向。监视判定部140B基于由图像处理部140A检测出的视线或面部的朝向，来判定驾驶员座的乘客是否正监视本车辆M的周围。以下，将乘客正监视本车辆M的周围的状态称作“注视”，并将不是这样的状态称作“非注视”来进行说明。对乘客状态监视部140的功能的详细情况后述。车室内相机90及图像处理部140A是“第二检测部”的一例。
[驾驶支援控制部]
驾驶支援控制部200例如在本车辆M的驾驶支援的程度为第一程度的情况下，执行ACC、LKAS及其他的驾驶支援控制。例如，驾驶支援控制部200在执行ACC时，基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息来对行驶驱动力输出装置500及制动装置510进行控制，以便在将本车辆M与前行车辆的车间距离保持为恒定的状态下进行行驶。换言之，驾驶支援控制部200进行基于与前行车辆的车间距离的加减速控制(速度控制)。驾驶支援控制部200在执行LKAS时，对转向装置520进行控制，以使本车辆M一边维持当前行驶中的行驶车道(车道保持)一边行驶。即，驾驶支援控制部200进行用于车道维持的转向控制。第一程度的驾驶支援还可以包括除了对乘客(驾驶员)不要求对驾驶操作件80的操作的自动驾驶(第二程度及第三程度的驾驶支援)以外的各种控制。
[自动驾驶控制单元]
自动驾驶控制单元300在本车辆M的驾驶支援的程度为第二程度或第三程度的情况下，执行自动驾驶控制。自动驾驶控制单元300例如具备第一控制部320和第二控制部340。第一控制部320和第二控制部340分别通过CPU、GPU等处理器执行程序来实现。上述的功能部中的一部分或全部也可以通过LSI、ASIC、FPGA等硬件来实现，还可以通过软件与硬件的协同配合来实现。自动驾驶控制单元300为“自动驾驶控制部”的一例。
第一控制部320例如具备外界识别部321、本车位置识别部322及行动计划生成部323。
外界识别部321基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息，来识别周边车辆的位置及速度、加速度等的状态。周边车辆的位置可以由该周边车辆的重心、角部等代表点来表示，也可以由通过周边车辆的轮廓表现的区域来表示。周边车辆的“状态”也可以包括周边车辆的加速度、加加速度、或者“行动状态”(例如是否正进行车道变更或者要进行车道变更)。
外界识别部321可以识别上述的周边车辆、障碍物(例如，护栏、电线杆、驻车车辆、行人等人物)、道路形状及其他的物体中的至少一个的位置。
本车位置识别部322例如识别本车辆M正行驶的车道(行驶车道)、以及本车辆M相对于行驶车道的相对位置及姿态。本车位置识别部322例如通过对从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)和从由相机10拍摄到的图像识别出的本车辆M的周边的道路划分线的图案进行比较，来识别行驶车道。在该识别中，也可以加进从导航装置50取得的本车辆M的位置、由INS处理的处理结果。
并且，本车位置识别部322例如识别本车辆M相对于行驶车道的位置、姿态。图2是表示由本车位置识别部322识别本车辆M相对于行驶车道L1的相对位置及姿态的情形的图。本车位置识别部322例如将本车辆M的基准点(例如重心)从行驶车道中央CL的偏离OS、以及本车辆M的行进方向相对于将行驶车道中央CL相连的线所成的角度θ作为本车辆M相对于行驶车道L1的相对位置及姿态来识别。也可以代替于此，本车位置识别部322将本车辆M的基准点相对于行驶车道L1的任一侧端部的位置等作为本车辆M相对于行驶车道的相对位置来识别。由本车位置识别部322识别出的本车辆M的相对位置向推荐车道决定部61及行动计划生成部323提供。
行动计划生成部323生成用于使本车辆M相对于目的地等执行自动驾驶的行动计划。例如，行动计划生成部323决定在自动驾驶控制中依次执行的事件，以便在由推荐车道决定部61决定的推荐车道上行驶，且能够应对本车辆M的周边状况。事件是规定了本车辆M的行驶形态的信息。实施方式的自动驾驶的事件中例如存在以恒定速度在相同的行驶车道上行驶的定速行驶事件、以低速度(例如60[km/h]以下)为条件而追随于前行车辆的低速追随事件、变更本车辆M的行驶车道的车道变更事件、赶超前行车辆的赶超事件、使车辆在汇合地点汇合的汇合事件、使本车辆M在道路的分支地点向目的方向行驶的分支事件、以及使本车辆M紧急停车的紧急停车事件等。在上述的事件的执行中，也有时基于本车辆M的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)来计划用于躲避的行动。
行动计划生成部323生成本车辆M将来行驶的目标轨道。目标轨道表现为将本车辆M应该到达的地点(轨道点)依次排列的轨道。轨道点是每隔规定的行驶距离的本车辆M应该到达的地点，也可以与此不同，将每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分来生成。轨道点也可以是每隔规定的采样时间的、在该采样时刻下的本车辆M应该到达的地点。在这种情况下，目标速度、目标加速度的信息由轨道点的间隔来表现。
例如，行动计划生成部323在与驾驶支援的程度对应的设定车速的范围内决定本车辆M的目标速度。例如，在驾驶支援的程度为第一程度的情况下，行动计划生成部323在50～100[km/h]的范围内决定目标速度。在驾驶支援的程度为第二程度的情况下，行动计划生成部323在50～80[km/h]或50～100[km/h]的范围内决定目标速度。在驾驶支援的程度为第三程度且不存在前行车辆的情况下，行动计划生成部323与驾驶支援的程度为第二程度时同样，在50～80[km/h]或50～100[km/h]的范围内决定目标速度，在存在前行车辆的情况下，至少在前行车辆的速度以下决定目标速度。
图3是表示基于推荐车道生成目标轨道的情形的图。如图所示，推荐车道设定为适合于沿着直至目的地为止的路径行驶。当来到距推荐车道的切换地点规定距离的跟前时，行动计划生成部323起动车道变更事件、分支事件、汇合事件等。规定距离可以根据事件的种类来决定。在各事件的执行中，在需要躲避障碍物的情况下，如图示那样生成用于躲避障碍物的目标轨道。
行动计划生成部323当起动车道变更事件时，生成用于车道变更的目标轨道。图4及图5是用于说明车道变更时的处理的图。首先，行动计划生成部323从在与本车辆M行驶的本车道L1相邻且为车道变更目的地的相邻车道L2上行驶的周边车辆中选择2台周边车辆，并在上述的周边车辆之间设定车道变更目标位置TAs。以下，将相邻车道中在车道变更目标位置TAs的紧前方行驶的周边车辆称作前方基准车辆mB，并将相邻车道中在车道变更目标位置TAs的紧后方行驶的周边车辆称作后方基准车辆mC来进行说明。车道变更目标位置TAs是基于本车辆M与前方基准车辆mB及后方基准车辆mC的位置关系而得到的相对的位置。
在图4的例子中，示出行动计划生成部323设定了车道变更目标位置TAs的情形。图中，mA表示前行车辆，mB表示前方基准车辆，mC表示后方基准车辆。箭头d表示本车辆M的行进(行驶)方向。在图4的例子的情况下，行动计划生成部323在相邻车道L2上且在前方基准车辆mB与后方基准车辆mC之间设定车道变更目标位置TAs。
接着，行动计划生成部323判定是否满足一次条件，该一次条件用于判定是否能够向车道变更目标位置TAs(即，前方基准车辆mB与后方基准车辆mC之间)进行车道变更。
一次条件例如是在相邻车道上设置的禁止区域RA中一台周边车辆也不存在且本车辆M与前方基准车辆mB及后方基准车辆mC的TTC分别比阈值大的条件。该判定条件是在本车辆M的侧方设定车道变更目标位置TAs的情况的一例。在不满足一次条件的情况下，行动计划生成部323再次设定车道变更目标位置TAs。此时，可以待机至能够设置满足一次条件那样的车道变更目标位置TAs的时机，或者变更车道变更目标位置TAs而进行用于向车道变更目标位置TAs的侧方移动的速度控制。
如图4所示，行动计划生成部323例如将本车辆M向车道变更目的地的车道L2投影，来设定在该投影的前后具有若干的富余距离的禁止区域RA。禁止区域RA设定为从车道L2的横向的一端延伸到另一端的区域。
在禁止区域RA内不存在周边车辆的情况下，行动计划生成部323例如设想使本车辆M的前端及后端向车道变更目的地的车道L2侧假想地延伸出的延伸线FM及延伸线RM。行动计划生成部323算出延伸线FM与前方基准车辆mB的碰撞富余时间TTC(B)、以及延伸线RM与后方基准车辆mC的碰撞富余时间TTC(C)。碰撞富余时间TTC(B)是通过将延伸线FM与前方基准车辆mB的距离除以本车辆M与前方基准车辆mB的相对速度而导出的时间。碰撞富余时间TTC(C)是通过将延伸线RM与后方基准车辆mC的距离除以本车辆M与后方基准车辆mC的相对速度而导出的时间。行动计划生成部323在碰撞富余时间TTC(B)比阈值Th(B)大且碰撞富余时间TTC(C)比阈值Th(C)大的情况下，判定为满足一次条件。阈值Th(B)与Th(C)可以为相同的值，也可以为不同的值。
在满足一次条件的情况下，行动计划生成部323生成用于车道变更的轨道的候补。在图5的例子中，行动计划生成部323假定为前行车辆mA、前方基准车辆mB及后方基准车辆mC以规定的速度模型行驶，并基于上述3台车辆的速度模型和本车辆M的速度，以使本车辆M不与前行车辆mA发生干涉且在将来的某时刻位于前方基准车辆mB与后方基准车辆mC之间的方式生成轨道的候补。例如，行动计划生成部323使用样条曲线等多项式曲线从当前的本车辆M的位置平滑地连接到将来的某时刻的前方基准车辆mB的位置、或车道变更目的地的车道的中央且车道变更的结束地点，且在该曲线上以等间隔或不等间隔配置规定个数轨道点K。此时，行动计划生成部323以使轨道点K中的至少一个配置于车道变更目标位置TAs内的方式生成轨道。
在各种场景中，行动计划生成部323生成多个目标轨道的候补，并从多个目标轨道候补中选择在该时刻适合于直至目的地为止的路径的最佳的目标轨道。最佳的目标轨道例如是基于该目标轨道使本车辆M行驶时产生的横摆角速度小于阈值且本车辆M的速度为规定速度范围内那样的目标轨道。横摆角速度的阈值例如设定为在进行了车道变更时对乘客不产生过负荷(车宽方向的加速度成为阈值以上的情况)的程度的横摆角速度。另外，规定速度范围例如设定为70～110[km/h]程度的速度范围。
第二控制部340例如具备行驶控制部342。行驶控制部342对行驶驱动力输出装置500、制动装置510及转向装置520进行控制，以使本车辆M按预定的时刻通过由行动计划生成部323生成的目标轨道。
HMI400对车内的乘客提示各种信息，并且由乘客操作。HMI400例如包括各种显示装置、发光部、扬声器、蜂鸣器、触摸面板、各种操作开关及按键等中的一部分或全部。HMI400也可以包括通过座椅安全带保持就坐于座椅的座椅安全带装置的一部分。对HMI400的功能的详细情况后述。
行驶驱动力输出装置500将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置500例如具备内燃机、电动机及变速器等的组合和对它们进行控制的动力ECU(Electronic Control Unit)。动力ECU按照从行驶控制部342输入的信息或者从驾驶操作件80输入的信息来控制上述的结构。
制动装置510例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从行驶控制部342输入的信息、或者从驾驶操作件80输入的信息来控制电动马达，并将与制动操作相应的制动转矩向各车轮输出。制动装置510可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。制动装置510不限于上述说明的结构，也可以是按照从行驶控制部342输入的信息、或者从驾驶操作件80输入的信息来对致动器进行控制，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。另外，制动装置510也可以具备液压或电动等的多个系统的制动装置。
转向装置520例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从行驶控制部342输入的信息、或者从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。
在手动驾驶时，来自驾驶操作件80的输入信息直接向行驶驱动力输出装置500、制动装置510及转向装置520输出。来自驾驶操作件80的输入信息也可以经由自动驾驶控制单元300而向行驶驱动力输出装置500、制动装置510及转向装置520输出。行驶驱动力输出装置500、制动装置510及转向装置520的各ECU基于来自驾驶操作件80等的输入信息来进行各自的动作。
[HMI400的结构]
以下，对实施方式的HMI400的结构例进行说明。图6是表示本车辆M中的HMI400的一例的图。HMI400例如具备第一操作部410、第二操作部420、发光部430R、430L、第三操作部440、第一显示部450、HUD(Head Up Display)460及第三显示部470。
第一操作部410、第二操作部420及发光部430R、430L设置于作为驾驶操作件80之一的转向盘82。在转向盘82上设有把持传感器82A。把持传感器82A例如是以沿着转向盘82的周向的方式设置的静电电容传感器。把持传感器82A将物体接近或接触检测对象的区域的情况作为静电电容的变化来检测。把持传感器82A在检测出的静电电容为阈值以上的情况下，将规定的检测信号向主控制部100的操作件状态判定部130输出。该阈值例如设定为比乘客把持转向盘82的情况下产生的静电电容低的值。把持传感器82A也可以不论是否为阈值以上，都将表示静电电容的检测信号向操作件状态判定部130输出。
第一操作部410例如具备主开关412和自动开关414。主开关412是用于使驾驶支援成为能够开始的状态(待机状态)的开关。换言之，主开关412是后述的用于使执行驾驶支援之前的准备阶段中的处理(内部处理)开始的开关，或者是用于成为可能判定驾驶支援是否成为能够开始的状态的开关。
在主开关412被操作了的情况下，驾驶支援并不立刻开始，而是在手动驾驶下成为待机状态来进行用于执行驾驶支援的事前处理。事前处理例如是指使物体识别装置16预先持续规定时间进行物体识别的处理(具体而言，使用了卡尔曼滤波器的物标的逐次识别处理等)的处理。在主开关412被操作而成为了待机状态之后(即，从被操作起经过了某程度的时间之后)，进一步自动开关414被操作时，开始程度最小的第一程度的驾驶支援。即，自动开关414是用于从手动驾驶向驾驶支援控制切换的开关。
第二操作部420是用于使带图像的通话功能(以下，也称作电视电话)的提供开始的操作开关422。发光部430R、430L例如设置于转向盘82的从中央的轮毂部朝向环状的轮缘部延伸的轮辐部。发光部430R通过HMI控制部120的控制来控制点亮状态。
第三操作部440例如具备从乘客观察时向近前侧突出的转动操作部442和开关操作部444。转动操作部442形成为大致圆筒状，且能够绕轴线进行旋转操作。开关操作部444设置于转动操作部442的周边或转动操作部442的顶面。第三操作部440具备对转动操作部442的旋转角度和旋转速度进行检测的编码器等未图示的旋转传感器和对开关操作部444的位移进行检测的未图示的位移传感器，从各个传感器输出的检测值向主控制部100输出。向主控制部100输出的检测值用于向第三显示部470的画面输出的箭头、选择按钮、确定按钮等的操作、输入文字的选择、确定等。
第三操作部440也可以是通过指尖触摸显示画面来进行选择、确定操作等的所谓的触摸面板式的操作部。在第三操作部440的附近上设有能够以规定的波长的光发光的发光部446。
第一显示部450例如是设置于仪表板中的驾驶员座的正面附近且乘客从转向盘82的间隙或越过转向盘82能够视觉辨认的显示装置。第一显示部450例如为LCD(LiquidCrystal Display)、有机EL(Electro Luminescence)显示装置等。在第一显示部450上显示有本车辆M的手动驾驶时或自动驾驶时的行驶所需要的信息、或者与向乘客的指示相关的信息。手动驾驶时的本车辆M的行驶所需要的信息例如是指本车辆M的速度、发动机转速、燃料余量、散热器水温、行驶距离及其他的信息。另一方面，自动驾驶时的本车辆M的行驶所需要的信息例如是指本车辆M的将来的轨道、驾驶支援的程度、及对乘客的指示等信息。
HUD460例如配置在比第一显示部450高的位置。HUD460将影像向规定的成像部投射。例如，HUD460向驾驶员座前方的前风窗玻璃的一部分投射图像，从而使就坐于驾驶员座的乘客的眼睛视觉辨认虚像。由HUD460投射的图像的显示区域比第一显示部450中的图像的显示区域小。这是为了抑制因由HUD460投射的图像而使乘客看漏处于该图像的前方的现实的物体。在实施方式中，也可以代替HUD460而将本车辆M的前风窗玻璃作为第二显示部420。在该情况下，例如可以使装入仪表板的LED(Light Emitting Diode)发光且由前风窗玻璃反射LED的发光。
第三显示部470设置于仪表板的中央部。第三显示部470例如是LCD、有机EL显示装置等。第三显示部470例如显示与由导航装置50执行的导航处理对应的图像、或电视电话中的显现通话对方的影像等。第二显示部360可以显示电视节目，或者使DVD再现，或者显示下载的电影等的内容。
在第三显示部470上也可以设置发光部462。图7是例示出第三显示部470与发光部462的位置关系的一个侧面(aspect)的图。例如，发光部472设置于第三显示部470的一部分或附近。“附近”是指发光部472与第三显示部470的最短距离例如为几[cm](更具体而言，为3[cm]程度)以下的近的范围。在图7的例子中，发光部472例如以沿着形成第三显示部的画面形状的至少一个边延伸的方式安装。
图8是例示出第三显示部470与发光部462的位置关系的另一侧面的图。在图8的例子中，第三显示部470设置于处于其前方的上部的仪表板部的遮光部474的下部。发光部462发出的光未被遮光部474遮挡而能够由乘客视觉辨认。通过采用该方式，由此遮光部474能够抑制日光等外部光向第三显示部470的照射，并且遮挡向发光部472射入的外部光的至少一部分，因此乘客对第三显示部470的视觉辨认性提高。
发光部462由HMI控制部120控制，以便在第三显示部470能够使用的情况下发光。能够使用例如是指能够通过第二操作部420被操作而将与带图像的通话功能相关的画面显示于第三显示部470，或者能够通过第三操作部440的操作而将与电影、电视节目相关的图像显示于第三显示部470。
图9是用于说明使用第三显示部470的画面的一部分区域来通知第三显示部470能够使用的情况的图。HMI控制部120对第三显示部470的整个画面区域分配第一显示区域466和第二显示区域468。第一显示区域466是第三显示部470的画面整体中的沿着任一边延伸的区域的像素区域。HMI控制部120在第三显示部470成为能够使用的情况下，通过规定的波长的光或规定的样式使第一显示区域466点亮或闪烁。由此，不设置发光部472就能够向乘客通知第三显示部470为能够使用的状态。
HMI控制部120在第二显示区域468上显示由第二操作部420或第三操作部440操作的内容、或者通过操作而执行的内容。
[与自动驾驶相关联的HMI400的显示控制]
接着，说明与自动驾驶相关联的HMI400的显示控制。以下所示的显示画面中的布局只是一例，能够任意进行变更。布局是指配置、色彩、比例尺及其他。
图10是表示从手动驾驶切换为驾驶支援之后直至执行通过驾驶支援进行的车道变更为止的各种场景的图。在图10的例子中，场景(1)是本车辆M通过手动驾驶从一般道路向高速道路进入的场景。场景(2)是从手动驾驶切换为第一程度的驾驶支援的场景。场景(3)是本车辆M通过自动驾驶控制来执行车道变更的场景。以下说明与场景(1)～(3)中的各个场景对应的显示控制。
<场景(1)>
场景(1)例如是向高速道路进入之前的场景。在该场景中，第一操作部410的主开关412及自动开关414未被操作，因此不执行驾驶支援而进行手动驾驶。在该情况下，不执行驾驶支援而进行手动驾驶。在进行手动驾驶的情况下，HMI控制部120使第一显示部450将为了使驾驶员座的乘客使用驾驶操作件80来对本车辆M进行手动驾驶所需要的信息作为图像来显示。HMI控制部120使HUD460将在第一显示部450上显示的信息中的一部分的信息作为图像来显示。在图11中示出该情况下的画面。
图11是表示手动驾驶时显示的第一画面IM1-1及第二画面IM2-1的一例的图。第一画面IM1-1是由第一显示部450显示的画面，第二画面IM2-1是通过由HUD460投影而映入乘客的眼睛的画面。HMI控制部120使第一画面IM1-1显示例如本车辆M的蓄电池余量、旋转速度、挡位、室内气温、行驶距离、行驶速度、燃料余量等信息，来作为手动驾驶时的本车辆M的行驶所需要的信息。HMI控制部120使第二画面IM2-1比第一画面IM1-1小地显示在第一画面IM1-1上显示的图像中的速度的信息。如前述那样，由HUD460投射的图像的区域比由第一显示部450显示的图像的区域小。因此，HMI控制部120使第一显示部450显示与本车辆M的驾驶支援相关的比较详细的第一信息(详细信息)，并使HUD460显示比详细信息简单且与驾驶支援相关的第二信息(简单信息)。第二信息可以是第一信息中的重要性高的信息或紧急性高的信息。
例如，HMI控制部120使HUD460将详细信息的一部分的信息作为简单信息来显示。例如，在图11中，HMI控制部120提取在第一画面IM1-1上显示的详细信息中的表示本车辆M的速度的信息，并使第二画面IM2-1显示提取的信息。这样，使第一显示部450显示详细信息，并使HUD460显示简单信息。由此，能够适当地向乘客提供与驾驶支援相关的信息，而且能够避免使乘客的眼睛疲劳。
<场景(2)>
在场景(2)中，本车辆M正进入高速道路。HMI控制部120在由乘客操作主开关412时，对使第一显示部450及HUD460显示的画面进行变更。在图12中示出变更后的画面。
图12是表示通过主开关412被操作而显示的第三画面IM3-1及第四画面IM4-1的一例的图。第三画面IM3-1是由第一显示部450显示的画面，第四画面IM4-1是由HUD460投射的画面。以下的附图所示的第三画面IM3-X(X为任意的自然数)及第四画面IM4-X也同样。第三画面IM3-X及第四画面IM4-X在驾驶支援能够执行的状态及驾驶支援执行中的状态下连续地显示。
在第三画面IM3-1中，作为显示能够开始驾驶支援的状态(待机状态)的区域，包括周边检测信息显示区域600-1、驾驶支援状态显示区域620-1及驾驶支援开始操作引导区域640-1。以下，将第三画面IM3-X中的各个区域称作周边检测信息显示区域600-X、驾驶支援状态显示区域620-X及驾驶支援开始操作引导区域640-X。
HMI控制部120使周边检测信息显示区域600-1例如显示从第二地图信息62取得的表示本车辆M正行驶的道路形状的图像、由本车位置识别部322识别出的表示本车辆M的图像及由外界识别部32识别出的表示周边车辆m的图像。HMI控制部120使第一显示部450显示由外界识别部321识别出的表示全部的周边车辆m的图像。HMI控制部120也可以使第一显示部450仅显示由外界识别部321识别出的全部的周边车辆m中的对本车辆M的将来的轨道带来影响的周边车辆m。由此，能够减少乘客监视的对象的车辆，能够减轻监视负担。
HMI控制部120使驾驶支援状态显示区域620-1显示表示本车辆M能够执行的驾驶支援(包括自动驾驶)的程度的信息。在图12的例子中，作为表示驾驶支援的程度的信息，示出表示“Assist”、“Hands Off(非手握)”、“Eyes Off(非注视)”这3个指示的图像621。通过各个指示单个或多个指示的组合来表示驾驶支援的程度。
指示“Assist”是表示为第一程度的驾驶支援正被执行的状态(开启状态)或者为能够向第一程度的驾驶支援转换的状态(关闭状态)的情况的指示。
指示“Hands Off”是表示为第二程度的驾驶支援正被执行的状态(开启状态)或者为能够向第二程度的驾驶支援转换的状态(关闭状态)的情况的指示。
指示“Eyes Off”是表示为第三程度的驾驶支援正被执行的状态(开启状态)或者为能够向第三程度的驾驶支援转换的状态(关闭状态)的情况的指示。
上述的指示也可以准备与驾驶支援正被执行的状态和能够向驾驶支援转换的状态分别对应的指示。通过后述的要求动作通知图像622能够掌握是各程度的驾驶支援正被执行，或者是能够向各程度的驾驶支援转换的状态。各指示例如在对应的程度的驾驶支援正被执行的情况下进行高亮显示，在能够向对应的程度的驾驶支援转换的情况下进行灰色显示。在图12的例子中，全部的指示被灰色显示，因此任一程度的驾驶支援都未被执行，即表示为手动驾驶。
HMI控制部120使驾驶支援状态显示区域620-1在与表示“Assist”、“Hands Off”、“Eyes Off”这3个指示的图像621对应的显示位置显示要求动作通知图像622。“对应”是指存在表示横向排列、纵向排列及建立对应关系的引导线等、人能够识别对应关系的情形。作为一例，与“指示的图像621对应的显示位置”是指与图像621相邻的显示位置，可以是以图像621的显示位置为基准而向上下左右中的至少一方向离开几[cm]以下(例如，3[cm]以下)的距离的显示位置。要求动作通知图像622例如是表示对乘客要求的、对驾驶操作件80进行的规定的动作(规定的操作)的图像。要求动作通知图像622例如包括表示驾驶操作件80的图像和表示乘客的规定的部位的图像。要求动作通知图像622例如是示意性地表示转向盘82与乘客的手的位置关系的图像。
HMI控制部120使驾驶支援开始操作引导区域640-1显示对用于使驾驶支援开始的乘客的操作进行引导的信息。在图12的例子中，在驾驶支援开始操作引导区域640-1中，引导乘客操作自动开关414而开始驾驶支援。
HMI控制部120也可以除了在驾驶支援开始操作引导区域640-1显示乘客操作自动开关414而开始驾驶支援之外，或者代替于此，从HMI400所包含的扬声器输出表示乘客操作自动开关414而开始驾驶支援的意旨的声音。
在周边检测信息显示区域600-1、驾驶支援状态显示区域620-1及驾驶支援开始操作引导区域640-1上分别显示的信息的至少一部分也可以显示于其他的显示区域。在第三画面IM3-1上也可以示出与本车辆M的行驶距离、车内温度、燃料、速度及挡位相关的信息。
相对于在第三画面IM3-1上显示的详细信息，HMI控制部120使HUD460的第四画面IM4-1显示提取详细信息的一部分而得到的简单信息。在HUD460的第四画面IM4-1上显示有在第一显示部450的第三画面IM3-1上显示的与驾驶支援相关的信息中的与本车辆M的前方的道路形状相关的信息及表示本车辆M的速度的信息。
在图12所示的状态下，当检测出由乘客操作了自动开关414时，主控制部100使驾驶支援控制部200执行第一程度的驾驶支援。HMI控制部120将在第一显示部450及HUD460上显示的画面变更为例如图13所不的画面。
图13是表示在自动开关414被操作时显示在第一显示部450及HUD460上的画面IM3-2及IM4-2的一例的图。HMI控制部120将表示正执行的驾驶支援的程度的图像以与表示其他的驾驶支援的程度的图像能够辨别开的方式进行显示(例如高亮显示和灰色显示)。例如，HMI控制部120使第三画面IM3-2的驾驶支援状态显示区域620-2高亮显示与第一程度的驾驶支援对应的“Assist”的指示。由此，乘客能够掌握第一程度的驾驶支援正在进行的情况。
在此，作为要求动作通知图像622，HMI控制部120将如下动态图像作为要求动作通知图像622来显示，该动态图像是对乘客要求为了向与“Hands Off”对应的驾驶支援的程度(自动驾驶)转变所需要的动作的图像。动态图像例如是指包括规定的物体随着时间经过而动态地移动的动态的对象的图像。在动态图像中也可以包括动画。
例如，HMI控制部120在第一程度的驾驶支援为执行中且第二程度的驾驶支援为能够执行的情况下，使第三画面IM3-2的驾驶支援状态显示区域620-2显示要求动作通知图像622，该要求动作通知图像622示意性地表示用于使乘客的手成为从转向盘82离开的状态的乘客的操作内容。要求动作通知图像622是表示为了向第二程度的驾驶支援切换而乘客应进行的操作的图像。
例如，HMI控制部120在第一程度的驾驶支援为执行中且第二程度的驾驶支援为能够执行的情况下，使第三画面IM3-2的驾驶支援状态显示区域620-2显示上述的要求动作通知图像622。
HMI控制部120也可以使第三画面IM3-2的驾驶支援状态显示区域620-2显示示意性地表示油门踏板与乘客的脚的位置关系的图像或者示意性地表示制动踏板与乘客的脚的位置关系的图像，来作为要求动作通知图像623。
HMI控制部120使周边检测信息显示区域600-2显示表示通过乘客执行与要求动作通知图像622对应的动作而开始驾驶支援的意旨的信息。在图13的例子中，在周边检测信息显示区域600-2上显示通过使手从转向盘82(在图中为“方向盘”)离开而开始驾驶支援(在图中为“自动行驶”)的意旨的信息。
HMI控制部120在对乘客要求使手从转向盘82离开的动作的情况下，可以使设置在转向盘82上的发光部430R、430L点亮或闪烁。
HMI控制部120在对乘客要求使手从转向盘82离开的动作的情况下，也可以从HMI400所包含的扬声器输出表示该意旨的声音。HMI控制部120也可以将与使手从转向盘82离开的动作对应的要求动作通知图像622的显示、发光部430R、430L的点亮或闪烁及声音输出中的多个形态组合而从各种设备输出。
HMI控制部120使HUD460的第四画面IM4-2显示与第四画面IM4-1同样的信息。
在此，操作件状态判定部130基于从把持传感器82A输入的检测信号的有无，来判定乘客是否是手握状态，或者是非手握状态。例如，当从把持传感器82A输入检测信号时，操作件状态判定部130判定为乘客是手握状态，未从把持传感器82A输入检测信号时，操作件状态判定部130判定为乘客是非手握状态。操作件状态判定部130例如基于从把持传感器82A输入的检测信号的信号强度等，来判定静电电容是否变化了阈值以上，在静电电容变化了阈值以上的情况下，可以判定为乘客是手握状态。把持传感器82A及操作件状态判定部130为“第一检测部”的一例。
操作件状态判定部130也可以代替静电电容，或者除了静电电容以外，基于向转向盘82的轴施加的转向转矩、把持转向盘82时的乘客的握力(施加到转向盘上的压力)、转向装置520中的电动马达的控制量(转向量)，来判断乘客是否是手握状态，或者是非手握状态。
主控制部100的切换控制部110接受自动开关414被操作了的情况而将驾驶支援的程度切换为第一程度之后，直至由操作件状态判定部130判定为乘客是非手握状态为止，作为驾驶支援的程度而维持第一程度。另一方面，切换控制部110在满足用于向第二程度的驾驶支援转变的诸多条件且由操作件状态判定部130判定为乘客是非手握状态的情况下，将驾驶支援的程度从第一程度切换为第二程度。通过这样的控制，直至乘客成为非手握状态为止，驾驶支援控制部200进行驾驶支援控制，当乘客成为非手握状态时，从驾驶支援控制部200向自动驾驶控制单元300移交控制权，自动驾驶控制单元300开始自动驾驶控制。
在驾驶支援的程度为第二程度时自动驾驶控制单元300执行自动驾驶控制的情况下，HMI控制部120将第一显示部450及HUD460显示的画面变更为例如图14所示的画面。
图14是表示在第二程度的驾驶支援中显示在第一显示部450及HUD460上的画面的一例的图。HMI控制部120使第三画面IM3-3的驾驶支援状态显示区域620-3高亮显示与第二程度的驾驶支援对应的“Hands Off”的指示。由此，乘客能够掌握第二程度的驾驶支援正进行的情况。
HMI控制部120使周边检测信息显示区域600-3显示例如从第二地图信息62取得的表示本车辆M的前方的道路形状的图像、由本车位置识别部322识别出的表示本车辆M的图像、由外界识别部321取得的表示周边车辆m的图像、以及由行动计划生成部323生成的表示本车辆M的将来的轨道的将来轨道图像602。另外，HMI控制部120使周边检测信息显示区域600-3显示虽然开始第二程度下的驾驶支援(在图中为“自动行驶”)但使乘客继续监视周边的交通状况的意旨的信息。
主控制部100的乘客状态监视部140在驾驶支援的程度为第二程度的情况下，基于车室内相机90的拍摄图像来判定乘客是注视状态，还是非注视状态，以便确认乘客是否正尽着周边监视义务。例如，乘客状态监视部140的图像处理部140A从车室内相机90的拍摄图像提取包含乘客的面部的图像区域，在提取出的图像区域中基于乘客的瞳孔、虹膜、眼角等的位置来检测乘客的视线的朝向或面部的朝向。此时，图像处理部140A也可以利用神经网络等来检测本车辆M的乘客的视线的朝向或面部的朝向，该神经网络预先以从人的面部图像检测出(输出)视线、面部的朝向的方式进行了学习。
例如，乘客状态监视部140的监视判定部140B在驾驶支援的程度为第二程度的情况下，判定由图像处理部140A检测出的面部或视线的朝向是否为以某朝向为基准的第一角度范围Δθ1内。若乘客的面部、视线的朝向为第一角度范围Δθ1内，则监视判定部140B判定为乘客是注视状态，若不是这样，则监视判定部140B判定为乘客是非注视状态。成为第一角度范围Δθ1的基准的“某朝向”例如是指在乘客就坐于驾驶员座的座椅时，该乘客朝向正面(前风窗玻璃侧)时的面部或视线的朝向。例如，第一角度范围Δθ1被决定为以该朝向为基准而在车宽方向(从乘客观察时为左右方向)上取得规定角度时的角度范围。
在由监视判定部140B判定为乘客是注视状态的情况下，即，在乘客尽着周边监视义务的情况下，切换控制部110作为驾驶支援的程度而维持第二程度。此时，如图14所示，在第一显示部450的第三画面IM3-1的驾驶支援开始操作引导区域640-3上什么都不显示，在HUD460的第四画面IM4-3上除了显示与图13的第四画面IM4-2同样的信息以外，还新增显示与本车辆M的将来的轨道602相关的信息。
另一方面，在由监视判定部140B判定为乘客是非注视状态的情况下，即，在乘客未尽着周边监视义务的情况下，HMI控制部120使HMI400的第一显示部450、第三显示部470显示图像，或者使扬声器输出声音，由此警告乘客进行周边监视。在非注视状态持续规定时间以上的情况下，切换控制部110也可以将驾驶支援的程度从第二程度切换为第一程度，由此使驾驶支援控制部200进行驾驶支援控制。
在从由监视判定部140B判定为乘客是非注视状态起非注视状态持续规定时间以上的情况下，切换控制部110也可以使自动驾驶控制单元300进行代替控制，而不进行与第二程度对应的自动驾驶控制。代替控制例如是指一边使本车辆M逐渐减速一边向路肩等能够停止的地带停车的自动驾驶控制。由此，例如在乘客失去意识而不能进行周边监视那样的情况下，乘客不操作就能够使本车辆M停止。
监视判定部140B虽然在驾驶支援的程度为第三程度的情况下，不对乘客要求周边监视义务，但在从第三程度的驾驶支援切换为要求有周边监视义务的驾驶支援的情况下，乘客需要快速进行周边监视，因此继续进行乘客正以哪种程度清醒这样的监视。例如，在驾驶支援的程度为第三程度的情况下，根据周边环境的变化而可能向第二程度的驾驶支援等程度更小的驾驶支援转变，因此要求乘客处于能够快速向周边监视转变的姿势，以备于从系统侧存在周边监视的要求的情况。因此，监视判定部140B在对乘客不要求周边监视义务的期间，也继续进行乘客的监视，来判定乘客是否为能够快速进行周边监视的状态。
例如，监视判定部140B判定由图像处理部140A检测出的面部或视线的朝向是否为比第一角度范围Δθ1宽的第二角度范围Δθ2内，若乘客的面部、视线的朝向为第二角度范围Δθ2内，则判定为乘客是能够快速进行周边监视的状态。
图15是示意性地表示从上方观察本车辆M时的车室内的结构的图。图中STD表示驾驶员座的座椅，箭头V表示成为第一角度范围Δθ1的基准的朝向(方向)。例如，第一角度范围Δθ1被决定为在从上方观察本车辆M时在其角度范围内包括第一显示部450。第二角度范围Δθ2被决定为从上方观察本车辆M时在其角度范围内至少包括第一显示部450和第三显示部470这双方。如图示那样，第一角度范围Δθ1及第二角度范围Δθ2不需要以方向V为基准而左右对称，可以使角度范围偏向任一方。
在由监视判定部140B判定为乘客是能够快速进行周边监视的状态的情况下，切换控制部110作为驾驶支援的程度而维持第三程度。另一方面，在由监视判定部140B判定为乘客是不能快速进行周边监视的状态的情况下，HMI控制部120使HMI400的第一显示部450、第三显示部470显示图像，或者使扬声器输出声音，由此对乘客进行警告，使其采取至少使第一显示部450、第三显示部470进入视野那样的姿势。在不能进行周边监视的状态持续规定时间以上的情况下，切换控制部110也可以将驾驶支援的程度从第三程度切换为第二程度。
乘客状态监视部140在驾驶支援的程度为第二程度的情况下，可以判定乘客正以哪种程度清醒。例如，监视判定部140B对图像处理部140A从车室内相机90的拍摄图像不能检测出乘客的瞳孔、虹膜的时间、即乘客闭眼的时间进行计时，该时间越长，判定为乘客的清醒度越低。另外，监视判定部140B也可以基于由设置在驾驶员座的座椅STD上的压力传感器(未图示)检测的检测结果，来判定乘客的清醒的有无。例如，在由压力传感器检测出的压力的变化为阈值以下的情况下，监视判定部140B判定为乘客未清醒。车室内相机90及乘客状态监视部140为“第三检测部”的一例。
切换控制部110根据在乘客状态监视部140的判定处理的过程中求出的乘客的清醒度，来决定是继续进行第二程度的驾驶支援，或者是向其他程度的驾驶支援或手动驾驶切换。例如，在乘客清醒时的清醒度为1且不清醒时的清醒度为0的情况下，若清醒度的数值为某阈值(例如0.5程度)以上，则切换控制部110判定为该乘客清醒，使驾驶支援的程度继续为第二程度。
<场景(3)>
在场景(3)中，示出在第二程度的驾驶支援时自动驾驶控制单元300通过自动驾驶控制使本车辆M进行车道变更的情形。在该情况下，HMI控制部120使第一显示部450及HUD460显示与车道变更的自动驾驶控制对应的画面。
例如，HMI控制部120在本车辆M的行为发生变化之前的第一时机(例如，行为发生变化5秒之前)使表示由自动驾驶控制单元300执行的本车辆M的车道变更事件的产生的图像以第一形态显示。
图16是表示在本车辆M的行为发生变化之前的第一时机显示的第三画面IM3-4及第四画面IM4-4的一例的图。HMI控制部120使第三画面IM3-4的周边检测信息显示区域600-4除了显示在周边检测信息显示区域600-3显示的内容以外，例如还显示图像604，该图像604表示示出本车用M进行车道变更的方向的意旨。在图16的例子中，显示本车辆M向与行驶车道相邻的右车道进行车道变更的图像604。
图像604例如是不含有文本的图像。在图16的例子中，图像604是沿着道路宽度方向表示本车辆M的前进道路变更方向的图形。HMI控制部120例如对表示本车辆M的前进道路变更方向的图形赋予外框，并使第一显示部450显示赋予了外框的外框图像。HMI控制部120将图像604划分为多个区域，并对划分的多个区域分别赋予外框而进行显示。HMI控制部120也可以通过沿着本车辆M的前进道路变更方向顺次显示的动画来显示划分有多个的区域中的各个区域的外框。
HMI控制部120使驾驶支援状态显示区域620-4显示表示本车辆M的前进道路变更的转向指示624。转向指示624例如是表示前进道路变更方向的箭头等图形。HMI控制部120在与显示图像604的第一时机同步的时机使第一显示部450显示转向指示624。
HMI控制部120使HUD460的第四画面IM4-4显示与第四画面IM4-3同样的信息。
HMI控制部120在比第一时机靠后且本车辆M的行为发生变化之前的第二时机(例如，行为发生变化2秒之前)，使周边检测信息显示区域600-4显示对图像604进行了强调显示的图像。
图17是表示在本车辆M的行为发生变化之前的第二时机显示的第三画面IM3-5及第四画面IM4-5的一例的图。HMI控制部120使第三画面IM3-5的周边检测信息显示区域600-5显示对图像604进行了强调显示的图像606。HMI控制部120例如使周边检测信息显示区域600-5显示使图像604的外框之中显色的显示形态。HMI控制部120也可以以如下方式通过动画进行显示：沿着本车辆M的前进道路变更方向对在图像604中划分的多个区域各自的外框顺次进行强调显示。HMI控制部120也可以在第一时机使图像606显示，在第二时机使图像606闪烁显示。HMI控制部120也可以在第一时机使图像606显示，在第二时机使图像606以比第一时机显示的颜色更显眼的颜色显示。由此，能够使乘客直观地掌握前进道路变更方向。
HMI控制部120使周边检测信息显示区域600-5上显示的将来轨道图像602在与第二时机同步的时机向与前进道路变更方向对应的方向变化。由此，乘客能够直观地掌握本车辆M的车道变更中的行为的变化开始的情况。
HMI控制部120使HUD460的第四画面IM4-5显示与第四画面IM4-4同样的信息。HMI控制部120使HUD460的第四画面IM4-5上显示的将来轨道图像602在与第二时机同步的时机向与前进道路变更对应的方向变化而进行显示。
如上述那样，在第二程度的驾驶支援时通过自动驾驶控制开始车道变更的情况下，即在本车辆M的前进道路方向变更的情况下，乘客状态监视部140可以根据本车辆M的将来的行进方向，来对作为第一角度范围Δθ1的基准的朝向(方向)和第一角度范围Δθ1中的一方或双方进行变更。
图18是示意性地表示在车道变更开始时作为第一角度范围Δθ1的基准的朝向变更的情形的图。例如，如图所示，在预定向右侧的相邻车道进行车道变更的情况下，如图18所示，在第一显示部450上显示表示本车辆M的前进道路方向的轨道，因此设想乘客停止正面监视而监视前进道路方向目的地的情况。因此，乘客状态监视部140使作为第一角度范围Δθ1的基准的方向V向本车辆M的前进道路方向侧(右手侧)倾斜，由此使第一角度范围Δθ1向设想乘客监视的情况的方向移动。由此，在乘客使视线从正面偏离的情况下，也判定为周边监视正继续进行。乘客状态监视部140也可以通过使第一角度范围Δθ1向本车辆M的前进道路方向侧扩宽，来应对在车道变更时乘客使视线从正面偏离的情况。
<与场景(1)～(3)对应的处理流程>
图19是表示在场景(1)～(3)中由主控制部100执行的处理的流程的一例的流程图。本流程图的处理在手动驾驶时执行。
首先，HMI控制部120判定主开关412是否被操作(步骤S100)。在主开关412未被操作的情况下，HMI控制部120使第一显示部450显示第一画面IM1-1(步骤S102)，并使HUD460显示第二画面IM2-1(步骤S104)。
另一方面，在主开关412被操作了的情况下，HMI控制部120使第一显示部450显示第三画面IM3-1(步骤S106)，并使HUD460显示第四画面IM4-1(步骤S108)。
接着，切换控制部110判定自动开关414是否被操作(步骤S110)。在自动开关414被操作了的情况下，切换控制部110从手动驾驶切换为第一程度，由此使驾驶支援控制部200开始驾驶支援控制(步骤S112)。
接着，HMI控制部120在第三画面IM3-1及第四画面IM4-1上显示表示第一程度的驾驶支援正被执行的情况的图像(步骤S114)。接着，HMI控制部120在第三画面IM3-2上显示用于转变第二程度的驾驶支援的信息(步骤S116)。
接着，操作件状态判定部130判定乘客是否是非手握状态(步骤S118)。在由操作件状态判定部130判定为乘客是手握状态的情况下，切换控制部110返回S112的处理，作为驾驶支援的程度而维持第一程度。
另一方面，在由操作件状态判定部130判定为乘客是非手握状态的情况下，监视判定部140B判定乘客的面部或视线的朝向是否为第一角度范围Δθ1内(步骤S120)。
在由监视判定部140B判定为乘客的面部或视线的朝向不是第一角度范围Δθ1内的情况下，即，在乘客是非注视状态的情况下，切换控制部110返回S112的处理，作为驾驶支援的程度而维持第一程度。
监视判定部140B也可以当图像处理部140A在规定时间以上未检测出乘客的面部、视线的朝向的情况下，判定为乘客是非注视状态。
另一方面，在由监视判定部140B判定为乘客的面部或视线的朝向是第一角度范围Δθ1内的情况下，即，在乘客是注视状态的情况下，切换控制部110将驾驶支援的程度从第一程度切换为第二程度(步骤S122)。
接着，HMI控制部120使第一显示部450的第三画面IM3-3显示表示第二程度的驾驶支援正被执行的情况的图像(步骤S124)。由此，本流程图的处理结束。
接着，对向第二程度的驾驶支援转变之后的场景(4)～(6)进行说明。图20是表示从第二程度的驾驶支援切换为第三程度的驾驶支援且之后从第三程度的驾驶支援切换为第二程度的驾驶支援为止的各种场景的图。在图20的例子中，场景(4)是通过本车辆M追随于拥堵中的周边车辆m而从第二程度的驾驶支援切换为第三程度的驾驶支援的场景。“追随”例如是指使本车辆M与前行车辆的相对距离(车间距离)维持为恒定而进行行驶的形态。
场景(5)是作为第三程度的驾驶支援的一例的低速追随行驶(TJP：Traffic JamPilot)正被执行的场景。低速追随行驶是指以规定速度以下追随于前行车辆的控制形态。规定速度如上述那样，例如是指60[km/h]。低速追随行驶在前行车辆m的速度为规定速度以下且与前行车辆m的车间距离为规定距离(例如，50[m]程度)以内时启动。在低速追随行驶中，通过使在拥挤的道路中追随于前行车辆这样的比较容易的自动驾驶控制继续，从而能够实现对乘客不要求周边监视义务的自动驾驶、或者使对乘客作为义务而要求的周边监视的程度降低了的自动驾驶。“使周边监视的程度降低了”是指如上述那样，通过将第一角度范围Δθ1扩大到第二角度范围Δθ2，使允许作为乘客的面部、视线的朝向的空间增大，从而周边监视义务变得更容易继续的情况。例如，在低速追随行驶中，从控制开始到经过规定时间(例如5秒钟)为止不需要周边监视，由此可以使周边监视义务的程度降低。低速追随行驶也可以将规定速度以下或追随于前行车辆的情况中的任一方作为启动条件。
场景(6)是从第三程度的驾驶支援切换为第二程度的驾驶支援的场景。以下，对与场景(4)～(6)中的各个场景对应的显示控制进行说明
<场景(4)>
在场景(4)中，自动驾驶控制单元300还未来到低速追随行驶而正进行本车辆M的加速控制。在该情况下，HMI控制部120使第一显示部450或HUD460中的一方或双方显示与驾驶支援对应的画面。
图21是表示在本车辆M的加速控制时显示的第三画面IM3-6及第四画面IM4-6的一例的图。在该图所示的场景中，还未满足低速追随行驶的启动条件。HMI控制部120使第三画面IM3-6的周边检测信息显示区域600-6显示表示加速控制正被执行的情况的图像608。图像608是表示本车辆M的加速的图形。图像608显示于表示本车辆M的图像的前方。在该情况下，HMI控制部120可以在本车辆M加速之前的第一时机以赋予了图像608的外框的第一显示形态显示，在本车辆M加速之前的第二时机以将图像的外框之中着色的第二显示形态显示。HMI控制部120在加速时可以使图像608朝向本车辆的行进方向移动那样的动画显示。与此相反，HMI控制部120在减速时可以使图像608朝向本车辆移动那样的动画显示。由此，乘客能够直观地掌握本车辆M的加速控制正被执行的情况。
<场景(5)>
在场景(5)中，切换控制部110将驾驶支援的程度从第二程度切换为第三程度，而且通过自动驾驶控制单元300正执行低速追随行驶。在该情况下，HMI控制部120使第一显示部450及HUD460显示与第三程度的驾驶支援(低速追随行驶)对应的画面。
图22是表示在低速追随行驶时显示的第三画面IM3-7及第四画面IM4-7的一例的图。HMI控制部120使周边检测信息显示区域600-7显示表示第三程度的驾驶支援正被执行的情况的周边检测图像610A。周边检测图像610是表示通过相机10、雷达装置12、探测器14、物体识别装置16及外界识别部321来进行本车辆M的周围的监视的情况的图像。周边检测图像610例如是从本车辆M的中心朝向外侧使波纹扩展那样的动画(动画片)。
HMI控制部120使第三画面IM3-7的驾驶支援状态显示区域620-7高亮显示例如表示未对乘客要求有周边监视义务的情况的指示“EyesOff”和表示不需要驾驶操作件80的操作的情况的指示“Hands OFF”。HMI控制部120使驾驶支援状态显示区域620-7显示表示通过相机10、雷达装置12、探测器14、物体识别装置16及外界识别部321来进行本车辆M的周围的监视的情况的图像626。
HMI控制部120使HUD460的第四画面IM4-7除了显示与第四画面IM4-6同样的信息以外，还显示表示第三程度的驾驶支援正被执行的情况的图像610。
在第三程度的驾驶支援进行的情况下，不对乘客要求周边监视义务，因此乘客在自动驾驶中能够新增使用在第三显示部470等的第一角度范围Δθ1外设置的设备。因此，HMI控制部120进行用于将因驾驶支援的程度变大而成为能够新增使用的设备向乘客通知的控制。
例如，HMI控制部120在由切换控制部110将驾驶支援的程度从第二程度切换为第三程度的情况下，使在第三显示部470上设置的发光部462以规定的波长的光发光，从而将第三显示部470成为能够新增使用的情况向乘客通知。由此，乘客能够利用第三显示部470来欣赏电视电话、电视节目等的内容。
在为了进行显示于第三显示部470的内容的选择等而需要操作第三操作部440的情况下，HMI控制部120使在第三操作部440上设置的发光部446以规定的波长的光发光。例如，HMI控制部120使发光部462及发光部446以同一颜色发光。由此，乘客能够直观地掌握能够使用的设备和该设备的操作部。
例如，HMI控制部120在第三显示部470能够使用的状态下第三操作部440被操作了时，将与操作内容对应的画面显示于第三显示部470。HMI控制部120在第三显示部470能够使用的状态下且第二操作部420的操作开关422被操作了时，在第三显示部470显示进行通话的对方的图像。由此，乘客能够一边观察在第三显示部470上显示的对方一边享受通话。
<场景(6)>
在场景(6)中，由于不存在低速追随的对象的前行车辆，因此切换控制部110将驾驶支援的程度从第三程度切换为第二程度。在该情况下，如图23所示，HMI控制部120基于驾驶支援的程度的变化，使第一显示部450或HUD460中的一方或双方将提示对乘客要求的乘客的监视对象或操作对象的信息作为图像显示。
图23是表示为了使乘客进行周边监视而显示的第三画面IM3-8、第四画面IM4-8的一例的图。HMI控制部120使周边检测信息显示区域600-8显示低速追随行驶(图中为“拥堵追随自动驾驶”)结束的意旨的信息和表示使乘客确认周边的交通状况的意旨的信息。
HMI控制部120使第四画面IM4-8显示要求乘客注视本车辆M的前方的前方注视要求图像650。前方注视要求图像650是包括表示车辆M的前方的规定的区域的椭圆状的区域。前方注视要求图像650也可以是圆状或矩形形状等规定的形状，还可以是催促乘客注意的标记、记号文字等的信息。HMI控制部120使前方注视要求图像650以规定的波长的光点亮或闪烁。HMI控制部120也可以使装入于仪表板的LED发光并通过前风窗玻璃反射LED的发光，来对乘客催促向前方注视。
当由切换控制部110将驾驶支援的程度从第三程度切换为第二程度时，HMI控制部120使第一显示部450及HUD460显示与第二程度的驾驶支援对应的画面。
图24是表示从第三程度的驾驶支援切换为第二程度的驾驶支援的情况下的第三画面IM3-9、第四画面IM4-9的一例的图。在图24的例子中，示出通过第二程度的驾驶支援加速到由行动计划生成部323决定的目标速度(例如80[km/h])的例子。例如，HMI控制部120使第三画面IM3-9的周边检测信息显示区域600H显示表示加速控制正被执行的情况的图像608。
HMI控制部120使第三画面IM3-9的驾驶支援状态显示区域620-9高亮显示与第二程度的驾驶支援对应的“Hands OFF”的指示。HMI控制部120使驾驶支援状态显示区域620-9显示表示与第二程度的驾驶支援对应的乘客的操作内容的要求动作通知图像622。由此，乘客能够直观地掌握从第三程度切换为第二程度的驾驶支援的情况。
<与场景(4)～(6)对应的处理流程>
图25是表示在场景(4)～(6)中由主控制部100执行的处理的流程的一例的流程图。本流程图的处理在驾驶支援的程度被切换为第二程度时执行。
首先，乘客状态监视部140判定未要求有周边监视义务的乘客的清醒度是否为阈值以上(步骤S200)。在判定为乘客的清醒度是阈值以上的情况下，乘客状态监视部140进一步判定乘客的面部或视线的朝向是否为第二角度范围Δθ2内(步骤S202)。
在由监视判定部140B判定为乘客的面部或视线的朝向是第二角度范围Δθ2内的情况下，即，在乘客是注视状态的情况下，切换控制部110判定是否能够进行低速追随行驶(步骤S204)。
例如，切换控制部110在存在前行车辆的情况、与前行车辆的车间距离为规定距离以下的情况、前行车辆的速度为阈值以下的情况全部满足时，判定为能够进行低速追随行驶，并将驾驶支援的程度设定为第三程度(步骤S206)。
接着，HMI控制部120在第三画面IM3及第四画面IM4上显示表示第三程度的驾驶支援正被执行的情况的图像(步骤S208)。接着，HMI控制部120使与因驾驶支援的程度成为第三程度而变成能够新增使用的设备对应的发光部发光(步骤S210)。
另一方面，在乘客的清醒度不是阈值以上的情况、乘客的面部或视线的朝向不是第二角度范围Δθ2内的情况、或者不能进行低速追随行驶的情况下，HMI控制部120使用HMI400对乘客要求周边监视(步骤S212)。
乘客状态监视部140判定作为周边监视的要求的结果而乘客的面部或视线的朝向是否成为了第一角度范围Δθ1内(步骤S214)。乘客状态监视部140在乘客的面部或视线的朝向不是第一角度范围Δθ1内的情况下，判定是否经过了规定时间(步骤S216)。
在经过规定时间为止乘客的面部或视线的朝向未成为第一角度范围Δθ1内的情况下，切换控制部110使自动驾驶控制单元300进行代替控制(步骤S218)。此时，HMI控制部120在第三画面IM3及第四画面IM4上显示表示代替控制正被执行的情况的图像(步骤S220)。
在经过规定时间为止乘客的面部或视线的朝向成为了第一角度范围Δθ1内的情况下，切换控制部110将驾驶支援的程度从第三程度切换为第二程度(步骤S222)。HMI控制部120接受该情况而在第三画面IM3及第四画面IM4上显示表示第二程度的驾驶支援正被执行的情况的图像(步骤S224)。由此，本流程图的处理结束。
自动驾驶控制单元300在乘客的面部或视线的朝向未成为第一角度范围Δθ1内的情况下，也可以进行第三程度的驾驶支援而不向代替控制转变。在该情况下，自动驾驶控制单元300的行动计划生成部323将继续进行第三程度的驾驶支援时的目标速度决定为基准速度以下的速度(即，80[km/h]或100[km/h]以下的速度)、或当前的本车辆M的速度以下的速度(即，60[km/h]以下的速度)。由此，在乘客不是注视状态的情况下，能够不将本车辆M加速到决定为第三程度的驾驶支援的上限速度的本来的速度，而使本车辆M比较平缓地加速，或者以维持当前的车速的方式行驶。
接着，对场景(7)～(9)进行说明。图26是表示直至从第二程度的驾驶支援切换为通过手动驾驶进行的行驶为止的各种场景的图。在图26的例子中，场景(7)是本车辆M基于行动计划进行用于脱离高速道路的车道变更的场景。场景(8)是本车辆M从自动驾驶切换为手动驾驶的场景。场景(9)是本车辆M通过手动驾驶从高速道路向一般道路移动的场景。以下，对与场景(7)～(9)中的各个场景对应的显示控制进行说明。
<场景(7)>
在场景(7)中，自动驾驶控制单元300执行用于使本车辆M向左侧进行车道变更的驾驶支援。在该情况下，HMI控制部120在第一显示部450或HUD460中的一方或双方上显示与驾驶支援对应的画面。对于车道变更的开始时及执行时的显示例，由于是将图16及图17所示的本车辆M的向右车道的车道变更的内容置换为向左车道的车道变更而进行同样的显示，因此省略在此的具体的说明。
<场景(8)>
在场景(8)中，自动驾驶控制单元300进行用于使本车辆M切换为手动驾驶的控制。在该情况下，HMI控制部120在第一显示部450或HUD460中的一方或双方上显示用于使乘客执行手动驾驶的图像。
图27是表示在向手动驾驶时切换的切换要求时显示的第三画面IM3-10、第四画面IM4-10的一例的图。由于接近高速道路的出口，因此HMI控制部120使第三画面IM3-10的周边检测信息显示区域600-10显示对乘客要求手握(操作转向盘82)的意旨的要求动作通知图像628。作为要求动作通知图像628，HMI控制部120也可以使表示乘客的手的图像接近表示转向盘82的图像那样的动画显示。
HMI控制部120使第三画面IM3-10的驾驶支援状态显示区域620-10高亮显示与第二程度的驾驶支援对应的“Hands OFF”的图像及与第一程度的驾驶支援对应的“Assist”的图像。
在此，操作件状态判定部130判定乘客是否为手握状态。HMI控制部120在即便经过规定时间也未由操作件状态判定部130判定为乘客是手握状态的情况下，使第一显示部450或HUD460中的一方或双方显示例如图28所示那样的阶段性地加强警告而用于使乘客执行手动驾驶的图像。
图28是表示加强了用于使乘客执行手动驾驶的警告的第三画面IM3-11及第四画面IM4-11的一例的图。HMI控制部120例如使第三画面IM3-11的驾驶支援状态显示区域600-11比本车辆M的周边状况的显示更强调地显示提示使乘客监视的监视对象、操作对象的信息。具体而言，HMI控制部120使第三画面IM-11的驾驶支援状态显示区域600-11代替显示表示本车辆M的前方的道路形状的图像、表示本车辆M的图像及表示本车辆M的将来的轨道的图像而重叠显示表示使乘客操作转向盘82的情况的信息。
HMI控制部120使第四画面IM4-11显示示意性地表示转向盘82与乘客的手的位置关系的要求动作通知图像660。作为要求动作通知图像660，HMI控制部120也可以使表示乘客的手的图像接近并操作表示转向盘82的图像那样的动画显示。HMI控制部120为了使乘客操作转向盘82，也可以通过声音等进行警告。
HMI控制部120为了使乘客操作转向盘82，使在转向盘82上设置的发光部430R、430L发光、或闪烁、或使发光停止。由此，能够使乘客容易识别伴随驾驶支援的程度的变化而对乘客要求的内容。
HMI控制部120例如在根据本车辆M的驾驶支援的程度而使发光部430R、430L正发光、闪烁的状态下对乘客要求手握时，使发光部430R、430L的发光状态与当前的发光状态不同。例如，HMI控制部120相对于当前的发光状态使发光部430R、430L的发光、闪烁、发光颜色及发光亮度中的至少一个不同。
HMI控制部120在驾驶支援的程度向比当前的驾驶支援的程度低的程度变化的情况下，使发光部430R、430L发光、闪烁或使发光停止。由此，能够向乘客传达是操作转向盘82的必要性高的驾驶支援。
HMI控制部120在对乘客要求手握之后，在经过规定时间为止未由操作件状态判定部130判定为是手握状态的情况下，也可以阶段性地加强警告而使扬声器输出声音。HMI控制部120也可以使让乘客就坐的座椅或座椅安全带振动的致动器工作，来使座椅或座椅安全带以阶段性的强度振动来对乘客进行警告。
在从进行图28所示的显示起经过规定时间为止未由操作件状态判定部130判定为是手握状态的情况下，如图29所示，HMI控制部120显示结束驾驶支援(自动驾驶控制)的意旨的画面。
图29是表示显示结束自动驾驶的意旨的信息的第三画面IM3-12及第四画面IM4-12的一例的图。HMI控制部120使第三画面IM-12的驾驶支援状态显示区域600-12与表示本车辆M的前方的道路形状的图像、表示本车辆M的图像及表示本车辆M的将来的轨道的图像重叠地显示为了结束自动驾驶而催促驾驶操作的替换的信息。
在第四画面IM4-12上显示有示意性地表示第四画面转向盘82与乘客的手的位置关系的要求动作通知图像660。HMI控制部120为了使乘客操作转向盘82，也可以通过与图29所示的第三画面IM3-11及第四画面IM4-12的显示相比更加强的声音等进行警告。
HMI控制部120例如也可以在第一显示部450上显示第三画面IM3-12且在HUD460上显示第四画面IM4-12的时机使让座椅、座椅安全带振动的致动器工作，由此使座椅或座椅安全带中的至少一方振动。在该情况下，HMI控制部120也可以以成为比使第三画面IM3-11及第四画面IM4-11显示时的振动更强的振动的方式使致动器工作。由此，乘客能够直观地掌握自动驾驶结束的情况。
在从进行图29所示的显示起经过规定时间为止未由操作件状态判定部130判定为是手握状态的情况下，主控制部100使自动驾驶控制单元300执行代替控制。在该情况下，如图30所示，HMI控制部120使表示用于执行代替控制的执行自动驾驶的意旨的画面显示。
图30是表示代替控制时的第三画面IM3-13及第四画面IM4-13的一例的图。在第三画面IM-12的驾驶支援状态显示区域600-13上显示有作为代替控制而使本车辆M停车的意旨的信息(在图中，为“紧急停止，请替换驾驶操作”)。
<场景(9)>
在场景(9)中，为如下场景：乘客接受操作转向盘82意旨的指示，操作转向盘82直至驾驶支援结束，并开始手动驾驶而从高速道路向一般道路进入。切换控制部110将本车辆M的行驶状态切换为通过乘客的手动驾驶进行的状态。HMI控制部120以在第一显示部450上显示第一画面IM1-1且在HUD460上显示第二画面IM2-1的方式进行控制。
<与场景(7)～(9)对应的处理流程>
图31是表示在场景(7)～(9)中由HMI控制部120执行的处理的流程的一例的流程图。
首先，HMI控制部120判定驾驶支援是否已结束(步骤S300)。例如，在自动开关414被操作而切换控制部110从驾驶支援切换为手动驾驶的情况下，HMI控制部120判定为驾驶支援已结束。
HMI控制部120在判定为驾驶支援已结束的情况下，显示要求使乘客手握(操作转向盘82)的画面(步骤S302)。接着，操作件状态判定部130判定在第一规定时间以内乘客是否已成为手握状态(步骤S304)。
在由操作件状态判定部130判定为在第一规定时间以内乘客已成为手握状态的情况下，HMI控制部120使第一显示部450显示第一画面IM1(步骤S306)，并使HUD460显示第二画面IM2(步骤S308)。
另一方面，在步骤S304的处理中，在未由操作件状态判定部130判定为在第一规定时间以内乘客已成为手握状态的情况下，HMI控制部120在第一显示部450上显示表示驾驶支援结束的情况的图像(步骤S310)。
接着，操作件状态判定部130判定在第二规定时间以内乘客是否已成为手握状态(步骤S312)。
在由操作件状态判定部130判定为在第二规定时间以内乘客已成为手握状态的情况下，HMI控制部120使处理移向上述的步骤S306。
另一方面，在未由操作件状态判定部130判定为在第二规定时间以内乘客已成为手握状态的情况下，HMI控制部120在第一显示部450上显示执行代替控制的意旨的图像(步骤S314)。由此，本流程图的处理结束。
<与驾驶支援相关联的各种设备或控制的切换时机>
以下，使用附图来说明与本车辆M的驾驶支援相关联的各种设备或控制的切换时机。图32是用于说明与驾驶支援相关联的各种设备或控制的切换时机的图。
在图32中，作为与驾驶支援相关联的切换，示出(A)主开关412的接通/断开、(B)自动开关414的接通/断开、(C)手动驾驶模式显示的开启/关闭、(D)驾驶支援模式显示的开启/关闭、(E)第一程度的驾驶支援的开启/关闭、(F)正把持/未把持转向盘82、(G)第二程度的驾驶支援的开启/关闭、(H)第三程度的驾驶支援的开启/关闭、(I)乘客的驾驶监视的需要/不需要相对于时刻的经过的切换时机。
在时刻T0，通过乘客的手动驾驶而使本车辆M行驶。在该情况下，主开关412及自动开关414未被操作，在第一显示部450及HUD460上显示手动驾驶下的画面(第一画面IM1、第二画面IM2)。在时刻T0，任一种程度的驾驶支援都未实施，因此乘客必然把持转向盘8并进行周边监视。
在时刻T1，由乘客执行使主开关412成为接通的操作。在该情况下，在第一显示部450及HUD460上显示驾驶支援模式下的画面(第三画面IM3、第四画面IM4)。在时刻T1～T2，未进行通过驾驶支援进行的行驶控制，继续进行手动驾驶。
在时刻T2，由乘客执行使自动开关414成为接通的操作。在该情况下，主控制部100的切换控制部110将驾驶支援的程度切换为第一程度。由此，驾驶支援控制部200执行第一程度的驾驶支援。HMI控制部120在驾驶支援模式显示中，显示表示通过乘客使手从转向盘82离开来执行第二程度的驾驶支援的情况的图像。
在时刻T3，在本车辆M能够进行第二程度的驾驶支援的状态下乘客使手从转向盘82离开。在该情况下，切换控制部110将驾驶支援的程度从第一程度切换为第二程度。驾驶支援控制部200接受该情况而停止驾驶支援控制，自动驾驶控制单元300新开始第二程度的驾驶支援(即，自动驾驶控制)。
在时刻T4，例如，低速追随行驶的开始条件成立，切换控制部110将驾驶支援的程度切换为第三程度。由此，自动驾驶控制单元300作为第三程度的驾驶支援而开始低速追随行驶。与此相伴，乘客的周边监视不再需要。
在时刻T5，第三程度的驾驶支援结束，切换为第二程度的驾驶支援。因此，对乘客要求周边监视义务。在时刻T5，进行用于从第二程度的驾驶支援切换为手动驾驶的显示。在该情况下，HMI控制部120在驾驶支援模式显示中，显示用于使乘客操作转向盘82的信息。
在时刻T6，乘客操作转向盘82而成为手握状态。在该情况下，切换控制部110将驾驶支援的程度从第二程度切换为第一程度。由此，自动驾驶控制单元300停止第二程度的驾驶支援，驾驶支援控制部200开始第一程度的驾驶支援。此时，切换控制部110也可以在第一程度的驾驶支援经过规定时间之后切换为手动驾驶。
在时刻T7，本车辆M切换为手动驾驶。在该情况下，主开关412及自动开关414例如在本车辆M切换为手动驾驶的时机切换为断开状态。
根据以上说明的实施方式，具备：操作件状态判定部130，其检测驾驶操作件80由乘客操作的情况；图像处理部140A，其通过对车室内相机90的拍摄图像进行解析来检测乘客的面部或视线的朝向；自动驾驶控制单元300，其执行自动驾驶；以及切换控制部110，其将使自动驾驶控制单元300执行的驾驶支援切换为包括对乘客要求规定的任务的第二程度的驾驶支援、对乘客要求的任务的程度比第二程度的驾驶支援低的第三程度的驾驶支援在内的多个驾驶支援中的任一个，其中，切换控制部110将未检测出驾驶操作件80被操作且乘客的面部或视线的朝向为第一角度范围Δθ1内的情况作为用于执行第二程度的驾驶支援的条件，并将未检测出驾驶操作件80被操作且乘客的面部或视线的朝向为第二角度范围Δθ2内的情况作为用于执行第三程度的驾驶支援的条件，由此能够在比自动驾驶控制的难易度更高的驾驶支援中增大对乘客要求的任务的程度，且在自动驾驶控制的难易度比较低的驾驶支援中减小对乘客要求的任务的程度。其结果是，每次都能够使乘客识别在系统侧逐次变动的自动驾驶的实施条件。
根据上述的实施方式，在乘客的清醒度为阈值以上时从第三程度的驾驶支援切换为第二程度的驾驶支援，因此能够抑制在乘客未清醒的状况下切换为任务进一步增加的自动驾驶模式的情况。
根据上述的实施方式，在切换为第二程度的驾驶支援的情况下，根据本车辆M的将来的行进方向来变更作为第一角度范围Δθ1的基准的朝向和第一角度范围Δθ1中的一方或双方，因此即便乘客使视线朝向本车辆的将来的行进方向侧的情况下也继续进行周边监视，能够使通过第二程度的驾驶支援进行的自动驾驶控制继续。
上述说明的实施方式可以通过以下方式表现。
一种车辆控制系统，其构成为，具备：
第一检测部，其检测驾驶操作件由乘客操作的情况；
第二检测部，其检测所述乘客的面部或视线的朝向；
存储器，其存储程序；以及
处理器，
所述处理器通过执行所述程序，将执行的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式，
用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件中包括未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为以某朝向为基准的第一角度范围内的情况，
用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件中包括未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为比所述第一角度范围宽的第二角度范围内的情况。
以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及置换。

Claims (12)

1.一种车辆控制系统，其特征在于，
所述车辆控制系统具备：
第一检测部，其检测驾驶操作件由乘客操作的情况；
第二检测部，其检测所述乘客的面部或视线的朝向；
自动驾驶控制部，其执行自动驾驶；以及
切换控制部，其将所述自动驾驶控制部执行的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式，
所述切换控制部将未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件，
所述切换控制部将未由所述第一检测部检测出所述驾驶操作件被操作且由所述第二检测部检测出的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
2.根据权利要求1所述的车辆控制系统，其中，
所述第一自动驾驶模式是对所述乘客要求有周边监视义务的驾驶模式，
所述第二自动驾驶模式是对所述乘客不要求有周边监视义务的驾驶模式。
3.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统还具备对表示所述乘客的清醒的程度的清醒度进行检测的第三检测部，
所述切换控制部还将由所述第三检测部检测出的清醒度为阈值以上的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
4.根据权利要求1所述的车辆控制系统，其中，
在所述第二自动驾驶模式下所述本车辆能够行驶的最大速度比在所述第一自动驾驶模式下所述本车辆能够行驶的最大速度小。
5.根据权利要求1所述的车辆控制系统，其中，
所述切换控制部还将所述本车辆正在规定的地带行驶的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
6.根据权利要求5所述的车辆控制系统，其中，
所述规定的地带是通过参照地图信息而能够识别所述本车辆的行驶车道的地带。
7.根据权利要求1所述的车辆控制系统，其中，
所述切换控制部还将在所述本车辆行驶的本车道中的所述本车辆的前方存在其他车辆的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
8.根据权利要求7所述的车辆控制系统，其中，
所述切换控制部将存在于所述本车辆的前方的其他车辆的速度小于阈值的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
9.根据权利要求1所述的车辆控制系统，其中，
所述车辆控制系统还具备：
第一显示部，其设置于所述乘客就坐的座椅的前方；以及
第二显示部，其在车宽方向上设置于与所述第一显示部的设置位置不同的位置，
在多个所述自动驾驶模式为所述第一自动驾驶模式或所述第二自动驾驶模式的情况下，所述第一显示部显示与驾驶相关的注意提醒信息，
所述第一显示部设置在以就坐于所述座椅的乘客朝向正面时的面部或视线的朝向为基准的所述第一角度范围内，
所述第二显示部设置在以就坐于所述座椅的乘客朝向正面时的面部或视线的朝向为基准的所述第一角度范围及所述第二角度范围这双方的范围内。
10.根据权利要求1所述的车辆控制系统，其中，
所述切换控制部在将所述第一自动驾驶模式切换为所述自动驾驶控制部执行的自动驾驶模式的情况下，根据所述本车辆的将来的行进方向对作为所述第一角度范围的基准的朝向和所述第一角度范围中的一方或双方进行变更。
11.一种车辆控制方法，其特征在于，
所述车辆控制方法使车载计算机进行如下处理：
检测驾驶操作件由乘客操作的情况；
检测所述乘客的面部或视线的朝向；
执行自动驾驶；
将用于执行所述自动驾驶的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式；
将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件；以及
将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
12.一种存储介质，其特征在于，
所述存储介质存储有车辆控制程序，该车辆控制程序使车载计算机进行如下处理：
检测驾驶操作件由乘客操作的情况；
检测所述乘客的面部或视线的朝向；
执行自动驾驶；
将用于执行所述自动驾驶的自动驾驶模式切换为包括对所述乘客要求规定的任务或规定的自动化率的第一自动驾驶模式、及对所述乘客要求的任务的程度比所述第一自动驾驶模式低或者所述自动化率比所述第一自动驾驶模式低的第二自动驾驶模式在内的多个自动驾驶模式中的任一个模式；
将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为以某朝向为基准的第一角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第一自动驾驶模式的条件；以及
将未检测出所述驾驶操作件被操作且所述乘客的面部或视线的朝向为比所述第一角度范围宽的第二角度范围内的情况作为用于执行多个所述自动驾驶模式中的所述第二自动驾驶模式的条件。
CN201810535931.XA 2017-06-02 2018-05-29 车辆控制系统、车辆控制方法及存储介质 Active CN109032124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-110186 2017-06-02
JP2017110186A JP6795457B2 (ja) 2017-06-02 2017-06-02 車両制御システム、車両制御方法、および車両制御プログラム

Publications (2)

Publication Number Publication Date
CN109032124A true CN109032124A (zh) 2018-12-18
CN109032124B CN109032124B (zh) 2021-11-16

Family

ID=64458735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810535931.XA Active CN109032124B (zh) 2017-06-02 2018-05-29 车辆控制系统、车辆控制方法及存储介质

Country Status (3)

Country Link
US (1) US11194326B2 (zh)
JP (1) JP6795457B2 (zh)
CN (1) CN109032124B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598938A (zh) * 2018-12-23 2019-04-09 合肥工业大学 基于无人机城市交通诱导系统及城市综合智能交通系统
CN111752266A (zh) * 2019-03-28 2020-10-09 本田技研工业株式会社 车辆控制装置、车辆控制方法、及存储介质
CN111762113A (zh) * 2019-03-28 2020-10-13 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN113226879A (zh) * 2019-03-26 2021-08-06 日立建机株式会社 作业车辆
CN113479216A (zh) * 2020-03-16 2021-10-08 本田技研工业株式会社 控制装置、系统、计算机可读存储介质以及控制方法
CN113631470A (zh) * 2019-03-29 2021-11-09 本田技研工业株式会社 跨骑型车辆的驾驶支援装置
CN113631448A (zh) * 2019-03-29 2021-11-09 日产自动车株式会社 车辆控制方法及车辆控制装置
CN114103976A (zh) * 2020-08-31 2022-03-01 丰田自动车株式会社 车辆用显示控制装置、系统、控制方法及记录介质
CN115617035A (zh) * 2022-09-06 2023-01-17 上海擎朗智能科技有限公司 移动机器人的控制方法、控制装置及计算机可读介质

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
JP6643297B2 (ja) * 2017-11-16 2020-02-12 株式会社Ｓｕｂａｒｕ 運転支援装置
JP2019104315A (ja) * 2017-12-11 2019-06-27 トヨタ紡織株式会社 乗物のモニター装置
JP6970215B2 (ja) * 2018-01-19 2021-11-24 本田技研工業株式会社 車両制御装置、それを有する車両、および制御方法
EP3552913B1 (en) 2018-04-11 2021-08-18 Hyundai Motor Company Apparatus and method for controlling to enable autonomous system in vehicle
US11351989B2 (en) 2018-04-11 2022-06-07 Hyundai Motor Company Vehicle driving controller, system including the same, and method thereof
EP3569460B1 (en) 2018-04-11 2024-03-20 Hyundai Motor Company Apparatus and method for controlling driving in vehicle
US10843710B2 (en) 2018-04-11 2020-11-24 Hyundai Motor Company Apparatus and method for providing notification of control authority transition in vehicle
US11597403B2 (en) 2018-04-11 2023-03-07 Hyundai Motor Company Apparatus for displaying driving state of vehicle, system including the same and method thereof
US11173910B2 (en) 2018-04-11 2021-11-16 Hyundai Motor Company Lane change controller for vehicle system including the same, and method thereof
EP3552902A1 (en) 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for providing a driving path to a vehicle
US11334067B2 (en) 2018-04-11 2022-05-17 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11084490B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for controlling drive of vehicle
EP3552901A3 (en) 2018-04-11 2020-04-29 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11084491B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11548509B2 (en) * 2018-04-11 2023-01-10 Hyundai Motor Company Apparatus and method for controlling lane change in vehicle
US11077854B2 (en) 2018-04-11 2021-08-03 Hyundai Motor Company Apparatus for controlling lane change of vehicle, system having the same and method thereof
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
US11937538B2 (en) * 2018-06-21 2024-03-26 Kubota Corporation Work vehicle and grass mowing machine
JP7095468B2 (ja) * 2018-08-02 2022-07-05 トヨタ自動車株式会社 車両用表示制御装置、車両用表示制御方法及び車両用表示制御プログラム
JP7037454B2 (ja) * 2018-08-24 2022-03-16 株式会社Subaru 車両の走行制御システム
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
JP7206750B2 (ja) * 2018-09-26 2023-01-18 日本電気株式会社 運転支援装置
JP7275615B2 (ja) * 2019-02-06 2023-05-18 株式会社デンソー 自動運転状況のドライバ通知装置
JP7288326B2 (ja) * 2019-03-27 2023-06-07 株式会社Subaru 自動運転システム
JP7298255B2 (ja) * 2019-04-10 2023-06-27 トヨタ自動車株式会社 車両制御システム
JP7188271B2 (ja) * 2019-05-08 2022-12-13 株式会社デンソー 表示制御装置及び表示制御プログラム
JP7196766B2 (ja) * 2019-05-28 2022-12-27 トヨタ自動車株式会社 運転支援システム
KR20190107290A (ko) * 2019-08-31 2019-09-19 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
CN114730528A (zh) * 2019-11-27 2022-07-08 株式会社电装 Hmi控制装置、hmi控制方法、hmi控制程序以及驾驶控制装置
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
JP7484689B2 (ja) 2020-05-22 2024-05-16 株式会社デンソー 制御システム、制御装置および制御プログラム
KR102440255B1 (ko) * 2020-08-14 2022-09-07 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법
JP7512934B2 (ja) 2021-03-25 2024-07-09 トヨタ自動車株式会社 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
US20220324458A1 (en) * 2021-04-13 2022-10-13 Ford Global Technologies, Llc Systems and methods for enhancing in-cabin sleep experience in vehicle
CN113060150A (zh) * 2021-04-29 2021-07-02 陈潇潇 自动驾驶的驾控信息的信号提示方法
CN113335300A (zh) * 2021-07-19 2021-09-03 中国第一汽车股份有限公司 一种人车接管交互的方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383595A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 基于用户人脸的分析控制移动终端的装置和方法
US20140058611A1 (en) * 2011-04-28 2014-02-27 Positec Power Tools (Suzhou) Co., Ltd. Autonomous working system, an autonomous vehicle and a turning method thereof
CN104837705A (zh) * 2012-11-30 2015-08-12 谷歌公司 启用和停用自动驾驶
US9124955B2 (en) * 2011-09-19 2015-09-01 Card Guard Scientific Survival Ltd. Vehicle driver monitor and a method for monitoring a driver
CN105700533A (zh) * 2016-04-22 2016-06-22 扬州大学 基于北斗导航的农业机械自动驾驶控制系统及方法
CN106104203A (zh) * 2015-07-13 2016-11-09 深圳市大疆创新科技有限公司 一种移动物体的距离检测方法、装置及飞行器
US9528850B1 (en) * 2012-09-28 2016-12-27 Google Inc. Suggesting a route based on desired amount of driver interaction
US20170066436A1 (en) * 2015-09-03 2017-03-09 Toyota Jidosha Kabushiki Kaisha Vehicle control system
US20170110022A1 (en) * 2015-10-14 2017-04-20 Toyota Motor Engineering & Manufacturing North America, Inc. Assessing driver readiness for transition between operational modes of an autonomous vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0703525B1 (en) * 1994-09-22 2001-12-05 Aisin Aw Co., Ltd. Touch display type information input system
US8260482B1 (en) 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
FR2984254B1 (fr) * 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
EP2848488B2 (en) * 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
CN106663377B (zh) * 2014-06-23 2019-04-09 株式会社电装 驾驶员的驾驶不能状态检测装置
JP6524501B2 (ja) * 2015-06-11 2019-06-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP6550609B2 (ja) * 2015-10-06 2019-07-31 パナソニックＩｐマネジメント株式会社 表示制御装置、投影装置、および表示制御プログラム
US10717437B2 (en) * 2015-10-06 2020-07-21 Hitachi, Ltd. Automatic drive control device and automatic drive control method
JP6188175B2 (ja) * 2016-12-08 2017-08-30 みこらった株式会社 自動運転車及び自動運転車用プログラム
JP6575774B2 (ja) * 2017-03-07 2019-09-18 トヨタ自動車株式会社 衝突回避支援装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140058611A1 (en) * 2011-04-28 2014-02-27 Positec Power Tools (Suzhou) Co., Ltd. Autonomous working system, an autonomous vehicle and a turning method thereof
US9124955B2 (en) * 2011-09-19 2015-09-01 Card Guard Scientific Survival Ltd. Vehicle driver monitor and a method for monitoring a driver
CN103383595A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 基于用户人脸的分析控制移动终端的装置和方法
US9528850B1 (en) * 2012-09-28 2016-12-27 Google Inc. Suggesting a route based on desired amount of driver interaction
CN104837705A (zh) * 2012-11-30 2015-08-12 谷歌公司 启用和停用自动驾驶
CN106104203A (zh) * 2015-07-13 2016-11-09 深圳市大疆创新科技有限公司 一种移动物体的距离检测方法、装置及飞行器
US20170066436A1 (en) * 2015-09-03 2017-03-09 Toyota Jidosha Kabushiki Kaisha Vehicle control system
US20170110022A1 (en) * 2015-10-14 2017-04-20 Toyota Motor Engineering & Manufacturing North America, Inc. Assessing driver readiness for transition between operational modes of an autonomous vehicle
CN105700533A (zh) * 2016-04-22 2016-06-22 扬州大学 基于北斗导航的农业机械自动驾驶控制系统及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598938B (zh) * 2018-12-23 2021-01-01 合肥工业大学 基于无人机城市交通诱导系统及城市综合智能交通系统
CN109598938A (zh) * 2018-12-23 2019-04-09 合肥工业大学 基于无人机城市交通诱导系统及城市综合智能交通系统
CN113226879A (zh) * 2019-03-26 2021-08-06 日立建机株式会社 作业车辆
CN111762113B (zh) * 2019-03-28 2024-04-02 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN111752266A (zh) * 2019-03-28 2020-10-09 本田技研工业株式会社 车辆控制装置、车辆控制方法、及存储介质
CN111762113A (zh) * 2019-03-28 2020-10-13 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN111752266B (zh) * 2019-03-28 2024-06-11 本田技研工业株式会社 车辆控制装置、车辆控制方法、及存储介质
CN113631470A (zh) * 2019-03-29 2021-11-09 本田技研工业株式会社 跨骑型车辆的驾驶支援装置
CN113631448A (zh) * 2019-03-29 2021-11-09 日产自动车株式会社 车辆控制方法及车辆控制装置
US11981323B2 (en) 2019-03-29 2024-05-14 Honda Motor Co., Ltd. Drive assistance device for saddle type vehicle
CN113479216B (zh) * 2020-03-16 2024-03-29 本田技研工业株式会社 控制装置、系统、计算机可读存储介质以及控制方法
CN113479216A (zh) * 2020-03-16 2021-10-08 本田技研工业株式会社 控制装置、系统、计算机可读存储介质以及控制方法
CN114103976A (zh) * 2020-08-31 2022-03-01 丰田自动车株式会社 车辆用显示控制装置、系统、控制方法及记录介质
CN115617035A (zh) * 2022-09-06 2023-01-17 上海擎朗智能科技有限公司 移动机器人的控制方法、控制装置及计算机可读介质

Also Published As

Publication number Publication date
US20180348758A1 (en) 2018-12-06
US11194326B2 (en) 2021-12-07
CN109032124B (zh) 2021-11-16
JP6795457B2 (ja) 2020-12-02
JP2018203007A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
CN109032124A (zh) 车辆控制系统、车辆控制方法及存储介质
CN109116839A (zh) 车辆控制系统、车辆控制方法及存储介质
JP6938244B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110678371B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110730740B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110709304B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973857A (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973993A (zh) 车辆控制系统、车辆控制方法及存储介质
CN110709271B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110709272B (zh) 车辆控制系统、车辆控制方法及存储介质
CN108973988B (zh) 车辆控制系统、车辆控制方法及存储介质
WO2018220834A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108973989B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7043444B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2018203012A (ja) 車両制御システム、車両制御方法、およびプログラム
CN112937568A (zh) 自动驾驶车辆用信息提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant