CN107924629A - 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及自动驾驶车辆 - Google Patents

Abstract

驾驶辅助装置具备显示部、图像输出部、操作信号输入部以及命令输出部。图像输出部向显示部输出包含表示本车的本车项目以及该本车的周边状况的图像。操作信号输入部受理由用户对显示部中显示的图像内的本车项目进行操作的操作信号。命令输出部向进行自动驾驶的控制的自动驾驶控制部输出与所受理的操作信号相应的自动驾驶控制命令。当操作信号输入部受理用户接触显示部中显示的图像内的本车项目的操作信号时，图像输出部将图像信息以能够选择的状态输出到显示部，该图像信息包括在接触到本车项目时本车能够进行自动驾驶的多个操作或本车所能够移动的多个区域。

Description

驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及自动驾驶 车辆

技术领域

本公开涉及一种在自动驾驶中辅助驾驶员对车辆进行的驾驶操作的指示的技术。

背景技术

近年来，正在推进与汽车的自动驾驶有关的开发。关于自动驾驶，NHTSA(NationalHighway Traffic Safety Administration：美国国家高速公路交通安全管理局)于2013年定义的自动化等级被分类为无自动化(等级0)、特定功能的自动化(等级1)、复合功能的自动化(等级2)、半自动驾驶(等级3)以及完全自动驾驶(等级4)。等级1是自动进行加速、减速、转向中的一个操作的驾驶辅助系统，等级2是协调地自动进行加速、减速、转向中的两个以上的操作的驾驶辅助系统。无论在哪种情况下都残留驾驶员对驾驶操作的参与。自动化等级4是自动进行加速、减速、转向的所有操作的完全自动行驶系统，驾驶员不参与驾驶操作。自动化等级3是自动进行加速、减速、转向的所有操作但根据需要由驾驶员进行驾驶操作的准完全自动行驶系统。

作为自动驾驶的一个方式，能够考虑以下方式：驾驶员不对转向器、加速踏板等现有的驾驶操作部进行操作，但是通过向车辆侧发出命令来指示车辆侧进行车道变更、超车、跟随行驶等特定的驾驶操作。在该方式中，寻求一种误操作少的用户接口。

专利文献1：日本特开2015-049221号公报

发明内容

本公开的某个方式的驾驶辅助装置具备显示部、图像输出部、操作信号输入部以及命令输出部。图像输出部向显示部输出包含表示本车的本车项目以及该本车的周边状况的图像。操作信号输入部受理由用户对显示部中显示的图像内的本车项目进行操作的操作信号。命令输出部向进行自动驾驶的控制的自动驾驶控制部输出与所受理的操作信号相应的自动驾驶控制命令。当操作信号输入部受理用户接触显示部中显示的图像内的本车项目的操作信号时，图像输出部将图像信息以能够选择的状态输出到显示部，该图像信息包括在接触到本车项目时本车能够进行自动驾驶的多个操作或本车所能够移动的多个区域。

此外，在装置、系统、方法、程序、记录有程序的记录介质以及搭载有上述这些的自动驾驶车辆等之间变换以上的构成要素的任意的组合、本公开的技术思想所得到的方式也作为本公开的方式而有效。

根据本公开，驾驶员能够直观且简便地指示车辆进行特定的驾驶操作。

附图说明

图1是表示本公开的实施方式所涉及的车辆的结构的框图。

图2是表示图1的检测部、自动驾驶控制器、HMI控制器、显示部以及输入部的基本时序图的一例的图。

图3是表示用于说明图1的HMI控制器的处理的基本流程图的一例的图。

图4是用于说明受理模式的更新处理的流程图。

图5是表示在图3的步骤S9中从驾驶员输入手势操作的情况下的决定处理的一例的流程图。

图6是表示通过手势操作来发出命令的第一处理例的流程图。

图7A是表示图6的流程图所涉及的手势操作的一例的图。

图7B是表示图6的流程图所涉及的手势操作的一例的图。

图8A是表示图6的流程图所涉及的手势操作的其它例子的图。

图8B是表示图6的流程图所涉及的手势操作的其它例子的图。

图9是表示通过手势操作来发出命令的第二处理例的流程图。

图10A是表示图9的流程图所涉及的手势操作的一例的图。

图10B是表示图9的流程图所涉及的手势操作的一例的图。

图10C是表示图9的流程图所涉及的手势操作的一例的图。

图10D是表示图9的流程图所涉及的手势操作的一例的图。

具体实施方式

在说明本公开的实施方式之前，说明以往的结构中的问题点。在以往的驾驶辅助装置中，显示行进道路引导，但驾驶员在确认行进道路并指示车辆进行特定的驾驶操作时，还需要逐一地操作特定的开关或转动转向器或踩踏加速踏板，因此操作变得复杂。另外，在以往的驾驶辅助装置中，由于视线发生移动，因此有可能进行误操作。另外，在按车道变更、超车、跟随行驶等每个特定的驾驶操作设置开关的设计中，开关操作与自动行驶控制之间的对应不是直观的，从很多开关选择指示或减少开关数量来选择与状况相应地发生了变更的功能的作业是复杂的作业。因此，在以往的驾驶辅助装置中存在以下问题：包括在此之前没有驾驶过的人、驾驶能力降低但想要继续驾驶的人等在内的广大用户不经过训练就不能利用自动驾驶车。

本公开是鉴于这样的状况而完成的，其目的在于提供一种驾驶员能够直观且简便地指示车辆进行特定的驾驶操作的技术。

以下，参照附图来说明本发明的实施方式。图1是表示本发明的实施方式所涉及的车辆1的结构的框图，是与自动驾驶相关联的结构。搭载有自动驾驶模式的车辆1(本车)具备驾驶辅助装置(人机接口(HMI)控制器)10、自动驾驶控制装置(自动驾驶控制器)20、显示装置30、检测部40以及驾驶操作部50。

显示装置30包括显示部31和输入部32。显示装置30可以是车载导航系统、智能屏互联系统(Display audio)等的主控单元(headunit)。另外，显示装置30既可以是智能手机、平板电脑等便携式终端设备，也可以是专用的控制台终端装置。

显示部31是液晶显示器、有机EL(Electroluminescence：电致发光)显示器、平视显示器(HUD)。输入部32是受理用户的输入的用户接口。显示部31和输入部32也可以是一体化的触摸面板显示器。此外，一体化的触摸面板显示器也可以如能够在触摸面板或触摸板上探测手的接近或能够通过悬停(hover)操作来探测手指的位置的接近触摸面板那样，受理在与显示部相距规定距离的位置处的手势输入。并且，输入部32也可以具备鼠标、触控笔(stylus pen)、轨迹球(trackball)等辅助手势输入的输入设备。另外，也可以将发出可见光或红外线的笔用作输入设备。

此外，显示部31和输入部32也可以不是一体型的触摸面板显示器，而是物理上分离的。例如，输入部32也可以是具备摄像机等传感器、能够进行空中手势操作输入的非接触型的输入设备。作为非接触型的输入设备的操作方法，例如能够考虑以下操作方法：以用手指着的方式对准对象，用将大拇指与食指靠近并合拢的手势开始进行拖动，用将大拇指与食指分开的手势结束拖动。

驾驶辅助装置10与显示装置30之间可以通过专用线路、CAN(Controller AreaNetwork：控制器局域网络)等有线通信进行连接，也可以通过USB(Universal Serial Bus：通用串行总线)、Ethernet(注册商标)、Wi-Fi(注册商标)、Bluetooth(注册商标)等有线通信或无线通信进行连接。

检测部40包括位置信息获取部41、传感器42、速度信息获取部43以及地图信息获取部44。位置信息获取部41从GPS(Global Positioning System：全球定位系统)接收机获取车辆1的当前位置。传感器42是用于检测车外的状况和车辆1的状态的各种传感器的统称。作为用于检测车外的状况的传感器，例如能够搭载摄像机、毫米波雷达、LIDAR(LightDetectionand Ranging：光探测和测距、Laser Imaging Detection and Ranging：激光成像探测和测距)、气温传感器、气压传感器、湿度传感器、照度传感器等。所谓车外的状况，能够考虑本车所行驶的道路状况、包括天气在内的环境以及本车的周边状况。此外，只要是传感器能够检测的车外的信息即可，可以是任何信息。另外，作为用于检测车辆1的状态的传感器，例如能够搭载加速度传感器、陀螺仪传感器、地磁传感器、倾斜传感器等。速度信息获取部43从车速传感器获取车辆1的当前速度。地图信息获取部44从地图数据库获取车辆1的当前位置周边的地图信息。地图数据库既可以记录于车辆1内的记录介质，也可以在使用时经由网络从地图服务器下载。

检测部40与自动驾驶控制装置20之间通过专用线路、USB、Ethernet(注册商标)、CAN(Controller Area Network)等有线通信进行连接。此外，也可以是能够将由检测部40获取及检测到的数据从检测部40直接输出到驾驶辅助装置10的结构。

驾驶操作部50包括转向器51、制动踏板52、加速踏板53以及转向灯开关54。在本实施方式所涉及的自动驾驶模式中，加速、减速、转向以及转向灯闪烁是由自动驾驶控制装置20进行的自动控制的对象，在图1中描绘了手动进行这些控制时的操作部。此外，也可以向驾驶辅助装置10输出驾驶员以手动方式稍稍对驾驶操作部50进行了操作的信息。

转向器51是是用于使车辆转向的操作部。当由驾驶员旋转转向器51时，经由转向执行器控制车辆的行进方向。能够通过转向器ECU(Electronic Control Unit：电子控制单元)对转向执行器进行电子控制。

制动踏板52是用于使车辆1减速的操作部。当由驾驶员踩踏制动踏板52时，经由制动执行器使车辆减速。能够通过制动器ECU对制动执行器进行电子控制。

加速踏板53是用于使车辆1加速的操作部。当由驾驶员踩踏加速踏板53时，经由加速执行器控制发动机转速或马达转速，或者控制发动机转速和马达转速这两者。在纯粹的发动机车辆中控制发动机转速，在纯粹的电动汽车中控制马达转速，在混合动力车辆中控制发动机转速和马达转速这两者。能够通过发动机ECU或马达ECU来对加速执行器进行电子控制，或者利用发动机ECU和马达ECU这两者来对加速执行器进行电子控制。

转向灯开关54是用于使用于向外部通知车辆的行进道路的转向灯闪烁的操作部。当由驾驶员将转向灯开关54接通或断开时，经由转向灯控制器使转向灯点亮或熄灭。转向灯控制器具备控制向转向灯的供电的继电器等驱动电路。

转向器ECU、制动器ECU、发动机ECU、马达ECU、转向灯控制器各自与自动驾驶控制装置20之间通过CAN、专用线路等有线通信进行连接。转向器ECU、制动器ECU、发动机ECU、马达ECU、转向灯控制器分别向自动驾驶控制装置20发送表示转向器、制动器、发动机、马达、转向灯的状态的状态信号。

在自动驾驶模式中，转向器ECU、制动器ECU、发动机ECU、马达ECU根据从自动驾驶控制装置20提供的控制信号来驱动各执行器。在手动驾驶模式中，既可以是从转向器51、制动踏板52、加速踏板53分别向各执行器直接以机械方式传递指示的结构，也可以是借助经由各ECU进行的电子控制的结构。转向灯控制器根据从自动驾驶控制装置20提供的控制信号或来自转向灯开关54的指示信号来使转向灯点亮或熄灭。

自动驾驶控制装置20是安装有自动驾驶控制功能的自动驾驶控制器，具备控制部21、存储部22以及输入输出部(I/O部)23。控制部21的结构能够通过硬件资源与软件资源的协作来实现或仅通过硬件资源来实现。作为硬件资源，能够利用处理器、ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)以及其它LSI(LargeScaleIntegrated Circuits：大规模集成电路)，作为软件资源，能够利用操作系统、应用程序、固件等程序。存储部22具备快闪存储器等非易失性记录介质。输入输出部23执行与各种通信格式相应的各种通信控制。

控制部21将从检测部40、各种ECU收集到的各种参数值应用于自动驾驶算法，来计算用于控制车辆1的行进方向等自动控制对象的控制值。控制部21将计算出的控制值传递到各控制对象的ECU或控制器。在本实施方式中，传递到转向器ECU、制动器ECU、发动机ECU、转向灯控制器。此外，在电动汽车、混合动力车辆的情况下，代替发动机ECU而向马达ECU传递控制值，或者除了向发动机ECU传递控制值以外还向马达ECU传递控制值。

驾驶辅助装置10是用于执行车辆1与驾驶员之间的接口功能的HMI(HumanMachine Interface：人机接口)控制器，具备判定部11、图像生成部12、指示部13以及输入输出部14。判定部11、图像生成部12以及指示部13能够通过硬件资源与软件资源的协作来实现或仅通过硬件资源来实现。作为硬件资源，能够利用处理器、ROM、RAM以及其它LSI，作为软件资源，能够利用操作系统、应用程序、固件等程序。输入输出部14执行与各种通信格式相应的各种通信控制。输入输出部14包括图像输出部14a、操作信号输入部14b、命令输出部14c以及车辆信息输入部14d。图像输出部14a将图像生成部12生成的图像输出到显示部31。操作信号输入部14b受理由驾驶员、乘客或处于车外的用户对输入部32进行的操作的操作信号，并将该操作信号输出到判定部11。命令输出部14c向自动驾驶控制器20输出由指示部13指示的命令。车辆信息输入部14d受理由检测部40获取到的检测数据、由自动驾驶控制器20生成的车辆侧的信息，并将该检测数据、信息输出到图像生成部12。

自动驾驶控制器20与HMI控制器10之间直接通过信号线进行连接。此外，也可以是经由CAN进行连接的结构。另外，还能够是将自动驾驶控制器20与HMI控制器10整合来设为一个控制器的结构。

图2是表示图1的检测部40、自动驾驶控制器20、HMI控制器10、显示部31以及输入部32的基本时序图的一例的图。检测部40检测本车位置信息、本车行驶道路信息以及本车周边信息，并将这些信息输出到自动驾驶控制器20(P1)。自动驾驶控制器20将从检测部40获取到的本车位置信息、本车行驶道路信息以及本车周边信息输出到HMI控制器10(P2)。HMI控制器10基于从自动驾驶控制器20获取到的信息，来生成包含本车和本车的周边状况的示意图(P3)。HMI控制器10将所生成的示意图输出到显示装置30，使显示部31显示该示意图(P4)。

看到显示部31中显示的示意图的用户接触输入部32(P5)。显示部31将检测到接触的坐标数据输出到HMI控制器10(P6)。HMI控制器10基于从显示装置30获取到的坐标数据来判定命令的类别(P7)。HMI控制器10进行追加输入的受理(P8～P12)，直到经过固定时间为止。HMI控制器10在进行命令的判定之后，重新生成表示正处于命令指示中的示意图(P8)。HMI控制器10将重新生成的示意图输出到显示装置30，使显示部31显示该示意图(P9)。此外，在不存在符合用户接触的手势操作的命令的情况下，生成包含错误消息的示意图后输出到显示装置30，使显示部31显示该示意图。

当看到表示正处于命令指示中的示意图的用户接触输入部32时(P10)，显示部31将检测到接触的坐标数据输出到HMI控制器10(P11)。HMI控制器10基于从显示装置30获取到的坐标数据来执行追加命令处理(P12)。在追加命令处理(P12)中没有输入新的命令的情况下，HMI控制器10向自动驾驶控制器20发出P7中判定出的命令(P13、P14)。在追加命令处理(P12)中输入了新的命令的情况下，向自动驾驶控制器20发出新的命令。在新输入的命令是取消命令的情况下，取消命令发出。也可以由自动驾驶控制器20进行用新的命令覆盖/取消原来的命令的处理。在该情况下，HMI控制器10在P7、P12中的命令判定处理之后向自动驾驶控制器20进行命令的发送，根据自动驾驶控制器20内部的状态来进行覆盖/取消处理。

检测部40定期地检测出本车位置信息、本车行驶道路信息以及本车周边信息后输出到自动驾驶控制器20(P15)。自动驾驶控制器20基于该信息来判定是否能够执行根据从HMI控制器10发出的命令指示的控制(P16)。在能够执行的情况下，自动驾驶控制器20向HMI控制器10输出控制开始通知(P17)。HMI控制器10当接收到控制开始通知时，重新生成包含表示正在控制中的消息的示意图(P18)。HMI控制器10将重新生成的示意图输出到显示装置30，使显示部31显示该示意图(P19)。虽然未图示，但自动驾驶控制器20将从检测部40、各种ECU收集到的各种参数值应用于自动驾驶算法，来计算用于完成所发出的命令的对成为车辆1的行进方向等自动控制对象的驾驶操作部50进行控制的具体的控制值，并将该具体的控制值传递到各控制对象的ECU或控制器。驾驶操作部50基于具体的控制值来进行动作。当规定的控制值或检测部40的检测数据变为规定值(范围)从而自动驾驶控制器20判断为满足了所发出的命令的条件时，驾驶操作部50判断为命令执行完成。

HMI控制器10当从自动驾驶控制器20接收到控制完成通知时，生成包含表示控制已完成的消息的示意图后输出到显示装置30。此外，在不从用户处受理操作的期间内，生成包含表示不受理操作的消息的示意图后输出到显示装置30。

图3是表示用于说明图1的HMI控制器10的处理的基本流程图的一例的图。HMI控制器10的判定部11检查驾驶模式是自动驾驶模式还是手动驾驶模式(S1)。在是手动驾驶模式的情况下(S2的“否”)，结束处理。在是自动驾驶模式的情况下(S2的“是”)，如以下那样进行处理。

从检测部40向自动驾驶控制器20输入的传感器信息被随时更新(S3)。HMI控制器10的图像生成部12基于从自动驾驶控制器20输入的本车位置信息、本车行驶道路信息以及本车周边信息，来生成包含本车和本车的周边状况的示意图，并在显示部31中绘制所生成的示意图(S4)。判定部11检查受理模式是能够受理来自用户的操作的可受理模式还是不能受理来自用户的操作的不可受理模式(S5)。在是不可受理模式的情况下(S6的“否”)，结束处理。在是可受理模式的情况下(S6的“是”)，判定部11判定是否存在用户对输入部32的接触(S7)。在不存在接触的情况下(S8的“否”)，执行后述的固定时间经过判定处理(S12)。在存在接触的情况下(S8的“是”)，判定部11根据用户的手势操作输入来决定控制命令(S9)。在后面叙述该决定处理的详细内容。

在步骤S9中决定的控制命令不是取消命令的情况下(S10的“否”)，图像生成部12在显示部31中显示命令指示中(S11)。当从决定了控制命令起经过了固定时间时(S12的“是”)，在存在步骤S9中决定的控制命令的情况下(S13的“是”)，在显示部31中显示操作不可受理(S14)，判定部11将受理模式从可受理模式更新为不可受理模式(S15)，指示部13将所决定的控制命令输出到自动驾驶控制器20(S16)。转移至步骤S3，直到经过固定时间为止(S12的“否”)。

在步骤S10中所决定的控制命令是取消命令的情况下(S10的“是”)，显示取消(S110)，结束处理。在步骤S13中不存在步骤S9中决定的控制命令的情况下，显示输入错误(S111)，结束处理。自动驾驶控制器20定期地从检测部40检测本车位置信息、本车行驶道路信息以及本车周边信息。由于周边状况时时刻刻发生变化，因此存在以下情况：在控制命令被输出到自动驾驶控制器20之后，判断为不能执行控制命令。例如，在跟随指示之后在本车与其它车之间插入了另外的车的情况等。在由自动驾驶控制器20判断为能够执行控制命令的情况下(S17的“是”)，图像生成部12在显示部31中显示正处于控制中(S18)，启动计时器来开始进行计数(S19)。在由自动驾驶控制器20判断为不能控制的情况下(S17的“否”)，图像生成部12在显示部31中显示不能控制错误(S112)。

图4是用于说明受理模式的更新处理的流程图。当计时器的计数值达到设定值(例如10秒)时(S113的“是”)，HMI控制器10的判定部11将受理模式从不可受理模式更新为可受理模式(S114)。此外，也可以根据本车的周边状况来变更计时器的计数值。此外，也可以是，判定部11在从自动驾驶控制器20接收到表示控制完成的通知或根据车辆1的行为判断为与控制命令相应的控制已完成时，将受理模式从不可受理模式更新为可受理模式。

图5是表示在图3的步骤S9中从驾驶员输入手势操作的情况下的决定处理的一例的流程图。HMI控制器10的判定部11判定在接触开始位置是否存在本车标记(S9a)。在不存在本车标记的情况下(S9a的“否”)，判定部11判定为与以本车标记为起点的手势操作有关的控制命令以外的控制命令(S9b)。在存在本车标记的情况下(S9a的“是”)，判定部11基于接触到本车标记的时间点的传感器信息，基于从自动驾驶控制器20输入的本车位置信息、本车行驶道路信息以及本车周边信息来确定能够自动驾驶的操作(S9c)。例如，在同一行进方向上存在多个车道的情况下，能够进行车道变更操作。另外，在存在超车车道的情况下，能够进行超车操作。另外，在本车的前方存在其它车的情况下，能够进行跟随行驶的操作。此外，即使在同一行进方向上存在多个车道的情况下，在是存在其它车的其它车道且该其它车位于本车的附近的情况下，也直到与该其它车之间的距离拉开为止都不能进行向该车道进行变更的车道变更操作以及使用该车道的超车操作。

图像生成部12在示意图内绘制与能够自动驾驶的操作对应的可释放区域，并使显示部31进行显示(S9d)。判定部11接收输入部32中发生的触摸事件(S9e)，判定触摸事件的类别(S9f)。在触摸事件的类别是移动的情况下(S9f的移动)，图像生成部12在示意图内绘制车辆1的预测轨迹/路径的候选，并使显示部31进行显示(S9g)。在触摸事件的类别是接触结束的情况下(S9f的接触结束)，判定部11判定接触结束位置是否处于可释放区域内(S9h)。在处于可释放区域内的情况下(S9h的“是”)，判定部11判定为与本车标记被释放的区域相应的控制命令(S9i)。在处于可释放区域外的情况下(S9h的“否”)，图像生成部12使显示部31显示错误消息(S9j)。

以下，说明可释放区域的显示方法的具体例。在以下的例子中，假设使用将显示部31和输入部32一体化的触摸面板显示器。

图6是表示通过手势操作来发出命令的第一处理例的流程图。HMI控制器10的判定部11从触摸面板接收触摸事件(DOWN)(S60)。触摸事件(DOWN)是表示手指或笔相对于触摸面板从非接触状态向接触状态变化的事件。判定部11判定被检测到触摸事件(DOWN)的坐标是否处于本车图标的显示区域的内部(S61)。在处于显示区域外的情况下(S61的“否”)，判定为不是以本车图标为起点的手势操作，结束处理。

在处于显示区域的内部的情况下(S61的“是”)，判定部11基于从自动驾驶控制器20获取的本车和周边的信息来确定能够自动驾驶的操作，并搜索与该操作对应的区域(S62)。图像生成部12将搜索到的区域设为可释放区域，并在该区域内显示效果和/或追加信息(S63)。判定部11从触摸面板接收触摸事件(UP)(S64)。触摸事件(UP)是表示手指或笔相对于触摸面板从接触状态向非接触状态变化的事件。

判定部11判定被检测到触摸事件(UP)的坐标是否处于可释放区域的内部(S65)。在处于可释放区域的内部的情况下(S65的“是”)，指示部13向自动驾驶控制器20发出与被检测到触摸事件(UP)的坐标相应的命令(S66)。图像生成部12将示意图内的效果和/或追加信息消除(S67)。在被检测到触摸事件(UP)的坐标处于可释放区域外的情况下(S65的“否”)，判定为不是以本车图标为起点的手势操作，结束处理。

图7A、图7B是表示图6的流程图所涉及的手势操作的一例的图。在图7A所示的示意图中显示有本车图标V1以及本车的周边状况(包括交叉路口)。此外，对于本车以及周边状况的显示方式，能够考虑各种显示方式。既可以使用实拍影像，也可以使用精确的CG(Computer Graphics：电脑绘图)图像、动画图像。本车的显示也不限于图标，既可以用更加简单的标记、字符进行显示，也可以用实拍影像进行显示。即，只要以某种显示方式在画面内进行项目显示即可。

当驾驶员如图7A所示那样触摸本车图标V1时，如图7B所示那样将能够释放本车图标V1的区域进行强调显示。在图7B中，能够释放本车图标V1的区域是直行专用车道区域D1、右转弯专用车道区域D2、左转弯后的车道区域D3、右转弯后的车道区域D4以及交叉路口直行通过后的车道区域D5这五处。

在驾驶员将本车图标V1释放在直行专用车道区域D1的情况下，发出向直行专用车道进行车道变更的车道变更指示命令。在驾驶员将本车图标V1释放在右转弯专用车道区域D2的情况下，发出向右转弯专用车道进行车道变更的车道变更指示命令和右转弯指示命令。在驾驶员将本车图标V1释放在左转弯后的车道区域D3的情况下，发出左转弯指示命令。在驾驶员将本车图标V1释放在右转弯后的车道区域D4的情况下，发出向右转弯专用车道进行车道变更的车道变更指示命令和右转弯指示命令。在驾驶员将本车图标V1释放在交叉路口直行通过后的车道区域D5的情况下，发出交叉路口直行通过指示命令。

图8A、图8B是表示图6的流程图所涉及的手势操作的其它例子的图。当驾驶员如图8A所示那样触摸本车图标V1时，如图8B所示那样将能够释放本车图标V1的区域进行强调显示。在图8B中，能够释放本车图标V1的区域是用于指示向右车道进行车道变更的区域D6、用于指示超越前方车辆的区域D7以及用于指示跟随前方车辆行驶的区域D8这三处。在各个区域D6～D8中显示有用于使驾驶员直观地识别操作内容的图标。此外，表示操作内容的方式除了图标以外，也可以是字符或箭头。

在驾驶员将本车图标V1释放在区域D6的情况下，发出向右车道进行车道变更的车道变更指示命令。在驾驶员将本车图标V1释放在区域D7的情况下，发出超车指示命令。在驾驶员将本车图标V1释放在区域D8的情况下，发出跟随前方车辆的跟随指示命令。

图9是表示通过手势操作来发出命令的第二处理例的流程图。第二处理例是使用轻拂(flick)输入的例子。HMI控制器10的判定部11从触摸面板接收触摸事件(DOWN)(S67)。判定部11判定被检测到触摸事件(DOWN)的坐标是否处于本车图标的显示区域的内部(S68)。在处于显示区域外的情况下(S68的“否”)，判定为不是以本车图标为起点的手势操作，结束处理。

在处于显示区域的内部的情况下(S68的“是”)，判定部11判定在本车的行进方向上是否存在多个可行驶车道(S69)。在存在多个车道的情况下(S69的“是”)，图像生成部12在本车图标的左边和/或右边生成用于指示向可行驶车道进行车道变更的车道变更指示用的释放区域，并使触摸面板进行显示(S610)。在不存在多个车道的情况下(S69的“否”)，跳过步骤S610的处理。

判定部11判定在行进方向上的固定距离内是否存在交叉路口(S611)。在存在交叉路口的情况下(S611的“是”)，图像生成部12在本车图标或车道变更指示用的释放区域的左边和/或右边生成能够在交叉路口变更行进道路的方向的行进道路变更指示用的释放区域，并使触摸面板进行显示(S612)。在不存在交叉路口的情况下(S611的“否”)，跳过步骤S612的处理。

判定部11从触摸面板接收触摸事件(UP)(S613)。判定部11判定被检测到触摸事件(UP)的坐标是否处于释放区域内(S614)。在不处于释放区域内的情况下(S614的“否”)，判定为不是以本车图标为起点的手势操作，结束处理。在被检测到触摸事件(UP)的坐标处于车道变更指示用的释放区域内的情况下(S614的车道变更指示用释放区域)，指示部13向自动驾驶控制器20发出车道变更指示命令(S615)。在被检测到触摸事件(UP)的坐标处于行进道路变更指示用的释放区域内的情况下(S614的行进道路变更指示用释放区域)，指示部13向自动驾驶控制器20发出行进道路变更指示命令(S616)。

图10A～图10D是表示图9的流程图所涉及的手势操作的一例的图。在驾驶员想要从第一车道L1向第二车道L2进行车道变更的情况下，如图10A所示那样触摸第一车道L1上的本车图标V1。当触摸本车图标V1时，如图10B所示那样显示用于指示向第二车道L2进行车道变更的释放图标A1。当驾驶员轻拂该释放图标A1时，发出用于指示向第二车道L2进行车道变更的车道变更指示命令。

当在如图10C所示那样前方存在交叉路口的情况下驾驶员触摸本车图标V1时，如图10D所示那样显示用于指示向右侧车道进行车道变更的释放图标A1、用于指示向左侧车道进行车道变更的释放图标A2、用于指示右转弯的释放图标A3以及用于指示左转弯的释放图标A4。驾驶员通过轻拂某一释放图标来发出对应的命令。

在以上的例子中，在从拖动本车图标起到释放本车图标为止的期间，图像生成部12也可以将原来的图像(移动前的本车图标)留在示意图内，在本车图标被释放的时间点删除原来的图像。另外，在从拖动本车图标起到释放本车图标为止的期间，图像生成部12也可以用虚线在示意图内绘制拖动的轨迹。另外，在从拖动本车图标起到释放本车图标为止的期间，图像生成部12也可以使道路的颜色反转，在本车图标被释放的时间点恢复为原来的颜色。

另外，在从拖动本车图标起到释放本车图标为止的期间，在存在不可释放区域(反向车道等)或不可进行操作(车道变更等)时，图像生成部12也可以变更本车图标的颜色(反转、变淡等)。也可以在本车图标被释放的时间点使本车图标返回到原来的本车位置，并显示“不可操作”等错误消息。作为不可操作的情况的例子，存在后方车辆的接近、车道变更禁止区域、超过限制速度等。

另外，在从拖动本车图标起到释放本车图标为止的期间，在不可进行操作时，图像生成部12也可以变更道路等背景的颜色(反转、变淡等)。如果变为能够进行操作的状况，则恢复为原来的颜色。另外，在从拖动本车图标起到释放本车图标为止的期间，图像生成部12变更不可释放区域的颜色。另外，在从拖动本车图标起到释放本车图标为止的期间，在存在不可释放区域或不可进行操作时，图像生成部12发出错误音或振动以进行通知。

另外，在开始拖动本车图标时不可开始进行操作的情况下，图像生成部12也可以变更本车图标的颜色。另外，也可以设为不能进行拖动操作(本车图标的移动)的状态。另外，也可以显示“不可操作”等错误消息。另外，在开始拖动本车图标时不可开始进行操作的情况下，图像生成部12也可以变更道路等背景的颜色。如果变为能够进行操作的状况，则恢复为原来的颜色。另外，在开始拖动本车图标时不可开始进行操作的情况下，图像生成部12也可以以不能进行拖动操作(本车图标的移动)的状态发出错误音或振动以进行通知。

在从释放本车图标起到与控制命令相应的处理完成为止的期间，图像生成部12也可以将移动中的本车的状态以重影方式显示，并且显示本车的轨迹。另外，在从释放本车图标起到本车完成与控制命令相应的处理为止的期间，图像生成部12也可以变更本车图标的显示状态(闪烁、颜色变更、尺寸、位置等)。另外，在从释放本车图标起到与控制命令相应的处理完成为止的期间，判定部11也可以通过追加操作来插入下一个指示(在当前的控制完成后进行的控制的预约)。在正拖动本车图标或释放本车图标时，或者在从释放本车图标起到与控制命令相应的处理成立为止的期间，也可以从自动驾驶控制器20接收预测轨迹，并在显示部31中绘制该预测轨迹。在是等待信号或是不可进行车道变更的区间而暂时不能进行与控制命令相应的处理的情况下，图像生成部12也可以进行“尝试中”等显示，直到与控制命令相应的处理成立为止，在变为能够执行的定时绘制预测轨迹。在正在拖动本车图标时，或者从释放本车图标起到与控制命令相应的处理成立为止的期间，图像生成部12也可以显示从释放本车图标起到与控制命令相应的处理成立为止的预测所需时间、所需剩余时间。在暂时不能进行与控制命令相应的处理的情况下，也可以继续进行控制直到能够进行与控制命令相应的处理为止，或彻底停止控制，或能够预先进行设定。为了避免错误地开始拖动或在拖动后想要进行取消操作，也可以设置取消用的释放区域。能够通过在拖动本车后释放到取消用的释放区域来取消命令的发出。

如以上所说明的那样，根据本实施方式，在驾驶员触摸了本车图标时，通过将能够选择本车图标的操作或可移动的区域以驾驶员能够容易地识别的方式进行显示，能够进行更加直观的操作。另外，通过选择操作内容或使图标移动到可移动区域，来用手势选择或移动触摸面板中显示的图标，由此能够向自动驾驶控制器20传递各种操作内容。针对图标的手势操作是简单的操作，驾驶员能够从转动转向器51、踩踏加速踏板53等以往的驾驶操作中解放出来。例如，通过显示包含多个车道和本车图标的示意图并使本车图标移动到其它车道，能够简单地指示车辆变更。驾驶员能够在触摸面板上同时进行周边状况的确认和操作指示，因此视线不会发生移动。因而，误操作的可能性降低，能够实现更加安全的驾驶。

此外，用于显示能够选择的操作和可移动的区域的操作以及用于发出控制指示命令的操作也可以是上述以外的操作。另外，虽然是显示能够选择本车图标的操作和可移动的区域的例子，但也可以将其它车、行人、紧急车辆、特定区域(车道、路崖、交叉路口等)之类的对象设为候选显示对象。在该情况下，也可以显示本车能够对候选显示对象执行的操作内容或至候选显示对象为止的本车所能够移动的轨迹。例如，也可以是，当长按其它车项目时，显示使本车跟随/超车的菜单，当长按路崖的某处时，显示纵向停车或横向停车的操作菜单、各种到达可停车空间或路崖所需的可移动轨迹。另外，关于手势操作，说明了拖动和释放等，但也可以是触摸和触摸(touch and touch)。只要是预先决定的手势或操作即可，但是也可以能够由驾驶员定制。另外，为了获知手势操作与控制命令的对应关系，也可以在显示部31中显示说明文字、图标、箭头，或者通过导航的显示或声音来进行引导。

以上，基于实施方式说明了本公开。本领域技术人员应当能够理解，这些实施方式是例示，这些各构成要素或各处理过程的组合中能够存在各种变形例，并且这些变形例也属于本公开的范围内。

例如，设想了由专用的LSI实现HMI控制器10的例子，但也可以使用被用作显示装置30的智能手机、平板电脑等便携式设备内的CPU(Central Processing Unit：中央处理单元)来实现HMI控制器10的功能。在该情况下，被用作显示装置30的便携式设备与自动驾驶控制器20直接连接。另外，也可以利用车载导航装置、智能屏互联系统等的主控单元内的CPU来实现HMI控制器10的功能。另外，也可以是在主控单元内包含安装有HMI控制器10的专用的LSI的结构。

此外，也可以通过以下项目来确定实施方式。

[项目1]

一种驾驶辅助装置(10)，具备：

图像输出部(14a)，其向显示部(31)输出包含表示本车的本车项目以及该本车的周边状况的图像；

操作信号输入部(14b)，其受理由用户对所述显示部(31)中显示的图像内的所述本车项目进行的操作；以及

命令输出部(14c)，其向进行自动驾驶的控制的自动驾驶控制部(20)输出与所受理的操作相应的命令，

其中，当所述操作信号输入部(14b)受理用户指示所述显示部(31)中显示的图像内的所述本车项目的坐标的的操作时，所述图像输出部(14a)向所述显示部(31)输出包含能够选择的操作的候选或所述本车项目的可移动区域的图像。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

[项目2]

在项目1中记载的驾驶辅助装置(10)中，所述图像输出部(14a)向所述显示部(31)输出将允许所述本车进入的车道进行强调显示后的图像。

由此，能够直观且简便地进行用于指示车道变更或行进道路变更的操作。

[项目3]

在项目1或项目2中记载的驾驶辅助装置(10)中，所述图像输出部(14a)向所述显示部(31)输出包含至少一个操作候选项目的图像，该至少一个操作候选项目表示所述本车基于该本车的周边状况所能够执行的至少一个操作候选，

当所述操作信号输入部(14b)受理用户使所述显示部(31)中显示的图像内的所述本车项目向该图像内的特定的操作候选项目移动的操作时，所述命令输出部(14c)向所述自动驾驶控制部(20)输出用于指示所述特定的操作候选项目所表示的操作的命令。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

[项目4]

一种驾驶辅助系统(10、30)，具备：

显示装置(30)，其显示图像；以及

驾驶辅助装置(10)，其向所述显示装置(30)输出图像，

其中，所述驾驶辅助装置(10)包括：

图像输出部(14a)，其向所述显示装置(30)输出包含表示本车的本车项目以及该本车的周边状况的图像；

操作信号输入部(14b)，其受理由用户对所述显示装置(30)中显示的图像内的所述本车项目进行的操作；以及

命令输出部(14c)，其向进行自动驾驶的控制的自动驾驶控制部(20)输出与所受理的操作相应的命令，

其中，当所述操作信号输入部(14b)受理用户指示所述显示部(31)中显示的图像内的所述本车项目的坐标的操作时，所述图像输出部(14a)向所述显示装置(30)输出包含能够选择的操作的候选或所述本车项目的可移动区域的图像。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

[项目5]

一种驾驶辅助方法，包括以下步骤：

向显示部(31)输出包含表示本车的本车项目以及该本车的周边状况的图像；

受理由用户对所述显示部(31)中显示的图像内的所述本车项目进行的操作；以及

向进行自动驾驶的控制的自动驾驶控制部(20)输出与所受理的操作相应的命令，

其中，当在受理所述操作的步骤中受理用户指示所述显示部(31)中显示的图像内的所述本车项目的坐标的操作时，在输出所述图像的步骤中，向所述显示部(31)输出包含能够选择的操作的候选或所述本车项目的可移动区域的图像。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

[项目6]

一种驾驶辅助程序，使计算机执行以下处理：

向显示部(31)输出包含表示本车的本车项目以及该本车的周边状况的图像；

受理由用户对所述显示部(31)中显示的图像内的所述本车项目进行的操作；以及

向进行自动驾驶的控制的自动驾驶控制部(20)输出与所受理的操作相应的命令，

其中，当在受理所述操作的处理中受理用户指示所述显示部(31)中显示的图像内的所述本车项目的坐标的操作时，在输出所述图像的处理中，向所述显示部(31)输出包含能够选择的操作的候选或所述本车项目的可移动区域的图像。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

[项目7]

一种自动驾驶车辆(1)，具备：

检测部(40)，其检测本车的周边状况；

图像输出部(14a)，其向显示部(31)输出包含表示所述本车的本车项目以及所述本车的周边状况的图像；

操作信号输入部(14b)，其受理由用户对所述显示部(31)中显示的图像内的所述本车项目进行的操作；

命令输出部(14c)，其输出与所受理的操作相应的命令；以及

自动驾驶控制部(20)，其执行所输出的所述命令，

其中，当所述操作信号输入部(14b)受理用户指示所述显示部(31)中显示的图像内的所述本车项目的坐标的操作时，所述图像输出部(14a)向所述显示部(31)输出包含基于所述本车的周边状况的能够选择的操作的候选或所述本车项目的可移动区域的图像。

由此，用户能够直观且简便地进行与自动驾驶有关的操作。

产业上的可利用性

本公开能够利用于搭载有自动驾驶模式的车辆。

附图标记说明

1：车辆；10：HMI控制器(驾驶辅助装置)；11：判定部；12：图像生成部；13：指示部；14：输入输出部；20：自动驾驶控制器(自动驾驶控制装置)；21：控制部；22：存储部；23：输入输出部；30：显示装置；31：显示部；32：输入部；40：检测部；41：位置信息获取部；42：传感器；43：速度信息获取部；44：地图信息获取部；50：驾驶操作部；51：转向器；52：制动踏板；53：加速踏板；54：转向灯开关。

Claims (6)

1.一种驾驶辅助装置，具备：

显示部；

图像输出部，其向所述显示部输出包含表示本车的本车项目以及该本车的周边状况的图像信息；

操作信号输入部，其受理由用户对所述显示部中显示的图像内的所述本车项目进行操作的操作信号；以及

命令输出部，其向进行自动驾驶的控制的自动驾驶控制部输出与所受理的所述操作信号相应的自动驾驶控制命令，

其中，当所述操作信号输入部受理用户接触所述显示部中显示的图像内的所述本车项目的操作信号时，所述图像输出部将图像信息以能够选择的状态输出到所述显示部，该图像信息包括在接触到所述本车项目时所述本车能够进行自动驾驶的多个操作或所述本车所能够移动的多个区域。

2.根据权利要求1所述的驾驶辅助装置，其特征在于，

所述图像输出部向所述显示部输出将允许所述本车进入的车道进行强调显示后的图像信息。

3.根据权利要求1或2所述的驾驶辅助装置，其特征在于，

所述图像输出部向所述显示部输出包含至少一个操作候选项目的图像信息，该至少一个操作候选项目表示所述本车基于该本车的周边状况所能够执行的至少一个操作候选，

当所述操作信号输入部受理用户使所述显示部中显示的图像内的所述本车项目向该图像内的特定的操作候选项目移动的操作信号时，所述命令输出部向所述自动驾驶控制部输出用于指示所述特定的操作候选项目所表示的操作的命令。

4.一种驾驶辅助系统，具备：

显示装置，其显示图像；以及

驾驶辅助装置，其向所述显示装置输出图像信息，

其中，所述驾驶辅助装置包括：

图像输出部，其向所述显示装置输出包含表示本车的本车项目以及该本车的周边状况的图像信息；

操作信号输入部，其受理由用户对所述显示装置中显示的图像内的所述本车项目进行操作的操作信号；以及

命令输出部，其向进行自动驾驶的控制的自动驾驶控制部输出与所受理的所述操作信号相应的自动驾驶控制命令，

当所述操作信号输入部受理用户接触所述显示装置中显示的图像内的所述本车项目的操作信号时，所述图像输出部将图像信息以能够选择的状态输出到所述显示装置，该图像信息包括在接触到所述本车项目时所述本车能够进行自动驾驶的多个操作或所述本车所能够移动的多个区域。

5.一种驾驶辅助方法，包括以下步骤：

向显示部输出包含表示本车的本车项目以及该本车的周边状况的图像信息；

受理由用户对所述显示部中显示的图像内的所述本车项目进行操作的操作信号；以及

向进行自动驾驶的控制的自动驾驶控制部输出与所受理的所述操作信号相应的自动驾驶控制命令，

其中，当在受理所述操作信号的步骤中受理用户接触所述显示部中显示的图像内的所述本车项目的操作时，在输出所述图像信息的步骤中，将图像信息以能够选择的状态输出到所述显示部，该图像信息包括在接触到所述本车项目时所述本车能够进行自动驾驶的多个操作或所述本车所能够移动的多个区域。

6.一种自动驾驶车辆，具备：

显示部；

检测部，其检测本车的周边状况；

图像输出部，其向所述显示部输出包含表示所述本车的本车项目以及所述本车的周边状况的图像信息；

操作信号输入部，其受理由用户对所述显示部中显示的图像内的所述本车项目进行操作的操作信号；

命令输出部，其输出与所受理的所述操作信号相应的自动驾驶控制命令；以及

自动驾驶控制部，其执行所输出的所述命令，

其中，当所述操作信号输入部受理用户接触所述显示部中显示的图像内的所述本车项目的操作信号时，所述图像输出部将图像信息以能够选择的状态输出到所述显示部，该图像信息包括在接触到所述本车项目时所述本车能够进行自动驾驶的多个操作或所述本车所能够移动的多个区域。