CN111731293A - 车辆控制系统、车辆控制方法及存储介质 - Google Patents

Abstract

提供能够提高便利性的车辆控制系统、车辆控制方法及存储介质。车辆控制系统具备：识别部，其识别车辆的周边环境；以及驾驶控制部，其基于所述识别部的识别结果而自动地进行所述车辆的速度控制及转向控制，在使用户从所述车辆下车后由所述识别部识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，所述驾驶控制部使所述车辆从停止的状态开始行驶。

Description

车辆控制系统、车辆控制方法及存储介质

技术领域

本发明涉及车辆控制系统、车辆控制方法及存储介质。

背景技术

近年来，关于自动地控制车辆正在推进研究。与此相关联，已知有将通过自动驾驶而驻车后的车辆的位置向乘员的终端装置通知的技术(例如，日本特开2017-182263号公报)。

发明内容

然而，在以往的技术中，在通过自动驾驶使车辆驻车时，有时要求乘员操作终端装置或者操作某些操作器件来指示驻车，存在操作繁琐且便利性不够充分的情况。

本发明的方案考虑这样的情况而完成，其目的之一在于，提供能够提高便利性的车辆控制系统、车辆控制方法及存储介质。

本发明的车辆控制系统、车辆控制方法及存储介质采用了以下的结构。

(1)：本发明的一方案的车辆控制系统具备：识别部，其识别车辆的周边环境；以及驾驶控制部，其基于所述识别部的识别结果而自动地进行所述车辆的速度控制及转向控制，所述驾驶控制部在使用户从所述车辆下车后由所述识别部识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

(2)：在上述(1)的方案中，在所述特定的操作中包括所述下车的用户的姿势。

(3)：在上述(1)或(2)的方案中，在所述特定的操作中包括对所述车辆的车身的敲击。

(4)：在上述(3)的方案中，所述驾驶控制部在由所述识别部识别到所述敲击的节奏成为了预先设定的节奏的情况、或者由所述识别部识别到所述敲击的次数成为了预先设定的次数的情况下，使所述车辆从停止的状态开始行驶。

(5)：在上述(3)或(4)的方案中，所述识别部识别由检测所述车辆的车室内的声音的声音检测部检测到的所述敲击。

(6)：在上述(1)～(4)的任一方案中，在所述特定的操作中包括所述下车的用户的抚摸操作。

(7)：在上述(6)的方案中，所述识别部识别由检测人相对于所述车身接触的接触检测部检测到的所述抚摸操作。

(8)：在本发明的一方案的车辆控制方法中，使计算机进行以下处理：识别车辆的周边环境；基于识别结果而自动地进行所述车辆的速度控制及转向控制；以及在使用户从所述车辆下车后识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

(9)：本发明的一方案的存储介质存储有程序，该程序使计算机进行以下处理：识别车辆的周边环境；基于识别结果而进行所述车辆的速度控制及转向控制；以及在使用户从所述车辆下车后识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

根据上述(1)～(9)的方案，能够提高便利性。

根据上述(2)～(7)的方案，能够简便地将车辆通过自动驾驶而驻车于停车场。

附图说明

图1是利用了实施方式的车辆控制装置的车辆系统的结构图。

图2是第一控制部及第二控制部的功能结构图。

图3是示意性地示出执行自动泊车事件的场景的图。

图4是示出停车场管理装置的结构的一例的图。

图5是示出特定姿势信息的生成应用的执行画面的一例的图。

图6是示出入库所涉及的自动泊车事件的基于姿势的开始场景的一例的图。

图7是示出入库所涉及的自动泊车事件的基于敲击的开始场景的一例的图。

图8是示出入库所涉及的自动泊车事件的基于抚摸操作的开始场景的一例的图。

图9是示出由车室内相机拍摄到的车室内的图像和过去拍摄到的车室内的图像的一例的图。

图10是示出入库所涉及的自动泊车事件的开始处理的一系列流程的流程图。

图11是示出入库所涉及的自动泊车事件的中止处理的一系列流程的流程图。

图12是示出实施方式的自动驾驶控制装置的硬件结构的一例的图。

具体实施方式

以下，参照附图对本发明的车辆控制装置、车辆控制方法及存储介质的实施方式进行说明。以下，对适用左侧通行的法规的情况进行说明，但在适用右侧通行的法规的情况下，将左右反过来说即可。

[整体结构]

图1是利用了实施方式的车辆控制装置的车辆系统1的结构图。搭载车辆系统1的车辆例如是二轮、三轮、四轮等的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机或它们的组合。电动机使用连结于内燃机的发电机的发电电力或二次电池、燃料电池的放电电力来进行动作。以下，对本车辆M的驱动源是内燃机和电动机的组合的情况进行说明。

车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置16、故障检测装置18、通信装置20、HMI(Human Machine Interface)30、车辆传感器40、导航装置50、MPU(Map Positioning Unit)60、车室内相机70、特定接触操作检测装置72、电池余量检测部74、燃料余量检测部76、驾驶操作件80、自动驾驶控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。

这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图1所示的结构只是一例，也可以省略结构的一部分，还可以进一步追加别的结构。

相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于搭载车辆系统1的车辆(以下，本车辆M)的任意部位。相机10例如周期性地反复拍摄本车辆M的周边。相机10也可以是立体相机。

雷达装置12向本车辆M的周边放射毫米波等电波，并且检测由物体反射回的电波(反射波)而至少检测物体的位置(距离及方位)。雷达装置12安装于本车辆M的任意部位。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。

探测器14是LIDAR(Light Detection and Ranging)。探测器14向本车辆M的周边照射光，测定散射光。探测器14基于从发光到受光为止的时间来检测距对象的距离。照射的光例如是脉冲状的激光。探测器14安装于本车辆M的任意部位。

物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制装置100输出。物体识别装置16可以将相机10、雷达装置12及探测器14的检测结果直接向自动驾驶控制装置100输出。也可以从车辆系统1省略物体识别装置16。

故障检测装置18检测车辆系统1所具备的结构中的检测本车辆M的周边的结构(例如，相机10、雷达装置12、探测器14、物体识别装置16等)的故障。以下，在不互相区分检测本车辆M的周边的结构(例如，相机10、雷达装置12、探测器14、物体识别装置16等)的故障的情况下，记为“检测装置”。故障检测装置18例如在检测装置的检测结果的输出中断的情况、检测装置的检测结果表示异常的值的情况、检测装置的动作停止的情况等下，认为检测装置发生了故障。故障检测装置18例如在检测装置的一部分或全部发生了故障的情况下，认为检测装置发生了故障。故障检测装置18是“故障检测部”的一例。

通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等来与存在于本车辆M的周边的其他车辆或停车场管理装置(后述)或者各种服务器装置进行通信。

HMI30对本车辆M的乘员提示各种信息，并且接受乘员的输入操作。HMI30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。

车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。

导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53。导航装置50在HDD(Hard Disk Drive)、闪存器等存储装置中保持有第一地图信息54。GNSS接收机51基于从GNSS卫星接收到的信号来确定本车辆M的位置。本车辆M的位置也可以由利用了车辆传感器40的输出的INS(Inertial Navigation System)确定或补充。导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI52也可以一部分或全部与前述的HMI30共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的本车辆M的位置(或输入的任意的位置)到由乘员使用导航HMI52输入的目的地为止的路径(以下，记为地图上路径)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点而表现了道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point Of Interest)信息等。

地图上路径向MPU60输出。导航装置50也可以基于地图上路径来进行使用了导航HMI52的路径引导。导航装置50例如也可以由乘员持有的智能手机、平板终端等终端装置(以下，记为终端装置TM)的功能实现。导航装置50也可以经由通信装置20而向导航服务器发送当前位置和目的地，并从导航服务器取得与地图上路径同等的路径。

MPU60例如包括推荐车道决定部61，在HDD、闪存器等存储装置中保持有第二地图信息62。推荐车道决定部61将从导航装置50提供的地图上路径分割为多个区块(例如，关于车辆行进方向每隔100[m]进行分割)，参照第二地图信息62来针对各区块决定推荐车道。推荐车道决定部61进行在从左侧起的第几车道上行驶之类的决定。推荐车道决定部61在地图上路径存在分支部位的情况下，以使本车辆M能够在用于向分支目的地行进的合理的路径上行驶的方式决定推荐车道。

第二地图信息62是比第一地图信息54高精度的地图信息。第二地图信息62例如包括车道的中央的信息或车道的边界的信息等。在第二地图信息62中，可以包括道路信息、交通限制信息、住所信息(住所·邮政编码)、设施信息、电话号码信息等。第二地图信息62可以通过通信装置20与其他装置通信而随时被更新。

车室内相机70例如是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机70是用于拍摄放置于车室内的物体的相机。车室内相机70例如安装于能够拍摄本车辆M的车室内的情形的任意部位。车室内相机70例如在规定的时机下或周期性地反复拍摄本车辆的车室内的情形。车室内相机70也可以是立体相机。

在特定接触操作检测装置72中，例如包括检测敲击本车辆M的声音的声音检测部、检测抚摸本车辆M的操作的接触检测部。声音传感器例如由设置于车室内的话筒实现，接触传感器例如由设置于本车辆M的车身表面的触摸面板实现。

电池余量检测部74检测向本车辆M所具备的驱动源即电动机供给电力的二次蓄电池(例如，充电率(SoC(State Of Charge)))。

燃料余量检测部76检测在本车辆M所具备的内燃机的燃烧中使用的燃料(汽油)的余量、在燃料电池的发电中使用的燃料(例如，氢、烃、醇类等)的余量。在以后的说明中，在不互相区分二次蓄电池和燃料电池的情况下，记为电池。

驾驶操作件80例如包括油门踏板、制动踏板、换挡杆、转向盘、异形方向盘、操纵杆及其他操作件。在驾驶操作件80安装有检测操作量或操作的有无的传感器，其检测结果向自动驾驶控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220的中的一部分或全部输出。

自动驾驶控制装置100例如具备第一控制部120、第二控制部160及存储部180。第一控制部120和第二控制部160分别例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)，GPU(Graphics Processing Unit)等硬件(电路部；包括circuitry)实现，还可以通过软件与硬件的协同配合而实现。程序可以预先保存于自动驾驶控制装置100的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质，并通过存储介质(非暂时性的存储介质)向驱动装置装配而向自动驾驶控制装置100的HDD、闪存器安装。在存储部180中存储有特定姿势信息182和特定接触操作信息184。关于特定姿势信息182和特定接触操作信息184的详情，将在后文叙述。

图2是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130和行动计划生成部140。第一控制部120例如并列实现基于AI(ArtificialIntelligence；人工智能)的功能和基于预先给出的模型的功能。例如，“识别交叉路口”的功能可以通过“并列执行基于深度学习等的交叉路口的识别和基于预先给出的条件(存在能够图案匹配的信号、道路标示等)的识别，并对双方评分而综合性地评价”来实现。由此，自动驾驶的可靠性被确保。

识别部130基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息来识别处于本车辆M的周边的物体的位置及速度、加速度等状态。物体的位置例如作为以本车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标上的位置而识别，在控制中使用。物体的位置可以由该物体的重心、角部等代表点表示，也可以由表现出的区域表示。物体的“状态”也可以包括物体的加速度、加加速度或“行动状态”(例如是否正在进行或将要进行车道变更)。

识别部130例如识别本车辆M正在行驶的车道(行驶车道)。例如，识别部130通过将从第二地图信息62得到的道路划分线的图案(例如实线和虚线的排列)与根据由相机10拍摄到的图像而识别的本车辆M的周边的道路划分线的图案进行比较来识别行驶车道。识别部130不限于识别道路划分线，也可以通过识别包括道路划分线、路肩、缘石、中央隔离带、护栏等的行驶路边界(道路边界)来识别行驶车道。在该识别中，也可以加进从导航装置50取得的本车辆M的位置、由INS处理的处理结果。识别部130识别暂时停止线、障碍物、红灯、收费站及其他道路现象。

识别部130在识别行驶车道时，识别本车辆M相对于行驶车道的位置、姿态。识别部130例如可以将本车辆M的基准点从车道中央的偏离及本车辆M的行进方向相对于将车道中央相连而成的线所成的角度作为本车辆M相对于行驶车道的相对位置及姿态来识别。取代于此，识别部130也可以将本车辆M的基准点相对于行驶车道的任一侧端部(道路划分线或道路边界)的位置等作为本车辆M相对于行驶车道的相对位置来识别。

识别部130基于由车室内相机70拍摄到的图像来识别存在于本车辆M的车室内的物体。例如，“识别存在于车室内的物体”的功能通过基于深度学习等的物体的识别来实现。识别部130基于由话筒检测到的声音来识别乘员敲击本车辆M的敲击音的产生位置、敲击音的节奏及在规定时间内敲击音鸣响的次数等。识别部130识别由触摸面板检测到的抚摸本车辆M的操作。

识别部130具备在后述的自动泊车事件中起动的驻车空间识别部132。关于驻车空间识别部132的功能的详情将在后文叙述。

行动计划生成部140以原则上在由推荐车道决定部61决定出的推荐车道上行驶而且能够应对本车辆M的周边状况的方式，生成本车辆M自动地(不依赖于驾驶员的操作地)将来行驶的目标轨道。目标轨道例如包括速度要素。例如，目标轨道表现为将本车辆M应该到达的地点(轨道点)依次排列而得到的轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如几[m]程度)的本车辆M应该到达的地点，有别于此，每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。轨道点也可以是每隔规定的采样时间的该采样时刻下的本车辆M应该到达的位置。在该情况下，目标速度、目标加速度的信息由轨道点的间隔表现。

行动计划生成部140在生成目标轨道时，可以设定自动驾驶的事件。在自动驾驶的事件中，存在定速行驶事件、低速追随行驶事件、车道变更事件、分支事件、汇合事件、接管事件、在代客泊车等中进行无人行驶并驻车的自动泊车事件等。行动计划生成部140生成与起动后的事件相应的目标轨道。行动计划生成部140具备在执行自动泊车事件的情况下起动的自动泊车控制部142。关于自动泊车控制部142的功能的详情将在后文叙述。

第二控制部160控制行驶驱动力输出装置200、制动装置210及转向装置220，以使本车辆M按照预定的时刻通过由行动计划生成部140生成的目标轨道。

返回图2，第二控制部160例如具备取得部162、速度控制部164及转向控制部166。取得部162取得由行动计划生成部140生成的目标轨道(轨道点)的信息，使其存储于存储器(未图示)。速度控制部164基于存储于存储器的目标轨道所附带的速度要素来控制行驶驱动力输出装置200或制动装置210。转向控制部166根据存储于存储器的目标轨道的弯曲状况来控制转向装置220。速度控制部164及转向控制部166的处理例如通过前馈控制与反馈控制的组合来实现。作为一例，转向控制部166将与本车辆M的前方的道路的曲率相应的前馈控制和基于从目标轨道的偏离的反馈控制组合而执行。将行动计划生成部140和第二控制部160合起来的结构是“驾驶控制部”的一例。

行驶驱动力输出装置200将用于供车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合和控制它们的ECU(Electronic Control Unit)。ECU按照从第二控制部160输入的信息或从驾驶操作件80输入的信息来控制上述的结构。

制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达及制动ECU。制动ECU按照从第二控制部160输入的信息或从驾驶操作件80输入的信息来控制电动马达，使得与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80中包含的制动踏板的操作而产生的液压经由主液压缸而向液压缸传递的机构作为备用件。制动装置210不限于上述说明的结构，也可以是按照从第二控制部160输入的信息来控制致动器从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。

转向装置220例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部160输入的信息或从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。

[自动泊车事件-入库时]

自动泊车控制部142例如基于利用通信装置20从停车场管理装置400取得的信息而使本车辆M向驻车空间内驻车。图3是示意性地示出执行自动泊车事件的场景的图。在从道路Rd到访问对象设施为止的路径设置有闸门300-in及闸门300-out。本车辆M利用手动驾驶或自动驾驶而通过闸门300-in并行进至停止区域310。停止区域310面向连接于访问对象设施的乘降区域320。在乘降区域320设置有用于避开雨、雪的屋檐。

本车辆M在停止区域310中放下乘员后，进行自动驾驶，开始移动至停车场PA内的驻车空间PS的自动泊车事件。关于入库所涉及的自动泊车事件的开始触发条件的详情，将在后文叙述。自动泊车控制部142在开始自动泊车事件的情况下，控制通信装置20而将驻车请求朝向停车场管理装置400发送。并且，本车辆M从停止区域310到停车场PA为止，按照停车场管理装置400的引导而移动，或者一边凭借自力进行感测一边移动。

图4是示出停车场管理装置400的结构的一例的图。停车场管理装置400例如具备通信部410、控制部420及存储部430。在存储部430中保存有停车场地图信息432、驻车空间状态表434等信息。

通信部410与本车辆M及其他车辆通过无线而通信。控制部420基于由通信部410取得的信息和保存于存储部430的信息而将车辆向驻车空间PS引导。停车场地图信息432是以几何的方式表示了停车场PA的构造的信息。停车场地图信息432包括各驻车空间PS的坐标。驻车空间状态表434例如是表示是空状态还是满(驻车中)状态的状态和是满状态的情况下的驻车中的车辆的识别信息即车辆ID与驻车空间PS的识别信息即驻车空间ID建立了对应关系的表。

控制部420当通信部410从车辆接收到驻车请求时，参照驻车空间状态表434而提取状态是空状态的驻车空间PS，从停车场地图信息432取得提取出的驻车空间PS的位置，将直到取得的驻车空间PS的位置为止的合适的路径使用通信部410向车辆发送。控制部420基于多个车辆的位置关系，为了避免车辆同时行进到相同的位置，根据需要而向特定的车辆指示停止·慢行等。

在接收到路径的车辆(以下，假设是本车辆M)中，自动泊车控制部142生成基于路径得到的目标轨道。当接近成为目标的驻车空间PS时，驻车空间识别部132识别划分驻车空间PS的驻车框线等，识别驻车空间PS的详细的位置并向自动泊车控制部142提供。自动泊车控制部142接收该位置而修正目标轨道，使本车辆M向驻车空间PS驻车。

[自动泊车事件-出库时]

自动泊车控制部142及通信装置20在本车辆M的驻车中也维持动作状态。自动泊车控制部142例如在通信装置20从乘员的终端装置TM接收到车迎接请求的情况下，使本车辆M的系统起动，使本车辆M移动至停止区域310。此时，自动泊车控制部142控制通信装置20而向停车场管理装置400发送起步请求。停车场管理装置400的控制部420与入库时同样，基于多个车辆的位置关系，为了避免车辆同时行进到相同的位置，根据需要而向特定的车辆指示停止·慢行等。当使本车辆M移动至停止区域310并使乘员搭乘后，自动泊车控制部142停止动作，以后开始手动驾驶或基于别的功能部的自动驾驶。

不限于上述的说明，自动泊车控制部142也可以不依赖于通信而基于由相机10、雷达装置12、探测器14或物体识别装置16检测的检测结果来自己发现空状态的驻车空间，使本车辆M向发现的驻车空间内驻车。

[入库所涉及的自动泊车事件的开始触发条件]

入库所涉及的自动泊车事件的开始触发条件例如可以是乘员的某些操作，也可以是从停车场管理装置400通过无线而接收到规定的信号。以下，对入库所涉及的自动泊车事件的开始触发条件是(1)乘员对本车辆M的姿势或(2)乘员对本车辆M的敲击的情况进行说明。

[(1)乘员对本车辆M的姿势]

在入库所涉及的自动泊车事件开始时，本车辆M停车于停止区域310，乘员在乘降区域320中从本车辆M下车。识别部130例如在乘员的下车时，在本车辆M的全部的车门被关闭后基于相机10拍摄到的表示本车辆M的周边的图像来识别乘员的手、头、躯体之类的身体的动作(以下，记为姿势)。“下车时”是指从乘员下车并关闭本车辆M的车门起规定时间的期间(例如，几十[秒]～几[分钟]等)、从乘员下车并离开本车辆M起到离开规定距离(例如，几[m]～十几[m])以上为止的期间。识别部130基于识别到的姿势和特定姿势信息182而开始入库所涉及的自动泊车事件。特定姿势信息182是表示乘员的姿势的信息和在本车辆M中执行的指令(在该一例中是入库所涉及的自动泊车事件的开始指令)互相被建立了对应关系的信息。乘员的姿势例如是向车辆摆手或者利用手或手指来示出本车辆M的行进方向的身体的动作。以下，对特定姿势信息182是“入库所涉及的自动泊车事件的开始指令”和“摆手的姿势”互相被建立对应关系的信息的情况进行说明。乘员对本车辆M的姿势是“朝向车身进行的乘员的特定的操作”的一例。

特定姿势信息182例如是能够由识别部130识别的多个姿势和通过姿势而能够执行的指令被建立了对应关系的信息。特定姿势信息182可以通过本车辆M的乘员将姿势与指令建立对应关系而生成。通过姿势而能够执行的指令例如是即使本车辆M的乘员未乘坐本车辆M也能够执行的指令。图5是示出特定姿势信息182的生成应用的执行画面IM1的一例的图。在特定姿势信息182的生成时，自动驾驶控制装置100执行生成特定姿势信息182的应用，使执行画面IM1显示于HMI30。在执行画面IM1中，包括将与某指令建立对应关系的姿势向本车辆M的乘员询问的消息MSl和选择能够与该指令建立对应关系(即，识别部130能够识别)的姿势的按钮B1～B3。消息MS1例如是“请选择执行‘入库所涉及的自动泊车事件的开始指令’的姿势”之类的内容。能够与该指令建立对应关系的姿势例如是“摆手”或“手指指向行进方向”等。本车辆M的乘员基于显示于HMI30的执行画面IM1来选择姿势，自动驾驶控制装置100将乘员选择出的姿势与指令建立对应关系而生成特定姿势信息182。

生成特定姿势信息182的处理也可以在本车辆M的乘员的终端装置TM中进行。在该情况下，自动驾驶控制装置100经由网络而接收在乘员的终端装置TM中生成的特定姿势信息182，使接收到的特定姿势信息182存储于存储部180。

图6是示出入库所涉及的自动泊车事件的基于姿势的开始场景的一例的图。在图6中，乘员在乘降区域320中从本车辆M下车后，正在做出对本车辆M摆手的姿势。识别部130基于相机10拍摄到的表示本车辆M的周边的图像来识别乘员正在做出对本车辆M摆手的姿势。识别部130使用识别到的姿势的内容来检索特定姿势信息182，确定与“对本车辆M摆手的姿势”建立了对应关系的指令即“入库所涉及的自动泊车事件的开始”。自动泊车控制部142在由识别部130识别到“入库所涉及的自动泊车事件的开始”的指令的情况下，执行入库所涉及的自动泊车事件。

[(2)乘员对本车辆M的敲击]

图7是示出入库所涉及的自动泊车事件的基于敲击的开始场景的一例的图。

在入库所涉及的自动泊车事件开始时，本车辆M停车于停止区域310，乘员在乘降区域320中从本车辆M下车。识别部130例如在乘员下车时，在本车辆M的全部的车门被关闭后基于特定接触操作检测装置72(话筒)检测到的声音来识别乘员的敲击。识别部130基于识别到的敲击和特定接触操作信息184而开始入库所涉及的自动泊车事件。特定接触操作信息184例如是包括表示乘员的敲击的信息和在本车辆M中执行的指令(在该一例中是入库所涉及的自动泊车事件的开始指令)互相被建立了对应关系的记录的信息。表示乘员的敲击的信息例如是表示规定的节奏、规定的次数的信息。以下，对特定接触操作信息184是包括入库所涉及的自动泊车事件的开始指令和连续的2次敲击互相被建立了对应关系的记录的信息的情况进行说明。乘员对本车辆M的敲击是“对车身进行的乘员的特定的操作”的一例。

通过敲击而能够执行的指令例如是即使本车辆M的乘员未乘坐本车辆M也能够执行的指令。在特定接触操作信息184的生成时，自动驾驶控制装置100执行生成特定接触操作信息184的应用。

以后的处理与生成特定姿势信息182时的处理是同样的，因此省略说明。

在图7中，乘员在乘降区域320中从本车辆M下车后，正在对本车辆M进行连续的2次敲击。识别部130基于由特定接触操作检测装置72检测到的声音来识别乘员正在进行连续的2次敲击。识别部130使用识别到的敲击的内容来检索特定接触操作信息184，确定与“连续的2次敲击”建立了对应关系的“入库所涉及的自动泊车事件的开始”。自动泊车控制部142在由识别部130识别到“入库所涉及的自动泊车事件的开始”的指令的情况下，执行入库所涉及的自动泊车事件。

[(3)乘员对本车辆M的抚摸操作]

图8是示出入库所涉及的自动泊车事件的基于抚摸操作的开始场景的一例的图。在入库所涉及的自动泊车事件开始时，本车辆M停车于停止区域310，乘员在乘降区域320中从本车辆M下车。识别部130例如在乘员下车时，在本车辆M的全部的车门被关闭后基于特定接触操作检测装置72(触摸面板)的检测结果来识别乘员的抚摸操作。识别部130基于识别到的抚摸操作和特定接触操作信息184而开始入库所涉及的自动泊车事件。特定接触操作信息184例如是包括表示乘员的抚摸操作的信息和在本车辆M中执行的指令(在该一例中是入库所涉及的自动泊车事件的开始指令)互相被建立了对应关系的记录的信息。以下，对特定接触操作信息184是包括入库所涉及的自动泊车事件的开始指令和抚摸操作互相被建立了对应关系的记录的信息的情况进行说明。乘员对本车辆M的抚摸操作是“对车身进行的乘员的特定的操作”的一例。

通过抚摸操作而能够执行的指令例如是即使本车辆M的乘员未乘坐本车辆M也能够执行的指令。在特定接触操作信息184的生成时，自动驾驶控制装置100执行生成特定接触操作信息184的应用。以后的处理与生成特定姿势信息182时的处理是同样的，因此省略说明。

在图8中，乘员在乘降区域320中从本车辆M下车后，正在对本车辆M进行操作。识别部130基于特定接触操作检测装置72的检测结果而识别乘员正在进行抚摸操作。识别部130使用识别到的抚摸操作的内容来检索特定接触操作信息184，确定与“抚摸操作”建立了对应关系的“入库所涉及的自动泊车事件的开始”。自动泊车控制部142在由识别部130识别到“入库所涉及的自动泊车事件的开始”的指令的情况下，执行入库所涉及的自动泊车事件。

[入库所涉及的自动泊车事件的中止条件]

在此，即使在执行了入库所涉及的自动泊车事件的开始的指示的情况下，在满足表示自动驻车不合适的规定的条件时，自动泊车控制部142也不进行自动泊车事件(取消开始或即使在开始后也中止)。

自动泊车控制部142中止自动泊车事件的规定的条件是下述的一部或全部中的至少一个成立。

(1)：识别到乘员的终端装置TM忘在本车辆M的车室内

(2)：本车辆M的基于能量余量的可行驶距离为基准以下

(3)：检测到识别部130参照结果的检测装置的故障

(4)：识别到在本车辆M的车室内存在人

[(1)：识别到乘员的终端装置TM忘在本车辆M的车室内的情况]

识别部130例如基于由车室内相机70拍摄到的过去的车室内图像和在乘员下车时拍摄到的车室内的图像来提取2个图像的差分。过去的车室内的图像例如是在乘员未乘坐本车辆M且在本车辆M未装载行李的状态下拍摄到的图像。过去的车室内的图像或为了比较而提取出的图像的特征数据(包括压缩图像)存储于存储部180。在2个图像或其特征数据中提取到差分的情况下，识别部130识别存在于产生了该差分的部位的物体。自动泊车控制部142在识别部130的识别结果表示存在于产生了差分的部位的物体是本车辆M的乘员的终端装置TM的情况下，不进行入库所涉及的自动泊车事件。

图9是示出由车室内相机70拍摄到的车室内的图像(IM2(t))和过去拍摄到的车室内的图像(IM2(t-1))的一例的图。识别部130提取在乘员下车时拍摄到的车室内的图像(IM2(t))与过去的图像(IM2(t-1))的差分。在图9中，识别部130提取在车室内的图像(IM2(t))的区域AR的位置产生的差分。识别部130识别存在于车室内的图像(IM2(t))的区域AR的位置的物体。自动泊车控制部142在识别部130的识别结果表示存在于区域AR的位置的物体是终端装置TM的情况下，不进行入库所涉及的自动泊车事件。

本车辆M的乘员在通过出库所涉及的自动泊车事件而使本车辆M从停车场PA出库的情况下，使用终端装置TM来发送车迎接请求，但在入库时将终端装置TM忘在本车辆M的车室内的情况下，有时无法发送车迎接请求。自动泊车控制部142在终端装置TM忘在本车辆M的车室内的情况下，能够不进行入库所涉及的自动泊车事件而向乘员催促携带终端装置TM。

在上述中，对识别部130基于由车室内相机70拍摄到的车室内的图像来识别终端装置TM忘在本车辆M的情况进行了说明，但不限定于此。识别部130例如也可以在基于检测本车辆M的重量(以下，记为车重)的检测部的检测结果而识别到车重的变化的情况下，识别为终端装置TM忘在本车辆M。在终端装置TM具有RFID(Radio Frequency Identifier)认证等基于非接触芯片得到的通信功能的情况下，识别部130也可以在乘员从本车辆M下车后也在通过该通信功能而进行终端装置TM与自动驾驶控制装置100的通信时，识别为终端装置TM忘在本车辆M。

自动驾驶控制装置100在识别部130识别到终端装置TM忘在本车辆M的情况下，也可以控制本车辆M的车载设备而向乘员报告终端装置TM的忘带。例如，自动驾驶控制装置100可以控制前照灯、方向指示灯等，通过光来向乘员报告，或者控制搭载于本车辆M的音频，通过声音来向乘员报告，或者控制刮水器驱动部，通过刮水器的动作来向乘员报告，或者控制行驶驱动力输出装置200，使本车辆M动作(例如，振动或微小的前后移动)，通过动作来向乘员报告。

[(2)：本车辆M的基于能量余量的可行驶距离为基准以下的情况]

自动泊车控制部142例如基于由电池余量检测部74检测到的电池的剩余容量和表示本车辆M的电耗的信息来算出本车辆M的可行驶距离。自动泊车控制部142基于由燃料余量检测部76检测到的燃料的余量和表示本车辆M的燃耗的信息来算出本车辆M的可行驶距离。自动泊车控制部142在算出的可行驶距离的总和为基准以下的情况下，不进行入库所涉及的自动泊车事件。基准例如是将从停止区域310到停车场PA为止的路径、在停车场PA内行驶至驻车空间PS的路径及从驻车空间PS到停止区域310为止的路径相加而得到的距离。由此，自动泊车控制部142能够抑制本车辆M在向停车场PA的入库或从停车场PA的出库的中途停止。

在本车辆M仅具备内燃机作为驱动源的情况下，本车辆M也可以不具备电池余量检测部74。在本车辆M仅具备电动机作为驱动源的情况下，本车辆M也可以不具备燃料余量检测部76。在该情况下，自动泊车控制部142也可以仅基于根据电池余量检测部74的检测结果而算出的可行驶距离和基准，或者仅基于根据燃料余量检测部76的检测结果而算出的可行驶距离和基准，来判定是否进行入库所涉及的自动泊车事件。在以后的说明中，在不互相区分电池的剩余容量和燃料的剩余容量的情况下，记为“能量余量”。

[(3)：检测到识别部130参照结果的检测装置的故障的情况]

自动泊车控制部142例如在由故障检测装置18检测到检测装置的故障的情况下，不进行入库所涉及的自动泊车事件。如上所述，识别部130基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息来识别处于本车辆M的周边的物体的位置及速度、加速度等状态。因此，在检测装置发生了故障的情况下，自动泊车控制部142无法通过自动泊车事件而使本车辆M向驻车空间PS驻车。自动泊车控制部142在由故障检测装置18检测到检测装置的故障的情况下，不进行入库所涉及的自动泊车事件，由此，能够仅在能够使本车辆M通过自动驾驶而安全地向停车场PA驻车的情况下执行入库所涉及的自动泊车事件。

[(4)：识别到在本车辆M的车室内存在人的情况]

识别部130例如基于由车室内相机70拍摄到的过去的车室内图像和在乘员下车时拍摄到的车室内的图像来提取2个图像的差分。在2个图像中提取到差分的情况下，识别部130识别到存在于产生了该差分的部位的物体。自动泊车控制部142在识别部130的识别结果表示存在于产生了差分的部位的物体是人的情况下，不进行入库所涉及的自动泊车事件。

在此，在多个乘员乘坐本车辆M且乘员的一部分是婴儿、老人的情况下，有时，在乘降区域320中其他乘员下车后，婴儿、老人留在本车辆M。在留下的乘员自身难以下车的情况下(即，在婴儿、老人的情况下)，若本车辆M通过自动泊车事件而向停车场PA驻车，则有时会损害乘员的健康。自动泊车控制部142在本车辆M中留有乘员的情况下，能够不进行入库所涉及的自动泊车事件而确保乘员的安全。通过上述的处理，已经从本车辆M下车的乘员能够识别不进行(中止了)自动泊车事件，察觉留在本车辆M的乘员。自动泊车事件中止例如除了本车辆M不开始自动泊车事件(驻车动作)以外，也可以通过在开始自动泊车事件的情况下闪烁的灯体不闪烁或本车辆M的后视镜不折叠等物理的动作而向已经从本车辆M下车的乘员明示。

[动作流程]

图10是示出入库所涉及的自动泊车事件的开始处理的一系列流程的流程图。首先，自动泊车控制部142判定识别部130的识别结果是否表示本车辆M是否在停止区域310中停止着(步骤S100)。

自动泊车控制部142在直到表示本车辆M在停止区域310中停止着为止的期间等待。自动泊车控制部142在由识别部130识别到本车辆M在停止区域310中停止着的情况下，判定识别部130的识别结果是否表示本车辆M的全部的车门关闭(步骤S102)。

自动泊车控制部142在直到本车辆M的全部的车门关闭为止的期间等待。

自动泊车控制部142在停止区域310中停止的本车辆M的全部的车门关闭后，判定是否由识别部130识别到从本车辆M下车的乘员做出了与“入库所涉及的自动泊车事件的开始指令”建立了对应关系的姿势(步骤S104)。自动泊车控制部142在由识别部130识别到从本车辆M下车的乘员做出了与“入库所涉及的自动泊车事件的开始指令”建立了对应关系的姿势的情况下，执行入库所涉及的自动泊车事件(步骤S108)。

自动泊车控制部142在未由识别部130识别到做出了姿势的情况下，判定是否由识别部130识别到从本车辆M下车的乘员进行了与“入库所涉及的自动泊车事件的开始指令”建立了对应关系的敲击(步骤S106)。自动泊车控制部142在由识别部130识别到从本车辆M下车的乘员进行了与“入库所涉及的自动泊车事件的开始指令”建立了对应关系的敲击的情况下，执行入库所涉及的自动泊车事件(步骤S108)。

自动泊车控制部142在未由识别部130识别到姿势及敲击的情况下，判定在停止区域310中停止的本车辆M的全部的车门关闭后是否经过了规定的时间(步骤S110)。自动泊车控制部142在直到在停止区域310中停止的本车辆M的全部的车门关闭后经过规定的时间为止的期间等待。自动泊车控制部142在判定为在停止区域310中停止的本车辆M的全部的车门关闭后经过了规定的时间的情况下，执行入库所涉及的自动泊车事件(步骤S108)。

自动泊车控制部142在未由识别部130识别到姿势或敲击的情况下，也可以不执行入库所涉及的自动泊车事件。在该情况下，步骤S110的处理省略。

图11是示出入库所涉及的自动泊车事件的中止处理的一系列流程的流程图。图11所示的流程图示出在由自动泊车控制部142执行着入库所涉及的自动泊车事件的期间进行的处理。首先，识别部130取得由特定接触操作检测装置72拍摄到的车室内的图像(步骤S200)。

自动泊车控制部142判定识别部130的识别结果是否表示终端装置TM忘在车室内(步骤S202)。自动泊车控制部142在判定为终端装置TM忘在车室内的情况下，使处理进入步骤S216。

接着，自动泊车控制部142例如取得由电池余量检测部74检测到的电池的剩余容量和由燃料余量检测部76检测到的燃料的余量的至少一方(步骤S204)。自动泊车控制部142判定基于取得的电池的剩余容量及表示本车辆M的电耗的信息和燃料的余量及表示本车辆M的燃耗的信息而算出的本车辆M的可行驶距离是否为基准以下(步骤S206)。自动泊车控制部142在本车辆M的可行驶距离为基准以下的情况下，使处理进入步骤S216。

自动泊车控制部142在本车辆M的可行驶距离比基准大的情况下，取得故障检测装置18的检测结果(步骤S208)。自动泊车控制部142判定是否由故障检测装置18检测到检测装置的故障(步骤S210)。

自动泊车控制部142在由故障检测装置18检测到检测装置的故障的情况下，使处理进入步骤S216。

自动泊车控制部142在未由故障检测装置18检测到检测装置的故障的情况下，判定识别部130的识别结果是否表示在车室内存在人(步骤S212)。自动泊车控制部142在识别部130的识别结果表示在车室内存在人的情况下，使处理进入步骤S216。

自动泊车控制部142在识别到乘员的终端装置TM忘在本车辆M的车室内(条件1)、本车辆M的基于能量余量的可行驶距离为基准以下(条件2)、检测到识别部130参照结果的检测装置的故障(条件3)及识别到在本车辆M的车室内存在人(条件4)的所有条件都不满足的情况下，进行入库所涉及的自动泊车事件(步骤S214)。

自动泊车控制部142在满足识别到乘员的终端装置TM忘在本车辆M的车室内(条件1)、本车辆M的基于能量余量的可行驶距离为基准以下(条件2)、检测到识别部130参照结果的检测装置的故障(条件3)及识别到在本车辆M的车室内存在人(条件4)中的任意条件的情况下，不进行入库所涉及的自动泊车事件(步骤S216)。自动泊车控制部142在步骤S216之后，返回步骤S200，重新判定是否满足(条件1)～(条件4)，在这些条件都不满足的情况下，进行入库所涉及的自动泊车事件(步骤S214)。

[实施方式的总结]

如以上所说明那样，本实施方式的自动驾驶控制装置100具备：识别部130，其识别本车辆M的周边环境；以及驾驶控制部(在该一例中是行动计划生成部140和第二控制部160)，其基于识别部130的识别结果而自动地进行本车辆M的速度控制及转向控制，自动泊车控制部142在使乘员从本车辆M下车后由识别部130识别到下车的乘员对车身或朝向车身进行的特定的操作的情况下，使本车辆M行驶并停止于停车场(停车场PA)，由此，能够提高便利性。识别部130可以进行姿势的识别和敲击的识别中的任一者，也可以基于天气而变更识别的对象、识别的优先级。识别部130例如基于天气，在雨天的情况下，由于车身打湿，所以优先识别姿势而非敲击，在有雾的情况下，由于难以通过图像来识别姿势，所以优先识别敲击而非姿势。

本实施方式的自动驾驶控制装置100具备：识别部130，其识别本车辆M的周边状况；驾驶控制部(在该一例中是行动计划生成部140和第二控制部160)，其基于识别部130的识别结果而自动地进行本车辆M的速度控制及转向控制；以及判定部(在该一例中是自动泊车控制部142)，其在乘员从本车辆M下车时，判定是否满足表示自动驻车不合适的规定的条件，自动泊车控制部142在判定为不满足规定的条件的情况下，使本车辆M从停止的状态开始行驶并停止于停车场，在判定为满足规定的条件的情况下，不使本车辆M行驶并停止于停车场(停车场PA)，由此，能够抑制在没有乘员对车辆M的周边监视的状态下通过本车辆M的不慎的自动控制而产生不良情况。在存在由用户(乘员或乘员候补)进行的周边监视义务的自动驻车辅助中，用户一直看到本车辆M的驻车完成为止，但在没有由用户进行的周边监视义务的自动驻车2，用户不会一直看到本车辆M的驻车完成为止。由此，在自动驻车开始后用户即使察觉到异变也难以进行应对，通过在自动驻车开始前基于规定条件的成立而不使自动驻车开始，能够抑制产生不良情况。

[硬件结构]

图12是示出实施方式的自动驾驶控制装置100的硬件结构的一例的图。如图所示，自动驾驶控制装置100成为了通信控制器100-1、CPU100-2、作为工作存储器使用的RAM(Random Access Memory)100-3、保存引导程序等的ROM(Read Only Memory)100-4、闪存器、HDD(Hard Disk Drive)等存储装置100-5、驱动装置100-6等通过内部总线或专用通信线而相互连接的结构。通信控制器100-1进行与自动驾驶控制装置100以外的构成要素的通信。在存储装置100-5中保存有CPU100-2执行的程序100-5a。该程序由DMA(Direct MemoryAccess)控制器(未图示)等展开于RAM100-3，由CPU100-2执行。由此，实现识别部130、行动计划生成部140及自动泊车控制部142中的一部分或全部。

上述说明的实施方式能够如以下这样表述。

一种自动驾驶控制装置，具备：

存储装置，存储有程序；及

硬件处理器，

构成为通过所述硬件处理器执行存储于所述存储装置的程序而进行以下处理：

识别车辆的周边状况；

基于识别结果来自动地进行所述车辆的速度控制及转向控制；

在用户从所述车辆下车时，判定是否满足表示自动驻车不合适的规定的条件；

在判定为不满足所述规定的条件的情况下，在没有所述用户或所述用户以外的人对所述车辆的周边监视的状态下使所述车辆从停止的状态开始行驶并停止于停车场；以及

在判定为满足所述规定的条件的情况下，不在没有所述用户或所述用户以外的人对所述车辆的周边监视的状态下使所述车辆从停止的状态开始行驶并停止于停车场。

上述说明的实施方式能够如以下这样表述。

一种自动驾驶控制装置，其具备：

存储装置，其存储有程序；以及

硬件处理器，

构成为通过所述硬件处理器执行存储于所述存储装置的程序而进行以下处理：

识别车辆的周边环境；

基于识别结果而自动地进行所述车辆的速度控制及转向控制；

在使用户从所述车辆下车后识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (9)

1.一种车辆控制系统，其中，

所述车辆控制系统具备：

识别部，其识别车辆的周边环境；以及

驾驶控制部，其基于所述识别部的识别结果而自动地进行所述车辆的速度控制及转向控制，

所述驾驶控制部在使用户从所述车辆下车后由所述识别部识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

2.根据权利要求1所述的车辆控制系统，其中，

在所述特定的操作中包括所述下车的用户的姿势。

3.根据权利要求1或2所述的车辆控制系统，其中，

在所述特定的操作中包括对所述车辆的车身的敲击。

4.根据权利要求3所述的车辆控制系统，其中，

所述驾驶控制部在由所述识别部识别到所述敲击的节奏成为了预先设定的节奏的情况、或者由所述识别部识别到所述敲击的次数成为了预先设定的次数的情况下，使所述车辆从停止的状态开始行驶。

5.根据权利要求3或4所述的车辆控制系统，其中，

所述识别部识别由检测所述车辆的车室内的声音的声音检测部检测到的所述敲击。

6.根据权利要求1～4中任一项所述的车辆控制系统，其中，

在所述特定的操作中包括所述下车的用户的抚摸操作。

7.根据权利要求6所述的车辆控制系统，其中，

所述识别部识别由检测人相对于所述车身接触的接触检测部检测到的所述抚摸操作。

8.一种车辆控制方法，其中，

所述车辆控制方法使计算机进行以下处理：

识别车辆的周边环境；

基于识别结果而自动地进行所述车辆的速度控制及转向控制；以及

在使用户从所述车辆下车后识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

9.一种存储介质，存储有程序，其中，

所述程序使计算机进行以下处理：

识别车辆的周边环境；

基于识别结果而自动地进行所述车辆的速度控制及转向控制；以及

在使用户从所述车辆下车后识别到下车的用户对车身或朝向车身进行的特定的操作的情况下，使所述车辆从停止的状态开始行驶。

Images