CN113492851A - 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 - Google Patents

Abstract

本发明提供车辆控制装置、车辆控制方法以及车辆控制用计算机程序。车辆控制装置具有：物体检测部，从由搭载于车辆的拍摄部按时间序列得到的各图像检测包含车辆周围的其他车辆的物体区域；追踪部，基于从各图像的物体区域推测的其他车辆的轨迹来检测其他车辆实施的预定行动；信号灯状态识别部，从根据各图像的物体区域内的像素值求出的特征识别其他车辆的信号灯的状态；行为特征提取部，基于在追踪期间检测到的预定行动和与该预定行动关联的信号灯的状态，提取对其他车辆实施预定行动时的信号灯的状态或者其他车辆的行动的特征进行表示的信息；驾驶计划部，根据所提取的信息来预测其他车辆的行为，基于所预测的其他车辆的行为设定预定行驶路径。

Description

车辆控制装置、车辆控制方法以及车辆控制用计算机程序

技术领域

本发明涉及对车辆的行驶进行控制的车辆控制装置、车辆控制方法以及车辆控制用计算机程序。

背景技术

正在研究对车辆进行控制以使车辆进行自动驾驶的技术。为了使车辆进行自动驾驶，要求对车辆进行控制以使得存在于车辆周围的其他物体与车辆不碰撞。于是，提出了如下技术：对车辆周围的其他物体的行为进行预测，利用其预测结果，对车辆的行驶进行控制(例如参照专利文献1和专利文献2)。

例如，专利文献1所公开的自动驾驶控制装置对自身车辆的周边车辆的行动进行预测，利用在自身车辆中预测到的预测结果和从其他自动驾驶车辆取得的预测结果，生成自身车辆的行驶控制计划。

另外，专利文献2所公开的驾驶辅助装置基于先行车辆的方向指示器的闪烁状态、先行车辆行驶的车道的位置、先行车辆信息、车道消失信息以及障碍物信息，预测在本车行驶车道的右车道或者左车道中行驶的先行车辆是否向本车行驶车道变道。并且，该驾驶辅助装置在预测出先行车辆正向本车行驶车道变道的情况下，对驾驶员进行驾驶辅助。

现有技术文献

专利文献1：日本特开2008－123197号公报

专利文献2：日本特开2008－257350号公报

发明内容

发明要解决的技术问题

如上述的技术那样，通过使用与车辆周围的其他车辆的方向指示器(转向信号(turn signal))的状态有关的信息，能够对其他车辆的行为进行某种程度预测。但是，从转向信号开始闪烁到实际进行车道变更为止的时滞根据驾驶员而不同。另外，根据驾驶员的不同，有时在进行车道变更时不进行转向信号的操作。因此，即使使用与其他车辆的转向信号的状态有关的信息，有时其他车辆的行为的预测精度也不一定足够。

于是，本发明的目的在于提供能够提高与位于车辆周围的其他车辆的行为有关的预测精度的车辆控制装置。

用于解决问题的技术方案

根据一个实施方式，提供对车辆的行驶进行控制的车辆控制装置。该车辆控制装置具有：物体检测部，通过将由搭载于车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于一系列图像分别检测图像上包含车辆周围的其他车辆的物体区域；追踪部，通过基于一系列图像各自的物体区域来对其他车辆进行追踪，从而推测其他车辆的轨迹，基于所推测的轨迹，检测其他车辆实施的预定行动；信号灯状态识别部，通过将根据在一系列图像各自中检测到的物体区域内的像素值求出的特征输入到第2识别器，从而对其他车辆的信号灯的状态进行识别，所述第2识别器具有递归构造、或者执行时间轴方向上的卷积运算；行为特征提取部，基于在追踪其他车辆的追踪期间检测到的预定行动、和在追踪期间识别出的与预定行动关联的其他车辆的信号灯的状态，提取至少一个行为特征信息，所述至少一个行为特征信息表示其他车辆实施预定行动时的信号灯的状态或者其他车辆的行动的特征；驾驶计划部，根据至少一个行为特征信息来预测其他车辆的行为，基于预测出的其他车辆的行为，设定车辆预定行驶的预定行驶路径；以及车辆控制部，对车辆进行控制，以使车辆沿着预定行驶路径进行行驶。

在该车辆控制装置中优选为，驾驶计划部通过基于其他车辆的轨迹，求出预测为其他车辆在从当前到将来预定时间为止的期间通过的预测轨迹，生成将该预测轨迹通过的地点的成本设定为比其他地点的成本高的代价地图，根据至少一个行为特征信息来对代价地图进行修正，从而求出表示预测出的车辆的行为的修正后的代价地图，按照该修正后的代价地图，设定预定行驶路径以使预定行驶路径上的成本最小。

另外，在该车辆控制装置中优选为，追踪部检测其他车辆实施的车道变更来作为其他车辆实施的预定行动，行为特征提取部将变化为其他车辆的转向信号闪烁的状态作为变化为与预定行动关联的信号灯的状态。

在该情况下优选为，行为特征提取部提取车道变更不实施率来作为至少一个行为特征信息之一，所述车道变更不实施率是在追踪期间在转向信号闪烁之后其他车辆未实施车道变更的次数相对于其他车辆使转向信号闪烁的次数之比。

并且，优选为，在信号灯状态识别部通过将来自由拍摄部在一系列图像之后得到的最新的图像的物体区域的特征输入到第2识别器而识别出其他车辆的转向信号成为闪烁状态的情况下，驾驶计划部对代价地图进行修正，以使得在车道变更不实施率小于第1阈值的情况下，使设想为其他车辆对于由转向信号表示的方向进行了车道变更时其他车辆通过的各个地点的成本增加第1值，另一方面，在车道变更不实施率为第1阈值以上的情况下，使设想为其他车辆对于由转向信号表示的方向进行了车道变更时通过的各个地点的成本增加比第1值小的第2值。

或者，在该车辆控制装置中优选为，行为特征提取部提取转向信号点亮率来作为至少一个行为特征信息之一，所述转向信号点亮率是在追踪期间其他车辆在车道变更前使转向信号闪烁的次数相对于其他车辆实施了车道变更的次数之比。

在该情况下优选为，在信号灯状态识别部通过将来自由拍摄部在一系列图像之后得到的最新的图像的物体区域的特征输入到第2识别器而识别出其他车辆的转向信号成为熄灭状态的情况下，驾驶计划部对代价地图进行修正，以使得在转向信号点亮率为第2阈值以上的情况下，使预测轨迹不通过的各个地点的成本降低预定值，另一方面，在转向信号点亮率比第2阈值低的情况下，将设想为其他车辆进行了车道变更时通过的各个地点的成本设定为与预测轨迹通过的地点的成本相同的值。

或者，另外在该车辆控制装置中优选为，行为特征提取部提取车道变更发生率来作为至少一个行为特征信息之一，所述车道变更发生率是其他车辆每单位时间进行车道变更的次数。

在该情况下优选为，驾驶计划部对代价地图进行修正，以使得在车道变更发生率为第3阈值以下的情况下，使预测轨迹不通过的各个地点的成本降低预定值，另一方面，在车道变更发生率比第3阈值高的情况下，将设想为其他车辆进行了车道变更时通过的各个地点的成本设定为与预测轨迹通过的地点的成本相同的值。

或者，另外在该车辆控制装置中优选为，行为特征提取部提取在追踪期间从其他车辆在车道变更前使转向信号进行闪烁起到其他车辆实施车道变更为止的犹豫期间的平均值来作为至少一个行为特征信息之一。

在该情况下优选为，第2识别器当被输入根据物体区域内的像素值求出的特征时，输出作为其他车辆的信号灯的转向信号为闪烁状态的可信度，信号灯状态识别部在可信度为可信度阈值以上的情况下，识别为转向信号为闪烁状态、并且在犹豫期间的平均值小于预定的阈值的情况下，使可信度阈值降低预定值。

另外，优选为，车辆还具有第2拍摄部，所述第2拍摄部对与拍摄部的拍摄区域不同的其他拍摄区域进行拍摄来生成第2图像，物体检测部通过将第2图像输入到第1识别器，检测第2图像上包含其他车辆的物体区域，追踪部通过对第2图像上的物体区域和一系列图像中的任意图像的物体区域进行对照，从而对其他车辆进行追踪。

或者，另外优选为，车辆还具有测距部，所述测距部每预定周期生成测距信号，该测距信号针对车辆周围的预定角度范围内的每个角度，包括直至存在于该角度方向的物体为止的距离的测定值，追踪部通过确定在紧接着一系列图像中的任意图像的取得时间点之前或者之后的第1时间点得到的测距信号中与任意图像上的物体区域相当的角度范围，对第1时间点的测距信号的确定的角度范围和在第1时间点之后的第2时间点得到的测距信号进行对照，从而对其他车辆进行追踪。

根据本发明的又一其他方式，提供对车辆的行驶进行控制的车辆控制方法。该车辆控制方法包括：通过将由搭载于车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于一系列图像分别检测图像上包含车辆周围的其他车辆的物体区域，通过基于一系列图像各自的物体区域来对其他车辆进行追踪，从而推测其他车辆的轨迹，基于所推测的轨迹，检测其他车辆实施的预定行动，通过将根据在一系列图像各自中检测到的物体区域内的像素值求出的特征输入到第2识别器，从而对其他车辆的信号灯的状态进行识别，第2识别器具有递归构造、或者执行时间轴方向上的卷积运算，基于在追踪其他车辆的追踪期间检测到的预定行动、和在追踪期间识别出的与预定行动关联的其他车辆的信号灯的状态，提取至少一个行为特征信息，至少一个行为特征信息表示其他车辆实施预定行动时的信号灯的状态或者其他车辆的行动的特征，根据至少一个行为特征信息来预测其他车辆的行为，基于预测出的其他车辆的行为，设定车辆预定行驶的预定行驶路径，对车辆进行控制，以使车辆沿着预定行驶路径进行行驶。

根据本发明的又一其他方式，提供用于对车辆的行驶进行控制的车辆控制用计算机程序。该车辆控制用计算机程序包括用于使搭载于车辆的处理器执行如下处理的命令，该处理包括：通过将由搭载于车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于一系列图像分别检测图像上包含车辆周围的其他车辆的物体区域，通过基于一系列图像各自的物体区域来对其他车辆进行追踪，从而推测其他车辆的轨迹，基于所推测的轨迹，检测其他车辆实施的预定行动，通过将根据在一系列图像各自中检测到的物体区域内的像素值求出的特征输入到第2识别器，从而对其他车辆的信号灯的状态进行识别，第2识别器具有递归构造、或者执行时间轴方向上的卷积运算，基于在追踪其他车辆的追踪期间检测到的预定行动、和在追踪期间识别出的与预定行动关联的其他车辆的信号灯的状态，提取至少一个行为特征信息，至少一个行为特征信息表示其他车辆实施预定行动时的信号灯的状态或者其他车辆的行动的特征，根据至少一个行为特征信息来预测其他车辆的行为，基于预测出的其他车辆的行为，设定车辆预定行驶的预定行驶路径，对车辆进行控制，以使车辆沿着预定行驶路径进行行驶。

发明效果

本发明涉及的车辆控制装置起到能够提高与位于车辆周围的其他车辆的行为有关的预测精度这一效果。

附图说明

图1是安装有车辆控制装置的车辆控制系统的概略结构图。

图2是设置于车辆的摄像机和测距传感器的概略配置图。

图3是作为车辆控制装置的一个实施方式的电子控制装置的硬件结构图。

图4是与车辆控制处理有关的电子控制装置的处理器的功能框图。

图5是表示被作为第1识别器进行利用的DNN的结构的一个例子的图。

图6是表示包括作为第2识别器的信号灯状态识别的对象的其他车辆的物体区域的一个例子的图。

图7是表示检测物体列表的一个例子的图。

图8是表示追踪信息的一个例子的图。

图9是表示行为特征信息的一个例子的图。

图10是基于行为特征信息进行的代价地图(costmap)修正的动作流程图。

图11是车辆控制处理的动作流程图。

1 车辆控制系统

2－1～2－n 摄像机

3－1～3－m 测距传感器

4 电子控制装置(车辆控制装置)

5 车内网络

21 通信接口

22 存储器

23 处理器

31 物体检测部

32 追踪部

33 信号灯状态识别部

34 行为特征提取部

35 驾驶计划部

36 车辆控制部

具体实施方式

以下，参照附图对车辆控制装置、在车辆控制装置中执行的车辆控制方法以及车辆控制用计算机程序进行说明。该车辆控制装置例如通过对车辆周围的其他车辆具有的转向信号等的信号灯的状态进行识别，对该信号灯的状态发生了变化的定时进行检测，并且对车辆周围的其他车辆进行追踪，检测并记录其他车辆实施的车道变更这样的其他车辆的预定行动。并且，关于其他车辆，该车辆控制装置基于所记录的实施了预定行动的定时和信号灯的状态发生了变化的定时，求出其他车辆实施预定行动时的信号灯的状态的特征。并且，该车辆控制装置按照所求出的特征，对代价地图进行修正，该代价地图用成本表示在车辆的预定行驶路径的设定中所利用的、各位置的其他车辆通过的可能性。

图1是安装有车辆控制装置的车辆控制系统的概略结构图。在本实施方式中，搭载于车辆10、且对车辆10进行控制的车辆控制系统1具有用于对车辆10的周围进行拍摄的多个摄像机2－1～2－n(n为2以上的整数)、用于对直至车辆10周围的物体为止的距离进行测定的多个测距传感器3－1～3－m(m为2以上的整数)、以及作为车辆控制装置的一个例子的电子控制装置(ECU)4。摄像机2－1～2－n以及测距传感器3－1～3－m与ECU4经由遵照控制器局域网络这样的标准的车内网络5以能够通信的方式连接。此外，车辆控制系统1可以还具有存储车辆10的自动驾驶控制所使用的地图的储存装置。进一步，车辆控制系统1可以具有GPS接收机这样的用于依照卫星定位系统来对车辆10的自身位置进行定位的接收机、用于与其他设备进行无线通信的无线终端、以及用于对车辆10的预定行驶路径进行搜索的导航装置等。

摄像机2－1～2－n分别是拍摄部的一个例子，具有由CCD或者C-MOS等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上成像作为拍摄对象的区域的像的成像光学系统。并且，摄像机2－1～2－n分别安装于车辆10以对车辆10周围的互不相同的区域进行拍摄。因此，摄像机2－1～2－n既可以具有互不相同的焦点距离、或者也可以以拍摄方向互不相同的方式安装于车辆10。并且，摄像机2－1～2－n分别按预定的拍摄周期(例如1/30秒～1/10秒)对车辆10周围的拍摄区域进行拍摄，生成映现了该拍摄区域的图像。通过摄像机2－1～2－n得到的图像优选是彩色图像。

摄像机2－1～2－n分别每当生成图像时，将该生成的图像经由车内网络5输出给ECU4。

测距传感器3－1～3－m例如可以设为LiDAR或者雷达这样的能够按方位对直至存在于该方位的物体为止的距离进行测定的传感器。并且，测距传感器3－1～3－m分别以能够对直至存在于车辆10周围的互不相同的测定范围的物体为止的距离进行测距的方式安装于车辆10。并且，测距传感器3－1～3－m分别按预定的测定周期(例如1/5秒～1/20秒)对直至测定范围内的物体为止的距离进行测距，生成表示其测距结果的测距信号。

测距传感器3－1～3－m分别每当生成测距信号时，将该生成的测距信号经由车内网络5输出给ECU4。

图2是设置于车辆的摄像机和测距传感器的概略配置图。在该例子中，两个摄像机2－1～2－2和六个测距传感器3－1～3－6设置于车辆10。摄像机2－1被设置成对车辆10的前方区域201进行拍摄，另一方面，摄像机2－2被设置成对车辆10的后方区域202进行拍摄。另外，测距传感器3－1～3－3分别被设置成能够对车辆10的左前方区域203、左侧方区域204、左后方区域205进行测距。另一方面，测距传感器3－4～3－6分别被设置成能够对车辆10的右前方区域206、右侧方区域207、右后方区域208进行测距。由此，车辆10的整个周围能够由任意摄像机进行拍摄、或者能够由任意传感器进行测距。因此，如箭头210所示，即使是在其他车辆对车辆10进行超车的情况下，ECU4也能够对该其他车辆进行追踪。此外，在以下的说明中，基于图2所示的摄像机和测距传感器的配置，对ECU4的动作进行说明。但是，摄像机和测距传感器的配置不限于该例子，例如既可以以对车辆10的左侧方区域或者右侧方区域进行拍摄的方式设置摄像机，也可以以能够对车辆10的前方区域或者后方区域进行测距的方式设置测距传感器。

图3是作为车辆控制装置的一个实施方式的ECU的硬件结构图。ECU4对车辆10进行控制以使车辆10进行自动驾驶。在本实施方式中，ECU4基于从通过摄像机2－1～2－n分别得到的按时间序列的一系列图像和根据通过测距传感器3－1～3－m分别得到的测距信号检测到的物体，对车辆10进行控制，以使车辆10进行自动驾驶。因此，ECU4具有通信接口21、存储器22以及处理器23。

通信接口21是通信部的一个例子，具有用于将ECU4连接于车内网络5的接口电路。即，通信接口21经由车内网络5而与摄像机2－1～2－n以及测距传感器3－1～3－m连接。并且，通信接口21每当从摄像机2－1～2－n中的任意摄像机接收到图像时，将所接收到的图像交给处理器23。另外，通信接口21每当从测距传感器3－1～3－m中的任意测距传感器接收到测距信号时，将所接收到的测距信号交给处理器23。

存储器22是存储部的一个例子，例如具有易失性半导体存储器和非易失性半导体存储器。此外，存储器22也可以在如后述那样处理器23具有多个运算单元的情况下，按运算单元具有专用的存储电路。并且，存储器22存储在通过ECU4的处理器23执行的车辆控制处理中所使用的各种数据和参数、例如从摄像机2－1～2－n中的任意摄像机接收到的图像、从测距传感器3－1～3－m中的任意测距传感器接收到的测距信号、用于确定在车辆控制处理中利用的各识别器的各种参数、以及物体的每个种类的可信度阈值等。进一步，存储器22将表示与所检测到的物体有关的信息的检测物体列表这样的在车辆控制处理途中生成的各种数据存储一定期间。再者，存储器22也可以存储地图信息这样的在车辆10的行驶控制中所利用的信息。

处理器23是控制部的一个例子，具有一个或者多个CPU(Central ProcessingUnit，中央处理单元)及其外围电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图形处理单元(Graphics Processing Unit，GPU)这样的其他运算电路。并且，处理器23在车辆10行驶的期间每当从摄像机2接收到图像时，对所接收到的图像执行车辆控制处理。并且，处理器23基于所检测到的车辆10周围的物体，对车辆10进行控制以使车辆10进行自动驾驶。

处理器23在车辆10行驶的期间按预定周期执行车辆控制处理，使车辆10进行自动驾驶。

图4是与车辆控制处理有关的ECU4的处理器23的功能框图。处理器23具有物体检测部31、追踪部32、信号灯状态识别部33、行为特征提取部34、驾驶计划部35以及车辆控制部36。处理器23所具有的这些各部分例如是通过在处理器23上工作的计算机程序实现的功能模块。

物体检测部31通过每当从摄像机2－1～摄像机2－n中的任意摄像机接收到图像时，将所接收到的最新的图像输入到物体检测用的第1识别器，从而对包括该图像所示出的其他车辆这样的检测对象物体的物体区域进行检测，并且确定该检测对象物体的种类。此外，检测对象物体除了其他车辆以外还包括对车辆10的行驶控制有影响的物体、例如人、道路标识、信号机、车道划分线等的道路标示以及道路上的其他物体等。

在本实施方式中，物体检测部31利用神经网络来作为第1识别器，该神经网络被预先进行了学习以使得对包含图像所示出的检测对象物体的物体区域进行检测、且对检测对象物体的种类进行识别。物体检测部31利用的神经网络例如可以设为SSD(Single ShotMultiBox Detector)或者Faster R-CNN这样的具有卷积神经网络(以下简称为CNN)型架构的、所谓的深度神经网络(以下简称为DNN)。

图5是表示作为第1识别器所利用的DNN的结构的一个例子的图。DNN500具有设置在被输入图像的输入侧的主干部501、和比主干部501靠输出侧设置的位置检测部502以及种类推测部503。位置检测部502基于来自主干部501的输出，输出在图像上示出的检测对象物体的外接矩形来作为物体区域。种类推测部503基于来自主干部501的输出，计算出由位置检测部502检测到的物体区域所示出的检测对象物体的每个种类的可信度。此外，位置检测部502和种类推测部503也可以一体地形成。

主干部501例如可以设为具有从输入侧向输出侧串联地连接的多个层的CNN。该多个层包括两个以上的卷积层。进一步，主干部501具有的多个层也可以包括按每一个或者多个卷积层设置的池化层。再者，主干部501具有的多个层也可以包括一个以上的全连接层。例如，主干部501可以设为与SSD的基础层同样的结构。或者，主干部501也可以按照VGG-19、AlexNet或者Network-In-Network这样的其他CNN架构来构成。

主干部501当被输入图像时，通过对该图像执行各层的运算，输出根据该图像计算出的特征图(feature map)。此外，主干部501也可以输出分辨率不同的多个特征图。例如，主干部501也可以输出具有与被输入的图像的分辨率相同的分辨率的特征图、和分辨率比被输入的图像的分辨率低的一个以上的特征图。

从主干部501输出的特征图分别被输入到位置检测部502和种类推测部503。并且，位置检测部502和种类推测部503分别例如可以设为具有从输入侧向输出侧串联地连接的多个层的CNN。关于位置检测部502和种类推测部503的各个，CNN具有的多个层包括两个以上的卷积层。另外，关于位置检测部502和种类推测部503的各个，CNN具有的多个层也可以包括按每一个或者多个卷积层设置的池化层。此外，CNN具有的卷积层和池化层也可以关于位置检测部502和种类推测部503来共用。进一步，关于位置检测部502和种类推测部503的各个，多个层也可以包括一个以上的全连接层。在该情况下，全连接层优选比各卷积层靠输出侧设置。另外，来自各卷积层的输出也可以直接被输入到全连接层。另外，种类推测部503的输出层既可以设为按照Softmax函数计算出检测对象物体的种类各自的可信度的Softmax层，也可以设为按照Sigmoid函数计算出检测对象物体的种类各自的可信度的Sigmoid层。

位置检测部502和种类推测部503例如被进行学习以使得按图像上的各种各样的位置、各种各样的尺寸以及各种各样的纵横比的区域来输出检测对象物体的种类各自的可信度。因此，识别器500通过被输入图像，按图像上的各种各样的位置、各种各样的尺寸以及各种各样的纵横比的区域，输出检测对象物体的种类各自的可信度。并且，位置检测部502和种类推测部503将关于任意种类的检测对象物体的可信度为预定的可信度阈值以上的区域检测为示出有该种类的检测对象物体的物体区域。

被用于识别器500的学习的教学数据所包含的图像(教学图像)例如被标记有检测对象物体的种类(例如普通乘用车、公共汽车、卡车、二轮车等)和作为示出了检测对象物体的物体区域的该检测对象物体的外接矩形。

识别器500使用如上述那样的大量的教学图像，例如按照误差反向传播法这样的学习方法被进行学习。处理器23通过利用这样学习后的识别器500，能够从图像精度良好地检测其他车辆这样的检测对象物体。

物体检测部31进一步也可以通过执行非极大值抑制(Non-maximum suppression(NMS))处理，从至少部分地重叠的两个以上的物体区域中的推测为表示同一物体的物体区域中选择一个。

物体检测部31将各物体区域在图像上的位置以及范围和该物体区域所包含的物体的种类登记于检测物体列表。并且，物体检测部31将检测物体列表存储于存储器22。进一步，物体检测部31关于各物体区域，将通过第1识别器的主干部根据该物体区域所包含的各像素计算出的、且被输出给信号灯状态识别部33的特征图存储于存储器22。此外，被输出给信号灯状态识别部33的特征图可以设为具有与被输入到了第1识别器的图像的分辨率相同的分辨率的特征图。另外，在通过第1识别器的主干部具有的池化层等来计算出具有比所输入的图像的分辨率低的分辨率的特征图的情况下，该具有低分辨率的特征图也可以被输出给信号灯状态识别部33。进一步，通过第1识别器的主干部计算出的、具有互不相同的分辨率的多个特征图也可以被输出给信号灯状态识别部33。

追踪部32通过对从通过摄像机2－1～2－n中的任意摄像机得到的图像检测到的、位于车辆10周围的其他车辆(以下有时也简称为其他车辆)进行追踪，推测其他车辆所通行的轨迹。并且，追踪部32基于所推测的轨迹，对其他车辆所实施的车道变更这样的预定行动进行检测。此时，追踪部32不仅是参照从摄像机2－1～2－n分别得到的图像，也参照从测距传感器3－1～3－m分别得到的测距信号，即使同一其他车辆在各摄像机的拍摄区域以及各测距传感器的测定范围中的两个以上进行移动，也对该其他车辆进行追踪。由此，追踪部32也能够对从车辆10的后方接近而对车辆10进行超车的其他车辆的预定行动进行检测。因此，处理器23能够也准确地对那样的其他车辆的行为进行预测，对车辆10进行控制以使得车辆10与该其他车辆不碰撞。

追踪部32为了对在任意摄像机的拍摄区域内移动的其他车辆进行追踪，例如将Lucas-Kanade法这样的基于光流的追踪处理应用于通过该摄像机得到的按时间序列的一系列图像。即，追踪部32通过对由任意摄像机得到的最新的图像中的所着眼的物体区域应用SIFT或者Harris算子这样的特征点提取用的滤波器，从该物体区域提取多个特征点。并且，追踪部32通过关于多个特征点分别按照所应用的追踪方法来确定由相同的摄像机得到的过去的图像中的物体区域的所对应的点，从而计算出光流即可。或者，追踪部32也可以通过将在从图像检测到的移动物体的追踪中所应用的其他追踪方法应用于由相同的摄像机得到的最新的图像中的所着眼的物体区域以及过去的图像中的物体区域，从而对该物体区域所示出的其他车辆进行追踪。

另外，追踪部32也可以对在至少部分地重叠的、任意摄像机的拍摄区域和任意测距传感器的测定范围移动的其他车辆进行追踪。在该情况下，追踪部32例如参照摄像机的安装位置、视角以及光轴方向和测距传感器的安装位置、测定范围以及测定范围的中心方向，确定与包含某时间点的图像上的所着眼的其他车辆的、图像上的物体区域相当的紧接着该时间点之前或者之后通过测距传感器得到的测定信号中的测定方位的角度范围。然后，追踪部32判定为在成为关于所确定的角度范围内的各个方位角度的距测距传感器的距离中的、相互的距离之差为对于所着眼的其他车辆的种类设想的基准尺寸以内的方位角度的集合的部分包含有该所着眼的其他车辆。

另外，为了对在某一个测距传感器的测定范围内移动的其他车辆进行追踪，追踪部32对在通过该测距传感器得到的某时间点的测距信号中确定的包含所着眼的其他车辆的方位角度的集合部分、和接下来得到的测距信号进行对照。然后，追踪部32在接下来得到的测距信号中，判定为在成为与该集合部分的一致程度为预定的阈值以上的方位角度的集合的部分包含有该所着眼的其他车辆。此时，追踪部32例如基于关于在相互进行对照的两个方位角度的集合中所对应的方位角的距离之差的和，求出一致程度即可。同样地，为了对在至少部分地重叠的两个测距传感器的测定范围移动的其他车辆进行追踪，追踪部32例如对在通过一个测距传感器得到的某时间点的测距信号中确定的包含所着眼的其他车辆的方位角度的集合部分、和通过另一个测距传感器在该时间点以后得到的测距信号进行对照。然后，追踪部32在通过另一个测距传感器得到的测距信号中，判定为在成为与该集合部分的一致程度为预定的阈值以上的方位角度的集合的部分包含有该所着眼的其他车辆。

进一步，为了对在互不相同的摄像机的拍摄区域移动的其他车辆进行追踪，追踪部32对通过一个摄像机得到的着眼图像上的包含所着眼的其他车辆的物体区域、和通过另一个摄像机得到的对照对象图像的各物体区域进行对照。然后，追踪部32判定为在与该物体区域的一致程度成为预定的阈值以上的对照对象图像上的物体区域包含有与该所着眼的其他车辆相同的其他车辆。在该情况下，追踪部32例如算出对于着眼图像而从第1识别器的主干部输出的特征图中的所着眼的其他车辆的物体区域所包含的特征与对于对照对象图像而从第1识别器的主干部输出的特征图中的所对照的物体区域所包含的特征的一致程度来作为例如标准化互相相关值。或者，追踪部32也可以通过将所着眼的其他车辆的物体区域的各像素值或者特征和进行对照的物体区域的各像素值或者特征输入到预先被进行学习以使得判定分别在两个区域所示出的物体是否彼此为同一物体的识别器，从而判定所着眼的其他车辆和在所对照的物体区域所示出的物体是否同一物体。作为那样的识别器，追踪部32例如可以使用具有CNN型架构的神经网络，该神经网络被使用三元组损失(Triplet loss)来作为损失函数进行了学习。

追踪部32将从任意摄像机的最新的图像检测到的其他车辆中的、不与在过去的图像所示出的其他车辆、从通过其他摄像机得到的图像检测到的其他车辆以及从任何测距传感器的测距信号检测到的其他车辆关联的其他车辆作为新的追踪对象。并且，追踪部32对该未进行关联的其他车辆分配与其他追踪中的车辆不同的识别编号，将该所分配的识别编号登记于检测物体列表。另一方面，追踪部32将从任意摄像机的最新的图像检测到的其他车辆中的、与在过去的图像示出的其他车辆、从通过其他摄像机得到的图像检测到的其他车辆以及从任何测距传感器的测距信号检测到的其他车辆中的某一个相关联的其他车辆判定为追踪中的其他车辆。然后，追踪部32关联与对该追踪中的其他车辆分配的识别编号相同的识别编号。

关于追踪中的各其他车辆，追踪部32求出该其他车辆在实际空间上的轨迹，求出该其他车辆在最近的一定期间内进行了车道变更的定时以及进行了车道变更的次数。因此，关于示出有其他车辆的各图像，追踪部32利用取得了该图像的摄像机相对于车辆10的安装位置以及拍摄方向等的信息，将该图像的包含有其他车辆的物体区域的图像内坐标变换为鸟瞰图像上的坐标(鸟瞰坐标)。然后，追踪部32通过对一系列的鸟瞰坐标、以及在任意测距传感器的测距信号中示出了其他车辆的方位以及距离执行使用了Kalman Filter(卡尔曼滤波器)、扩展Kalman Filter、Unscented Kalman Filter(无迹卡尔曼滤波)或者Particle filter(粒子滤波器)等的贝叶斯滤波器的追踪处理，求出将车辆10作为了基准的其他车辆的轨迹。进一步，追踪部32通过在其他车辆的追踪中对物体检测部31从通过任意摄像机得到的一系列图像分别检测到的车道划分线和存储于存储器22的地图信息进行匹配，推测分别取得该一系列图像时的车辆10的位置和姿势。并且，追踪部32通过基于分别取得在其他车辆的追踪中得到的该一系列图像时的由世界坐标系表示的车辆10的位置和姿势，将由以车辆10为基准的坐标系表示的其他车辆的轨迹从以车辆10为基准的坐标系向世界坐标系进行坐标变换，从而能够求出世界坐标系下的其他车辆的轨迹。追踪部32通过对世界坐标系下的追踪中的其他车辆的轨迹所包含的各个位置和由地图信息所表示的各车道的位置进行比较，能够确定该各个位置处的该其他车辆行驶的车道。进一步，追踪部32在世界坐标系下的追踪中的其他车辆的轨迹横穿了由地图信息所表示的任意车道划分线时，判定为该其他车辆进行了车道变更。追踪部32能够这样地关于追踪中的各其他车辆确定进行了车道变更的定时以及在该车道变更前后所行驶的车道。然后，追踪部32关于追踪中的各其他车辆，将表示开始了追踪以后的车道变更的次数、每个预定周期的世界坐标系下的其他车辆的位置坐标、实施了车道变更的定时以及该车道变更中的车道变更的方向的信息作为追踪信息存储于存储器22。

信号灯状态识别部33对追踪中的其他车辆的转向信号等的信号灯的状态进行识别。

例如，车辆在左转弯或者右转弯的情况下使转向信号进行闪烁。另外，车辆在减速时使制动灯点亮，在停车时等使危险预警灯闪烁。这些转向信号或者制动灯这样的车辆的信号灯的点亮或者闪烁伴随按时间序列的车辆外观的变化，并且提供用于对车辆的行为进行推测的重要的信息。但是，在示出了转向信号、制动器灯或者危险预警灯的各个图像中，不知道那些信号灯的闪烁的时间序列变化，因此，难以从示出了转向信号、制动器灯或者危险预警灯的各个图像中精度良好地识别转向信号或者危险预警灯是否闪烁、制动灯是点亮还是熄灭。于是，信号灯状态识别部33通过将根据按时间序列的一系列图像各自的物体区域内的像素值求出的特征输入到具有递归构造的第2识别器，从而精度良好地识别转向信号或者危险预警灯有无闪烁、制动灯的点亮和熄灭。

在本实施方式中，信号灯状态识别部33参照检测物体列表，确定追踪中的其他车辆。然后，信号灯状态识别部33关于追踪中的其他车辆分别每当通过任意摄像机取得示出了该其他车辆的图像时，将根据在该图像上包含有该其他车辆的物体区域内的像素值求出的特征输入到具有递归构造的第2识别器。

信号灯状态识别部33例如能够利用通过第1识别器的主干部计算出的特征图中的该物体区域所包含的特征(feature)来作为根据示出了其他车辆的物体区域内的像素值求出的特征。由此，不仅是所着眼的其他车辆本身的特征，也能够将所着眼的其他车辆周围的环境的特征用于状态识别。在本实施方式中，也考虑由所着眼的其他车辆和那以外的车辆的相对的位置关系产生的影响、例如如所着眼的其他车辆的转向信号等的一部分被那以外的车辆挡住那样的状况，第2识别器能够对所着眼的其他车辆的信号灯的状态进行识别。例如，在特征图的分辨率与被输入到了第1识别器的图像的分辨率相同的情况下，与该图像上的物体区域对应的、特征图上的区域内所包含的各特征成为根据物体区域内的像素值求出的特征。另外，在特征图的分辨率比被输入到了第1识别器的图像的分辨率低的情况下，与特征图的分辨率相对于所输入的图像的分辨率之比相应地对物体区域的坐标进行修正后的位置和范围成为与物体区域对应的特征图上的区域。例如设为：在所输入的图像上的物体区域的左上端位置和右上端位置分别为(tlX，tlY)以及(brX，brY)，对所输入的图像进行1/N(N为2以上的整数)的尺寸缩小，计算出特征图。在该情况下，与图像上的物体区域对应的特征图上的区域的左上端位置和右下端位置分别成为(tlX/N，tlY/N)以及(brX/N，brY/N)。

根据变形例，信号灯状态识别部33也可以将被输入到了第1识别器的图像上的示出了所着眼的其他车辆的物体区域内的各像素的值本身作为输入到第2识别器的根据示出了所着眼的其他车辆的物体区域内的像素值求出的特征。或者，信号灯状态识别部33也可以将对该物体区域内的各像素进行卷积运算这样的预定的滤波器处理而得到的值作为输入到第2识别器的、根据示出了所着眼的其他车辆的物体区域内的像素值求出的特征。

信号灯状态识别部33关于各物体区域，通过对所提取到的特征进行下采样(downsampling)或者上采样(up sampling)，重新调整为预定的尺寸(例如32×32)。由此，即使在所着眼的其他车辆的追踪的途中车辆10与所着眼的其他车辆间的相对距离变化而图像上的所着眼的其他车辆的尺寸发生变化，第2识别器也将所输入的特征作为固定的尺寸来进行处理，因此，第2识别器的结构得到简单化。

图6是表示包含作为第2识别器的信号灯状态识别的对象的其他车辆的物体区域的一个例子的图。图6所示的图像600例如通过设置成对车辆10的后方区域进行拍摄的摄像机2－2来取得。并且，在图像600中，车辆601～603分别被检测为作为信号灯状态识别的对象的其他车辆。因此，来自包含车辆601的物体区域611、包含车辆602的物体区域612以及包含车辆603的物体区域613的各个区域的特征被输入到第2识别器。另外，图6所示的图像620例如通过被设置成对车辆10的前方区域进行拍摄的摄像机2－1来取得。并且，在图像620中，车辆621～623分别被检测为作为信号灯状态识别的对象的其他车辆。因此，来自包含车辆621的物体区域631、包含车辆622的物体区域632以及包含车辆623的物体区域633的各个区域的特征被输入到第2识别器。

信号灯状态识别部33例如可以使用循环神经网络(Recurrent Neural Network(RNN))、长短期记忆(Long Short Term Memory(LSTM))或者门控循环单元(GatedRecurrent Unit(GRU))这样的具有递归性构造的神经网络来作为具有递归构造的第2识别器。第2识别器对物体区域所包含的特征进行处理即可，因此，与第1识别器相比，输入层和中间层的尺寸小就可以了，并且权重系数这样的用于对第2识别器进行规定的参数数量少就可以了。因此，第2识别器与第1识别器相比，运算量少，能够减小对于处理器23的运算负荷。进一步，第2识别器的学习所需要的运算量也被削减。此外，也可以在第1识别器和第2识别器分别作为神经网络来构成的情况下，使用共同的教学数据，通过误差反向传播法来一体地学习那些神经网络。

第2识别器具有递归构造，因此，每当按时间序列依次被输入特征时，对在内部以递归的方式利用的内部状态(也被称为中间状态或者隐态)进行更新。由此，第2识别器能够基于所着眼的追踪中的其他车辆的外观的按时间序列的变化，对该其他车辆的信号灯的状态进行识别。该内部状态被存储于存储器22。然后，第2识别器每当被输入关于所着眼的追踪中的其他车辆的特征时，从存储器22读入与该其他车辆有关的最新的内部状态，并应用于第2识别器的运算。

在本实施方式中，如上述的那样，信号灯状态识别部33对左右中的某一转向信号或者危险预警灯是否为闪烁状态、制动灯是为点亮的状态还是为熄灭的状态进行识别来作为其他车辆的信号灯的状态。为此，作为第2识别器的输出层的激活函数，例如可使用Sigmoid函数。由此，第2识别器能够输出各状态的可信度。并且，信号灯状态识别部33将各状态的可信度与所对应的阈值进行比较，判定出其他车辆的信号灯的状态为可信度为所对应的阈值以上的状态。例如设为：关于所着眼的其他车辆的左转向信号正在闪烁的状态的可信度为0.8，另一方面，关于左转向信号未在闪烁的状态的可信度为0.2。并且，当阈值设为0.5时，信号灯状态识别部33判定出所着眼的其他车辆的信号灯的状态为左转向信号正在闪烁的状态。

或者，作为第2识别器的输出层的激活函数，也可以使用Softmax函数。在该情况下，第2识别器输出左转向信号闪烁、右转向信号闪烁、危险预警灯闪烁、制动器灯点亮、或者哪个都不是的判定结果来作为所着眼的其他车辆的信号灯的状态。因此，信号灯状态识别部33将由从第2识别器输出的判定结果表示的状态作为所着眼的其他车辆的信号灯的状态即可。

根据变形例，信号灯状态识别部33也可以使用执行时间轴方向的卷积运算的具有CNN型架构的神经网络来作为第2识别器。在该情况下，第2识别器例如具有一个以上的对从紧接着之前的层输出的特征图沿着时间轴方向执行卷积运算的卷积层(以下称为时间特征卷积层)。各个时间特征卷积层的时间轴方向的核心尺寸例如被设定为在包括通过经由全部的时间特征卷积层而一次被输入的多个特征的期间整体来进行卷积运算。时间特征卷积层例如既可以关于时间轴方向和空间方向都执行卷积运算(以下称为三维卷积运算)，或者也可以仅就时间轴方向执行卷积运算(以下称为时间维度卷积运算)。进一步，时间特征卷积层也可以关于通道方向也执行卷积运算或者全连接运算。另外，在第2识别器具有多个时间特征卷积层的情况下，也可以为该多个时间特征卷积层的任意层执行三维卷积运算，该多个时间特征卷积层的其他层执行时间维度卷积运算。进一步，第2识别器也可以具有一个以上的在时间轴方向上不执行卷积运算、关于空间方向执行卷积运算的卷积层(以下称为空间特征卷积层)。该空间特征卷积层也可以关于通道方向执行卷积运算或者全连接运算。在第2识别器具有一个以上的空间特征卷积层的情况下，空间特征卷积层和时间特征卷积层的顺序可以为任意的顺序。例如，既可以从输入侧向输出侧依次按空间特征卷积层、时间特征卷积层的顺序设置各卷积层，或者也可以是其相反的顺序。进一步，空间特征卷积层和时间特征卷积层可以交替地设置。进一步，第2识别器也可以具有1个以上的池化层。再者，第2识别器也可以具有1个以上的激活层和1个以上的全连接层。第2识别器的输出层例如使用Sigmoid函数或者Softmax函数来作为激活函数。

信号灯状态识别部33关于追踪中的其他车辆的各个车辆，每当所识别到的信号灯的状态发生变化时，将该发生了变化的定时以及变化后的信号灯的状态追加至所对应的追踪信息。另外，信号灯状态识别部33在利用具有递归构造的识别器来作为第2识别器的情况下，关于追踪中的其他车辆的各个车辆，每当特征被输入到第2识别器而更新内部状态时，将更新后的内部状态写入到存储器22。

图7是表示检测物体列表的一个例子的图。检测物体列表700例如针对每个搭载于车辆10的摄像机来生成。在检测物体列表700中，关于追踪中的其他车辆的各个车辆，保存有表示该其他车辆是否为信号灯状态识别对象的索引、分配给该其他车辆的识别编号、表示存储有与该其他车辆有关的信息的存储器22的地址的指针以及通过信号灯状态识别部33识别出信号灯的状态的次数(即，从所对应的物体区域求出的特征被输入到了第2识别器的次数)。进一步，在检测物体列表700中，关于追踪中的其他车辆的各个车辆，保存有表示物体区域的位置和范围的信息(未图示)以及表示追踪中的其他车辆的种类的信息(未图示)等。另外，在由关于追踪中的其他车辆的各个车辆的指针表示的存储器22上的保存区域701中，存储有最新的图像中的被输入到第2识别器的特征、最后被进行了更新的第2识别器的内部状态、以及信号灯的状态的识别结果等，该信号灯的状态的识别结果是来自最后被进行了更新的第2识别器的输出结果。

图8是表示追踪信息的一个例子的图。关于追踪中的其他车辆的各个车辆，追踪信息800包括分配给该其他车辆的识别编号、其他车辆的种类、从追踪开始起的每个预定周期(例如摄像机的拍摄周期或者测距传感器的测定周期)的其他车辆的位置坐标、被实施的每次车道变更的实施定时以及车道变更的方向(向左侧的车道变更、或者向右侧的车道变更)。进一步，关于追踪中的其他车辆的各个车辆，追踪信息800包括每当转向信号成为了闪烁状态时切换为闪烁状态的定时以及成为了闪烁状态的转向信号的种类(右或者左)。再者，也可以关于追踪中的其他车辆的各个车辆，追踪信息800包括每当制动灯点亮了时的制动灯点亮的期间的长度。再者，也可以关于追踪中的其他车辆的各个车辆，追踪信息800包括表示以车辆10行驶中的车道为基准的在当前时间点其他车辆行驶中的车道的信息。

行为特征提取部34关于追踪中的其他车辆的各个车辆，参照追踪信息，基于在其他车辆被进行追踪的期间(以下简称为追踪期间)检测到的预定行动和与该预定行动关联的其他车辆的信号灯的状态，提取表示其他车辆实施预定行动时的信号灯的状态或者其他车辆的行动的特征的至少一个特征(以下简称为行为特征信息)。

如上述的那样，从转向信号开始闪烁到实际进行车道变更为止的时滞根据驾驶员而不同。另外，根据驾驶员的不同，有时在进行车道变更时不操作转向信号。相反地，即使操作转向信号，有时也不实施车道变更。于是，在本实施方式中，行为特征提取部34提取追踪中的其他车辆实施车道变更时的转向信号的状态或者其他车辆的行动的特征来作为行为特征信息。例如，行为特征提取部34关于追踪中的其他车辆分别提取车道变更次数、车道变更发生率、转向信号点亮率、车道变更不实施率以及平均犹豫时间来作为行为特征信息。

车道变更次数是在所着眼的其他车辆的追踪期间中实施了车道变更的次数。车道变更发生率是对在追踪期间中实施了车道变更的次数除以该期间的长度而得到的每单位时间(例如1分钟或者10分钟)实施了车道变更的次数。设想越是车道变更发生率高的其他车辆，越频繁地实施车道变更。

转向信号点亮率是在追踪期间中所实施了的各个车道变更中在该车道变更的执行定时不久之前的预定期间(例如5～10秒)内该车道变更中的表示变更后的车道的方向的转向信号成为了闪烁状态、即进行了车道变更的预告的次数相对于车道变更次数之比。例如，在与车辆10行驶中的车道在右侧相邻的车道中行驶的其他车辆向车辆10行驶中的车道进行了车道变更的情况下，若在其不久之前的预定期间内左侧的转向信号成为闪烁状态，则行为特征提取部34判定为进行了车道变更的预告。设想越是转向信号点亮率低的其他车辆，不使转向信号闪烁而实施车道变更的可能性越高。

车道变更不实施率是在追踪期间中尽管左右中的某一转向信号成为了闪烁状态、但即使从成为了该闪烁状态的定时起经过预定期间也未实施车道变更的次数相对于该某一转向信号成为了闪烁状态的次数之比。越是车道变更不实施率高的其他车辆，作为用于判断是否实施车道变更的信息的转向信号的状态的可靠性越低。

平均犹豫时间是在追踪期间中关于进行车道变更的预告、且从该预告起在预定期间内实际实施了的各个车道变更的、从转向信号成为闪烁状态到实施车道变更为止的犹豫期间的平均值。设想越是平均犹豫时间短的其他车辆，从转向信号成为闪烁状态到实际进行车道变更为止的犹豫期间越短。

行为特征提取部34按预定的周期参照追踪信息，对关于追踪中的其他车辆各自的行为特征信息进行更新，将更新后的行为特征信息存储于存储器22。

图9是表示行为特征信息的一个例子的图。行为特征信息900关于追踪中的其他车辆的各个车辆，包括分配给其他车辆的识别编号、车道变更次数、车道变更发生率、转向信号点亮率、车道变更不实施率以及平均犹豫时间。

驾驶计划部35参照检测物体列表，生成一个以上的车辆10的预定行驶路径(trajectory)以使得存在于车辆10周围的物体与车辆10不碰撞。预定行驶路径例如被作为从当前时刻到将来预定时间为止的各时刻的车辆10的目标位置的集合来表示。例如，驾驶计划部35关于追踪中的各其他车辆，按照所提取到的行为特征信息，预测其他车辆的行为，基于所预测到的其他车辆的行为，设定预定行驶路径。

在本实施方式中，驾驶计划部35通过对由追踪部32的追踪结果得到的轨迹应用如关于追踪部32说明过那样的预测滤波器，推测直到将来预定时间为止的预测轨迹。进一步，驾驶计划部35基于关于追踪中的各其他车辆的所推测的预测轨迹，对于车辆10的行进方向的道路上的区域，按各个地点生成表示存在任意其他车辆的可能性越高则值越大的成本的代价地图。即，在代价地图中，追踪中的其他车辆的任意车辆的预测轨迹通过的地点的成本被设定为比其他地点的成本高。此外，各个地点的成本也可以随着时间经过而变动。

例如，驾驶计划部35将追踪中的各其他车辆的任意车辆的预测轨迹通过的地点的成本设定为比其他地点的成本高。此时，驾驶计划部35也可以关于预测轨迹通过的地点，使在其他车辆沿着预测轨迹行驶的情况下到达该地点的定时的成本为最高，与该定时的时间差越大，使成本越低。

进一步，驾驶计划部35通过基于追踪中的各其他车辆的行为特征信息来修正代价地图，求出表示预测出的其他车辆的行为的被进行了修正的代价地图。

图10是基于行为特征信息的代价地图修正的动作流程图。驾驶计划部35针对追踪中的其他车辆的每个车辆，按照以下的动作流程图修正代价地图。

驾驶计划部35关于所着眼的其他车辆，判定左右中的某一转向信号在当前时间点(即，来自任意摄像机的最新的图像的物体区域的特征被输入到第2识别器的时间点)是否为闪烁状态(步骤S101)。在左右中的某一转向信号在当前时间点为闪烁状态的情况下(步骤S101－是)，驾驶计划部35判定关于所着眼的其他车辆的车道变更不实施率是否为第1阈值Th1以上(步骤S102)。

在关于所着眼的其他车辆的车道变更不实施率小于第1阈值Th1的情况下(步骤S102－否)，所着眼的其他车辆实际上实施车道变更的可能性高。于是，驾驶计划部35对于所着眼的其他车辆的预测轨迹，使设想为该其他车辆向由成为闪烁状态的转向信号表示的一侧的车道实施了车道变更的情况下通过的各地点的成本增加第1修正值C1(步骤S103)。此外，驾驶计划部35对于所着眼的其他车辆的轨迹，通过在实施车道变更的前提下应用上述的预测滤波器，确定设想为所着眼的其他车辆实施了车道变更的情况下通过的各个地点即可。或者，驾驶计划部35也可以通过按照实施车道变更的情况下的代表性轨迹对所着眼的其他车辆的预测轨迹进行修正，确定设想为所着眼的其他车辆实施了车道变更的情况下通过的各个地点。此外，那样的代表性的轨迹预先存储于存储器22即可。另一方面，在关于所着眼的其他车辆的车道变更不实施率为第1阈值Th1以上的情况下(步骤S102－是)，所着眼的其他车辆也有可能不实施车道变更。于是，驾驶计划部35对于所着眼的其他车辆的预测轨迹，使设想为该其他车辆向由成为了闪烁状态的转向信号表示的一侧的车道实施了车道变更的情况下通过的各地点的成本增加第2修正值C2(步骤S104)。此外，第2修正值C2被设定为比第1修正值C1小。由此，驾驶计划部35能够减轻使车辆10进行不必要的减速、或者使之采取不必要的躲避行动的情况。此外，驾驶计划部35也可以为关于所着眼的其他车辆的车道变更不实施率越低，则越增大使设想为该其他车辆向由成为了闪烁状态的转向信号表示的一侧的车道实施了车道变更的情况下通过的各地点的成本增加的修正值。

另一方面，在步骤S101中，在左右中的任何转向信号在当前时间点都不为闪烁状态的情况下(即，在各转向信号为熄灭状态的情况下)(步骤S101－否)，驾驶计划部35判定关于所着眼的其他车辆的转向信号点亮率是否为第2阈值Th2以上(步骤S105)。在关于所着眼的其他车辆的转向信号点亮率为第2阈值Th2以上的情况下(步骤S105－是)，所着眼的其他车辆不进行车道变更而继续在当前行驶中的车道中行驶的可能性高。于是，驾驶计划部35使所着眼的其他车辆的预测轨迹不通过的各个地点的成本降低第3修正值C3(步骤S106)。另一方面，在关于所着眼的其他车辆的转向信号点亮率小于第2阈值Th2的情况下(步骤S105－否)，还设想所着眼的其他车辆会不使转向信号闪烁而向左右中的某一方向进行车道变更。于是，驾驶计划部35将设想为所着眼的其他车辆向左右中的某一方向进行了车道变更时该其他车辆通过的各个地点的成本修正为与所着眼的其他车辆的预测轨迹上的各个地点的成本相同的值(步骤S107)。由此，驾驶计划部35即使所着眼的其他车辆不使转向信号闪烁而实施车道变更，也能够降低车辆10与所着眼的其他车辆碰撞的危险性。此外，驾驶计划部35也可以关于所着眼的其他车辆的转向信号点亮率越高，则越增大第3修正值。

在步骤S103、S104、S106或者S107之后，驾驶计划部35判定关于所着眼的其他车辆的车道变更发生率是否为第3阈值Th3以下(步骤S108)。在关于所着眼的其他车辆的车道变更发生率为第3阈值Th3以下的情况下(步骤S108－是)，所着眼的其他车辆具有不进行车道变更而继续在当前行驶中的车道中行驶的可能性。于是，驾驶计划部35使所着眼的其他车辆的预测轨迹不通过的各个地点的成本降低第4修正值C4(步骤S109)。此外，在左右中的某一转向信号正在闪烁的情况下，驾驶计划部35也可以不使设想为所着眼的其他车辆向该正在闪烁的方向进行车道变更时其他车辆通过的各个地点的成本降低。另外，驾驶计划部35也可以为关于所着眼的其他车辆的车道变更发生率越低，则越增大第4修正值。另一方面，在关于所着眼的其他车辆的车道变更发生率比第3阈值Th3大的情况下(步骤S108－否)，也被设想为所着眼的其他车辆与转向信号的闪烁的有无无关地向左右中的某一方向进行车道变更。于是，驾驶计划部35将设想为所着眼的其他车辆向左右中的某一方向进行了车道变更时该其他车辆通过的各个地点的成本修正为与所着眼的其他车辆的预测轨迹上的各个地点的成本相同的值(步骤S110)。由此，驾驶计划部35即使是在所着眼的其他车辆频繁地实施车道变更的情况下，也能够降低车辆10与所着眼的其他车辆发生碰撞的危险性。在步骤S109或者S110之后，驾驶计划部35结束代价地图的修正处理。此外，驾驶计划部35也可以对步骤S101～S107的处理和步骤S108～S110的处理的顺序进行更换。另外，驾驶计划部35也可以省略步骤S101～S110的处理的一部分。进一步，驾驶计划部35也可以为关于所着眼的其他车辆的平均犹豫期间越短，则越缩短从检测到所着眼的其他车辆的左右中的某一转向信号的闪烁的开始时的所着眼的其他车辆的位置到所着眼的其他车辆开始车道变更为止的设想距离之后，使进行该车道变更时的各个地点的成本增加预定值。由此，驾驶计划部35即使所着眼的其他车辆使转向信号闪烁后立刻实施车道变更，也能够减轻车辆10与所着眼的其他车辆发生碰撞的危险性。

驾驶计划部35对车辆10的位置、速度以及姿势和修正后的代价地图进行参照，计算出预定行驶路径所包含的各个地点的成本的合计，生成预定行驶路径以使得该成本的合计最小化。此时，驾驶计划部35例如按照数学规划问题用的优化方法生成预定行驶路径即可。此外，驾驶计划部35例如能够基于从搭载于车辆10的GPS接收机(未图示)得到的表示车辆10的当前位置的当前位置信息，推测车辆10的位置、速度以及姿势。或者，也可以通过物体检测部31或者定位处理部(未图示)每当由摄像机2得到图像时，从该图像检测车辆10的左右的车道划分线，对检测到的车道划分线和存储于存储器22的地图信息进行匹配，从而推测车辆10的位置和姿势。进一步，驾驶计划部35例如也可以对车辆10的当前位置信息和存储于存储器22的地图信息进行参照，确认车辆10能够行驶的车道的数量。并且，驾驶计划部35也可以在存在多个车辆10能够行驶的车道的情况下，生成预定行驶路径以使得对车辆10行驶的车道进行变更。

此外，驾驶计划部35也可以生成多个预定行驶路径。在该情况下，驾驶计划部35也可以选择多个预定行驶路径中的、车辆10的加速度的绝对值的总和为最小的路径。

驾驶计划部35将所生成的预定行驶路径通知给车辆控制部36。

车辆控制部36对车辆10的各部分进行控制以使得车辆10沿着被通知的预定行驶路径进行行驶。例如，车辆控制部36根据被通知的预定行驶路径、和通过车速传感器(未图示)测定出的车辆10的当前的车速，求出车辆10的加速度，设定加速器开度或者制动量以使得成为该加速度。并且，车辆控制部36根据所设定的加速器开度，求出燃料喷射量，将与该燃料喷射量相应的控制信号输出给车辆10的发动机的燃料喷射装置。或者，车辆控制部36将与所设定的制动量相应的控制信号输出给车辆10的制动器。

进一步，车辆控制部36在为了使车辆10沿着预定行驶路径行驶而对车辆10的前进道路进行变更的情况下，根据该预定行驶路径，求出车辆10的转向角，将与该转向角相应的控制信号输出给对车辆10的转向轮进行控制的致动器(未图示)。

图11是通过处理器23执行的车辆控制处理的动作流程图。处理器23针对每个预定的控制周期，按照图11所示的动作流程图，执行车辆控制处理。

处理器23的物体检测部31将从摄像机2－1～2－n中的任意摄像机得到的最新的图像输入到第1识别器，对在该最新的图像所示出的1个以上的其他车辆进行检测。即，物体检测部31对在该最新的图像上包含其他车辆的1个以上的物体区域进行检测(步骤S201)。进一步，物体检测部31针对检测到的其他车辆的每个车辆，识别该其他车辆的种类。然后，物体检测部31将检测到的其他车辆登记于检测物体列表。

处理器23的追踪部32基于通过摄像机2－1～2－n分别在过去得到的图像、和通过测距传感器3－1～3－m分别得到的测距信号，对检测到的其他车辆分别进行追踪，对检测到的其他车辆的轨迹进行推测(步骤S202)。进一步，追踪部32关于被检测到的且追踪中的其他车辆的各个车辆，基于该其他车辆的轨迹，对该其他车辆正在被追踪的期间中实施的车道变更进行检测，将所检测到的各车道变更的实施定时等记录到追踪信息(步骤S203)。

另外，处理器23的信号灯状态识别部33关于追踪中的其他车辆的各个车辆，提取根据在最新的图像中检测到的物体区域内的像素值求出的特征(步骤S204)。然后，信号灯状态识别部33通过将所提取到的特征输入到具有递归构造的第2识别器，对该其他车辆的信号灯的状态进行识别(步骤S205)。信号灯状态识别部33将识别出的信号灯的状态发生了变化的定时等记录到追踪信息(步骤S206)。

处理器23的行为特征提取部34关于追踪中的其他车辆的各个车辆，参照追踪信息，提取其他车辆的行为特征信息(步骤S207)。

处理器23的驾驶计划部35关于追踪中的其他车辆的各个车辆，推测直至将来预定时间为止的预测轨迹，基于追踪中的其他车辆各自的预测轨迹，生成代价地图(步骤S208)。进一步，驾驶计划部35基于关于追踪中的其他车辆各自的行为特征信息来对代价地图进行修正(步骤S209)。并且，驾驶计划部35参照修正后的代价地图，生成车辆10的预定行驶路径以使得成本最小(步骤S210)。并且，处理器23的车辆控制部36对车辆10进行控制以使得车辆10沿着预定行驶路径进行行驶(步骤S211)。然后，处理器23结束车辆控制处理。

如以上说明的那样，该车辆控制装置对车辆周围的其他车辆具有的转向信号等的信号灯的状态进行识别，并且，对其他车辆进行追踪，对其他车辆实施的车道变更这样的预定行动进行检测。并且，该车辆控制装置基于追踪中的其他车辆实施了预定行动的定时和信号灯的状态发生了变化的定时，求出其他车辆实施预定行动时的信号灯的状态的特征。因此，该车辆控制装置能够提高与位于车辆周围的其他车辆的行为有关的预测精度。并且，该车辆控制装置基于所求出的行为的特征，对用于设定车辆的预定行驶路径的代价地图进行修正，因此，能够设定用于其他车辆与车辆不碰撞的更安全的预定行驶路径。进一步，该车辆控制装置利用从各个图像检测物体的第1识别器，从按时间序列的一系列图像分别提取要输入到第2识别器的特征，因此，与将图像整体输入到具有递归构造的识别器来对物体的状态进行识别相比，能够在整体上削减运算量。另外，在第1识别器的学习中所使用的图像为静止图像即可，另一方面，虽然第2识别器的学习需要动态图像，但该动态图像所包含的各个图像的尺寸可以比在第1识别器的学习中所利用的图像的尺寸小。因此，该车辆控制装置能够削减各识别器的学习所需要的成本(例如教学图像的注释所需要的成本、教学图像的收集所需要的成本等)，并且，能够削减各识别器的学习所需要的运算量和运算时间。

根据变形例，信号灯状态识别部33也可以关于追踪中的其他车辆的各个车辆，参照追踪信息，对用于判定信号灯的状态的阈值进行修正。例如，信号灯状态识别部33判定所着眼的其他车辆的平均犹豫时间是否为第4阈值Th4以上。并且，在所着眼的其他车辆的平均犹豫时间为第4阈值Th4以上的情况下，信号灯状态识别部33将用于判定转向信号是否为闪烁状态的阈值设为通常的设定值。另一方面，在所着眼的其他车辆的平均犹豫期间小于第4阈值Th4的情况下，信号灯状态识别部33将用于判定转向信号是否为闪烁状态的阈值设定为比通常的阈值低的值。由此，容易判定为所着眼的其他车辆的转向信号为闪烁状态，信号灯状态识别部33能够关于平均犹豫时间短的其他车辆，提前检测出转向信号成为了闪烁状态。进一步，信号灯状态识别部33即使是在所着眼的其他车辆的一部分未映现于图像、相对地难以识别信号灯的状态的情况下，也能够提前检测出所着眼的其他车辆的转向信号成为了闪烁状态。

根据其他变形例，行为特征提取部34也可以关于追踪中的其他车辆的各个车辆，基于通过追踪部32得到的其他车辆的轨迹，求出其他车辆的制动灯成为点亮状态后的其他车辆的平均减速度来作为行为特征信息之一。设想越是平均减速度大的其他车辆，在制动灯点亮时越急剧地进行减速。于是，在该情况下，驾驶计划部35在所着眼的其他车辆的制动灯为点亮状态的情况下，所着眼的其他车辆的平均减速度越大，则在所着眼的其他车辆的预测轨迹通过的各个地点，越将该地点的成本为最大的定时提前。或者，信号灯状态识别部33也可以为所着眼的其他车辆的平均减速度越大，则越降低用于判定制动灯是否为点亮状态的阈值。由此，越是平均减速度大的其他车辆，越容易判定为制动器灯为点亮状态，因此，信号灯状态识别部33能够关于平均减速度大的其他车辆，提前检测出制动器灯成为了点亮状态。

另外，根据其他变形例，物体检测部31也可以利用DNN以外的识别器，从图像中检测其他车辆等的检测对象物体。例如，物体检测部31也可以使用预先被进行了学习以使得将根据设定在图像上的窗口计算出的特征量(例如HOG)作为输入、并输出在该窗口示出成为检测对象的物体的可信度的支持向量机(SVM)来作为第1识别器。物体检测部31通过一边对设定在图像上的窗口的位置、尺寸以及纵横比进行各种各样的变更，一边根据该窗口计算出特征量，并向SVM输入所计算出的特征量，从而关于该窗口求出可信度。并且，物体检测部31关于任意种类的检测对象物体判定为在可信度成为预定的可信度阈值以上的窗口示出该检测对象物体、且将该窗口作为物体区域即可。此外，SVM也可以按成为检测对象的物体的种类来准备。在该情况下，物体检测部31通过关于各窗口，将根据该窗口计算出的特征量输入给各个SVM，从而按物体的种类计算出可信度即可。

进一步，根据其他变形例，ECU4也可以仅基于通过搭载于车辆10的一个摄像机、例如设置成对车辆的前方区域进行拍摄的摄像机得到的按时间序列的一系列图像，执行上述的实施方式或者变形例涉及的车辆控制处理。即使是在该情况下，ECU4也能够在一定期间提取位于该摄像机的拍摄区域内的其他车辆的行为的特征，因此，能够得到与上述的实施方式或者变形例同样的效果。

另外，用于实现上述的实施方式或者变形例涉及的车辆控制装置的处理器23的各部分的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的计算机能够读取的可移动的记录介质的形式来提供。

如上所述，本领域技术人员能够在本发明的范围内与所实施的形态相匹配地进行各种各样的变更。

Claims (15)

1.一种车辆控制装置，对车辆的行驶进行控制，所述车辆控制装置具有：

物体检测部，通过将由搭载于所述车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于所述一系列图像分别检测所述图像上包含所述车辆周围的其他车辆的物体区域；

追踪部，通过基于所述一系列图像各自的所述物体区域来对所述其他车辆进行追踪，从而推测所述其他车辆的轨迹，基于所推测的所述轨迹，检测所述其他车辆实施的预定行动；

信号灯状态识别部，通过将根据在所述一系列图像各自中检测到的所述物体区域内的像素值求出的特征输入到第2识别器，从而对所述其他车辆的信号灯的状态进行识别，所述第2识别器具有递归构造、或者执行时间轴方向上的卷积运算；

行为特征提取部，基于在追踪所述其他车辆的追踪期间检测到的所述预定行动、和在所述追踪期间识别出的与所述预定行动关联的所述其他车辆的信号灯的状态，提取至少一个行为特征信息，所述至少一个行为特征信息表示所述其他车辆实施所述预定行动时的所述信号灯的状态或者所述其他车辆的行动的特征；

驾驶计划部，根据所述至少一个行为特征信息来预测所述其他车辆的行为，基于预测出的所述其他车辆的行为，设定所述车辆预定行驶的预定行驶路径；以及

车辆控制部，对所述车辆进行控制，以使所述车辆沿着所述预定行驶路径进行行驶。

2.根据权利要求1所述的车辆控制装置，其中，

所述驾驶计划部通过基于所述轨迹，求出预测为所述其他车辆在从当前到将来预定时间为止的期间通过的预测轨迹，生成将所述预测轨迹通过的地点的成本设定为比其他地点的成本高的代价地图，根据所述至少一个行为特征信息来对所述代价地图进行修正，从而求出表示预测出的所述其他车辆的行为的修正后的代价地图，按照该修正后的代价地图，设定所述预定行驶路径以使所述预定行驶路径上的成本最小。

3.根据权利要求2所述的车辆控制装置，其中，

所述追踪部检测所述其他车辆实施的车道变更来作为所述其他车辆实施的所述预定行动，

所述行为特征提取部将变化为所述其他车辆的转向信号闪烁的状态作为变化为与所述预定行动关联的信号灯的状态。

4.根据权利要求3所述的车辆控制装置，其中，

所述行为特征提取部提取车道变更不实施率来作为所述至少一个行为特征信息之一，所述车道变更不实施率是在所述追踪期间在转向信号闪烁之后所述其他车辆未实施车道变更的次数相对于所述其他车辆使转向信号闪烁的次数之比。

5.根据权利要求4所述的车辆控制装置，其中，

在所述信号灯状态识别部通过将来自由所述拍摄部在所述一系列图像之后得到的最新的图像的物体区域的特征输入到第2识别器而识别出所述其他车辆的转向信号成为闪烁状态的情况下，所述驾驶计划部对所述代价地图进行修正，以使得在所述车道变更不实施率小于第1阈值的情况下，使设想为所述其他车辆对于由所述转向信号表示的方向进行了车道变更时所述其他车辆通过的各个地点的成本增加第1值，另一方面，在所述车道变更不实施率为所述第1阈值以上的情况下，使设想为所述其他车辆对于由所述转向信号表示的方向进行了车道变更时通过的各个地点的成本增加比所述第1值小的第2值。

6.根据权利要求3所述的车辆控制装置，其中，

所述行为特征提取部提取转向信号点亮率来作为所述至少一个行为特征信息之一，所述转向信号点亮率是在所述追踪期间所述其他车辆在车道变更前使转向信号闪烁的次数相对于所述其他车辆实施了车道变更的次数之比。

7.根据权利要求6所述的车辆控制装置，其中，

在所述信号灯状态识别部通过将来自由所述拍摄部在所述一系列图像之后得到的最新的图像的所述物体区域的所述特征输入到所述第2识别器而识别出所述其他车辆的转向信号成为熄灭状态的情况下，所述驾驶计划部对所述代价地图进行修正，以使得在所述转向信号点亮率为第2阈值以上的情况下，使所述预测轨迹不通过的各个地点的成本降低预定值，另一方面，在所述转向信号点亮率比所述第2阈值低的情况下，将设想为所述其他车辆进行了车道变更时通过的各个地点的成本设定为与所述预测轨迹通过的地点的成本相同的值。

8.根据权利要求3所述的车辆控制装置，其中，

所述行为特征提取部提取车道变更发生率来作为所述至少一个行为特征信息之一，所述车道变更发生率是所述其他车辆每单位时间进行车道变更的次数。

9.根据权利要求8所述的车辆控制装置，其中，

所述驾驶计划部对所述代价地图进行修正，以使得在所述车道变更发生率为第3阈值以下的情况下，使所述预测轨迹不通过的各个地点的成本降低预定值，另一方面，在所述车道变更发生率比所述第3阈值高的情况下，将设想为所述其他车辆进行了车道变更时通过的各个地点的成本设定为与所述预测轨迹通过的地点的成本相同的值。

10.根据权利要求3所述的车辆控制装置，其中，

所述行为特征提取部提取在所述追踪期间从所述其他车辆在车道变更前使转向信号进行闪烁起到所述其他车辆实施车道变更为止的犹豫期间的平均值来作为所述至少一个行为特征信息之一。

11.根据权利要求10所述的车辆控制装置，其中，

所述第2识别器当被输入根据所述物体区域内的像素值求出的特征时，输出作为所述其他车辆的信号灯的转向信号为闪烁状态的可信度，所述信号灯状态识别部在所述可信度为可信度阈值以上的情况下，识别为所述转向信号为闪烁状态、并且在所述犹豫期间的平均值小于预定的阈值的情况下，使所述可信度阈值降低预定值。

12.根据权利要求1～11中任一项所述的车辆控制装置，其中，

所述车辆还具有第2拍摄部，所述第2拍摄部对与所述拍摄部的拍摄区域不同的其他拍摄区域进行拍摄来生成第2图像，

所述物体检测部通过将所述第2图像输入到所述第1识别器，检测所述第2图像上包含所述其他车辆的物体区域，

所述追踪部通过对所述第2图像上的所述物体区域和所述一系列图像中的任意图像的所述物体区域进行对照，从而对所述其他车辆进行追踪。

13.根据权利要求1～11中任一项所述的车辆控制装置，其中，

所述车辆还具有测距部，所述测距部每预定周期生成测距信号，该测距信号针对所述车辆周围的预定角度范围内的每个角度，包括直至存在于该角度方向的物体为止的距离的测定值，

所述追踪部通过确定在紧接着所述一系列图像中的任意图像的取得时间点之前或者之后的第1时间点得到的所述测距信号中与所述任意图像上的所述物体区域相当的角度范围，对所述第1时间点的所述测距信号的所述角度范围和在所述第1时间点之后的第2时间点得到的所述测距信号进行对照，从而对所述其他车辆进行追踪。

14.一种车辆控制方法，对车辆的行驶进行控制，所述车辆控制方法包括：

通过将由搭载于所述车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于所述一系列图像分别检测所述图像上包含所述车辆周围的其他车辆的物体区域，

通过基于所述一系列图像各自的所述物体区域来对所述其他车辆进行追踪，从而推测所述其他车辆的轨迹，

基于所推测的所述轨迹，检测所述其他车辆实施的预定行动，

通过将根据在所述一系列图像各自中检测到的所述物体区域内的像素值求出的特征输入到第2识别器，从而对所述其他车辆的信号灯的状态进行识别，所述第2识别器具有递归构造、或者执行时间轴方向上的卷积运算，

基于在追踪所述其他车辆的追踪期间检测到的所述预定行动、和在所述追踪期间识别出的与所述预定行动关联的所述其他车辆的信号灯的状态，提取至少一个行为特征信息，所述至少一个行为特征信息表示所述其他车辆实施所述预定行动时的所述信号灯的状态或者所述其他车辆的行动的特征，

根据所述至少一个行为特征信息来预测所述其他车辆的行为，

基于预测出的所述其他车辆的行为，设定所述车辆预定行驶的预定行驶路径，

对所述车辆进行控制，以使所述车辆沿着所述预定行驶路径进行行驶。

15.一种车辆控制用计算机程序，用于对车辆的行驶进行控制，所述车辆控制用计算机程序使搭载于所述车辆的处理器执行：

通过将由搭载于所述车辆的拍摄部按时间序列得到的一系列图像输入到第1识别器，从而关于所述一系列图像分别检测所述图像上包含所述车辆周围的其他车辆的物体区域，

通过基于所述一系列图像各自的所述物体区域来对所述其他车辆进行追踪，从而推测所述其他车辆的轨迹，

基于所推测的所述轨迹，检测所述其他车辆实施的预定行动，

通过将根据在所述一系列图像各自中检测到的所述物体区域内的像素值求出的特征输入到第2识别器，从而对所述其他车辆的信号灯的状态进行识别，所述第2识别器具有递归构造、或者执行时间轴方向上的卷积运算，

基于在追踪所述其他车辆的追踪期间检测到的所述预定行动、和在所述追踪期间识别出的与所述预定行动关联的所述其他车辆的信号灯的状态，提取至少一个行为特征信息，所述至少一个行为特征信息表示所述其他车辆实施所述预定行动时的所述信号灯的状态或者所述其他车辆的行动的特征，

根据所述至少一个行为特征信息来预测所述其他车辆的行为，

基于预测出的所述其他车辆的行为，设定所述车辆预定行驶的预定行驶路径，

对所述车辆进行控制，以使所述车辆沿着所述预定行驶路径进行行驶。

Images