CN116171464A - 信号灯识别装置、信号灯识别方法、车辆控制装置 - Google Patents

Abstract

驾驶辅助(ECU20)从前方相机获取是信号灯的概率为规定值以上的灯光装置即信号灯候补的位置作为观测灯光位置。另外，驾驶辅助(ECU20)通过参照本车辆的当前位置附近的地图数据，获取在本车辆的前方存在的信号灯的位置作为地图信息信号灯位置。而且，驾驶辅助(ECU20)基于地图上信号灯位置与观测灯光装置的位置之差即接近度(δ)小于规定的视同阈值(Dth)，将该灯光装置判定为信号灯。

Description

信号灯识别装置、信号灯识别方法、车辆控制装置

相关申请的交叉引用

本申请以在2020年8月7日在日本申请的日本专利申请第2020-134991号为基础，整体上通过参照来引用基础的申请的内容。

技术领域

本发明涉及使用相机来检测沿着道路设置的信号灯的技术。

背景技术

在专利文献1中公开如下的方法：通过使用地图数据来推断信号灯的位置，并且针对与该信号灯的推断位置对应的图像区域进行图像识别处理，来检测信号灯。根据本车辆的推断位置与地图数据来计算信号灯的推断位置。另外，在专利文献1中公开如下的结构：在作为信号灯的检测区域而设定的图像区域内未发现信号灯的情况下，使作为检测区域的图像区域从远方侧、具体而言从图像上端部向下方滑动而进行再次搜索。

专利文献1：日本专利第6331811号公报

例如在夜间，有时信号灯的外壳未映现于图像，在图像中仅映现点亮的灯光部分。在像这样未映现信号灯的外壳的情况下，在图像识别处理中，很难区别作为信号灯的灯光装置与其他的灯光装置，很难检测信号灯。其他的灯光装置是指路灯、前车的尾灯、对面车的前灯、发出光的商业标牌等。

在专利文献1中，以作为信号灯的灯光装置在能够与其他的灯光装置进行识别的状态下被拍摄的情况为前提。换言之，在专利文献1中，没有假定信号灯难以与其他的灯光装置进行识别的状况。在专利文献1中，在检测区域内检测出多个灯光装置(换言之光源)的情况下，无法识别哪个相当于真正的信号灯。

发明内容

本发明是鉴于该情况而完成的，其目的在于提供一种能够提高信号灯的检测精度的信号灯识别装置、信号灯识别方法以及车辆控制装置。

作为一例，用于实现该目的的信号灯识别装置是用于识别在车辆的周边存在的信号灯的信号灯识别装置，其中，该信号灯识别装置具备：车辆位置获取部，获取车辆的位置；地图上位置获取部，基于车辆位置获取部获取到的车辆的位置，获取登记于地图数据的信号灯的位置亦即地图上信号灯位置；观测位置获取部，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及信号灯识别部，基于接近度判定灯光装置是否是信号灯，接近度是地图上位置获取部获取到的地图上信号灯位置与观测位置获取部获取到的观测灯光位置之差。

在以上的结构中，作为检测出的灯光装置是否是信号灯的判断材料，使用接近度。根据这样的结构，在很难判断检测出的灯光装置是否是信号灯的情况下，也能够提高其判断精度。另外，在检测出多个灯光装置的情况下，也能够通过比较每个灯光装置的接近度，来确定相当于信号灯的灯光装置。因此，能够提高信号灯的检测精度。

另外，用于实现上述目的的信号灯识别方法是由至少一个处理器执行的、用于识别在车辆的周边存在的信号灯的信号灯识别方法，其中，该信号灯识别方法包括：车辆位置获取步骤，获取车辆的位置；地图上位置获取步骤，基于在车辆位置获取步骤中获取到的车辆的位置，获取登记于地图数据的信号灯的位置亦即地图上信号灯位置；观测位置获取步骤，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及信号灯识别步骤，基于接近度判定灯光装置是否是信号灯，接近度是在地图上位置获取步骤中获取到的地图上信号灯位置与在观测位置获取步骤中获取到的观测灯光位置之差。

根据上述结构，通过与信号灯识别装置相同的作用效果，能够提高信号灯的检测精度。

而且，用于实现上述目的的车辆控制装置是实施与在车辆的周边存在的信号灯的识别状态对应的车辆控制的车辆控制装置，其中，该车辆控制装置具备：车辆位置获取部，获取车辆的位置；地图上位置获取部，基于车辆位置获取部获取到的车辆的位置，获取登记于地图数据的信号灯的位置亦即地图上信号灯位置；观测位置获取部，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及信号灯识别部，基于接近度判定灯光装置是否是信号灯，接近度是地图上位置获取部获取到的地图上信号灯位置与观测位置获取部获取到的观测灯光位置之差，该车辆控制装置被构成为：在即使从车辆到地图上信号灯位置为止的剩余距离小于第一规定距离，也无法识别信号灯的情况下，向用户通知不执行车辆控制。

上述的车辆控制装置包括作为上述信号灯识别装置的结构。因此，根据上述结构，能够提高信号灯的检测精度，并且能够实施与该识别状态对应的车辆控制。

此外，权利要求中记载的括号内的附图标记表示与作为一个方式而后述的实施方式中所记载的具体的单元的对应关系，并不限定本发明的技术范围。

附图说明

图1是用于对地图协作系统的整体结构进行说明的图。

图2是表示车辆控制系统的结构的框图。

图3是表示前方相机的结构的框图。

图4是表示驾驶辅助ECU的结构的框图。

图5是由驾驶辅助ECU执行的信号灯通过辅助处理的流程图。

图6是用于对驾驶辅助ECU的动作进行说明的图。

图7是表示视同阈值的调整例的图。

图8是用于对车辆控制系统与地图服务器的相互作用进行说明的图。

图9是用于对使用从路侧机发送的信号灯信息的结构进行说明的图。

图10是表示系统结构的变形例的图。

具体实施方式

一边参照附图一边对本发明的车辆控制系统1的实施方式进行说明。此外，以下，以左侧通行被法律化的地域为例来进行说明。在右侧通行被法律化的地域中，左右相反即可。另外，以后的信号灯的绿色灯光表示允许通行的点亮状态，黄色和红色灯光表示指示停车的点亮状态。信号灯能够包括显示箭头的灯光装置。本发明能够进行适当改变来实施，以适合于使用车辆控制系统1的地域的法规、习惯。

＜整体结构的概要＞

图1是表示包括本发明的车辆控制系统1的地图协作系统100的概略结构的一例的图。如图1所示，地图协作系统100具备构建于车辆Ma的车辆控制系统1、以及地图服务器3。此外，在图1中仅图示1台搭载了车辆控制系统1的车辆Ma，搭载了车辆控制系统1的车辆Ma可以存在多个。即，构成地图协作系统100的车辆可以存在多个。

车辆控制系统1能够搭载于能够在道路上行驶的多种车辆Ma。车辆Ma除了四轮汽车之外，也可以是二轮汽车、三轮汽车等。带有原动机的自行车也可以包括于二轮汽车。车辆Ma也可以是由个人拥有的所有者汽车，也可以是用于汽车共享服务、车辆借出服务(所谓的租赁汽车)的车辆。另外，车辆Ma也可以是服务车。服务车包括出租车、路线客车、公交车等。出租车、公交车也可以是没有搭乘驾驶员的机器人出租车等。

以后的本车辆在以后是指搭载车辆控制系统1的一个车辆Ma。将坐在本车辆的驾驶座上的乘员(即驾驶座乘员)记载为用户。在驾驶座乘员的概念中，还包括作为具有远程操作本车辆的权限的存在的操作人员。此外，以下的说明中的前后、左右、上下的各方向是以本车辆为基准而规定的。具体地说，前后方向相当于本车辆的长度方向。左右方向相当于本车辆的宽度方向。上下方向相当于车辆高度方向。根据其他的观点，上下方向相当于相对于与前后方向和左右方向平行的平面垂直的方向。

车辆控制系统1通过与地图服务器3实施无线通信，而从地图服务器3下载局部的高精度地图数据即部分地图数据，用于驾驶辅助、自动驾驶、导航。

＜关于地图数据＞

这里，首先对地图服务器3所有的地图数据进行说明。地图数据相当于以能够用于自动驾驶的精度表示关于道路构造以及沿道路配置的地上物的位置坐标等的地图数据。地图数据具备道路网络数据、行车道网络数据、地上物数据、静态POI数据以及动态POI数据。各数据分层地构成。道路网络数据包括每个道路路段的路段ID、路段长度、行车道数量、道路属性和连接节点信息(例如节点ID)、以及每个道路节点的节点ID、位置坐标、连接路段信息(例如路段ID)。

在道路属性中例如包括道路名称、道路种类、道路宽度、表示车道数的车道数信息、以及速度限制值等。在路段数据中也可以包括表示是汽车专用道路还是一般道路这样的道路种类的数据。这里的汽车专用道路是指禁止行人、自行车的进入的道路、例如高速道路等收费道路等。路段数据也可以具备表示是否是允许自主行驶的道路的属性信息。

行车道网络数据包括行车道ID、按照行车道级别的路段ID、路段长度和连接节点信息、以及每个行车道节点的节点ID、位置坐标和连接路段信息(例如路段ID)。行车道网络数据所具备的按照行车道级别的路段信息与道路网络数据所具备的道路路段建立对应关系。

地上物数据包括道路端数据、路面标识数据以及立体物数据。道路端数据包括表示道路端的位置的坐标点组。

路面标识数据是表示路面标识的设置位置及其种类的数据。路面标识是指在路面上描绘的用于与道路的交通相关的限制或者指示的喷图。路面标识在一个方式中能够称为路面喷图。例如，表示行车道的边界的车道区划线、人行横道、停止线、导流带、安全地带、限制箭头等包括于路面标识。表示道路名称的路面喷图也可以包括于路面标识。赋予路面的线、符号以及文字相当于路面标识。另外，在路面标识中不仅包括喷图，还可以包括路面本身的颜色的差异、由道路钉、石头等形成的线、符号、文字。

路面标识数据包括：关于车道区划线的数据即区划线数据、以及关于其他的路面标识的数据即散布路面标识数据。区划线数据是关于沿着道路连续地延伸配置的线状的标识的数据，与此相对，散布路面标识数据例如是关于暂时停止线、限制速度标识等散布在必要的位置处的路面标识的数据。散布路面标识数据表示区划线以外的规定的路面标识的设置位置及其种类。

区划线数据是关于车道区划线的数据。车道区划线也包括通过定轨、道钉等道路钉来实现的区划线。区划线数据具备每个车道区划线的区划线ID、以及表示设置部分的坐标点组。区划线数据包括虚线、实线、道路钉等这样的图案信息。车道区划线也称为行车道标记或行车道标识。以后的区划线是指行车道的分界线。在区划线中能够包括行车道外侧线、中央线(所谓的中心线)等。道路端数据和区划线数据例如与行车道ID、按照行车道级别的路段ID这样的行车道信息建立对应关系。道路端、区划线的位置和形状信息也可以由3次样条曲线表现。

立体物数据表示沿着道路设置的立体的构造物的位置和种类。沿着道路设置的立体构造物是指例如交通标志、商业标牌、杆、护栏、路缘石、树木、电线杆、信号灯等。交通标志是指例如作为限制标志、引导标志、警戒标志、指示标志等发挥作用的赋予了符号、字符串以及图案中的至少一个的标牌。在引导标志中包括方向标牌、表示地域名称的地域名称标牌、表示道路名的道路名称标牌、预告高速道路的出入口、服务区域等的预告标牌等。各立体构造物的形状和位置例如由坐标点组表现。沿着道路设置的上述的构造物的一部分或者全部、以及暂时停止线等规定的路面标识作为后述的地标使用。即，地图数据包括关于地标的设置位置、种类的数据。

静态POI数据是关于上述以外的静态的地图要素的数据。这里的静态的地图要素是指例如要求1周～1周以内的更新的地上物。换言之，静态的地图要素是指位置、存续状态在几分钟到几小时左右不变化的地图要素。静态POI数据包括收费站、用于从隧道、高速道路的主线退出的分支点、合流地点等。各静态POI数据包括种类、位置信息。静态POI数据例如可以是关于后述的前方相机11的检测对象物中不包括的静态的地图要素的数据。

动态POI数据是表示动态的地图要素的位置的数据。动态的地图要素是指位置、存续状态伴随着几分钟～几小时的时间变化而变化的地图要素。在动态的地图要素中例如包括交通阻塞区间、施工区间、故障车、落下物、事故地点、车道限制等。产生局部的暴雨的区域即暴雨区域、路面冻结的区间即路面冻结区间、积雪地点等也可以包括于动态的地图要素。动态POI数据和静态POI数据可以是由服务器、操作人员对地图数据进行确定的处理而后附加的，该地图数据是表示对车辆的行驶计划带来影响的地上物、事件的位置和种类的数据中的基于探测数据而生成的数据。

上述的地图数据也可以是包括道路形状和构造物的特征点的点组的三维地图数据。三维地图数据相当于利用三维坐标表示道路端、车道区划线、交通标志等地上物的位置的地图数据。此外，三维地图也可以是由REM(Road Experience Management：道路体验管理)基于拍摄图像而生成的。另外，地图数据也可以包括行驶轨道模型。行驶轨道模型是通过统计地综合多个车辆的行驶轨迹而生成的轨道数据。行驶轨道模型是将例如每个车道的行驶轨迹平均化而得到的。行驶轨道模型相当于表示作为转向辅助执行时或者自动驾驶执行时的基准的行驶轨道的数据。此外，转向辅助功能有时被称为LTA(Lane TracingAssist：行车道追踪辅助)、或者LTC(Lane Trace Control：行车道轨迹控制)。LTA和LTC相当于使本车辆沿着车道或者前车的轨迹行驶的作为驾驶辅助的车辆控制。

地图数据被划分为多个区块来进行管理。各区块分别相当于不同的区域的地图数据。例如如图1所示，以将地图收录区域分割为矩形状的地图片为单位对地图数据进行储存。地图片相当于上述的区块的下位概念。对各地图片赋予表示该地图片所对应的现实世界的区域的信息。表示现实世界的区域的信息例如由纬度、经度和高度等表现。地图片的1边的长度被设定为几百m。对各地图片赋予固有的标识符即片ID。每个区块或者每个地图片的地图数据是地图收录地域整体的一部分、换言之是局部地图数据。地图片相当于部分地图数据。地图服务器3基于来自车辆控制系统1的请求，而分发与车辆控制系统1的位置对应的部分地图数据。

此外，地图片的1边的大小不限定于几百m，也可以是1km、2km等。地图片的形状也可以不是矩形状。地图片也可以是六边形、圆形等。各地图片也可以设定为与相邻的地图片部分地重叠。即，各地图片也可以设定为在边界附近与其他的地图片重叠。地图收录区域也可以是使用车辆的国家整体，也可以是一部分的区域。例如地图收录区域也可以是允许一般车辆的自动驾驶的区域、提供自动驾驶移动服务的区域。除此之外，地图数据的分割方式也可以由数据大小规定。换言之，地图收录地域也可以以由数据大小规定的范围来分割管理。在该情况下，各区块被设定为数据量小于规定值。根据这样的方式，能够使一次分发中的数据大小为一定值以下。

例如通过对从多个车辆上传的探测数据进行综合处理而随时更新上述的地图数据。此外，由本实施方式的地图服务器3处理的地图数据为通过对由多个车辆观测到的探测数据进行综合而生成和更新的探测数据地图(以后，为PD地图)，但不限定于此。由地图服务器3处理的地图数据也可以是基于定点测量计的结果、高精度的GPS测量的结果、搭载了LiDAR等的专用的探测车测定出的数据而生成的高精度地图(以后，为HD地图)。LiDAR是Light Detection and Ranging/Laser Imaging Detection and Ranging(光检测和测距/激光成像检测和测距)的缩写。另外，由地图协作系统100处理的地图数据也可以是以包括信号灯、地标等地上物数据为条件，作为导航用的地图数据的导航地图数据。导航地图数据相当于与高精度地图数据相比精度较差，并且与高精度地图数据相比与道路形状相关的信息量较少的地图数据。

＜关于车辆控制系统1的结构＞

如图2所示，车辆控制系统1具备前方相机11、车辆状态传感器12、定位器13、V2X车载器14、HMI系统15、行驶致动器16以及驾驶辅助ECU20。此外，部件名称中的ECU是Electronic Control Unit(电子控制单元)的缩写，是指电子控制装置。另外，HMI是HumanMachine Interface(人机界面)的缩写。V2X是Vehicle to X(Everything)的缩写，是指将各种车相连的通信技术。此外，V2X的“V”是指作为本车辆的汽车，“X”是指行人、其他车辆、道路设备、网络、服务器等本车辆以外的多种存在。

构成车辆控制系统1的上述的各种装置或者传感器作为节点，与在车辆内构建的通信网络即车辆内网络Nw连接。与车辆内网络Nw连接的节点彼此能够相互通信。此外，确定的装置彼此也可以构成为能够直接地通信而不经由车辆内网络Nw。在图2中，车辆内网络Nw构成为总线型，但不限定于此。网络拓扑也可以是网格型、星型、环型等。作为车辆内网络Nw的标准，例如能够采用Controller Area Network(CAN为注册商标)、以太网(注册商标)、FlexRay(注册商标)等多种标准。

前方相机11是以规定的视角拍摄车辆前方的相机。前方相机11配置在例如挡风玻璃的车室内侧的上端部、前格栅、车顶等。如图3所示，前方相机11具备：相机主体部40，生成图像帧；以及作为ECU的相机ECU41，通过针对由相机主体部40生成的图像帧实施识别处理来检测规定的检测对象物。相机主体部40是至少包括影像传感器和透镜的结构。相机主体部40例如以60fps等规定的帧速率生成和输出拍摄图像数据。相机ECU41使用包括CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)等的图像处理芯片来实现。相机ECU41包括作为功能模块的识别器411。识别器411是基于相机主体部40所生成的图像的特征量矢量来识别物体的种类的结构。在识别器411中，例如能够利用应用了深度学习的CNN(Convolutional Neural Network：卷积神经网络)、DNN(Deep Neural Network：深度神经网络)等。

在前方相机11的检测对象物中，例如包括行人、其他车辆等移动体。在其他车辆中也包括自行车、带有原动机的自行车、摩托车。另外，前方相机11构成为还能够检测灯光装置。这里的灯光装置是指信号灯、车辆的前灯、尾灯、路灯等这样的发出光的结构。灯光装置这样的记载也可以替换为外部光源或光源部。

除此之外，前方相机11构成为还能够检测规定的地上物。在作为前方相机11的检测对象的地上物中，包括道路端、路面标识、沿着道路设置的构造物。在路面标识中，包括区划线、暂时停止线等。沿着道路设置的构造物是指例如护栏、路缘石、树木、电线杆、交通标志、信号灯等。

此外，作为前方相机11的检测对象的地上物的一部分或者全部在驾驶辅助ECU20中被用作地标。地标是指能够作为用于确定地图上的本车辆的位置的标记而利用的地上物。作为地标，例如能够采用相当于限制标志、引导标志等交通标志的标牌、信号灯、杆、引导板、暂时停止线、区划线等中的至少任意一个。

此外，将地标中的、能够作为用于进行纵向上的位置推断(以后，为纵向位置推断)的标记而利用的地上物称为纵向位置推断用的地标。这里的纵向相当于车辆的前后方向。另外，纵向相当于在直线道路区间中在从本车辆观察时道路延伸的方向即道路延伸配置方向。作为纵向位置推断用的地标，例如能够采用方向标牌等交通标志、暂时停止线等路面标识等沿着道路离散地配置的地图要素。另外，将能够作为用于进行车辆的横向上的位置推断(以后，横向位置推断)的标记而利用的地上物也称为横向位置推断用的地标。这里的横向对应于道路的宽度方向。横向位置推断用的地标是指道路端、区划线等沿着道路连续地存在的地上物。

作为以后的地标，主要是指能够作为用于推断车辆的纵向位置的标记而利用的地上物。当然，如上所述，在地标的概念中能够包括区划线等。作为地标使用的地上物的种类能够适当地改变。作为地标，优选采用方向标牌等交通标志、路面标识等缺乏经时变化并且具有即使从分开30m以上的地点也能够图像识别的大小的地上物。前方相机11只要构成为能够检测设定为地标的种类的地上物即可。

在相机ECU41中，构成相机ECU41的图像处理器基于包括颜色、亮度、与颜色、亮度相关的对比度等的图像信息，从拍摄图像分离并提取背景和检测对象物。另外，相机ECU41根据包括SfM(Structure from Motion：从运动恢复结构)信息的图像来运算各种检测对象物的位置和方向。检测物相对于本车辆的相对位置(距离和方向)也可以基于图像内的对象物的大小、姿势(例如倾斜程度)来确定。并且，相机ECU41基于表示车道区划线和道路端的检测点的回归曲线，来识别道路的曲率、宽度等。

作为检测结果，相机ECU41输出表示检测出的每个物体的相对位置、种类、移动速度等的信号。检测物的种类的识别结果包括表示识别结果的似然的正解概率值。例如对于灯光装置的识别结果的正解概率值包括为信号灯的概率、为尾灯的概率、为路灯的概率等。为信号灯的概率越高，则为其他种类的概率越低。在夜间等无法看到信号灯的外壳的情况下，即使是假设检测物真是信号灯的情况，检测物为信号灯的概率值也会比白天降低。每个种类的概率值可以是表示特征量的一致程度的评分。相机ECU41的输出信号经由车辆内网络Nw而输入到驾驶辅助ECU20。以后，为了方便，将由相机ECU41计算、检测出的灯光装置的种类为信号灯的概率的情况也记载为信号灯概率P。前方相机11的检测结果也可以替换为识别结果或识别结果。

此外，前方相机11也可以构成为经由车辆内网络Nw将用于物体识别的图像帧提供给驾驶辅助ECU20等。图像帧相当于前方相机11的观测数据。观测数据相当于由传感器观测到的原始数据、或者执行识别处理之前的数据。此外，基于观测数据的物体识别处理也可以由驾驶辅助ECU20等传感器外的ECU执行。例如相机ECU41的功能的一部分(主要为物体识别功能)也可以由驾驶辅助ECU20具备。在该情况下，前方相机11只要将作为观测数据的图像数据提供给驾驶辅助ECU20即可。

车辆状态传感器12是检测与本车辆的行驶控制有关的状态量的传感器组。在车辆状态传感器12中包括车速传感器、转向传感器、加速度传感器、横摆率传感器等。车速传感器检测本车的车速。转向传感器检测本车的转向角。加速度传感器检测本车的前后加速度、横向加速度等加速度。横摆率传感器检测本车的角速度。此外，作为车辆状态传感器12，车辆控制系统1所使用的传感器的种类只要适当地设计即可，不需要具备上述的全部的传感器。另外，在车辆状态传感器12中例如能够包括检测降雨的雨量传感器、检测外部的亮度的照度传感器。

定位器13是通过组合多个信息的复合定位而生成本车辆的高精度的位置信息等的装置。定位器13例如使用GNSS接收机而构成。GNSS接收机是通过接收从构成GNSS(GlobalNavigation Satellite System：全球导航卫星系统)的定位卫星发送的导航信号，而依次检测该GNSS接收机的当前位置的器件。例如GNSS接收机在能够接收来自4个以上的定位卫星的导航信号的情况下，每隔100毫秒输出定位结果。作为GNSS，能够采用GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等。

定位器13通过组合GNSS接收机的定位结果和惯性传感器的输出，而依次定位本车辆的位置。例如，在隧道内等GNSS接收机无法接收GNSS信号的情况下，定位器13使用横摆率和车速来进行航位推算(Dead Reckoning：即自主导航)。定位器13也可以使用加速度传感器、陀螺仪传感器的输出进行航位推算。所定位的车辆位置信息被输出到车辆内网络Nw，由驾驶辅助ECU20等利用。此外，定位器13的功能的一部分也可以由驾驶辅助ECU20具备。

V2X车载器14是用于由本车辆与其他装置实施无线通信的装置。V2X车载器14具备广域通信部和狭域通信部作为通信模块。广域通信部是用于实施依据规定的广域无线通信标准的无线通信的通信模块。作为这里的广域无线通信标准，例如能够采用LTE(Long TermEvolution：长期演进)、4G、5G等多种标准。此外，广域通信部也可以被构成为：除了经由无线基站的通信之外，还能够通过依据广域无线通信标准的方式与其他装置直接地、换言之不经由基站地实施无线通信。即，广域通信部也可以构成为实施蜂窝V2X。本车辆为能够通过V2X车载器14的搭载而与网络连接的联网汽车。例如驾驶辅助ECU20能够通过与V2X车载器14的配合，而从地图服务器下载与当前位置对应的高精度地图数据并利用。

V2X车载器14所具备的狭域通信部是用于根据通信距离被限定在几百m以内的通信标准即狭域通信标准，与存在于本车辆周边的其他移动体、路侧机直接地实施无线通信的通信模块。作为其他移动体，不仅限定于车辆，能够包括行人、自行车等。作为狭域通信标准，能够采用IEEE1609中公开的WAVE(Wireless Access in Vehicular Environment：车辆环境中的无线接入)标准、DSRC(Dedicated Short Range Communications：专用短程通信)标准等任意的标准。路侧机是例如沿着道路等设置在车辆外部的通信装置。

HMI系统15是提供接受用户操作的输入接口功能以及朝向用户提示信息的输出接口功能的系统。HMI系统15具备显示器151和HCU(HMI Control Unit)152。此外，作为对用户的信息提示的单元，除了显示器151之外，还能够采用扬声器、振动器、照明装置(例如LED)等。

显示器151是显示图像的器件。显示器151例如是设置在仪表板的车宽方向中央部的最上部的所谓的中心显示器。显示器151能够进行全色显示，能够使用液晶显示器、OLED(Organic Light Emitting Diode：有机发光二极管)显示器、等离子体显示器等来实现。此外，显示器151也可以是在挡风玻璃的驾驶座前方的一部分映出虚像的平视显示器。另外，显示器151也可以是仪表显示器。

HCU152是综合地控制对用户的信息提示的结构。HCU152例如使用CPU、GPU等处理器、RAM(Random Access Memory：随机存取存储器)和闪存等来实现。HCU152基于从驾驶辅助ECU20提供的信息、来自未图示的输入装置的信号，控制显示器151的显示画面。例如HCU152基于来自驾驶辅助ECU20的请求，在显示器151显示表示驾驶辅助的执行状态的图标图像。此外，对用户的信息提示的介质不限定于显示器151。HCU152也可以构成为使用扬声器等对用户提示信息。

行驶致动器16是行驶用的致动器类。在行驶致动器16中例如包括作为制动装置的制动致动器、电子节气门、转向致动器等。在转向致动器中还包括EPS(Electric PowerSteering：电动助力转向)马达。行驶致动器16由驾驶辅助ECU20控制。此外，也可以在驾驶辅助ECU20与行驶致动器之间夹有进行转向控制的转向ECU、进行加减速控制的动力单元控制ECU和制动器ECU等。

驾驶辅助ECU20是基于前方相机11的检测结果来辅助驾驶座乘员的驾驶操作的ECU。例如驾驶辅助ECU20基于前方相机11的检测结果来控制行驶致动器16，由此代替驾驶座乘员来执行驾驶操作的一部分或者全部。驾驶辅助ECU20也可以是基于用户输入自主行驶指示的情况而使本车辆自主行驶的自动驾驶装置。

驾驶辅助ECU20将具备处理部21、RAM22、储存器23、通信接口24以及连接它们的总线等的计算机作为主体而构成。处理部21是与RAM22结合的用于运算处理的硬件。处理部21是包括至少一个CPU等运算核的结构。处理部21通过对RAM22的访问而执行各种处理。处理部21相当于处理器。储存器23是包括闪存等非易失性的存储介质的结构。在储存器23中，作为由处理部21执行的程序，储存有驾驶辅助程序。处理部21执行上述程序的情况相当于执行包括信号灯识别方法的驾驶辅助方法作为与驾驶辅助程序对应的方法的情况。通信接口24是用于经由车辆内网络Nw与其他装置进行通信的电路。通信接口24可以使用模拟电路元件、IC等来实现。驾驶辅助ECU20相当于信号灯识别装置以及车辆控制装置。

＜关于驾驶辅助ECU20＞

这里，使用图4对驾驶辅助ECU20的功能和动作进行说明。驾驶辅助ECU20通过由处理部21执行保存于储存器23的驾驶辅助程序，而提供与图4所示的各种功能模块对应的功能。即，在驾驶辅助ECU20中，作为功能模块，具备暂定位置获取部F1、地图获取部F2、相机输出获取部F3、车辆状态获取部F4、详细位置计算部F5、位置误差评价部F6、环境识别部F7、控制计划部F8以及控制执行部F9。

暂定位置获取部F1从定位器13获取本车辆的位置信息。另外，暂定位置获取部F1以由后述的详细位置计算部F5计算出的位置为起点，基于横摆率传感器等的输出进行航位推算。此外，暂定位置获取部F1也可以具备定位器13的功能。

地图获取部F2通过经由V2X车载器14与地图服务器3进行无线通信，获取与本车辆的当前位置对应的地图数据。例如，地图获取部F2对地图服务器3请求并获取与本车辆在规定时间以内预定通过的道路相关的部分地图数据。从地图服务器3获取到的部分地图数据例如保存于地图保存部M1。地图保存部M1例如使用由储存器23或者RAM22具备的存储区域的一部分来实现。地图保存部M1使用非迁移的具有实体的存储介质来实现。

在地图的获取时利用的当前位置能够采用由暂定位置获取部F1或者详细位置计算部F5确定的位置。例如，在详细位置计算部F5能够计算当前位置的情况下，使用该位置信息来获取地图数据。另一方面，在详细位置计算部F5无法计算当前位置的情况下，使用由暂定位置获取部获取到的位置坐标来获取地图数据。在地图数据中像上述那样包括信号灯的设置位置。因此，地图获取部F2相当于获取登记于地图的信号灯的位置坐标亦即地图上信号灯位置的结构、即地图上位置获取部。

此外，车辆控制系统1也可以具备储存有地图数据的车载存储装置。在该情况下，地图获取部F2能够构成为从该车载存储装置依次读出当前位置周边的地图数据。即，由地图获取部F2获取的地图数据也可以本地保存于本车辆，也可以保存在云上。

相机输出获取部F3获取前方相机11针对灯光装置、其他移动体、地标、道路端、车道区划线等的识别结果。例如相机输出获取部F3获取包括每个位置、种类的正解概率值的灯光装置的识别结果。具体而言，作为灯光装置的识别结果，获取前方相机11所检测的灯光装置的位置、信号灯概率P。由相机输出获取部F3获取的灯光装置的检测位置即观测灯光位置相当于由前方相机11观测到的信号灯的位置即观测信号灯位置。相机输出获取部F3相当于观测位置获取部。

另外，相机输出获取部F3获取其他移动体的位置、移动速度、种类以及尺寸等。在其他移动体中包括作为其他车辆的汽车、行人、自行车等。并且，相机输出获取部F3从前方相机11获取地标的相对位置、种类等。

此外，相机输出获取部F3将从相机ECU41获取到的地标的相对位置坐标变换为全局坐标系中的位置坐标(以后，也记载为观测坐标)。例如通过组合本车辆的当前位置坐标和地上物相对于本车辆的相对位置信息来计算地标的观测坐标。此外，也可以由相机ECU41实施使用了本车辆的当前位置坐标的地标的观测坐标的计算。另外，也可以与地标同样地，相机输出获取部F3将区划线等的相对位置信息变换为全局坐标系中的位置坐标。由相机输出获取部F3获取到的数据被提供给环境识别部F7。

车辆状态获取部F4经由车辆内网络Nw从车辆状态传感器12等获取行驶速度、行进方向、时刻信息、天气、车室外的照度、雨刷的动作速度等。

详细位置计算部F5基于由相机输出获取部F3获取到的地标信息和路线信息来执行定位处理。定位处理是指通过对基于前方相机11所拍摄到的图像而确定的地标等位置与登记于高精度地图数据的地上物的位置坐标进行比较来确定本车辆的详细位置的处理。定位处理例如可以包括使用方向标牌等地标来推断纵向的位置的纵向位置推断处理以及使用车道区划线和道路端等的观测坐标来推断道路横向的位置的横向位置推断处理中的至少任意一方。

作为纵向位置推断处理，详细位置计算部F5基于地标的观测坐标，对登记于地图的地标与由前方相机11观测的地标建立对应关系。例如将登记于地图的地标中的、与地标的观测坐标最近的地标推断为相同的地标。此外，优选在地标的比较时例如使用形状、尺寸、颜色等特征量，采用特征的一致程度更高的地标。若所观测的地标与地图上的地标的建立对应关系完成，则将从与观测地标对应的地图上的地标的位置在纵向上偏移了观测地标与本车辆的距离的位置设定为地图上的本车的纵向位置。

例如，在作为图像识别的结果，确定到存在于本车辆正面的方向标牌为止的距离为40m的状况下，判定为在从登记于地图数据的该方向标牌的位置坐标向车辆后方偏移了40m的位置存在本车辆。纵向位置推断相当于确定道路延伸配置方向上的本车位置的处理。纵向位置推断也可以称为纵向的定位处理。通过进行这样的纵向位置推断，而确定到交叉路口、转弯入口/出口、隧道入口/出口、交通阻塞的最末尾等这样的道路上的特征点、换言之POI为止的详细的剩余距离。

此外，详细位置计算部F5在本车辆的前方检测出多个地标(例如方向标牌)的情况下，使用该多个地标中的与本车辆最近的地标进行纵向位置推断。关于基于图像等的物体的种类、距离的识别精度，越是接近本车辆的物体，则该识别精度越高。即，在检测出多个地标的情况下，根据使用与车辆最近的地标进行纵向位置推断的结构，能够提高位置的推断精度。

另外，作为更优选的方式，本实施方式的详细位置计算部F5被构成为：为了保证位置计算精度，例如使用在规定的参照距离以内存在的地标来执行纵向位置推断处理。参照距离例如可以为40m。参照距离也可以是30m、50m。另外，在前方相机11具备望远相机的情况下，参照距离也可以是100m等。参照距离可以根据前方相机11的可识别距离、视角等这样的性能和规格来设定。

另外，作为横向位置推断处理，详细位置计算部F5基于由前方相机11识别的与左右的道路端/区划线相距的距离，确定本车辆相对于道路的横向位置。例如，在作为图像解析的结果，确定从左侧道路端到车辆中心为止的距离为1.75m的情况下，判定为在从左侧道路端的坐标向右侧偏移1.75m的位置存在本车辆。横向位置推断也可以称为横向的定位处理。此外，详细位置计算部F5也可以基于由前方相机11识别的与左右的道路端/区划线相距的距离，确定本车辆行驶的行车道的标识符即行驶行车道ID。行驶行车道ID表示例如本车辆在从左端或者右端的道路端起第几个行车道上行驶。另外，详细位置计算部F5也可以基于由前方相机11识别的与左右的区划线相距的距离，而确定行驶车道内的本车辆的详细位置、例如从车道中央向左右方向的偏移量。

作为定位处理的结果的本车位置可以由与地图数据相同的坐标系、例如纬度、经度、高度来表现。本车位置信息例如能够由WGS84(World Geodetic System 1984：世界大地测量系统1984)等任意的绝对坐标系来表现。

此外，作为一例，本实施方式的详细位置计算部F5被构成为：在白天将存在于参照距离以内的信号灯也作为地标使用来实施定位处理，另一方面，在夜间不将信号灯作为地标使用。即，在夜间，使用信号灯以外的地标来实施定位处理。这是因为，在夜间，信号灯的外壳的可视性变差，是否是信号灯的可靠度、换言之识别精度与白天相比变差。当然，作为其他方式，详细位置计算部F5也可以构成为在夜间也使用信号灯作为定位处理的地标。作为信号灯以外的地标，例如能够采用暂时停止线、人行横道等路面显示、引导标志等。此外，区划线、道路端无论昼夜，都能够用于横向位置推断处理。因此，在夜间也可以使用与白天相同的地上物来实施横向的定位处理。

详细位置计算部F5以规定的位置推断周期依次进行定位处理。位置推断周期的默认值也可以是200毫秒、400毫秒。例如详细位置计算部F5只要能够识别(换言之捕捉)地标，就以上述的位置推断周期依次实施纵向位置推断处理。详细位置计算部F5在无法识别地标的情况下，只要能够识别(换言之捕捉)区划线和道路端中的至少任意一方，就以位置推断周期依次进行横向位置推断处理。详细位置计算部F5和暂定位置获取部F1中的至少任意一方相当于车辆位置获取部。由详细位置计算部F5计算出的本车位置信息被提供给暂定位置获取部F1、位置误差评价部F6、环境识别部F7等。

每次在详细位置计算部F5执行定位处理时，位置误差评价部F6计算作为本次实施的定位处理的结果而输出的当前位置与由暂定位置获取部F1通过航位推算等而计算出的位置之差即误差评价值ρ。例如位置误差评价部F6在使用与前次使用的地标不同的地标来执行定位处理时，计算由暂定位置获取部F1计算的本车位置坐标与定位处理的结果之差作为误差评价值ρ。只要能够依次实施定位处理，前一时刻的定位处理的结果就会反映到由暂定位置获取部F1计算的暂定位置信息，因此误差评价值ρ为充分小的值。例如，只要能够依次实施定位处理，误差评价值ρ就被抑制为小于0.5m。

误差评价值ρ具有无法定位的期间越长则越大的趋势。在无法执行定位处理的期间中，通过使从最后能够执行定位处理的时刻起的经过时间或者行驶距离乘以规定的误差估计系数，而计算暂定的误差评价值ρ。位置误差评价部F6相当于根据从最后实施定位起的经过时间、通过定位处理而得的本车位置坐标与利用定位以外的方法推断出的本车位置坐标的偏离程度来计算误差评价值ρ的结构。定位以外的方法是指基于GNSS的定位、使用惯性传感器的航位推算等。由位置误差评价部F6计算出的误差评价值ρ被提供给环境识别部F7。位置误差评价部F6也可以内置于详细位置计算部F5。位置误差评价部F6相当于位置误差获取部。由于误差评价值ρ是表示暂定位置获取部F1获取的车辆位置的误差的大小的参数，因此也可以称为车辆位置误差。

环境识别部F7基于由相机输出获取部F3获取到的前方相机11中的识别结果等，来识别本车辆的周围的环境即周边环境。在这里的周边环境中包括本车辆的当前位置、行驶行车道、道路种类、限制速度、信号灯等的相对位置。另外，在周边环境中也可以包括其他移动体的位置、移动速度、周边物体的形状和尺寸等。作为子功能，环境识别部F7具备信号灯识别部F71。

信号灯识别部F71是使用地图数据来判定由前方相机11检测出的灯光装置是否是信号灯的结构。信号灯识别部F71不仅进行由前方相机11检测出的灯光装置是否是信号灯的判断，而且还包括如下的功能，在判断为该灯光装置为信号灯的情况下，识别其点亮状态。另外后述说明信号灯识别部F71的详细情况。

此外，环境识别部F7也可以从多个周边监视传感器中的各个周边监视传感器获取检测结果，将它们组合，由此识别存在于本车周边的物体的位置和种类。此外，环境识别部F7也可以使用由V2X车载器14从其他车辆接收到的其他车辆信息、通过路车间通信从路侧机接收到的交通信息等来确定周边环境。在能够从路侧器获取的交通信息中能够包括道路施工信息、交通限制信息、交通阻塞信息、气象信息、限制速度等。

控制计划部F8使用由环境识别部F7识别出的行驶环境和地图数据，而生成用于辅助用户的驾驶操作的车辆控制的计划。例如控制计划部F8在确认了在本车辆的前方存在信号灯的情况下，制成与信号灯的点亮状态对应的车辆控制的计划。例如在本车辆到达距离信号灯100m之前的时刻的信号灯为红色的情况下，制成减速的行驶计划，使得在信号灯的规定距离之前停车。停车位置也可以是地图数据所示的暂时停止线的位置。另外，在存在前车的情况下，也可以随时更新控制计划使得在前车的规定距离的后方停车。在信号灯为允许本车辆进入和通过交叉路口的点亮状态的情况下，制定用于通过交叉路口的控制计划。允许进入和通过交叉路口的点亮状态是指箭头信号、绿色点亮的情况。

信号灯所具备的控制计划的内容可以基于本车辆到达与信号灯相距规定距离(例如100m、50m)之前的时刻的信号灯的点亮状态的预测结果等而生成。为了方便，将辅助通过设置有信号灯的道路时的行驶的车辆控制称为信号灯通过辅助。在信号灯通过辅助中，包括用于在信号灯的跟前停车的制动控制。此外，信号灯通过辅助也可以是与HMI系统15协作地向用户通知信号灯的存在、信号灯的点亮状态的处理。不仅基于车辆用的信号灯的点亮状态，而且也可以基于行人用的信号灯的点亮状态而生成和校正信号灯通过辅助的控制计划。也可以基于信号灯的点亮状态的变化而随时更新信号灯通过辅助的控制计划。

此外，控制计划部F8也可以进行包括用于在识别出的行驶行车道的中央行驶的转向量的控制时间表的控制计划，或者生成沿着识别出的前车的举动或者行驶轨迹的路径作为行驶计划。在本车的行驶路径相当于单侧多个车道的道路的情况下，控制计划部F8也可以生成车道改变为与本车的行驶车道相同方向的相邻车道的计划候补。在基于前方相机11的检测结果或者地图数据而确认在本车辆的前方存在障碍物的情况下，控制计划部F8也可以生成通过障碍物的侧方的行驶计划。在行驶计划中可以包括用于计算出的路径中的速度调整的加减速的时间表信息。控制计划部F8也可以用于使本车辆自主地行驶。

控制执行部F9是将与由控制计划部F8决定的控制计划对应的控制信号输出到作为控制对象的行驶致动器16和或者HCU152的结构。例如在预定减速的情况下，对制动致动器、电子节气门输出用于实现所计划的减速度的控制信号。另外，向HCU152输出用于输出表示信号灯通过辅助的执行状态的图像、语音的控制信号。

＜关于驾驶辅助ECU20的动作流程＞

接着使用图5所示的流程图对由驾驶辅助ECU20执行的信号灯通过辅助处理进行说明。例如在车辆的行驶用电源接通的期间，以规定的周期(例如每200毫秒)执行图5所示的流程图。行驶用电源例如在发动机车辆中为点火电源。在电动汽车中系统主继电器相当于行驶用电源。在本实施方式中，作为一例，信号灯通过辅助处理具备步骤S101～S112。

此外，在详细位置计算部F5中，与图5所示的流程图独立地，换言之并列地，驾驶辅助ECU20依次实施定位处理。具体而言，详细位置计算部F5使用信号灯以外的地标而依次实施纵向位置推断处理。关于横向位置，基于区划线和道路端中的至少任意一方而依次计算。此外，关于无法识别信号灯以外的地标的情况下的纵向位置，例如可以基于车速或者车轮速度等来推断。通过执行定位处理，而决定地图上的本车辆的详细位置。

首先在步骤S101中，详细位置计算部F5和暂定位置获取部F1中的至少任意一方计算或者获取本车辆的当前位置并移至步骤S102。步骤S101相当于车辆位置获取步骤。

在步骤S102中环境识别部F7参照由地图获取部F2获取到的地图数据，确定前方信号灯的位置，并且计算到前方信号灯为止的距离即剩余距离Rd并移至步骤S103。前方信号灯是指在登记于地图数据的信号灯中，存在于本车辆的前方的面向本车辆的信号灯中的、与本车辆最近的位置的信号灯。面向本车辆的信号灯是指本车辆应该看到的信号灯、换言之本车辆应该遵循的信号灯。面向对面车的信号灯、面向交叉车辆的信号灯不相当于前方信号灯。此外，交叉车辆是指在与本车辆行驶的道路连接的其他道路上行驶的车辆。例如，在交叉路口从横向到来的车辆相当于交叉车辆。

此外，在作为在步骤S102中参照地图数据的结果，确认了在本车辆的前方规定距离(例如250m)以内不存在信号灯的情况下，也可以省略以后的处理而结束本流程。在本流程结束时，例如在200毫秒后等规定时间后从步骤S101再次执行。步骤S102相当于地图上位置获取步骤。

在步骤S103中相机输出获取部F3从前方相机11获取有可能是信号灯的灯光装置的识别结果并移至步骤S104。步骤S103相当于观测位置获取步骤。有可能是信号灯的灯光装置是指例如信号灯概率P为规定的候补阈值以上的灯光装置。候补阈值是用于区分有可能是信号灯的物体与不可能是信号灯的物体的阈值，具体的值能够适当地改变。候补阈值例如可以是40％。候补阈值也可以是50％、75％等。在步骤S103中未检测出有可能是信号灯的灯光装置的情况下，移至步骤S110。

在步骤S104中信号灯识别部F71从位置误差评价部F6获取按照上述的方式计算出的误差评价值ρ并移至步骤S105。在步骤S105中信号灯识别部F71判定在步骤S104中获取到的误差评价值ρ是否小于规定的误差阈值Pth。误差阈值Pth例如可以是0.5m、1m等。通过使误差阈值Pth小于1m，能够降低在信号停止时超过暂时停止线的可能性。在误差评价值ρ小于误差阈值Pth的情况下，对步骤S105进行肯定判定并移至步骤S106。另一方面，在误差评价值ρ为误差阈值Pth以上的情况下对步骤S105进行否定判定并移至步骤S110。

在步骤S106中信号灯识别部F71计算地图数据所示的前方信号灯的位置与在步骤S102中获取到的由前方相机11识别出的灯光装置的位置之差(换言之距离)即接近度δ，并移至步骤S107。接近度δ可以是三维空间内的直线距离。此外，接近度δ也可以是横向上的距离。也可以计算横向距离与上下方向距离各自的接近度δ。

在步骤S107中信号灯识别部F71判定在步骤S106中计算出的接近度δ是否小于规定的视同阈值Dth。视同阈值Dth是用于区分在步骤S103中提取出的有可能是信号灯的灯光装置即信号灯候补是否真的是信号灯的阈值。视同阈值Dth例如可以是1.0m。视同阈值Dth可以与误差阈值Pth相同、或者为比误差阈值Pth大规定量的值。视同阈值Dth也可以是0.5m、1.5m等。在接近度δ小于视同阈值Dth的情况下对步骤S107进行肯定判定并移至步骤S108。另一方面，在接近度δ为视同阈值Dth以上的情况下对步骤S107进行否定判定并移至步骤S110。步骤S107相当于信号灯识别步骤。

在步骤S108中信号灯识别部F71将在步骤S102中提取出的信号灯候补判定为信号灯并移至步骤S109。此外，在步骤S102中假设提取出多个信号灯候补的情况下，在步骤S106中计算多个信号灯候补各自的接近度δ。而且，可以在步骤S108中针对多个信号灯候补中的、接近度δ最小的信号灯候补，判定接近度δ是否小于视同阈值Dth。信号灯识别部F71可以将多个信号灯候补中的、接近度δ最小并且接近度δ小于视同阈值Dth的信号灯候补判定为信号灯。此外，信号灯识别部F71也可以基于接近度δ和由前方相机11输出的信号灯概率P双方，对作为信号灯的似然进行评分，基于该评分来判定是否为信号灯。

在步骤S109中，作为信号灯通过辅助，控制计划部F8计划与到前方信号灯为止的剩余距离Rd以及由前方相机11识别的前方信号灯的点亮状态对应的车辆控制，控制执行部F9执行与该控制计划对应的控制。

在步骤S110中判定剩余距离Rd是否小于规定的辅助中止距离Rth。辅助中止距离Rth是放弃信号灯通过辅助的执行的阈值。辅助中止距离Rth相当于第一规定距离。辅助中止距离也可以称为极限距离。辅助中止距离Rth例如可以是50m。辅助中止距离Rth也可以是100m、70m、40m等。辅助中止距离Rth被设定为在信号灯的点亮状态为红色的情况下，直到本车辆到达配置于信号灯的跟前的暂时停止线为止，以规定的减速度能够停车的距离。这里假定的减速度例如是0.3G≒3m/sec＾2等。

也可以根据由车辆状态获取部F4获取的本车辆的行驶速度而动态决定辅助中止距离Rth。行驶速度越大则辅助中止距离Rth被设定得越大。换言之，在行驶速度比规定值小的情况下，能够将辅助中止距离Rth设定为比规定的默认值短的值。辅助中止距离Rth也可以由时间来规定。例如也可以将辅助中止距离Rth动态地决定为相当于6秒的距离。在剩余距离Rd小于辅助中止距离Rth的情况下对步骤S110进行肯定判定并移至步骤S112。另一方面，在剩余距离Rd为辅助中止距离Rth以上的情况下对步骤S110进行否定判定并移至步骤S111。

在步骤S111中，保留信号灯候补是否为信号灯的判断，结束本流程。换言之，该步骤相当于保留是否中断信号灯通过辅助的判断的步骤。在保留判断而结束本流程的情况下，例如在200毫秒后等规定时间后从步骤S101再次执行。

在步骤S112中控制计划部F8决定中断针对前方信号灯的信号灯通过辅助。另外，控制执行部F9与HMI系统15协作地执行用于向用户通知不进行信号灯通过辅助的处理而结束本流程。例如在步骤S112中向HCU152输出用于使显示器151显示表示不进行信号灯通过辅助的文本消息或者图标图像的指示信号，并进行显示。在步骤S112中，也可以从扬声器输出表示不进行信号灯通过辅助的语音消息。并且，也可以在显示器151上显示表示不进行信号灯通过辅助的图标图像。此外，在步骤S112中通知的内容也可以是无法识别信号灯。在步骤S112中通知的内容可以是与信号灯的识别状态相关的多种信息。另外，在步骤S112中，也可以将表示信号灯的检测失败的错误信号经由V2X车载器14上传到地图服务器3。根据该结构，地图服务器3能够确定难以识别信号灯的地点、时间段。优选错误信号包括当前位置、前方信号灯的识别信息、前方相机11的模型信息等。

在以上的结构中，作为检测出的灯光装置是否为信号灯的判断材料，使用接近度δ。根据该结构，由于考虑登记于地图的位置信息与观测结果的匹配性，因此在仅通过图像的特征量很难判断检测出的灯光装置是否是信号灯的情况下，也能够提高其判断精度。另外，在检测出多个灯光装置的情况下也是，通过比较每个灯光装置的接近度δ，能够确定相当于信号灯的灯光装置。例如，能够将接近度δ最小的灯光装置判定为信号灯的灯光。

此外，很难判断检测出的灯光装置是否是信号灯的情况例如包括在夜间等信号灯的外壳与背景同化的情况。换言之，与背景同化的情况包括外壳的轮廓部分相对于背景不具有能够检测边缘的亮度差的状态。另外，由于降雨、逆光等，用于识别为信号灯的图像信息较少的情况也包括于很难判断检测出的灯光装置是否是信号灯的情况。用于识别为信号灯的信息是指外壳等的轮廓形状、颜色信息等。在降雨时，由于在存在于相机前方的挡风玻璃、反射镜上附着的雨滴而使图像内的物体的形状变形，因此用于将信号灯识别为信号灯的特征量会降低。在逆光时，例如灯光部的数量等这样的表示外壳内的详细结构的边缘部分也变得不鲜明、或者颜色信息降低，因此用于将信号灯识别为信号灯的特征量会降低。此外，本发明的结构例如在转弯行驶时等多种场景中，能够提高检测出的灯光装置是否是信号灯的判断精度。

另外，本发明的信号灯识别部F71以误差评价值ρ小于误差阈值Pth为条件，来实施使用接近度δ的信号灯判定。根据该结构，能够进一步减少错误判定信号灯的可能性。并且，如上述结构那样，根据使用接近度δ来判定检测出的灯光装置是否是信号灯的结构，能够减少将映入到建筑物的窗玻璃等的信号灯的像错误判定为实际的信号灯的可能性。这是因为，能够期待通过光的反射而映入到建筑物的窗玻璃等的信号灯的像大幅远离信号灯的设置位置。此外，在PD地图中基于从车辆上传的探测数据而登记信号灯的设置位置。因此，在登记于PD地图的信号灯的设置位置可以包括某程度的误差。鉴于这样的情况，通过使误差阈值Pth具有某程度的宽度，能够减少将信号灯本身错误判定为不是信号灯的可能性。

另外，在专利文献1等所公开的结构中，在交叉路口处的左右转弯时，有可能伴随着车体的旋转而将面向交叉车辆的信号灯错误识别为面向本车辆的信号灯。针对这样的担心，根据本发明的结构，从地图提取本车辆应该看到的信号灯，基于与该信号灯的接近度δ而识别信号灯。当然，假定面向交叉车辆的信号灯与本车辆应该看到的信号灯例如为5m以上等充分地分离。因此，根据本发明的结构，能够减少将面向交叉车辆的信号灯错误识别为面向本车辆的信号灯而进行交叉路口内的停车等非预期的动作的可能性。

此外，在检测出是信号灯的可能性充分高的灯光装置的情况下，也可以省略使用接近度δ来判定检测出的灯光装置是否是信号灯的处理。例如，在检测出信号灯概率P为规定值(例如95％)以上的灯光装置的情况下，也可以省略使用接近度δ的判定处理。根据该结构，能够减少处理部21的处理负荷。该结构相当于如下的结构，在检测出信号灯概率P为规定值以上的灯光装置的情况下将该灯光装置视为信号灯，另一方面，在未检测出信号灯概率P为规定值以上的灯光装置的情况下基于接近度δ来搜索相当于信号灯的灯光装置。此外，为了抑制将面向交叉车辆的信号灯错误识别为面向本车辆的信号灯，也可以在交叉路口内且横摆率为规定的阈值以上的状态下，取消信号灯的点亮状态的识别处理。另外，信号灯识别部F71也可以被构成为：与前方信号灯区别地，识别面向交叉车辆的信号灯、面向对面车辆的信号灯。在识别面向交叉车辆的信号灯、面向对面车辆的信号灯时，也能够应用使用接近度δ的判定处理。面向交叉车辆的信号灯、面向对面车辆的信号灯能够称为面向其他车辆的信号灯。

以上，对本发明的实施方式进行了说明，但本发明不限定于上述的实施方式，以后描述的各种结构也包括于本发明的技术范围内，并且除了下述以外，也能够在不脱离主旨的范围内进行各种改变来实施。例如下述的各种结构在不产生技术矛盾的范围中能够适当地组合来实施。此外，对于具有与上述的实施方式中描述的部件相同的功能的部件，标注相同的附图标记，并省略其说明。另外，在仅提及结构的一部分的情况下，对于其他部分能够应用前面说明的实施方式的结构。

＜关于辅助中断的预告＞

驾驶辅助ECU20也可以被构成为：在决定和通知中止信号灯通过辅助之前，实施向用户预告有可能中止信号灯通过辅助的处理即中止预告处理。例如驾驶辅助ECU20也可以在剩余距离Rd小于中止预告距离Rn的时刻，还不能确定与前方信号灯对应的灯光装置的情况下，输出表示有可能中止信号灯通过辅助的消息。中止预告距离Rn被设定在比辅助中止距离Rth大的范围。中止预告距离相当于第二规定距离。例如中止预告距离Rn可以是70m、100m。中止预告距离Rn可以是使辅助中止距离Rth加上例如20m、30m这样的规定的富余度而得的值。也可以根据由车辆状态获取部F4获取的本车辆的行驶速度而动态地决定中止预告距离Rn、富余度。例如富余度也可以动态地决定为相当于4秒的距离。作为中止预告处理输出的消息也可以是图像消息，也可以是语音消息。也可以使显示器151显示表示有可能中止信号灯通过辅助的规定的图标图像。

在这样的结构中，在最终中止信号灯通过辅助的情况下，如图6所示，在通过剩余距离Rd为中止预告距离Rn的地点时，驾驶辅助ECU20向用户预告有可能中止信号灯通过辅助。而且，在通过剩余距离Rd为辅助中止距离Rth的地点时，驾驶辅助ECU20向用户通知中止信号灯通过辅助。根据这样的结构，用户能够预先地、换言之在时间上有富余的阶段知道中止信号灯通过辅助的可能性。其结果是，在最终地中止信号灯通过辅助的情况下，也能够减少使用户慌张的可能性。

＜视同阈值Dth的捕捉＞

信号灯识别部F71也可以被构成为：根据检测出的灯光装置的信号灯概率P来缓和视同阈值Dth。即，也可以被构成为：检测出的灯光装置的信号灯概率P越大，则将视同阈值Dth设定为越大的值。例如如图7所示，在信号灯概率P为40％的情况下将视同阈值Dth设定为规定的第一距离D1，另一方面，在信号灯概率P为90％以上的情况下将视同阈值Dth设定为规定的第二距离D2。在信号灯概率P小于90％的情况下，信号灯概率P越大，则将视同阈值Dth设定得越大。第一距离D1例如可以是0.5m、0.7m等。另外，第二距离D2例如可以是2.0m、2.5m等。

根据这样的结构，能够减少由于登记于地图的信号灯的设置位置亦即地图上信号灯位置从实际的设置位置偏移而将信号灯错误判定为不是信号灯的可能性。即，能够抑制在地图上信号灯位置错误的情况下无法检测信号灯的情况。另外，根据该结构，能够高精度地评价地图上信号灯位置与由前方相机11观测到的信号灯位置即观测信号灯位置的偏移程度。此外，像上述那样，登记于PD地图的信号灯的设置位置包括误差。鉴于这样的情况，上述结构在地图服务器3处理的地图数据为PD地图情况下特别优选。

＜信号灯识别部F71的补充＞

上述的信号灯的识别方法不仅适用于车辆用的信号灯的识别，而且也能够同样地适用于行人用的信号灯的识别。信号灯识别部F71也可以构成为检测行人用的信号灯。如果能够检测行人用的信号灯，则基于该点亮状态容易预测行人的动作。即，通过使用行人用的信号灯的点亮状态来计划通过交叉路口等时的车辆控制，能够进一步提高安全性。

另外，也可以被构成为：在参照地图数据，能够确定相对于一个行进方向设置车辆用的信号灯和行人用的信号灯双方的情况下，成组地识别车辆用的信号灯和行人用的信号灯。也可以被构成为：以车辆用的信号灯的接近度小于规定的阈值且行人用的信号灯的接近度也小于规定的阈值为条件，将其判定为信号灯。根据该结构，由于判断材料增加，因此能够减少将不是信号灯的结构错误判定为信号灯的可能性。

此外，信号灯识别部F71也可以将行人用的信号灯的识别结果辅助地用于车辆用的信号灯的识别。例如，在能够识别行人用的信号灯的情况下，也可以优先地搜索发出与行人用的信号灯的点亮状态对应的颜色的光的灯光装置。例如，在行人用的信号灯为绿色的情况下，也可以从绿色的灯光装置中搜索信号灯。同样，也可以将车辆用的信号灯的检测结果辅助地用于行人用的信号灯的识别。车辆用的信号灯的识别结果与行人用的信号灯的识别结果能够互补地利用。

此外，行人用的信号灯配置于比车辆用的信号灯相对地靠下方的位置。因此，行人用的信号灯与车辆用的信号灯相比，更容易通过车辆的前灯、街灯等来检测外壳部分。另外，即使在白天，行人用的信号灯与车辆用的信号灯相比，外壳也难以与云等背景同化。因此，只要前方相机11的视野未被其他车辆、建筑物等遮挡，行人用的信号灯有时与车辆用的信号灯相比容易检测。如果考虑这样的情况，通过将行人用的信号灯的识别结果互补地用于检测出的灯光装置是否是车辆用的信号灯的判断，能够提高车辆用的信号灯的识别精度。

另一方面，车辆用的信号灯配置于比行人用的信号灯相对地靠上方的位置。因此，车辆用的信号灯具有与行人用的信号灯相比容易从远方检测的特性。另外，在多数情况下，行人用信号灯与车辆用的信号灯联动。因此，在行人用的信号灯的搜索中，也可以利用车辆用的信号灯的点亮状态信息。例如在车辆用的信号灯为绿色的情况下，作为行人用的信号灯，也可以优先地搜索绿色的光源。根据在行人用的信号灯的搜索中利用车辆用的信号灯的点亮状态信息的结构，能够减少用于检测行人用的信号灯的处理负荷、或者提高检测精度。优选在地图数据中，不仅包括车辆用的信号灯的设置位置，还包括行人用的信号灯的设置位置。另外，在地图数据中，作为信号灯数据，优选包括表示行进方向相同的车辆用的信号灯与行人用信号灯是否同步、换言之表示是否是步车分离式信号的数据。

在相同方向上的行人用信号灯与车辆用的信号灯联动的情况下，信号灯识别部F71也可以基于行人用的信号灯的点亮状态来推断车辆用的信号灯的点亮状态。另外，在行人用的信号灯与车辆用的信号灯的点亮状态的变化定时，有时设置有几秒～10秒左右的时间差。信号灯识别部F71也可以根据行人用的信号灯的点亮状态的变化来预测车辆用的信号灯的点亮状态的变化，而制成和校正控制计划。

此外，信号灯识别部F71在确定了与前方信号灯对应的灯光装置的情况下，使用规定的跟踪方法来追踪作为前方信号灯的该灯光装置。作为灯光装置的跟踪方法，能够引用多种方法。例如信号灯识别部F71基于前一时刻的信号灯的观测位置和本车辆的移动速度来推断当前时刻的信号灯的位置，从当前的图像帧中包括的灯光装置中，将与该推断位置最近的灯光装置视为相同物。另外，例如也可以被构成为：将在前一时刻计算出的接近度δ与新计算出的接近度δ处于规定的阈值以内的信号灯追踪为相同的信号灯。此外，信号灯识别部F71例如也可以使用彩色直方图、大小、亮度等这样的特征量的类似程度来追踪相当于信号灯的灯光装置。

此外，也可以被构成为：在主要使用基于前一时刻的观测位置的推断位置与观测位置的类似度进行追踪的结构中，基于灯光装置的点亮颜色按照规定的图案变化的情况，而提高该灯光装置是信号灯的概率。用于提高检测出的灯光装置是信号灯的概率的变化图案例如存在从绿色变成黄色或者红色的图案、从红色或者黄色变成绿色的图案等。用于提高检测出的灯光装置是信号灯的概率的变化图案能够适当地改变为与使用驾驶辅助ECU20的地域的信号灯的变化图案对应。

＜关于对地图更新的利用＞

根据上述的结构，能够计算地图上信号灯位置与观测信号灯位置的偏移量及其方向。也可以如图8所示，作为功能部，驾驶辅助ECU20具备报告处理部F10，该报告处理部F10将表示地图上信号灯位置与观测信号灯位置的偏移程度的数据集作为探测数据发送给地图服务器3。此外，在图8中省略了环境识别部F7等已说明的结构的图示。

探测数据例如包括信号灯识别信息和信号灯位置偏移信息。信号灯识别信息是表示作为报告对象的信号灯的信息，例如可以是登记于地图数据的信号灯的识别编号。信号灯识别信息也可以是表示交叉路口的名称或者节点编号以及本车辆的行进方向的数据集。优选信号灯位置偏移信息为表示地图上信号灯位置与观测信号灯位置的偏移量及其方向的信息，包括纬度、经度以及高度各自的偏移量。信号灯位置偏移信息相当于间接地表示观测信号灯位置的数据。也可以取代信号灯位置偏移信息、或者并行地，探测数据包括直接地表示观测信号灯位置的数据、即观测信号灯位置的坐标数据。包括信号灯位置偏移信息和/或观测信号灯位置的坐标数据的探测数据相当于观测结果信息。用于探测数据的生成的观测信号灯位置也可以是在到信号灯为止的剩余距离Rd为例如40m等规定距离的时刻计算出的位置，也可以是在最后检测出信号灯的时刻计算出的位置。

探测数据也可以包括计算所报告的信号灯位置或者信号灯位置偏移信息的时刻的误差评价值ρ。通过使探测数据包括误差评价值ρ，从而地图服务器3能够评价所报告的信号灯的位置信息的精度。此外，探测数据也可以包括行驶轨道信息、路线信息以及地上物信息。行驶轨道信息是表示本车辆行驶的轨道的信息。例如行驶轨道信息表现为本车位置的点列。路线信息是表示行驶路的端部、中心线的轨道的信息。另外，行驶路的端部等也可以由坐标点组表现。此外，行驶轨道信息、路线信息也可以由3次样条曲线表现。另外，行驶轨道信息、路线信息也可以由表示检测点的回归式的系数参数来表现。回归式是相当于近似地表示多个检测点的分布的直线或者曲线的函数，例如通过最小二乘法等来计算。

在检测出规定的阈值以上的信号灯位置的偏移量的情况下执行报告处理部F10对探测数据的发送。此外，也可以定期地执行报告处理部F10对探测数据的发送。另外，也可以基于来自地图服务器3的指示来控制是否发送探测数据。此外，作为一个实施方式，以误差评价值ρ小于误差阈值Pth为条件来执行基于接近度δ而进行的所检测的灯光装置是否是信号灯的判定。即上述结构相当于如下的结构，以误差评价值ρ小于误差阈值Pth为条件，将用于更新信号灯的位置信息的探测数据上传到地图服务器3。

如图8所示，进行地图的更新的地图服务器3包括服务器处理器31、存储器32，构成为计算机。服务器处理器31使用CPU等处理器而构成。存储器32包括RAM、闪存。另外，地图服务器3具备存储地图数据的非易失性的存储装置即地图数据库33。地图数据库33构成为能够实施服务器处理器31对数据的写入、读出、删除等。地图服务器3构成为能够经由未图示的通信装置和广域通信网与车辆Ma进行通信。

作为通过由服务器处理器31执行规定的地图更新程序而实现的功能部，地图服务器3具备报告接收部G1、地图更新部G2以及分发处理部G3。报告接收部G1经由通信装置获取从包括本车辆的多个车辆上传的探测数据。报告接收部G1将从各车辆获取到的探测数据提供给地图更新部G2。

地图更新部G2基于从各车辆发送的探测数据，而更新保存于地图数据库33的地图数据。例如，通过针对相同的信号灯，综合处理从多个车辆报告的信号灯位置偏移信息，而决定信号灯位置的校正量，并更新地图数据。例如，对于纬度、经度和高度中的各个，计算在多个车辆中观测到的信号灯的位置偏移量的方差，在方差小于规定的阈值的情况下，采用该中央值/平均值作为该信号灯的位置的校正量。对于方差为规定的阈值以上的项目，例如建立验证标志。验证标志相当于表示作为地图登记是不确定的数据的标志。此外，地图更新部G2也可以计算在多个车辆中观测到的信号灯位置的方差，在方差小于规定的阈值的情况下，采用该中央值/平均值作为该信号灯的坐标。对于方差为规定的阈值以上的信号灯，例如也可以建立验证标志，保留更新。此外，综合处理中的方差的评价不是必须的，也可以省略。地图更新部G2也可以在从多个车辆连续地接收到规定次数的表示信号灯位置向相同的方向偏移的内容的报告的情况下，更新该信号灯的设置位置。此外，优选与在误差评价值ρ更大时观测到的信号灯位置相比，地图更新部G2优先地对于在误差评价值ρ更小时观测到的信号灯位置例如增大权重来进行综合处理。根据这样的结构，能够进一步提高收录于PD地图的信号灯的设置位置的精度。

地图更新部G2例如以规定的周期进行地图数据的更新。更新周期也可以是每1日，也可以每1周或者每1个月。另外，也可以从保存有规定量的探测数据的信号灯依次更新。一个信号灯的位置坐标的更新所需要的探测数据的数量即更新所需报告数例如可以是10个。更新所需报告数也可以是8、12等。能够期待更新所需报告数越多则精度越高。通过减少更新所需报告数，能够提高实时性。

分发处理部G3是按照地图片等区块单位，基于来自车辆的请求而分发地图数据的结构。例如车辆的地图获取部F2对地图服务器3请求与当前位置以及在规定时间以内预定通行的区域相关的地图数据。分发处理部G3基于该请求而分发地图数据。此外，分发处理部G3也可以构成为自发地分发地图数据。例如在将地图数据保存于车辆并进行使用的系统结构中，也可以将有更新的地图数据作为差分地图数据而分发给各车辆。信号灯等立体构造物的位置信息与区划线、交叉路口内的导流带等这样的路面标识数据建立对应关系地进行分发。此外，信号灯等立体构造物的位置信息也可以与交叉路口处的每个行进方向和每个车道的行驶轨道模型建立对应关系地进行分发。根据以上的结构，能够基于来自车辆的报告而随时更新信号灯的位置。

＜关于与路侧机等的协作＞

也可以如图9所示，作为功能部，驾驶辅助ECU20具备信号灯信息接收部F11。信号灯信息接收部F11是经由V2X车载器14从路侧机获取关于前方信号灯的信息即信号灯信息的结构。信号灯信息例如可以是包括到前方信号灯为止的距离、当前的点亮状态、点亮周期、到点亮状态变化为止的剩余时间等的信息。

例如，在信号灯信息接收部F11能够接收信号灯信息的情况下，信号灯识别部F71使用接收到的信号灯信息进行信号灯的识别。例如，在利用信号灯信息通知当前的点亮状态为绿色的情况下，从绿色的灯光中，对登记于地图的信号灯与由前方相机11检测的灯光装置建立对应关系。此外，来自路侧期的信号灯信息未必是一旦开始接收则在之后通过信号灯之前稳定地持续接收。即使到剩余距离Rd为100m的地点为止能够获取信号灯信息，之后也存在由于通信故障、大型车辆的电波遮挡而不能接收的情况。因此，在一旦接收到信号灯信息的情况下，优选并不依赖于信号灯信息，而是继续追踪使得利用前方相机11也能够识别点亮状态。作为追踪方法，能够像上述那样采用多种方法。

此外，在使用特征量的类似程度来追踪与信号灯对应的灯光装置的结构中，有可能在信号灯的点亮状态变化的定时丢失(即遗失)。这是因为，伴随着信号灯的点亮状态的变化，颜色发生很大变化。在使用颜色的类似程度来追踪与信号灯对应的灯光装置的结构中，优选互补地使用由信号灯信息接收部F11接收到的信号灯信息来追踪作为信号灯的灯光装置。例如，也可以被构成为：在信号灯信息所示的、信号灯的点亮状态发生变化的时刻附近，降低灯光装置的追踪中使用的颜色信息的权重。具体而言，也可以在信号灯信息所示的、信号灯的点亮状态发生变化的时刻附近，从使用颜色的类似程度的第一追踪方法切换为不使用颜色的类似程度的第二追踪方法来实施追踪。第二追踪方法例如可以是根据基于前一时刻的观测位置的推断位置与当前时刻的观测位置的类似性来进行追踪的方法。根据该结构，能够减少因点亮状态的变化而导致中断作为信号灯的灯光装置的追踪的可能性。另外，在搜索与信号灯对应的灯光装置时利用颜色信息，另一方面，在建立对应关系成功的时刻以后，降低追踪处理中的颜色信息的权重，由此能够提高信号灯的发现精度，减少丢失的可能性。

当然，信号灯信息不仅用于与前方信号灯对应的灯光装置的确定，而且也可以直接地用于信号灯通过辅助。例如控制计划部F8也可以基于信号灯信息来判断在信号灯前是否停车，或者制成加减速的时间表。在信号灯信息表示在规定时间以上没有变化为红色的情况下，控制计划部F8也可以制定在信号灯前不停车而通过的控制计划。另外，在基于信号灯信息而预见到在剩余距离Rd小于规定值之前变化为红色的情况下，可以制定朝向停车减速的控制计划。此外，基于无线通信来获取信号灯信息的获取源不限定于路侧机。也可以从管理和分发信号灯的动作状况的中心获取上述信号灯信息。通常，从基础设施无线发送的信号灯信息与图像识别结果相比，可靠性较高。因此，在能够无线接收信号灯信息的情况下，与通过图像识别而确定的信号灯的点亮状态相比，也可以基于从基础设施获取到的信号灯信息来实施控制计划。但是，担心有恶意的第三者分发伪造的信号灯信息。基于这样的担心，相比于从基础设施获取到的信号灯信息，也可以优先地使用通过图像识别而确定的信号灯的点亮状态来实施控制计划。此外，也可以被构成为：基于信号灯信息与图像识别结果的匹配性，评价所接收的信号灯信息的可靠性，然后基于该信号灯信息来制成控制计划。

＜系统结构的变形例＞

在上述的实施方式中公开了驾驶辅助ECU20具备信号灯识别部F71的结构，但各种功能部的配置方式不限定于此。也可以如图10所示，相机ECU41具备信号灯识别部F71。另外，也可以像上述那样，将相机ECU41和驾驶辅助ECU20一体化。换言之，驾驶辅助ECU20也可以具备作为相机ECU41的功能。即，前方相机11也可以构成为将图像数据输出到驾驶辅助ECU20，驾驶辅助ECU20执行从物体检测到种类识别为止的处理。

此外，也可以构成为向驾驶辅助ECU20输入毫米波雷达、声纳、LiDAR等这样的各种周边监视传感器的检测结果。例如环境识别部F7也可以被构成为：通过以规定的权重综合毫米波雷达、LiDAR的检测结果和前方相机11的检测结果的传感器融合处理来识别行驶环境。另外，以上，例示了使用前方相机11的图像来识别信号灯的处理，但用于识别信号灯的相机不限定于前方相机11。也可以被构成为：使用由后方相机、右侧方相机、左侧方相机生成的图像帧来检测信号灯。上述的信号灯的识别方法也可以适用于例如侧方相机等前方相机11以外的车载相机所拍摄到的图像数据。

＜附加说明＞

本发明中记载的控制部和处理部以及其方法也可以由专用计算机实现，该专用计算机构成被编程为执行由计算机程序具体化的一个至多个功能的处理器。另外，本发明中记载的装置及其方法也可以使用专用硬件逻辑电路来实现。并且，本发明中记载的装置及其方法也可以由一个以上的专用计算机实现，该专用计算机由执行计算机程序的处理器与一个以上的硬件逻辑电路的组合构成。另外，计算机程序也可以作为由计算机执行的指令，存储于计算机能够读取的非迁移有形记录介质。

即，处理部21等提供的单元和/或功能能够通过记录在实体的存储器装置的软件和执行该软件的计算机、仅软件、仅硬件、或者它们的组合来提供。例如处理部21所具备的功能的一部分或者全部也可以作为硬件来实现。在将某个功能作为硬件来实现的方式中，包括使用一个或者多个IC等来实现的方式。处理部21也可以取代CPU，使用MPU、GPU、DFP(Data Flow Processor：数据流处理器)来实现。处理部21也可以组合CPU、MPU、GPU等多种运算处理装置来实现。处理部21也可以作为片上系统(SoC：System-on-Chip)实现。并且，各种处理部也可以使用FPGA(Field-Programmable Gate Array：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)来实现。各种程序可以储存于非迁移实体记录介质(non-transitory tangible storage medium)。作为程序的保存介质，能够采用HDD(Hard-disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、EPROM(Erasable Programmable ROM：可擦除可编程随机存取存储器)、闪存、SD(SecureDigital：安全数字)卡等多种存储介质。

Claims (12)

1.一种信号灯识别装置，用于识别在车辆的周边存在的信号灯，其中，所述信号灯识别装置具备：

车辆位置获取部(F1、F5)，获取所述车辆的位置；

地图上位置获取部(F2)，基于所述车辆位置获取部获取到的所述车辆的位置，获取登记于地图数据的所述信号灯的位置亦即地图上信号灯位置；

观测位置获取部(F3)，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及

信号灯识别部(F71)，基于接近度判定所述灯光装置是否是所述信号灯，所述接近度是所述地图上位置获取部获取到的所述地图上信号灯位置与所述观测位置获取部获取到的所述观测灯光位置之差。

2.根据权利要求1所述的信号灯识别装置，其中，

所述信号灯识别部被构成为：基于所述接近度小于规定的视同阈值，将所述灯光装置判定为所述信号灯。

3.根据权利要求1或2所述的信号灯识别装置，其中，

所述信号灯识别装置具备位置误差获取部(F6)，所述位置误差获取部获取误差评价值，所述误差评价值表示所述车辆位置获取部推断出的所述车辆的位置的误差的大小，

所述信号灯识别部被构成为：以所述误差评价值小于规定的误差阈值为条件，来实施所述灯光装置是否是所述信号灯的判定。

4.根据权利要求3所述的信号灯识别装置，其中，

所述信号灯识别装置被构成为：以所述误差评价值小于所述误差阈值为条件，来向设置在所述车辆的外部的地图服务器发送观测结果信息，所述观测结果信息直接或者间接地表示与所述信号灯对应的所述灯光装置的观测位置。

5.根据权利要求1至4中任一项所述的信号灯识别装置，其中，

所述车辆位置获取部根据使用由前方相机拍摄到的图像帧检测的规定的地标的位置信息以及登记于所述地图数据的所述地标的位置信息，来确定地图上的所述车辆的位置坐标，

所述地标包括沿着道路设置的引导标志、信号灯、杆、商业标牌以及规定的路面标识中的至少任意一个，

所述车辆位置获取部被构成为：至少在夜间，不使用信号灯作为所述地标。

6.根据权利要求1至5中任一项所述的信号灯识别装置，其中，

所述信号灯识别装置被构成为：在即使到登记于所述地图数据的所述信号灯为止的剩余距离小于规定距离，也无法确定与该信号灯对应的所述灯光装置的情况下，向外部输出规定的信号。

7.根据权利要求1至6中任一项所述的信号灯识别装置，其中，

所述信号灯识别装置被构成为：在即使到登记于所述地图数据的所述信号灯为止的剩余距离小于规定距离，也无法确定与该信号灯对应的所述灯光装置的情况下，向用户通知与该信号灯的识别状态相关的信息。

8.根据权利要求1至7中任一项所述的信号灯识别装置，其中，

所述信号灯识别装置具备信号灯信息接收部(F11)，所述信号灯信息接收部从设置在车辆外部的通信装置接收信号灯信息，所述信号灯信息是关于所述信号灯的信息，

所述信号灯识别部被构成为：在所述信号灯信息接收部接收到所述信号灯信息的情况下，使用该信号灯信息来确定与所述信号灯对应的所述灯光装置。

9.根据权利要求8所述的信号灯识别装置，其中，

所述信号灯识别部被构成为：在确定了与所述信号灯对应的所述灯光装置的情况下，追踪作为所述信号灯的该灯光装置，

所述信号灯识别装置被构成为：基于所述信号灯信息接收部接收到的所述信号灯信息，经时地改变追踪作为所述信号灯的所述灯光装置的方法。

10.一种信号灯识别方法，是由至少一个处理器(21)执行的、用于识别在车辆的周边存在的信号灯的信号灯识别方法，其中，所述信号灯识别方法包括：

车辆位置获取步骤(S101)，获取所述车辆的位置；

地图上位置获取步骤(S102)，基于在所述车辆位置获取步骤中获取到的所述车辆的位置，获取登记于地图数据的所述信号灯的位置亦即地图上信号灯位置；

观测位置获取步骤(S103)，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及

信号灯识别步骤(S107)，基于接近度判定所述灯光装置是否是所述信号灯，所述接近度是在所述地图上位置获取步骤中获取到的所述地图上信号灯位置与在所述观测位置获取步骤中获取到的所述观测灯光位置之差。

11.一种车辆控制装置，实施与在车辆的周边存在的信号灯的识别状态对应的车辆控制，其中，所述车辆控制装置具备：

车辆位置获取部(F1、F5)，获取所述车辆的位置；

地图上位置获取部(F2)，基于所述车辆位置获取部获取到的所述车辆的位置，获取登记于地图数据的所述信号灯的位置亦即地图上信号灯位置；

观测位置获取部(F3)，获取使用由车载相机拍摄到的图像帧检测的灯光装置的位置信息作为观测灯光位置；以及

信号灯识别部(F71)，基于接近度判定所述灯光装置是否是所述信号灯，所述接近度是所述地图上位置获取部获取到的所述地图上信号灯位置与所述观测位置获取部获取到的所述观测灯光位置之差，

所述车辆控制装置被构成为：在即使从所述车辆到所述地图上信号灯位置为止的剩余距离小于第一规定距离，也无法识别信号灯的情况下，向用户通知不执行所述车辆控制。

12.根据权利要求11所述的车辆控制装置，其中，

所述车辆控制装置被构成为：在即使从所述车辆到所述地图上信号灯位置为止的剩余距离为比所述第一规定距离大的第二规定距离，也无法识别所述信号灯的情况下，向用户预告有可能不执行所述车辆控制。

Images