CN112298196A - 信号器信息管理系统 - Google Patents

Abstract

提供一种信号器信息管理定系统，其能够使适合用于驾驶辅助控制的信号器信息的有用性提高。信号器信息管理定系统执行基于车辆的位置信息和表示信号器的位置的信号器信息来计算通过摄像头拍摄到的图像中的可能存在信号器的关注区域的关注区域计算处理，并且，执行对关注区域所包含的信号器像进行检测的信号器像检测处理。接着，信号器信息管理定系统执行如下的评价处理：对通过关注区域计算处理计算出的关注区域的位置和通过信号器像检测处理检测到的信号器像的位置进行比较，基于该比较来对信号器信息的确定度进行评价。

Description

信号器信息管理系统

技术领域

本发明涉及对适合使用于驾驶辅助控制的信号器信息进行管理的技术，该驾驶辅助控制是对车辆的驾驶进行辅助的控制。

背景技术

根据专利文献1所公开的方法，进行如下处理：通过摄像头对信号器通常所位于的目标区域进行扫描来取得目标区域信息，根据目标区域信息来检测信号器。另外，也进行判定信号器的位置的处理、判定信号器的显示状态的处理，还进行判定对于信号器的可靠性的处理。可靠性的判定例如通过信号器的位置与多个已知的信号器的位置的比较来进行。并且，根据上述方法，基于信号器的显示状态和对于信号器的可靠性，车辆被以自主模式进行控制。

现有技术文献

专利文献1：美国专利公开第2013/0253754号

发明内容

发明要解决的技术问题

上述现有技术中的自主模式下的车辆的控制是对车辆的驾驶进行辅助的驾驶辅助控制之一。在驾驶辅助控制中，信号器的位置被作为重要的信息来加以使用。信号器能够通过摄像头来进行检测，但若预先对与信号器的位置有关的信号器信息进行数据库化，则能够使用该信号器信息来筛选摄像头图像内的信号器的检测范围。也即是，被进行了数据库化的信号器信息适合使用于驾驶辅助控制。但是，其数据库不一定限于仅包含高品质的信号器信息。当数据库中混入低品质的信号器信息、利用该低品质的信号器信息时，驾驶辅助控制的精度有可能反而降低。

本发明的目的在于提供一种信号器信息管理系统，其能够使适合使用于驾驶辅助控制的信号器信息的有用性提高。

用于解决问题的技术方案

本发明涉及的信号器信息管理系统具备安装于车辆并对行进方向前方的风景进行拍摄的摄像头、与摄像头结合的计算机以及与计算机结合的存储装置。存储装置包括包含表示信号器的位置的信号器信息的信号器数据库。信号器信息表示的信号器的位置是三维空间中的绝对位置。

计算机在物理上具有处理器和存储程序的存储器。存储于存储器的程序构成为在由处理器执行时使计算机执行以下的关注区域计算处理、信号器像检测处理以及评价处理。

在关注区域计算处理中，计算机基于车辆的位置信息和信号器信息，计算通过摄像头拍摄到的图像中的可能存在信号器的关注区域。在此所说的摄像头的位置是指三维空间中的绝对位置。若知道相对于摄像头的位置的信号器的位置，则能够在摄像头图像中确定可能存在信号器的区域。在信号器像检测处理中，计算机检测关注区域所包含的信号器像。点亮的灯光也可以作为信号器像进行检测。信号器像的检测可以使用公知的图像处理、例如基于机器学习的图像处理。在评价处理中，计算机对通过关注区域计算处理计算出的关注区域的位置和通过信号器像检测处理检测到的信号器像的位置进行比较，基于该比较来对信号器信息的确定度进行评价。

摄像头图像内的关注区域的位置与将信号器信息中的信号器的位置投影到摄像头图像内的位置对应。另一方面，摄像头图像内的信号器像的位置是实际的三维空间中的信号器的位置投影到摄像头图像内的位置。理想上，两者应该一致，但在信号器信息中的信号器的位置与实际存在偏离的情况下，在关注区域的位置与信号器像的位置之间也会产生偏离，位置关系也会产生变动。因而，若对关注区域的位置与信号器像的位置进行比较，则能够根据该比较结果客观地对信号器信息的确定度进行评价。若能够客观地对信号器信息的确定度进行评价，则能够将该评价结果作用到信号器信息的有用性提高上。

在评价处理中，计算机也可以在不同的时间实施多次的关注区域计算处理和信号器像检测处理，使用通过多次的实施得到的数据来计算信号器像的位置相对于关注区域的位置的偏差程度，根据偏差程度计算表示信号器信息的确定度的评价值。若信号器信息是确定的，则在关注区域的位置与信号器像的位置之间应该不会产生时间上的位置关系的偏差。通过根据偏差程度来计算评价值，能够对信号器信息的确定度进行更客观的评价。

另外，在评价处理中，计算机也可以在偏差程度为预定值以下的情况下，根据关注区域的外框与信号器像的外框之间的余裕来计算评价值。在即使关注区域的位置与信号器像的位置的位置关系稳定，信号器像的位置相对于关注区域的位置也产生了偏离的情况下，意味着信号器信息包含不确定度。因而，在偏差程度为预定值以下的情况下，通过根据余裕来计算评价值，能够对信号器信息的确定度进行更客观的评价。

在关注区域计算处理中，也可以是，计算机赋予信号器信息的评价值越高，与评价值低的情况相比，越缩小根据信号器信息计算的关注区域的大小。评价值高意味着摄像头图像内的关注区域的位置与信号器的位置的偏离小、位置关系也稳定，因此，即使缩小关注区域，信号器偏离关注区域的可能性也小。通过缩小关注区域的大小，能够减小误检测为灯光的目标物进入到关注区域内的余地，提高信号器像的检测精度。

计算机也可以进一步执行基于评价处理的评价结果来对信号器信息中的信号器的横位向置、高度或者进深位置进行修正的数据库修正处理。信号器像的位置相对于关注区域的位置的偏离、时间上的偏差起因于信号器信息中的信号器的位置与实际的信号器的位置的偏离，并且，关注区域的位置与信号器像的位置的偏离的形态取决于横向位置、高度或者进深位置在哪个方向上偏离。通过将评价处理的评价结果反映到信号器数据库，能够消除关注区域的位置与信号器像的位置的偏离。

信号器信息也可以包括构成信号器的灯光的配置。另外，在数据库修正处理中，计算机也可以在通过信号器像检测处理检测到的信号器像与信号器信息中的灯光的配置不匹配的情况下，基于信号器像来对信号器信息中的灯光的配置进行修正。信号器的灯光的配置例如有时根据交叉路口的交通规则的变更等而变更。根据该处理，能够与实际的信号器的灯光的配置相匹配地对信号器信息中的灯光的配置进行更新，能够将信号器数据库保持为最新的状态。

发明的效果

如以上所述，根据本发明涉及的信号器信息管理系统，能够使适合使用于驾驶辅助控制的信号器信息的有用性提高。

附图说明

图1是用于对本发明的实施方式涉及的驾驶辅助控制系统的概要进行说明的概念图。

图2是用于对本发明的实施方式中的信号器信息的一个例子进行说明的概念图。

图3是用于对本发明的实施方式中的摄像头图像进行说明的概念图。

图4是用于对信号器信息的精度产生的影响进行说明的概念图。

图5是表示本发明的实施方式涉及的驾驶辅助控制系统的构成的框图。

图6是表示本发明的实施方式涉及的信号器信息管理系统的构成的框图。

图7是表示本发明的实施方式中的ROI与信号器像的位置关系的一个例子的图。

图8是表示本发明的实施方式中的ROI与信号器像的位置关系的其他例子的图。

图9是表示本发明的实施方式中的ROI与信号器像的位置关系的另一其他例子的图。

图10是表示本发明的实施方式中的ROI与信号器像的位置关系的又一其他例子的图。

图11是表示本发明的实施方式中的ROI与信号器像的位置关系的再一其他例子的图。

图12是表示本发明的实施方式涉及的信号器信息管理系统中的处理的流程的流程图。

图13是用于对本发明的实施方式涉及的数据库修正处理的一个例子进行说明的概念图。

图14是表示信号器的灯光配置的变更前与变更后的一个例子的图。

图15是表示本发明的实施方式中的信号器灯光的检测模式的一个例子的图。

图16是用于对本发明的实施方式中的包含了评价值的信号器信息的一个例子进行说明的概念图。

图17是用于对本发明的实施方式涉及的评价值的利用方法的一个例子进行说明的图。

图18是用于对本发明的实施方式涉及的评价值的利用方法的其他例子进行说明的图。

图19是用于对本发明的实施方式涉及的评价值的利用方法的另一其他例子进行说明的图。

图20是表示在摄像头图像中映现的误检对象的一个例子的图。

图21是表示本发明的实施方式涉及的对于误检对象的处理的一个例子的图。

图22是用于对本发明的实施方式涉及的基于评价值的摄像头调试(cameraturning)的一个例子进行说明的图。

图23是用于对本发明的实施方式涉及的基于评价值的摄像头调试的其他例子进行说明的图。

标号说明

1 车辆

10 驾驶辅助控制系统

20 信息取得装置

22 摄像头

30 驾驶辅助控制装置

40 信号显示识别装置

50 存储装置

51 信号器数据库

60 信号器信息管理装置

70 信号器信息管理系统

110 处理器

140 存储器

210 位置信息取得部

220 ROI设定部

230 信号器像检测部

240 数据库评价部

250 数据库修正部

具体实施方式

以下，参照附图对本发明的实施方式进行说明。其中，在以下所示的实施方式中，在提及各要素的个数、数量、量、范围等的数的情况下，除了特别地明示的情况、在原理上显然被特定为该数的情况之外，本发明并不限定于该所提及的数。另外，对于在以下所示的实施方式中说明的构造、步骤等，除了特别地明示的情况、在原理上显然被特定为该构造、步骤等的情况之外，在本发明中并不一定是必需的。

1.驾驶辅助控制系统的概要

本实施方式涉及的信号显示推定系统构成为驾驶辅助控制系统的一部分。图1是用于对本实施方式涉及的驾驶辅助控制系统10的概要进行说明的概念图。驾驶辅助控制系统10例如是能够在SAE(Society of Automotive Engineers，汽车工程师协会)的等级定义中实现等级3以上的自动驾驶等级的控制系统。

驾驶辅助控制系统10包括驾驶辅助控制装置30。驾驶辅助控制装置30进行对车辆1的驾驶进行辅助的驾驶辅助控制。典型地，驾驶辅助控制包括转向控制、加速控制以及减速控制中的至少一个。作为那样的驾驶辅助控制，例示出自动驾驶控制(autonomousdriving control)、路径跟踪控制(path-following control)、车道维持辅助控制(lanetracing assist control)、碰撞躲避控制(collision avoidance control)等。

驾驶辅助控制系统10包括信息取得装置20。在驾驶辅助控制中，利用通过信息取得装置20取得的各种信息。信息取得装置20使用搭载于车辆1的传感器、V2X通信来取得各种信息。V2X通信例如包括V2V通信、V2I通信、V2N通信。通过车载传感器、V2X通信取得的信息包括表示车辆1的位置的车辆位置信息、表示车辆1的状态的车辆状态信息、表示车辆1周围的状况的周边状况信息等。即使是在那些各种信息中，位于车辆1前方的信号器SG的信号显示也是在驾驶辅助控制中特别重要的信息之一。

驾驶辅助控制系统10包括信号显示识别装置40。信号显示识别装置40具有如下功能：对通过信息取得装置20取得的信息、详细而言为通过车载摄像头拍摄到的摄像头图像进行处理，利用存储装置50所具有的数据库51的信息，对位于车辆1前方的信号器SG的信号显示进行识别。通过信号显示识别装置40识别到的信号显示被利用在通过驾驶辅助控制装置30进行的驾驶辅助控制中。驾驶辅助控制装置30例如进行如下控制：按照所识别到的信号显示，使车辆1减速，使之停止在预定位置，或者使之再起步。

2.信号器信息

在通过信号显示识别装置40进行的信号显示的识别中利用信号器信息。信号器信息是关于信号器SG的地图信息，表示信号器SG的位置和朝向。信号器信息所表示的信号器的位置是三维空间中的绝对位置，被定义在绝对坐标系(纬度、经度、高度)中。信号器信息所表示的信号器的朝向为三维空间中的方向，以单位矢量来定义。信号器数据库51是那样的信号器信息的集合体。如图1所示，信号器数据库51保存于存储装置50。

图2是用于对本实施方式中的信号器信息的一个例子进行说明的概念图。在图2所示的例子中，信号器信息包括信号器的位置(绝对位置[X，Y，Z])、信号器的朝向(单位矢量{e_x，e_y，e_z})以及信号器的灯光配置。也即是，信号器SG的位置、朝向以及灯光配置构成一个数据集，登记于信号器数据库51。作为信号器的灯光配置，在日本，蓝、黄、红三色的圆形的灯光以横向一列来排列的信号器是一般的信号器。但是，另外，在上部具有三色的灯光、在下部具有表示行进允许方向的蓝色箭头的灯光的信号器也是一般的信号器。

3.信号显示识别处理

对通过信号显示识别装置40进行的信号显示识别处理的概要进行说明。图3是用于对本实施方式中的摄像头图像进行说明的概念图。在图3所示的例子中，在摄像头图像中包含车辆1前方的信号器SG和先行车辆2。在图3中，信号器SG由在横向上排列为一列的3个灯光和外框来表现。此外，由白圆表现的灯光意味着在摄像头图像中看起来为熄灭的灯光，由黑圆表现的灯光意味着在摄像头图像中看起来为点亮的灯光。在图3所例示的摄像头图像中看起来为蓝色灯光正在点亮。

在摄像头图像中由虚线表示的框是在信号显示识别处理中应该关注的图像区域(以下记载为ROI)、也即是在摄像头图像中信号器可能存在(疑似)的区域。摄像头的三维空间中的绝对位置可以视为与车辆1的三维空间中的绝对位置相等，这能够通过GPS接收机来取得。通过参照能够通过GPS接收机取得的摄像头的位置信息(车辆的位置信息)和信号器信息所包含的信号器SG的位置以及朝向，能够根据相对于摄像头的位置的信号器的位置和方向来缩小ROI。另外，能够通过信号器信息所包含的信号器的灯光配置来调整ROI。这不仅有利于提高信号显示识别处理的精度和稳定性，也非常有利于削减信号显示识别处理所需要的计算量。信号显示识别装置40基于摄像头的位置信息和信号器数据库51的信号器信息，计算摄像头图像中的可能会存在信号器的关注区域，在摄像头图像中设定ROI。

信号显示识别装置40按所设定的ROI来切取摄像头图像，对在所切取出的ROI图像内点亮的灯光进行检测。点亮的灯光通过使用基于公知的机器学习的图像处理来进行检测。不限定于用于信号显示识别处理的机器学习的方法。例如，既可以使用贝叶斯推理法、最大似然估计法等的统计上的图案辨认方法，也可以使用深度学习。

信号显示识别装置40计算所点亮的灯光在ROI图像中的位置，根据所点亮的灯光的灯光颜色和位置来识别信号器的信号显示。信号显示是指在交通规则中确定的灯光颜色的显示。灯光颜色基本上是蓝、黄、红这3色。此外，行进允许的灯光颜色作为色调为“绿”，但在日本的法令中，将行进允许的“绿”记载为“蓝”，在本说明书中也将行进允许的灯光的颜色记载为“蓝”。信号器的信号显示也包括多个灯光颜色的组合。例如，在为日本所采用的在上部具有蓝、黄、红三色的灯光、在下部具有蓝色箭头的灯光的信号器的情况下，蓝色箭头的灯光在红色灯光的点亮时点亮。

此外，与图3同样地，在图4中示出通过车载摄像头拍摄到的摄像头图像的例子。但是，在图3所示的例子中，信号器SG落在ROI中，与此相对，在图4所示的例子中，信号器SG超出ROI。更准确而言，ROI设定在偏离了信号器SG位置的位置。当在信号器SG的位置与ROI的位置之间产生了偏离时，有可能无法识别信号器SG的信号显示，有可能错误地进行识别。

上述的问题起因于ROI的设定中所使用的信号器信息的品质。例如，在信号器信息中的信号器的位置与信号器的实际位置相比在车道宽度方向上偏离的情况下，摄像头图像内的ROI的位置会相对于信号器SG的位置在横向上偏离。另外，在信号器信息中的信号器的位置与信号器的实际位置相比在高度方向上偏离的情况下，摄像头图像内的ROI的位置相对于信号器SG的位置在纵向上偏离。进一步，在信号器信息中的信号器的位置与信号器的实际位置相比在车道进深方向上偏离的情况下，摄像头图像内的ROI的位置相对于信号器SG的位置不确定，进行规则的运动。于是，本实施方式涉及的驾驶辅助控制系统10加入了对信号器信息进行管理的构造。

4.驾驶辅助控制系统的构成

使用图5对本实施方式涉及的驾驶辅助控制系统的详细构成进行说明。图5是表示本实施方式涉及的驾驶辅助控制系统10的构成的框图。驾驶辅助控制系统10具备信息取得装置20、控制装置100、存储装置50以及行驶装置200。

信息取得装置20例如包括周边状况传感器21、车辆位置传感器24、车辆状态传感器25、通信装置26以及HMI(Human Machine Interface，人机接口)单元27。这些与控制装置100直接电结合，或者经由车载网络(在车辆1内构建的CAN(Controller Area Network，控制器局域网络)等的通信网络)与控制装置100电结合。

周边状况传感器21对车辆1周围的状况进行检测。作为周边状况传感器21，例示出摄像头22、毫米波雷达以及LIDAR等。摄像头22对车辆1行进方向前方的风景进行拍摄。在图5所示的构成中，设置有1台摄像头22，但摄像头的台数也可以是多台。LIDAR利用激光束来对车辆1周围的目标物进行检测。毫米波雷达利用电波来对车辆1周围的目标物进行检测。

车辆位置传感器24对车辆1的位置和方位进行计测。例如，车辆位置传感器24包括GPS接收机。GPS接收机接收从多个GPS卫星发送来的信号，基于接收信号来算出车辆1的位置和方位。

车辆状态传感器25取得与车辆1的状态有关的信息。与车辆1的状态有关的信息包括车辆1的速度、加速度、转向角、偏航速率等。进一步，与车辆1的状态有关的信息也包括通过车辆1的驾驶员进行的驾驶操作。驾驶操作包括加速器操作、制动器操作以及转向操作。

通信装置26与车辆1的外部进行通信(V2X通信)来取得各种信息。例如，通信装置26与通信网络之间进行V2N通信。通信装置26也可以与周围的基础设施之间进行V2I通信。通信装置26也可以与周边车辆之间进行V2V通信。

HMI单元27是用于向驾驶员提供信息、另外从驾驶员受理信息的接口装置。具体而言，HMI单元27具有输入装置和输出装置。作为输入装置，例示出触摸面板、开关、麦克风等。作为输出装置，例示出显示装置、扬声器等。

行驶装置200包括用于使车辆1转向的转向致动器、用于使车辆1减速的制动致动器以及用于使车辆1加速的驱动致动器。转向致动器例如包括使用了马达或者油压的助力转向系统、线控转向系统。制动致动器例如包括油压制动器、电力再生制动器。驱动致动器例如包括发动机、EV系统、混合动力系统、燃料电池系统等。这些致动器与控制装置100直接电结合，或者经由车载网络与控制装置100电结合。

控制装置100是具有处理器110和存储器140的ECU(Electronic Control Unit，电子控制单元)。存储器140包括非易失性存储器和易失性存储器，该非易失性存储存储有至少一个程序(能够通过计算机执行的程序)、数据，该易失性存储器暂时性地存储处理器110的运算结果、从各传感器取得的信息。存储于存储器140的程序通过由处理器110进行执行，从而使处理器110作为驾驶辅助控制装置30、信号显示识别装置40以及信号器信息管理装置60来进行工作。此外，构成控制装置100的ECU也可以是多个ECU的集合。

存储装置50包括信号器数据库51。存储装置50搭载于车辆1，与控制装置100直接电结合，或者经由车载网络与控制装置100电结合。但是，存储装置50也可以配置在车辆1的外部。例如，也可以在互联网上配置有存储装置50，经由无线通信与控制装置100结合。

5.信号器信息管理系统的构成

接着，使用图6对构成驾驶辅助控制系统10的一部分的信号器信息管理系统的详细构成进行说明。图6是表示本实施方式涉及的信号器信息管理系统70的构成的框图。信号器信息管理系统70具备摄像头22、信号器信息管理装置60以及信号器数据库51。

信号器信息管理装置60是在执行预定程序时由处理器110(参照图5)实现的功能之一。信号器信息管理装置60能够进一步分为多个功能。信号器信息管理装置60所具有的各个功能表示为位置信息取得部210、ROI设定部220、信号器像检测部230、数据库评价部240以及数据库修正部250。

位置信息取得部210取得摄像头22的位置信息。位置信息是三维空间中的摄像头22的绝对位置，等于通过GPS接收机取得的车辆1的位置信息。

ROI设定部220取入信号器数据库51的信号器信息和通过位置信息取得部210取得的摄像头22的位置信息。并且，ROI设定部220执行基于那些信息来计算摄像头图像中的可能会存在信号器的关注区域的关注区域计算处理，设定ROI。

信号器像检测部230执行对ROI所包含的信号器像进行检测的信号器像检测处理。详细而言，信号器像检测部230按通过ROI设定部220设定的各ROI来对通过摄像头22拍摄到的摄像头图像进行切取。并且，信号器像检测部230通过基于机器学习的图像处理，对在切取出的ROI图像内点亮的灯光进行检测。或者，信号器像检测部230对点亮的灯光和熄灭的灯光这两方进行检测。熄灭的灯光有时能够作为黑色灯光来进行检测。信号器中的灯光的配置是已知的，因此，若知道在ROI图像内点亮的灯光的颜色和位置，则能够将其作为基准来检测信号器像。既可以将构成信号器的灯光的列作为信号器像来进行捕捉，也可以将根据灯光的列计算或者推定的信号器机壳作为信号器像来进行捕捉。

数据库评价部240取入通过ROI设定部220设定的ROI在摄像头图像中的位置信息、和通过信号器像检测部230检测到的信号器像在摄像头图像中的位置。并且，数据库评价部240对两者的位置信息进行比较，基于该比较来对信号器数据库51的信号器信息的确定度进行评价。确定度(certainty)也可以换言为似然(likelihood)、准确度(accuracy)、可靠度(reliability)或者有效性(availability)，能够进行数值化。后面将对数据库评价部240进行的评价处理的详细内容进行描述。

数据库修正部250基于数据库评价部240的评价结果，对信号器数据库51的信号器信息进行修正。后面将对数据库修正部250进行的数据库修正处理的详细内容进行描述。

6.评价处理

以下，对本实施方式涉及的评价处理的详细进行说明。图7～图11是表示本实施方式中的ROI与信号器像的位置关系的例子的图。在各图中，实线的长方形框表示ROI，单点划线的长方形框表示信号器像，实线的圆表示点亮的灯光，虚线的圆表示熄灭的灯光。另外，灯光的R表示红色灯光，Y表示黄色灯光，G表示蓝色灯光。此外，在各图中设为根据灯光的位置和颜色来计算的信号器机壳的外框被作为信号器像进行检测。

在图7所示的例子中，信号器像位于ROI的大致中央，也未产生时间上的位置的变化。这意味着信号器信息的信号器的位置、详细而言为横向位置、高度、进深位置全部正确。因而，针对图7所示的例子，对信号器信息的确定度给与高的评价。对确定度进行了数值化后的值为评价值。当使评价值为0～100的整数时，能够对图7所示的例子例如给与100分的评价值。

在图8所示的例子中，未产生信号器像相对于ROI的时间上的位置的变化。但是，信号器像的位置从ROI的中央向右上侧偏离，信号器像的外框与ROI的外框之间的余裕(margin，空白)在左右产生差异，在上下也会产生差异。这意味着：信号器信息的信号器的位置中的进深位置正确，但横向位置和高度偏离了实际。因而，针对图8所示的例子，对信号器信息的确定度给与比图7所示的例子低的评价。该情况下的评价值根据信号器像的外框与ROI的外框之间的余裕来计算。也即是，进行如下处理：将信号器像位于ROI的中央时的余裕作为基准，左右的余裕的偏离越大，另外，上下的余裕的偏离越大，则使评价值越低。针对图8所示的例子，例如能够给与80分～99分的评价值。

在图9所示的例子中，相对于ROI的位置的信号器像的位置根据时间而变化。但是，该变化是规则的，信号器像在ROI中大致向一个方向移动。这意味着：信号器信息的信号器的位置中的至少进深位置偏离了实际。因而，针对图9所示的例子，对信号器信息的确定度给与比图8所示的例子进一步低的评价。在该情况下，计算信号器像的位置相对于ROI的位置的多个帧量的偏差程度(例如分散或者标准偏差)，根据该偏差程度计算评价值。具体而言，进行如下处理：将信号器像相对于ROI的位置稳定的情况作为基准，偏差程度越大，则使评价值越低。针对图9所示的例子，例如能够给与50分～79分的评价值。

在图10所示的例子中，相对于ROI的位置的信号器像的位置根据时间而变化。并且，该变化是不规则的。在这样的例子中，检测了信号器的灯光和街灯等的不是信号器的灯光这两方的可能性高。另外，由于信号器的灯光的晕光(halation)，红色和黄色会进行猎振(hunting)，由此，灯光颜色会在摄像头图像内的相同位置进行切换，其结果，有时看起来是信号器像进行不规则的运动。在该情况下，若忽略一部分灯光，则信号器像的位置相对于ROI的位置的变化会成为规则的变化，那么就能够忽略该灯光来计算偏差程度，根据偏差程度计算评价值。针对图10所示的例子，例如能够给与10分～49分的评价值。但是，若忽略了一部分灯光时无法清除不规则性，则作为评价值给与最低分即0分。

在图7～图10所例示的评价处理中，若通过摄像头图像检测到一个灯光后，则根据该灯光的颜色和位置来检测信号器像。但是，若是进行精度更高的评价，则也可以对构成信号器的全部灯光进行检测，判定那些灯光的颜色和位置与信号器信息中的灯光配置是否一致。在图11所示的例子中，作为某信号器的信号器信息，登记了蓝、黄、红三色的灯光排列为横向一列的灯光配置。并且，在车辆第一次通过了该信号器时，检测到蓝色灯光的点亮、蓝色灯光的点亮、然后黄色灯光的点亮，在车辆第二次通过了该信号器时，检测到红色灯光的点亮、红色灯光的点亮、然后红色灯光的点亮。这些检测到的灯光全部进入到同一信号器像中，因此，能够对该信号器的信号器信息给与高的评价值。

以上说明的本实施方式涉及的信号器信息管理系统70的到评价处理为止的流程可以如图12的流程图那样进行总结。

在步骤S10中，信号器信息管理装置60基于从信号器数据库51读出的信号器的信号器信息、和通过GPS得到的摄像头的位置信息，计算信号器相对于摄像头的相对的位置和朝向，在摄像头图像中设定ROI。

在步骤S20中，信号器信息管理装置60按照通过步骤S10设定的ROI来切取摄像头图像，使用基于机器学习的图像处理，对在所切取出的ROI内点亮的灯光进行检测。另外，信号器信息管理装置60计算所点亮的灯光在ROI图像中的位置，根据所点亮的灯光的灯光颜色和位置来检测信号器像。

在步骤S30中，信号器信息管理装置60计算通过步骤S20检测到的信号器像的评价值。首先，信号器信息管理装置60计算信号器像的位置相对于ROI的位置的多个帧量的偏差程度。在所计算出的偏差程度小、信号器像相对于ROI的相对位置稳定的情况下，信号器信息管理装置60接着计算信号器像与ROI之间的余裕。并且，信号器信息管理装置60基于所计算出的偏差程度和余裕来计算评价值。

7.数据库修正处理

接着，对本实施方式涉及的数据库修正处理的详细内容进行说明。通过执行前述的评价处理，按各信号器判明信号器数据库51的信号器信息确定度。在数据库修正处理中，基于通过评价处理得到的表示信号器信息的确定度的评价值，进行信号器数据库51的修正。详细而言，如图13所示，进行信号器信息中的横向位置、高度、进深位置中的某一方的修正。在图13所示的例子中，关于原始位置为[X1，Y1，Z1]的信号器，横方向位置被增加Δx，被修正为[X1+Δx，Y1，Z1]的位置。

进行信号器数据库51的修正的是如图8所示的例子、图9所示的例子那样在ROI的位置与信号器像的位置之间产生了偏离的情况。在图8所示的例子的情况下、也即是评价值为80分～99分的情况下，通过根据信号器像的外框与ROI的外框之间的余裕来对信号器信息中的横位置和高度进行修正，能够对ROI的位置与信号器像的位置之间的偏离进行抑制。在图9所示的例子的情况下、也即是评价值为50分～79分的情况下，首先，通过对信号器信息中的进深位置进行修正，能够使信号器像相对于ROI的位置稳定。接着，通过根据信号器像的外框与ROI的外框之间的余裕来对信号器信息中的横向位置或者高度进行修正，能够对ROI的位置与信号器像的位置之间的偏离进行抑制。

在图7所示的例子、图10所示的例子中，不进行信号器数据库51的修正。在图7所示的例子的情况下、也即是评价值为100分的情况下，信号器像相对于ROI的位置稳定，信号器像位于ROI的大致中央，因此，不需要进行信号器数据库51的修正。另一方面，在图10所示的例子的情况下、也即是评价值为0分～49分的情况下，原因不明确，难以通过在线(online)进行信号器数据库51的修正，因此，对管理者通知评价值和异常通知。

对于信号器数据库51的修正，除了原来的信号器信息的精度存在问题的情况之外，在因信号器的移设、灯光配置的变更而事后在信号器信息与实际之间产生了偏离的情况下也进行该修正。图14示出具有3色的灯光的信号器置换为了在上部具有3色的灯光、在下部具有蓝色箭头的灯光的信号器的情形。各灯光配置预先作为模板来准备。

图15表示在这样的信号器中检测的灯光的颜色和配置的时间上的变化。在所检测到的灯光的颜色和配置与信号器信息中的灯光配置不一致、且所检测到的灯光间的位置关系在阈值时间以上的观测中保持相同的位置关系的情况下，判断为灯光配置已被变更。在图15所示的例子中，在信号器像的框外检测到蓝色灯光、观测到阈值时间以上的框内的红色灯光和框外的蓝色灯光同时点亮的状态，因此，能够判断为灯光配置已被变更。在判明了灯光配置的变更的情况下，检索与新检测到的灯光的颜色和配置一致的模板，按照该模板更新信号器信息中的灯光配置。也即是，与实际的信号器的灯光的配置相匹配地更新信号器信息中的灯光的配置。由此，信号器数据库51被保持为最新的状态。

8.包括评价值的信号器信息

在评价处理中计算出的评价值也能够加入到信号器信息中。图16是用于对本实施方式中的包括评价值的信号器信息的例子进行说明的概念图。在图16所示的例子中，信号器信息在信号器的位置(绝对位置[X，Y，Z])、信号器的朝向(单位矢量{e_x，e_y，e_z})以及信号器的灯光配置之外还包括对信号显示给与的评价值。也即是，在图16所示的例子中，信号器的位置、朝向、灯光配置以及评价值构成一个数据集，登记于信号器数据库51。

9.评价值的利用例

9－1.信号显示的选择

例如，在交叉路口存在多个信号器，但信号显示识别装置40按各信号器来识别信号显示。那时，若设为从信号器数据库51读出各信号器的信号器信息、优先利用评价值高的信号显示，则能够更高精度地实施驾驶辅助控制。换言之，通过将评价值也纳入到考虑中来适当地利用信号器信息，能够使驾驶辅助控制的精度提高。

9－2.ROI的尺寸变更

在信号器数据库51的信号器信息包括评价值的情况下，该评价值能够利用在ROI的设定(关注区域计算处理)中。例如，在评价值为预定值以上的情况下，如图17所示，也可以与观测时间成比例地缩小ROI的尺寸。并且，也可以为评价值越高，则越增大最终的ROI的缩小率。评价值高意味着：信号器像相对于ROI的位置稳定，信号器像与ROI之间的左右以及上下的余裕的偏离小。因而，即使评价值越高则越增大ROI的缩小率，信号器像偏离了ROI的可能性也小。通过缩小ROI的尺寸，能够减小误检测为灯光的目标物进入ROI中的余地，提高信号器像的检测精度。

在对ROI的尺寸进行变更的情况下，也可以根据其尺寸来对信号显示识别处理的方法进行变更。例如，也可以设为：在ROI的尺寸为阈值以上的情况下，进行使用了深度学习的图像处理，在ROI的尺寸小于阈值的情况下，对预先需要的灯光配置模板一致的点亮灯光进行检测。也可以设为在ROI的尺寸缩小到与信号器像的尺寸大致相同的情况下，不进行颜色的识别，仅根据辉度是否超过阈值来对灯光的点亮进行检测。

9－3.ROI的位置变更

在信号器像与ROI之间的左右或者上下的余裕的偏离大的情况，无法较大地缩小ROI。在该情况下，如图18所示，也可以在观测到阈值次数以上的信号器像与ROI的稳定的位置关系的阶段，使ROI向左右或者上下偏移以使得信号器像来到ROI的中央。在图18所示的例子中，ROI分别向右方向和上方向偏移。此外，也可以在通过ROI的位置变更缩小了信号器像与ROI之间的左右以及上下的余裕的偏离之后，对ROI持续进行上述的尺寸变更。

9－4.非灯光目标物的排除

在评价值高的情况下，信号器像相对于ROI的位置稳定。因而，在评价值应该高的信号器中，在根据所检测到的灯光的位置计算出的信号器像偏离了ROI的情况下，该灯光不是信号器的灯光的可能性高。例如，在图19所示的例子中，在过去的2帧中，检测到红色灯光的点亮，但在当前时刻，检测到蓝色灯光的点亮。但是，所检测到的蓝色灯光的位置为本来红色灯光点亮的位置。在该例子的情况下，在卡车在信号器前横穿过时，将其侧面的灯饰误检测为蓝色灯光的可能性高。因而，能够将在当前时刻检测到的蓝色灯光作为非灯光目标物来放弃。

9－5.误检测对象的登记

图20是表示在摄像头图像中映现的误检测对象的一个例子的图。在图20所示的例子中，映现出蓝色灯光和黄色灯光。蓝色灯光位于ROI中，其位置的时间上的变化小。另一方面，黄色灯光的位置按各帧变化，从ROI溢出。这样，在灯光配置与信号器信息不一致、且存在多个检测灯光、它们的位置关系不规则的情况下，将ROI中的位置稳定的灯光作为信号灯光来处理，将不稳定的灯光作为误检对象登记在信号器数据库51。

在图20所示的例子中，蓝色灯光在ROI中的位置稳定，因此，被判定为信号灯光。黄色灯光的位置通过3点的测量来进行计算，该位置被作为误检测对象登记在信号器数据库51中。在使用了信号器数据库51的信号显示的识别时，如图21所示，对所登记的误检测对象的存在区域实施掩模(mask)。通过该掩模，黄色灯光不被检测，能抑制由误检测对象的影响导致的信号显示的识别精度的降低。

9－6.摄像头的性能评价

在图22所示的例子中，反复发生检测到灯光和未检测到灯光。在该情况下，若在检测到灯光的时刻的检测场所的原始图像(raw image)中存在辉度的增减(灯光的亮灭)，则能够评价为摄像头较大地受到闪烁(flicker)的影响。若闪烁的影响大，则通过增大摄像头的曝光时间，能够减弱闪烁的影响。

在图23所示的例子中，所检测到的灯光的位置在帧间是相同的，但每当帧改变时，灯光颜色会改变。在该情况下，能够评价为摄像头较大地受到晕光的影响。晕光的影响的大小例如能够根据灯光颜色的识别结果中的猎振的有无(如图23所示的例子那样的红色和黄色的反复)、灯光的检测部分的颜色的平均值的变化、灯光中心部和灯光外缘部的颜色的平均值之差来进行判断。若晕光的影响大，则通过变更摄像头的增益、光圈，能够减弱晕光的影响。

以上述的摄像头的性能评价的评价值都高、信号器像相对于ROI的位置稳定为前提。另外，在评价值高时，即使是在晕光的影响大的情况下，也能够对灯光的识别结果进行修正。具体而言，在灯光颜色的识别结果中，红色和黄色产生猎振，能判断为那是由晕光的影响导致的情况下，能够对识别结果进行修正。若所检测到的灯光位于ROI图像的靠右的位置，则与所识别到的颜色是红色或者黄色无关地，该灯光能够判定为红色灯光。另一方面，若该灯光位于ROI图像的中央，则与所识别的颜色是红色或者黄色无关地，该灯光能够判定为黄色灯光。

此外，在即使减小ROI的尺寸、也得到高的评价值的情况下，也可以通过判断具有超过阈值的辉度的像素在哪个手控快门(bulb)区域(与灯光的手控快门有关的手控快门区域)中多，从而对灯光进行检测，对所检测到的灯光实施由上述的闪烁导致的影响的评价、由晕光导致的影响的评价。另外，在搭载有多台摄像头的情况下，当评价值在摄像头间具有差异时，也可以仅使评价值高的摄像头为性能评价的对象。

Claims (6)

1.一种信号器信息管理系统，其特征在于，具备：

摄像头，其安装于车辆，对行进方向前方的风景进行拍摄；

计算机，其与所述摄像头结合；以及

存储装置，其与所述计算机结合，

所述存储装置包括信号器数据库，所述信号器数据库包含表示信号器的位置的信号器信息，

所述计算机执行：

关注区域计算处理，基于所述车辆的位置信息和所述信号器信息，计算通过所述摄像头拍摄到的图像中的可能存在信号器的关注区域；

信号器像检测处理，对所述关注区域所包含的信号器像进行检测；以及

评价处理，对通过所述关注区域计算处理计算出的所述关注区域的位置与通过所述信号器像检测处理检测到的所述信号器像的位置进行比较，基于该比较来对所述信号器信息的确定度进行评价。

2.根据权利要求1所述的信号器信息管理系统，其特征在于，

所述计算机在所述评价处理中，

在不同的时间实施多次的所述关注区域计算处理和所述信号器像检测处理，

使用通过多次的实施得到的数据，计算所述信号器像的位置相对于所述关注区域的位置的偏差程度，

根据所述偏差程度，计算表示所述信号器信息的确定度的评价值。

3.根据权利要求2所述的信号器信息管理系统，其特征在于，

所述计算机在所述评价处理中，

在所述偏差程度为预定值以下的情况下，根据所述关注区域的外框与所述信号器像的外框之间的余裕来计算所述评价值。

4.根据权利要求3所述的信号器信息管理系统，其特征在于，

所述计算机在所述关注区域计算处理中，赋予所述信号器信息的所述评价值越高，与所述评价值低的情况相比，越缩小根据所述信号器信息计算的所述关注区域的大小。

5.根据权利要求1～4中任一项所述的信号器信息管理系统，其特征在于，

所述计算机进一步执行基于所述评价处理的评价结果来对所述信号器信息中的所述信号器的横向位置、高度或者进深位置进行修正的数据库修正处理。

6.根据权利要求5所述的信号器信息管理系统，其特征在于，

所述信号器信息包括构成所述信号器的灯光的配置，

所述计算机在数据库修正处理中，在通过所述信号器像检测处理检测到的所述信号器像与所述信号器信息中的所述灯光的配置不匹配的情况下，基于所述信号器像来对所述信号器信息中的所述灯光的配置进行修正。

Images