CN112289067B - 信号显示推定系统 - Google Patents

信号显示推定系统 Download PDF

Info

Publication number
CN112289067B
CN112289067B CN202010708655.XA CN202010708655A CN112289067B CN 112289067 B CN112289067 B CN 112289067B CN 202010708655 A CN202010708655 A CN 202010708655A CN 112289067 B CN112289067 B CN 112289067B
Authority
CN
China
Prior art keywords
annunciator
signal display
evaluation value
signal
annunciators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708655.XA
Other languages
English (en)
Other versions
CN112289067A (zh
Inventor
林勇介
河内太一
市川健太郎
菅岩泰亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112289067A publication Critical patent/CN112289067A/zh
Application granted granted Critical
Publication of CN112289067B publication Critical patent/CN112289067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供一种信号显示推定系统，能在检测到多个识别对象的信号器的状况下，高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。信号显示推定系统基于车辆的位置信息和信号器信息，识别摄像头图像所包含的信号器，按所识别到的各信号器来识别信号显示，按各信号器来计算表示所识别到的信号显示的确定度的第1评价值。信号显示推定系统在所识别到的多个信号器中，基于信号器间关系信息，对车辆应该遵循的行进方向前方的前方信号器和在信号显示上与前方信号器具有相关性的信号器进行整合。信号显示推定系统在被整合后的多个信号器之间，在所识别到的信号显示上存在不匹配的情况下，基于各信号器的第1评价值决定前方信号器的第1推定信号显示。

Description

信号显示推定系统
技术领域
本发明涉及从摄像头的图像中识别在车辆的行进方向上出现的信号器、并对其信号显示进行推定的信号显示推定系统。
背景技术
根据专利文献1所公开的方法，通过摄像头对信号器通常所处于的目标区域进行扫描，取得目标区域信息，根据目标区域信息检测信号器。另外，也判定信号器的位置、判定信号器的显示状态，进一步判定对于信号器的可靠性。对于可靠性的判定，例如通过信号器的位置与多个已知的信号器的位置的比较来进行判定。并且，根据上述方法，基于信号器的显示状态和对于信号器的可靠性，车辆被以自主模式进行控制。
现有技术文献
专利文献1：美国专利公开第2013/0253754号
发明内容
发明要解决的技术问题
例如，在交叉路口设置有多个信号器。有时在通过车载摄像头拍摄到的图像中包含那些多个信号器。另外，例如，在能见度良好的道路中，有时能够在跟前的信号器的里侧看到位于远处的信号器。在那样的情况下，也可能在摄像头的图像中包含多个信号器。也即是，从摄像头的图像中识别到的信号器不限于一个，也有可能一次识别到多个信号器。但是，在专利文献1所公开的方法中，在识别到多个信号器的情况下，有可能会误认车辆应该遵循的行进方向前方的信号器的信号显示。
本发明的目的在于提供一种信号显示推定系统，其能够在检测到多个识别对象的信号器的状况下高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。
用于解决问题的技术方案
本发明涉及的信号显示推定系统具备：摄像头，其安装于车辆，对行进方向前方的风景进行拍摄；与摄像头结合的计算机；以及与计算机结合的存储装置。搭载于车辆的摄像头既可以为1台，也可以为多台。存储装置也可以与计算机、一个或者多个摄像头一起搭载于车辆，直接地或者经由车辆内网络与计算机结合。另外，存储装置也可以配置在车辆之外、例如互联网上，通过无线通信与计算机结合。
存储装置包括信号器数据库，信号器数据库包含表示信号器的位置和朝向的信号器信息。信号器信息所表示的信号器的位置是三维空间中的绝对位置，信号器信息所表示的信号器的朝向是三维空间中的方向。另外，存储装置也包括关系数据库，关系数据库包含表示多个信号器间的信号显示的关系的信号器间关系信息。由信号器间关系信息表示的信号器间的信号显示的关系例如包括信号器间的灯光颜色有无相关性和相关性的内容。
计算机在物理上具有处理器和存储程序的存储器。存储于存储器的程序构成为在由处理器执行时使计算机执行以下的信号器识别处理、信号显示识别处理、第1评价值计算处理、信号器整合处理以及信号显示推定处理。
在信号器识别处理中，计算机基于车辆的位置信息和信号器信息，对通过一个或者多个摄像头拍摄到的摄像头图像所包含的信号器进行识别。在此所说的摄像头的位置是指三维空间中的绝对位置。若知道相对于车辆位置的信号器的位置和方向，则能够在摄像头图像中确定信号器可能存在的区域，能够容易地识别摄像头图像所包含的信号器。
信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，对位于距一个或者多个摄像头为指定距离内的位置的信号器进行选择，在摄像头图像中对所选择的信号器进行识别。另外，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，对位于一个或者多个摄像头的视角内的信号器进行选择，在摄像头图像中对所选择的信号器进行识别。
另外，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，计算各信号器相对于一个或者多个摄像头的正对程度，在摄像头图像中对正对程度为阈值以上的信号器进行识别。进一步，信号器识别处理也可以包括如下处理：使用车辆的位置信息和信号器信息，计算各信号器相对于一或者多个摄像头的仰角，并且，使用车辆的位置和时刻，计算太阳高度，在摄像头图像中对仰角为根据太阳高度决定的仰角阈值以下的信号器进行识别。
在信号显示识别处理中，计算机按通过信号器识别处理识别到的各信号器来识别信号显示。信号显示是指在交通法规中确定的灯光颜色的显示。信号显示的识别可以使用公知的图像处理、例如基于机器学习的图像处理。
在第1评价值计算处理中，计算机按各信号器来计算第1评价值，第1评价值表示通过信号显示识别处理识别到的信号显示的确定度。第1评价值也可以为通过基于机器学习的图像处理得到的似然度。另外，第1评价值例如也可以基于所识别到的信号显示的识别条件、实际空间内的信号器与车辆的位置关系、所识别到的信号器在摄像头图像内的位置、识别结果在时间上的变化等来进行计算。另外，第1评价值例如也可以在每当车辆通过信号器使或者接近信号器使按照预定的规则来重新计算。
第1评价值计算处理也可以包括如下处理：在通过信号器识别处理识别到的特定的两个信号器之间，通过信号显示识别处理识别到的信号显示的关系与信号器间关系信息匹配的情况下，分别使特定的两个信号器的信号显示的第1评价值增加。根据该处理，通过将信号器间关系信息利用于信号显示的确定度的评价，能够提高第1评价值的精度。
另外，第1评价值计算处理也可以包括如下处理：计算通过信号器识别处理识别到的信号器距摄像头图像的中心的距离，越是该距离短的信号器，越使其信号显示的第1评价值增加。根据该处理，通过将摄像头图像内的摄像头与信号器的相对的位置关系利用于信号显示的确定度的评价，能够提高第1评价值的精度。
另外，第1评价值计算处理也可以包括如下处理：使用车辆的位置信息和所述信号器信息，计算信号器矢量，越是车辆矢量与信号器矢量所成的角度大的信号器，越使其信号显示的第1评价值减少，信号器矢量是表示通过信号器识别处理识别到的信号器相对于一个或者多个摄像头的实际空间上的方向的矢量，车辆矢量是表示车辆在实际空间上的行进方向的矢量。根据该处理，通过将实际空间中的摄像头与信号器的相对的位置关系利用于信号显示的确定度的评价，能够提高第1评价值的精度。
另外，第1评价值计算处理也可以包括如下处理：计算在摄像头图像中通过信号器识别处理识别到的信号器被其他目标物遮挡的遮挡度，越是遮挡度大的信号器，越使其信号显示的第1评价值减少。根据该处理，能够降低遮挡度大、信号显示的精度低的信号器给与推定结果的不良影响。
另外，第1评价值计算处理也可以包括如下处理：对于在过去时刻的信号显示识别处理中识别到信号显示、但在当前时刻的信号显示识别处理中未识别到信号显示的信号器，基于过去时刻的第1评价值和从过去时刻起的经过时间，计算当前时刻的第1评价值。根据该处理，例如能够在因遮挡物而暂时未识别到信号显示的情况下，防止第1评价值继续减小，能够保持信号显示的识别结果的连续性。
进一步，第1评价值计算处理也可以包括如下处理：在通过信号器识别处理识别到的特定的信号器中，在通过信号显示识别处理连续地多次识别到相同的信号显示的情况下，与相同的信号显示的连续识别次数相应地使特定的信号器的信号显示的第1评价值增加。在被整合后的多个信号器中包括信号显示的识别结果变动的信号器的情况下，那样的信号器的信号显示的第1评价值会相对地降低。因此，根据该处理，能够防止那样的信号器的影响导致的推定结果的猎振。
在信号器整合处理中，计算机在通过信号器识别处理识别到的多个信号器中，基于信号器间关系信息，对车辆应该遵循的行进方向前方的前方信号器和在信号显示上与前方信号器具有相关性的信号器进行整合。在此所说的进行整合意味着从所识别的多个信号器中选出在信号显示上与前方信号器具有相关性的全部信号器，将那些信号器作为一个群组来处理。
并且，在信号显示推定处理中，计算机在通过信号器整合处理整合后的多个信号器之间，在通过信号显示识别处理识别到的信号显示上存在不匹配的情况下，基于通过第1评价值计算处理计算出的第1评价值最高的信号器的信号显示，决定前方信号器的第1推定信号显示。在此所说的不匹配意味着对于由信号器间关系信息表示的信号器间的信号显示的关系的不匹配。在没有那样的不匹配的情况下，能够将通过信号显示识别处理识别到的前方信号器的信号显示推定为实际的信号显示。
通过由计算机执行以上所述的一系列处理，在一个摄像头图像识别到多个信号器的情况下、或者在搭载有多个摄像头时从多个摄像头图像识别到多个信号器的情况下，在那些识别到的多个信号器中，对前方信号器和在信号显示上与其具有相关性的信号器进行整合。通过该整合，即使是在无法顺利地识别前方信号器的信号显示的情况下，也能够根据被整合后的其他信号器的信号显示推定前方信号器的信号显示。即使为假如在被整合后的多个信号器之间在信号显示上存在不匹配，也能基于表示信号显示的确定度的第1评价值最高的信号器的信号显示，决定前方信号器的第1推定信号显示。由此，根据本发明涉及的信号显示推定系统，能够高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。
本发明涉及的信号显示推定系统也可以还具备对存在于车辆周边的目标物进行检测的外界传感器。外界传感器例如包括LIDAR、毫米波雷达。另外，存储于计算机的存储器的程序也可以构成为在由处理器执行时使计算机进一步以下的第2信号显示推定处理、第2评价值计算处理以及推定结果选择处理。
在第2信号显示推定处理中，计算机根据由外界传感器检测到的目标物的行为，决定前方信号器的第2推定信号显示。由于自身车辆周边的车辆也与自身车辆同样地按照信号器进行驾驶，因此，通过检测周边的车辆来作为目标物，能够根据目标物的行为推定前方信号器的信号显示(第2推定信号显示)。
在第2评价值计算处理中，计算机计算第2评价值，第2评价值表示通过第2信号显示推定处理决定的前方信号器的第2推定信号显示的确定度。第2评价值例如也可以基于目标物的跟踪的可靠度、目标物的位置或者速度的方差等来进行计算。
并且，在推定结果选择处理中，计算机在与通过第1信号显示推定处理决定的第1推定信号显示对应的第1评价值比通过第2评价值计算处理计算出的第2评价值高的情况下，选择通过第1信号显示推定处理决定的第1推定信号显示来作为最终的推定结果。另一方面，在与通过第1信号显示推定处理决定的第1推定信号显示对应的第1评价值为通过第2评价值计算处理计算出的第2评价值以下的情况下，计算机选择通过第2信号显示推定处理决定的第2推定信号显示来作为最终的推定结果。
通过使计算机进一步执行以上的第2信号显示推定处理、第2评价值计算处理以及推定结果选择处理，即使是在无法确保基于摄像头图像的信号显示的推定精度的情况下，也能够基于周边车辆的行为来推定车辆应该遵循的行进方向前方的前方信号器的信号显示。
发明的效果
如以上所述，根据本发明涉及的信号显示推定系统，能够在检测到多个识别对象的信号器的状况下，高精度地推定车辆应该遵循的行进方向前方的信号器的信号显示。
附图说明
图1是表示本发明的实施方式涉及的驾驶辅助控制系统的构成的框图。
图2是用于对本发明的实施方式中的信号器信息的一个例子进行说明的概念图。
图3是用于对本发明的实施方式中的摄像头图像进行说明的概念图。
图4是用于对本发明的实施方式涉及的信号器识别处理的一个例子的进行说明的概念图。
图5是用于对本发明的实施方式涉及的信号器识别处理的其他例子进行说明的概念图。
图6是用于对本发明的实施方式涉及的信号器识别处理的另一其他例子进行说明的概念图。
图7是用于对本发明的实施方式涉及的信号器识别处理的又一其他例子进行说明的概念图。
图8是用于对本发明的实施方式中的包含多个信号器的摄像头图像的一个例子进行说明的概念图。
图9是用于对本发明的实施方式中的包含多个信号器的摄像头图像的其他例子进行说明的概念图。
图10是用于对本发明的实施方式中的包含多个信号器的摄像头图像的另一其他例子进行说明的概念图。
图11是用于对本发明的实施方式中的通过两台摄像头拍摄到的包含多个信号器的摄像头图像的一个例子进行说明的概念图。
图12是用于对本发明的实施方式中的信号器间关系信息的一个例子进行说明的概念图。
图13是用于对本发明的实施方式中的基于信号器间关系信息的信号器的整合的一个例子进行说明的概念图。
图14是用于对本发明的实施方式中的基于信号器间关系信息的信号器的整合的其他例子进行说明的概念图。
图15是用于对本发明的实施方式中的基于信号器间关系信息的信号器的整合的另一其他例子进行说明的概念图。
图16是用于对本发明的实施方式中的基于信号器间关系信息的信号器的整合的又一其例子进行说明的概念图。
图17是用于对本发明的实施方式涉及的第1评价值计算处理的一个例子进行说明的概念图。
图18是用于对本发明的实施方式涉及的第1评价值计算处理的其他例子进行说明的概念图。
图19是用于对本发明的实施方式涉及的第1评价值计算处理的另一其他例子进行说明的概念图。
图20是用于对本发明的实施方式涉及的第1评价值计算处理的又一其他例子进行说明的概念图。
图21是用于对本发明的实施方式涉及的第1评价值计算处理的再一其他例子进行说明的概念图。
图22是用于本发明的实施方式涉及的第1评价值计算处理的又另一其他例子进行说明的概念图。
图23是表示本发明的实施方式涉及的驾驶辅助控制系统的构成的框图。
图24是表示本发明的实施方式涉及的信号显示推定系统的构成的框图。
图25是表示本发明的实施方式涉及的信号显示推定系统中的处理的流程的流程图。
图26是表示本发明的实施方式涉及的信号显示推定系统的变形例的构成的框图。
图27是表示本发明的实施方式涉及的信号显示推定系统的变形例中的处理的流程的流程图。
图28是用于对本发明的实施方式中的包含多个信号器的摄像头图像的另一其他例子进行说明的概念图。
标号说明
1 车辆
10 驾驶辅助控制系统
20 信息取得装置
22、22A、22B 摄像头
28 外界传感器
30 驾驶辅助控制装置
40 信号显示推定装置
50 存储装置
51 信号器数据库
52 关系数据库
70 信号显示推定系统
110 处理器
140 存储器
200 行驶装置
210 位置信息取得部
220 识别对象选择部
230 ROI设定部
240 信号显示识别部
250 评价值计算部
260 信号器整合部
270 信号显示推定部
300 目标物追踪部
310 信号显示推定部
320 评价值计算部
330 推定结果选择部
具体实施方式
以下，参照附图对本发明的实施方式进行说明。其中，在以下所述的实施方式中提及了各要素的个数、数量、量、范围等的数的情况下，除了特别地明示的情况、在原理上明确地被确定为该数的情况之外，本发明并不限定于该所提及的数。另外，对于在以下所述的实施方式中说明的构造、步骤等，除了特别地明示的情况、在原理上明确地被确定为该构造、步骤等的情况之外，并不是本发明中一定必需的。
1.驾驶辅助控制系统的概要
本实施方式涉及的信号显示推定系统构成为驾驶辅助控制系统的一部分。图1是用于对本实施方式涉及的驾驶辅助控制系统10的概要进行说明的概念图。驾驶辅助控制系统10例如是能够在SAE(Society of Automotive Engineers，汽车工程师协会)的等级定义下实施等级3以上的自动驾驶等级的控制系统。
驾驶辅助控制系统10包括驾驶辅助控制装置30。驾驶辅助控制装置30进行对车辆1的驾驶进行辅助的驾驶辅助控制。典型地，驾驶辅助控制包括转向控制、加速控制以及减速控制中的至少一个。作为那样的驾驶辅助控制，可例示自动驾驶控制(autonomousdriving control)、路径追踪控制(path-following control)、车道维持辅助控制(lanetracing assist control)、碰撞躲避控制(collision avoidance control)等。
驾驶辅助控制系统10包括信息取得装置20。在驾驶辅助控制中利用通过信息取得装置20取得的各种信息。信息取得装置20使用搭载于车辆1的传感器、V2X通信来取得各种信息。V2X通信例如包括V2V通信、V2I通信、V2N通信。通过车载传感器、V2X通信取得的信息包括表示车辆1的位置的车辆位置信息、表示车辆1的状态的车辆状态信息、表示车辆1周围的状况的周边状况信息等。在那些各种信息中，位于车辆1前方的信号器SG的信号显示也是在驾驶辅助控制中特别重要的信息之一。
驾驶辅助控制系统10包括信号显示推定装置40。信号显示推定装置40具有如下功能：对通过信息取得装置20取得的信息、详细而言为通过车载摄像头拍摄到的摄像头图像进行处理，利用存储装置50所具有的数据库51、52的信息，对位于车辆1前方的信号器SG的信号显示进行识别或者推定。信号显示推定装置40与信息取得装置20所包括的摄像头和存储装置50一起构成“信号显示推定系统”。
通过信号显示推定装置40识别或者推定到的信号显示被利用在通过驾驶辅助控制装置30进行的驾驶辅助控制中。驾驶辅助控制装置30例如按照所识别到的信号显示，使车辆1进行减速，使之停止在预定位置，或者使之再起步。
以下，对构成“信号显示推定系统”的信号显示推定装置40的功能的详细和数据库51、52的详细进行说明。
2.信号器信息
在通过信号显示推定装置40进行的信号显示的识别或者推定中利用信号器信息。信号器信息是与信号器SG有关的地图信息，表示信号器SG的位置和朝向。信号器信息所表示的信号器的位置是三维空间中的绝对位置，被定义在绝对坐标系(纬度、经度、高度)中。信号器信息所表示的信号器的朝向是三维空间中的方向，以单位矢量来定义。信号器数据库51是那样的信号器信息的集合体。如图1所示，信号器数据库51保存于存储装置50。
图2是用于对本实施方式中的信号器信息的一个例子进行说明的概念图。在图2所示的例子中，信号器信息包含信号器的位置(绝对位置[X，Y，Z])、信号器的朝向(单位矢量{ex，ey，ez})、信号器的种类。也即是，信号器SG的位置、朝向以及种类构成一个数据集。信号器的种类意味着灯光的排列。例如，在日本一般是蓝、黄、红的三色的圆形的灯光呈横向一列排列的信号器。但是，在上部具有三色的灯光、在下部具有表示行进允许方向的蓝箭头的灯光的信号器也是一般的信号器。
3.信号器识别处理
信号器信息在对通过车载摄像头拍摄到的摄像头图像所包含的信号器SG进行识别的信号器识别处理中是有用的。图3是用于对本实施方式中的摄像头图像进行说明的概念图。在图3所示的例子中，在摄像头图像中包含车辆1前方的信号器SG和先行车辆2。在图3中，信号器SG由在横向上排列为一列的三个灯光和外框来表现。此外，在包含表现了信号器的图形的各附图中，由白圆表现的灯光意味着在摄像头图像中看起来为熄灭的灯光，由黑圆表现的灯光意味着在摄像头图像中看起来为点亮的灯光。在图3所例示的摄像头图像中，看起来为蓝色灯光点亮。
在摄像头图像中由虚线表示的框是在信号器识别处理中应该关注的图像区域(以下记载为ROI)、也即是在摄像头图像中可能存在信号器的区域。摄像头的三维空间中的绝对位置也可以视为等于车辆1的三维空间中的绝对位置，这能够通过GPS接收机来取得。通过对能够通过GPS接收机取得的摄像头的位置信息(车辆的位置信息)和信号器信息所包含的信号器SG的位置以及朝向进行参照，能够根据相对于摄像头的位置的信号器的位置和方向来筛选ROI。另外，能够根据信号器信息所包含的信号器的种类来对ROI进行调整。这不仅能提高信号器识别处理的精度和稳定性，也显著地有助于信号器识别处理所需要的计算量的削减。
4.信号器识别处理的前处理
在信号器识别处理中，为了设定ROI，将根据信号器信息确定的各个信号器投影变换到摄像头图像。那时，若限定进行投影变换的信号器的数量，则能够减少信号器识别处理涉及的运算负荷。使用图4～图7对那样的前处理的例子进行说明。此外，对于以下说明的前处理，可以适当地组合来进行。
首先，对在信号器识别处理的前处理中使用信号器信息的例子进行说明。在一个例子中设为：如图4所示，选择位于距搭载于车辆1的摄像头22为指定距离R内的位置的信号器，在摄像头图像中仅对所选择的信号器进行识别。另外，在其他例子中设为：如图5所示，选择位于摄像头22的视角α内的信号器，在摄像头图像中仅对所选择的信号器进行识别。在这些处理中，使用信号器信息所包含的信号器的位置信息，计算信号器相对于摄像头22的位置的相对位置。此外，如前所述，摄像头22的位置意味着能够通过GPS接收机取得的车辆1的位置。
也可以除了信号器信息所包含的信号器的位置信息之外，还使用信号器的朝向信息来筛选作为信号器识别处理的对象的信号器。在图6所示的例子中，两个信号器SG01、SG02位于车辆1前方。两个信号器SG01、SG02距车辆1为等距离，但摄像头22相对于各信号器SG01、SG02的入射角度θ1、θ2不同。在本实施方式中，将入射角度θ1、θ2的余弦、即cosθ1、cosθ2定义为信号器SG01、SG02相对于摄像头22的正对程度。当将从信号器SG01、SG02朝向摄像头22的相对位置矢量分别设为P1、P2、将各信号器SG01、SG02的法线矢量设为D1、D2时，各正对程度cosθ1、cosθ2通过图6中所示的算式来计算。在正对程度低的信号器的情况下，难以识别信号器的灯光的点亮状态。因而，在该例子中设为：在摄像头图像中仅对正对程度为阈值以上的信号器进行识别。此外，信号器的朝向信息被用于法线矢量的计算，信号器的位置信息被用于相对位置矢量的计算。
信号器信息也可以利用于具有疑似点亮的可能性的信号器的确定。疑似点亮是指如下现象：在非LED式的信号器中，由于太阳光在信号灯泡内进行反射，虽然未真正点亮，但看起来犹如是点亮的。通过预先从信号器识别处理的对象排除有可能疑似点亮的信号器，能够减少信号器识别处理涉及的运算负荷。当使用图7进行说明时，对于是否发生疑似点亮，能够根据相对于摄像头22的信号器SG03的仰角和太阳的高度来决定。仰角能够使用摄像头22的位置信息和信号器SG03的信号器信息来计算。太阳的高度能够根据车辆1的位置和时刻来计算。若知道太阳的高度，则知道从太阳向信号器SG03的信号灯泡的入射光的入射角，因此，发生疑似点亮的仰角阈值是唯一地决定的。在该例子中设为：在摄像头图像中仅对相对于摄像头22的仰角为仰角阈值以下的信号器、即疑似点亮的可能性低的信号器进行识别。
5.信号显示识别处理
信号显示推定装置40按通过信号器识别处理识别到的各信号器来识别信号显示。信号显示是指在交通法规中确定的灯光颜色的显示。灯光颜色基本上是蓝、黄、红这三色。此外，行进允许的灯光颜色作为色调是“绿”，但在日本的法令中，将行进允许的“绿”记载为“蓝”，因此，在本说明书中也将行进允许的灯光的颜色记载为“蓝”。信号器的信号显示也包含多个灯光颜色的组合。例如，在日本所采用的在上部具有蓝、黄、红三色的灯光、在下部具有蓝箭头的灯光的信号器的情况下，蓝箭头的灯光在红色灯光点亮时点亮。
在信号显示识别处理中，以通过信号器识别处理设定的ROI切取摄像头图像，对在所切取的ROI图像中点亮的灯光进行检测。并且，计算所点亮的灯光在ROI图像中的位置，根据所点亮的灯光的灯光颜色和位置识别信号器的信号显示。对于所点亮的灯光，通过基于公知的机器学习的图像处理来进行检测。用于信号显示识别处理的机器学习的方法没有限定。例如，也可以使用贝叶斯推理法、最大似然估计法等的统计性的图案辨认方法。
6.信号器间关系信息
此外，主要设置有信号器的是交叉路口，但在交叉路口，包括车辆1所行驶的车道上的信号器而设置有多个信号器。另外，在能见度良好的道路中，不仅是跟前的交叉路口的信号器，有时里侧的交叉路口的信号器也会进入到视野。在这样的情况下，在对车辆1的行进方向前方的风景进行拍摄的摄像头的图像中也映入有多个信号器。
图8和图9分别是用于对本实施方式中的包含多个信号器的摄像头图像的例子进行说明的概念图。在各图所示的例子中，在摄像头图像中包含车辆1所行驶的行驶车道L1、与其相邻的对向车道L2、在交叉路口C1中与那些车道交叉的交叉车道L3。并且，在图8所示的例子中，在摄像头图像的交叉路口C1的附近映现有4个信号器SG1、SG3、SG4、SG5。在图9所示的例子中，在摄像头图像的交叉路口C1的附近映现有6个信号器SG1、SG2、SG3、SG4、SG5、SG6。此外，在此以在车辆1的通行为左侧通行、使用横向型的信号器的国家或者地域中所取得的摄像头图像为例来进行说明。
在图8所示的例子的情况下，在摄像头图像所包含的多个信号器中，车辆1应该遵循的行进方向前方的信号器(前方信号器)是信号器SG1。信号器SG3是在交叉车道L3中从左侧行驶来的车辆应该遵循的信号器。信号器SG4是在交叉车道L3中从右侧行驶来的车辆应该遵循的信号器。信号器SG5是位于距交叉路口C1远方的位置的信号器，是用于摄像头图像中未映现的交叉路口、横穿人行道的信号器。
在图9所示的例子的情况下，在摄像头图像所包含的多个信号器中，车辆1应该遵循的行进方向前方的信号器(前方信号器)是信号器SG1或者SG2。信号器SG1在行驶车道L1上位于交叉路口C1的后方，信号器SG2在对向车道L2上位于交叉路口C1的跟前。信号器SG3是在交叉车道L3中从左侧行驶来的车辆应该遵循的信号器。信号器SG4是在交叉车道L3中从右侧行驶来的车辆应该遵循的信号器。信号器SG5和SG6是位于距交叉路口C1远方的位置的信号器，是用于摄像头图像中未映现的交叉路口的信号器。
在各图所示的摄像头图像中，对于各个信号器设置在道路上的哪个位置、朝向哪个方向，通过利用了信号器数据库51所包含的信号器信息的信号器识别处理来进行明确。另外，各信号器的信号显示、更具体而言为各信号器的灯光的点亮状态通过图像处理来进行识别。在图8所示的例子中，信号器SG1的蓝色灯光点亮，信号器SG3、SG4以及SG5的红色灯光点亮。在图9所示的例子中，信号器SG1和SG2的蓝色灯光点亮，信号器SG3、SG4、SG5以及SG6的红色灯光点亮。但是，例如由于太阳光的反射、卡车等的对灯光的遮挡的影响，不限于一定能够准确地识别全部信号器的信号显示。
在车辆1为手动驾驶车辆的情况下，信号器的信号显示的识别由驾驶员自身进行。在图8所示的例子中，驾驶员通常对信号器SG1的信号显示进行确认来判断交叉路口C1中的车辆1的操作。但是，在无法确认信号器SG1的信号显示的情况下，驾驶员能够根据信号器SG3的信号显示推定信号器SG1的信号显示。另外，与信号器SG3相比，信号器SG4也许难以从在行驶车道L1上行驶的车辆1看到，但也能够根据信号器SG4的信号显示来推定信号器SG1的信号显示。
若是图9所示的例子，则驾驶员通常对信号器SG1或者SG2的信号显示进行确认来判断交叉路口C1中的车辆1的操作。但是，例如如图10所示，由于太阳光的反射的影响，信号器SG2的蓝色灯光点亮，但是，有时看起来为信号器SG1的黄色灯光点亮。在这样的情况下，驾驶员能够将信号器SG3的信号显示、信号器SG4的信号显示作为参考，判断信号器SG1和信号器SG2中的哪个信号显示是正确的，推定车辆1应该遵循的行进方向前方的信号器的信号显示。
驾驶员之所以能进行如上述那样的推定，在图8所示的例中，是由于已知信号器SG1与信号器SG3以及SG4之间在信号显示上具有相关性，在图9和图10所示的例子中，是由于已知信号器SG1与信号器SG2、SG3以及SG4之间在信号显示上具有相关性。相反地，对于驾驶员不根据信号器SG5、SG6的信号显示来推定信号器SG1的信号显示，是由于已知信号器SG1与信号器SG5或者SG6之间在信号显示上没有相关性。
驾驶员作为知识所具有的这些信息、即表示多个信号器间的信号显示的关系的信号器间关系信息是基于明确的交通法规的，因此，能够进行知识编码化来将其整理到数据库。图1所示的关系数据库52是整理了信号器间关系信息的数据库。如图1所示，关系数据库52保存于存储装置50。
若预先整理准备信号器间关系信息，则在摄像头图像中识别到多个信号器的情况下，能够基于信号器间关系信息对车辆1应该遵循的行进方向前方的前方信号器和信号显示与该前方信号器具有相关性的信号器进行整合。进行整合也可以换言为进行群组化。通过该整合，即使是在无法顺利地识别前方信号器的信号显示的情况下，也能够根据被整合后的其他信号器的信号显示来推定前方信号器的信号显示。
信号器间关系信息也能够利用于如下情况：在多台摄像头搭载于车辆1时，从多个摄像头图像识别到多个信号器。图11是用于对本实施方式中的通过2台摄像头拍摄到的包含多个信号器的摄像头图像的一个例子进行说明的概念图。在通过第1摄像头拍摄到的摄像头图像与通过第2摄像头拍摄到的摄像头图像之间，具有由解像度、拍摄方式等的摄像头的性能引起的不同。由于该不同，有时在两个摄像头图像之间，会在信号器的信号显示上产生不匹配。在图11所示的例子中，在第1摄像头的摄像头图像所包含的信号器SG1与第2摄像头的摄像头图像所包含的信号器SG1之间产生不匹配，在第1摄像头的摄像头图像所包含的信号器SG3与第2摄像头的摄像头图像所包含的信号器SG3之间也产生不匹配。
在该情况下，若使用信号器间关系信息，则第1摄像头的摄像头图像所包含的信号器SG1、SG2、SG3以及SG4与第2摄像头的摄像头图像所包含的信号器SG1、SG2、SG3以及SG4能够进行整合。通过在被整合后的信号器之间对信号显示进行比较，在图11所示的例子中，相当于前方信号器的信号器SG1和SG2的信号显示能够推定为是蓝色。
图12是用于对本实施方式中的信号器间关系信息的一个例子进行说明的概念图。在图12所示的例子中，信号器间关系信息包含设定信号器间关系信息的对象信号器、在信号显示上与对象信号器具有相关性的关系信号器、对象信号器与关系信号器的关系的内容。对象信号器是车辆1应该遵循的或者将要遵循的信号器，例如是位于车辆1的行驶车道上的信号器。对于对象信号器与关系信号器的关系，若是大体进行分区，则为是两个信号器朝向相同的方向、还是两个信号器朝向交叉的方向中的任一方。在图12所示的例子中，前者的关系表现为“Same”，后者的关系表现为“Opposite”。
图12表示图9所示的摄像头图像所包含的信号器间的关系。在信号器SG1为对象信号器的情况下，处于Same的关系的信号器是信号器SG2，处于Opposite的关系的信号器是信号器SG3。作为备份，信号器SG4也可以登记为相对于信号器SG1处于Opposite的关系的信号器。同样地，在信号器SG5为对象信号器的情况下，处于Same的关系的信号器是信号器SG6，虽未记载于表，但也登记处于Opposite的关系的信号器。
在信号器间具有Same和Opposite中的某一方的关系的情况下，在信号器间，信号显示的显示规则是确定的。该显示规则是根据交通法规而唯一地决定的规则。具体而言，若是关系为Same，则对象信号器的信号显示与关系信号器的信号显示一致。例如在对象信号器的信号显示为“红”的情况下，关系信号器的信号显示也为“红”，在对象信号器的信号显示为“蓝”的情况下，关系信号器的信号显示也为“蓝”。另外，在对象信号器的信号显示为“红”和“蓝箭头”的组合的情况下，关系信号器的信号显示也为“红”和“蓝箭头”的组合。
另一方面，若为关系是Opposite，则对象信号器的信号显示与关系信号器的信号显示基本上相反。例如，在对象信号器的信号显示为“蓝”或者“黄”的情况下，关系信号器的信号显示为“红”。在对象信号器的信号显示为“红”的情况下，关系信号器的信号显示为“蓝”。在对象信号器的信号显示为“红”和“蓝箭头”的组合的情况下，关系信号器的信号显示为“红”。
7.信号器整合处理
图13～图16的各图是用于对本实施方式中的基于信号器间关系信息的信号器的整合的例子进行说明的概念图。在图13所示的例子中，存在两个交叉路口。从车辆1来看，在跟前的交叉路口1中，在从车辆1来看的交叉路口1的左后方配置有信号器SG11，在右前方配置有信号器SG12。这些两个信号器SG11、SG12都是朝向车辆1的行进方向的信号器，是具有Same的相关性的信号器。另外，有时在交叉路口1的右后方也配置有朝向了车辆1的行进方向的信号器SG17，但信号器SG17与信号器SG11、另外信号器SG12也具有Same的相关性。因而，例如若信号器SG11的信号显示为“红”，则无论信号器SG12、SG17中的哪个信号显示都为“红”。
从车辆1来看，在里侧的交叉路口2，在从车辆1来看的交叉路口2的左后方配置有信号器SG21，在右前方配置有信号器SG22。另外，有时在交叉路口2的右后方也配置有信号器SG27。这些3个信号器SG21、SG22、SG27都是朝向了车辆1的行进方向的信号器，是具有Same的相关性的信号器。但是，这些信号器SG21、SG22、SG27与配置在交叉路口1的信号器SG11、SG12、SG17之间没有相关性。由此，在图13所示的例子中，信号器SG11、SG12以及SG17被整合为一个群组，信号器SG21、SG22以及SG27被整合为另一群组。
在图14所示的例子中，在交叉路口1，在从车辆1来看的交叉路口1的右后方配置有信号器SG13，在右前方配置有信号器SG18。这些两个信号器SG13、SG18都朝向与车辆1的行进方向交叉的方向，因此，两个信号器SG13、SG18具有Same的相关性。因而，例如若信号器SG13的信号显示为“蓝”，则信号器SG18的信号显示也为“蓝”。
在交叉路口2，在从车辆1来看的交叉路口2的右后方配置有信号器SG23，在右前方配置有信号器SG28。这些两个信号器SG23、SG28都朝向与车辆1的行进方向交叉的方向，因此，两个信号器SG23、SG28具有Same的相关性。但是，这些信号器SG23、SG28与配置在交叉路口1的信号器SG13、SG18之间没有相关性。由此，在图14所示的例子中，信号器SG13和SG18被整合为一个群组，信号器SG23和SG28被整合为另一群组。
在图15所示的例子中，在交叉路口1，在从车辆1来看的交叉路口1的左后方配置有信号器SG11，在右后方配置有信号器SG13，在右前方配置有信号器SG18。相对于信号器SG11，信号器SG13朝向交叉的方向，因此，两个信号器SG11、SG13具有Opposite的相关性。同样地，相对于信号器SG11，信号器SG18朝向交叉的方向，因此，两个信号器SG11、SG18具有Opposite的相关性。因而，例如若信号器SG11的信号显示为“红”，则信号器SG13、SG18的信号显示为“蓝”。
在交叉路口2，在从车辆1来看的交叉路口2的左后方配置有信号器SG21，在右后方配置有信号器SG23，在右前方配置有信号器SG28。相对于信号器SG21，信号器SG23具有Opposite的相关性，相对于信号器SG21，信号器SG28具有Opposite的相关性。但是，这些信号器SG21、SG23、SG28与配置在交叉路口1的信号器SG11、SG13、SG18之间没有相关性。由此，在图15所示的例子中，信号器SG11、SG13以及SG18被整合为一个群组，信号器SG21、SG23以及SG28被整合为另一群组。
在图16所示的例子中，在交叉路口1，在从车辆1来看的交叉路口1的左后方配置有信号器SG15，在右后方配置有信号器SG13。信号器SG15是在上部具有蓝、黄、红三色的灯光、在下部具有蓝色的箭头的灯光的信号器。蓝箭头的灯光的点亮意味着与上部的红色灯光的点亮无关，能够向箭头的方向行进。因而，图16所示的信号器SG15的信号显示意味着能够直行和左转。相对于信号器SG15，信号器SG13朝向交叉的方向，因此，两个信号器SG15、SG13具有Opposite的相关性。例如，若信号器SG15的信号显示为“红”和“蓝箭头”，则信号器SG13的信号显示为“红”。
在交叉路口2，在从车辆1来看的交叉路口2的左后方配置有信号器SG25，在右后方配置有信号器SG23。信号器SG25具有蓝箭头的灯光。图16所示的信号器SG25的信号显示意味着仅能够右转。相对于信号器SG25，信号器SG23具有Opposite的相关性。但是，这些信号器SG25、SG23与配置在交叉路口1的信号器SG15、SG13之间没有相关。由此，在图16所示的例子中，信号器SG15和SG13被整合为一个群组，信号器SG25和SG23被整合为另一群组。
8.信号显示推定处理
信号显示推定装置40使用关系数据库52所包含的信号器间关系信息，如上所述那样进行信号器的整合。通过该整合，即使是在假设车辆1无法顺利地识别应该遵循的前方信号器的信号显示的情况下，也能够根据被整合后的其他信号器的信号显示来推定前方信号器的信号显示。但是，在该情况下，若是在这些其他信号器中也在所识别到的信号显示上存在不匹配，则存在不知应该相信哪个信号器的信号显示这一问题。
于是，信号显示推定装置40在被整合后的信号器间在所识别的信号显示上存在不匹配的情况下，基于各信号器的“评价值”，推定前方信号器的信号显示。“评价值”是表示基于摄像头图像识别到的信号显示的确定度的参数。确定度(certainty)也可以换言为似然度(likelihood)、准确度(accuracy)、可靠度(reliability)或者有效性(availability)。在基于评价值的推定的一个例子中，根据评价值最高的信号器与前方信号器之间的相关性，根据评价值最高的信号器的信号显示来推定前方信号器的信号显示。
9.评价值计算处理
在信号显示识别处理中所使用的基于机器学习的图像处理中，计算所识别到的对象属于各等级(class)的概率。在评价值计算处理中，也可以基于在此所得到的概率来计算评价值。在使用贝叶斯推理法、最大似然估计法来作为机器学习的方法的情况下，能够使用所识别到的信号显示的似然度来作为评价值。此外，对于某信号器的评价值，每当通过摄像头拍摄到该信号器、对所得到的摄像头图像进行基于机器学习的图像处理时，每次重新进行计算。
对于评价值的计算，能够利用信号器间关系信息。例如，也可以在特定的两个信号器间，在通过信号显示识别处理识别到的信号显示的关系与信号器间关系信息匹配的情况下，使该特定的两个信号器的信号显示的评价值分别相对于初始值增加。初始值既可以为零等的固定值，也可以将通过上述的机器学习得到的评价值作为初始值。
当使用图17进行具体的说明时，在信号器SG31的信号显示和信号器SG32的信号显示均为蓝色的情况下，信号器SG31与信号器SG32的关系为Same，因此，所识别到的两个信号显示的关系与信号器间关系信息匹配。在该情况下，使信号器SG31的信号显示的评价值与信号器SG32的信号显示的评价值分别增加。另外，在信号器SG31的信号显示为蓝色、信号器SG33的信号显示为红色的情况下，信号器SG31与信号器SG33的关系为Opposite，因此，所识别到的两个信号显示的关系与信号器间关系信息匹配。在该情况下，使信号器SG31的信号显示的评价值和信号器SG33的信号显示的评价值分别增加。这样，通过将信号器间关系信息利用于信号显示的确定度的评价，能够提高评价值的精度。
评价值也能够进一步根据其他观点来进行计算。以下，使用图18～图21对根据其他观点的评价值计算处理的例子进行说明。此外，包括前述的评价值计算处理的各评价值计算处理既可以单独执行，也可以适当地组合来执行。例如，也可以执行多个评价值计算处理，将通过各处理得到的评价值作为相对于初始值的加分，使用对初始值加上全部加分而得到的值来作为最终的评价值。
在根据最初的其他观点的评价值计算处理中进行如下处理：对于在摄像头图像内中靠近其中心的信号器，提高评价值，对于距摄像头图像的中心远的信号器，降低评价值。这是因为：在位于摄像头图像的端部的信号器的情况下，一部分灯光会从摄像头图像溢出，有可能无法仅用所检测的灯光来准确地识别信号显示。ROI的中心相对于摄像头图像的中心的位置关系表示摄像头图像内的摄像头与信号器的相对的位置关系。通过将该相对的位置关系利用于信号显示的确定度的评价，能够提高评价值的精度。
在基于上述观点的一个例子中进行如下处理：计算通过信号器识别处理设定的ROI距摄像头图像的中心的距离，越是该距离短的信号器，越使其信号显示的评价值增加。在图18所示的具体例中，描绘了距摄像头图像的图像中心具有阈值1的距离的圆、和距图像中心具有阈值2(阈值2＞阈值1)的距离的圆弧。另外，对摄像头图像设定了两个ROI。第1ROI#1相对地位于摄像头图像的靠中心的位置，距图像中心的距离d1比阈值1小。第2ROI#2相对地位于摄像头图像的靠端部的位置，距图像中心的距离d2比大于阈值1的阈值2小。在该例子中，对在距图像中心的距离d1比阈值1小的ROI#1中识别的信号器赋予固定的评价值A。另外，对在距图像中心的距离d2为比阈值2小的阈值1以上的ROI#2中识别的信号器赋予比评价值A小的固定的评价值B。
另外，使用图19对基于上述观点的其他例子进行说明。在该例子中，计算信号器矢量S与车辆矢量V所成的角度Θ，信号器矢量S表示信号器SG相对于摄像头22的实际空间上的方向，车辆矢量V表示车辆1的实际空间上的行进方向。并且，进行如下处理：越是两个矢量S、V所成的角度Θ大的信号器，越使其信号显示的评价值减少。这是因为：矢量S、V间的角度Θ越大，摄像头图像内的信号器SG的位置越为靠端部。根据该例子，通过将实际空间中的摄像头22与信号器SG的相对的位置关系利用于信号显示的确定度的评价，能够提高评价值的精度。
在根据如下的其他观点的评价值计算处理中进行如下处理：越是在摄像头图像内被其他目标物(信号器以外的目标物)遮挡的遮挡度大的信号器，越使其信号显示的评价值减少。这是因为：在那样的信号器中，所点亮的一部分灯光被遮挡，因此，有可能无法仅用看到的灯光来准确地识别信号显示。
当使用图20进行具体的说明时，在该图中描绘了在实际空间中信号器SG的下侧部分被大型车辆遮挡的状况。被遮挡的信号器SG是在上部具有三色的灯光、在下部具有表示行进允许方向的蓝箭头的灯光的信号器。在上部的红色灯光和下部的蓝箭头的灯光点亮时，在仅下部的灯光被遮挡的情况下，该信号器SG的信号显示被识别为是“红”。根据信号器SG的遮挡度的大小使评价值减少，这是为了使得这样的错误的识别结果不被反映于信号显示的推定结果。
遮挡度的计算能够以如下步骤进行。首先，通过周边状况传感器对遮挡信号器的目标物进行检测。周边状况传感器包括LIDAR、摄像头。例如，在通过LIDAR检测到目标物的情况下，将表示所检测到的目标物的大小的边界框(bounding box)投影到摄像头图像内。接着，计算边界框与ROI重叠的区域作为隐藏区域。并且，计算隐藏区域在ROI中所占的比例来作为遮挡度，根据遮挡度来使评价值减少。例如，在遮挡度为40％的情况下，使评价值减小40％。
在进一步根据其他观点的评价值计算处理中进行如下处理：基于过去时刻的识别结果，对当前时刻的评价值进行修正。也即是，并不是直接使用根据当前时刻的识别结果计算的评价值，而是根据过去时刻的识别结果计算出的评价值也被纳入考虑，对当前时刻的评价值进行修正计算。通过不仅将当前时刻的识别结果还将过去时刻的识别结果也纳入考虑，能够保持信号显示的识别结果的连续性。
在基于上述观点的一个例子中，关于在过去时刻的信号显示识别处理中识别到信号显示、但在当前时刻的信号显示识别处理中未识别到信号显示的信号器，不是使评价值急剧减少，而是基于过去时刻的评价值和从过去时刻起的经过时间，对当前时刻的评价值进行修正计算。由此，例如能够在因遮挡物而暂时未识别到信号显示的情况下，防止评价值急剧减少，保持信号显示的识别结果的连续性。
使用图21对评价值的修正计算的具体例进行说明。在该具体例中，未识别到信号显示的信号器的评价值被设为零。但是，若是在最大8秒以内具有被识别到的历史记录，则以那时的评价值为基准，以根据时间逐渐使之减少的方式计算当前的评价值。在图21中，白圆是基于识别结果的评价值，黑圆是修正计算后的评价值。在未识别到信号显示的期间进行如下处理：以每1秒期间、0.125的降低率来使评价值减少。在图21的上部的坐标图中，在2秒之前识别到了信号显示，因此，以2秒前的评价值为基准，对当前时刻的评价值进行修正计算。在图21的下部的坐标图中，在10秒之前识别了信号显示，因此，在2秒之前以10秒前的评价值为基准对评价值进行了修正计算，但当前时刻，未识别到信号显示的期间超过了8秒，因此，评价值被设为零。
在基于上述观点的其他例子中进入如下处理：在通过信号器识别处理识别到的特定的信号器中，在通过信号显示识别处理连续地多次识别到相同的信号显示的情况下，根据连续识别次数使该信号显示的评价值增加。可以说在连续识别到相同的信号显示的情况下，连续识别次数越多，该信号显示的可靠性越高。相反而言，对于连续识别次数少的信号显示，由于猎振(hunting)，识别结果有可能会变动。因而，通过使连续识别次数多的信号显示的评价值增加，在被整合后的多个信号器中，即使为包含了信号显示的识别结果变动的信号器，也能够防止由那样的信号器的影响导致的最终的推定结果的猎振。
使用图22对上述例子中的评价值的计算方法进行具体的说明。在图22中，按摄像头的各帧描绘了与信号器A、B对应的ROI图像中的灯光的检测位置及其灯光颜色。信号器A和信号器B是被整合后的信号器。在信号器A中，从过去的3帧到当前时刻的帧，在ROI图像中的同一位置检测到红色灯光(由R表示)的点亮。也即是，在信号器A中，作为信号显示的“红”连续被识别到四次直到当前时刻。在该具体例中进行如下处理：通过对到当前时刻为止的连续次数量的各帧的评价值进行合计，使评价值增加。在信号器A的情况下，到当前时刻为止的4帧量的各帧的评价值被合计，算出该合计值6.6来作为本次的评价值。
在信号器B中，过去的3帧在ROI图像中的同一位置检测到红色灯光(由R表示)的点亮，但在当前时刻的帧中，在检测到了红色灯光的位置检测到黄色灯光(由Y表示)的点亮。也即是，在信号器B中，作为信号显示的“红”在过去被连续识别到3次，但在当前时刻识别到的信号显示为“黄”。因此，到当前时刻为止的相同信号显示的连续识别次数为1次，算出当前时刻的帧的评价值2.4来作为本次的评价值。其结果是，在该具体例中，基于评价值更大的信号器A的识别结果，推定前方信号器的信号显示。
10.驾驶辅助控制系统的构成
接着，使用图23对本实施方式涉及的驾驶辅助控制系统的详细构成进行说明。图23是表示本实施方式涉及的驾驶辅助控制系统10的构成的框图。驾驶辅助控制系统10具备信息取得装置20、控制装置100、存储装置50以及行驶装置200。
信息取得装置20例如包括周边状况传感器21、车辆位置传感器24、车辆状态传感器25、通信装置26以及HMI(Human Machine Interface，人机接口)单元27。这些与控制装置100直接电结合，或者经由车载网络(在车辆1内构建的CAN(Controller Area Network，控制器局域网络)等的通信网络)与控制装置100电结合。
周边状况传感器21对车辆1周围的状况进行检测。作为周边状况传感器21，可例示摄像头22A、22B、毫米雷达以及LIDAR等。摄像头22A、22B对车辆1的行进方向前方的风景进行拍摄。在图23所示的构成中，设置有2台摄像头22A、22B，但摄像头的台数既可以是1台，也可以是3台以上。LIDAR利用激光束对车辆1周围的目标物进行检测。毫米波雷达利用电波对车辆1周围的目标物进行检测。
车辆位置传感器24对车辆1的位置和方位进行计测。例如，车辆位置传感器24包括GPS接收机。GPS接收机接收从多个GPS卫星发送的信号，基于接收信号来算出车辆1的位置和方位。
车辆状态传感器25取得与车辆1的状态有关的信息。与车辆1的状态有关的信息包括车辆1的速度、加速度、转向角、偏航速率等。进一步，与车辆1的状态有关的信息也包括车辆1的驾驶员的驾驶操作。驾驶操作包括加速操作、制动操作以及转向操作。
通信装置26与车辆1的外部进行通信(V2X通信)，取得各种信息。例如，通信装置26与通信网络之间进行V2N通信。通信装置26也可以与周围的基础设施之间进行V2I通信。通信装置26也可以与周边车辆之间进行V2V通信。
HMI单元27是用于向驾驶员提供信息、另外从驾驶员受理信息的接口装置。具体而言，HMI单元27具有输入装置和输出装置。作为输入装置，可例示触摸面板、开关、麦克风等。作为输出装置，可例示显示装置、扬声器等。
行驶装置200包括用于使车辆1转向的转向致动器、用于使车辆1减速的制动致动器以及用于使车辆1加速的驱动致动器。转向致动器例如包括使用了马达或者油压的助力转向系统、线控转向系统。制动致动器例如包括油压制动器、电力再生制动器。驱动致动器例如包括发动机、EV系统、混合动力系统、燃料电池系统等。这些致动器与控制装置100直接电结合，或者经由车载网络与控制装置100电结合。
控制装置100是具有处理器110和存储器140的ECU(Electronic Control Unit，电子控制单元)。存储器140包括存储有至少一个程序(能够由计算机执行的程序)、数据的非易失性存储器、和暂时性地存储处理器110的运算结果、从各传感器取得的信息的易失性存储器。存储于存储器140的程序由处理器110进行执行，由此，使处理器110作为驾驶辅助控制装置30进行工作，另外，使之作为信号显示推定装置40进行工作。此外，构成控制装置100的ECU也可以是多个ECU的集合。
存储装置50包含信号器数据库51和关系数据库52。存储装置50搭载于车辆1，与控制装置100直接电结合，或者经由车载网络与控制装置100电结合。但是，存储装置50也可以配置在车辆1的外部。例如，也可以在互联网上配置有存储装置50，经由无线通信与控制装置100结合。
11.信号显示推定系统的构成
接着，使用图24对构成驾驶辅助控制系统10的一部分的信号显示推定系统的详细构成进行说明。图24是表示本实施方式涉及的信号显示推定系统70的构成的框图。信号显示推定系统70具备摄像头22A、22B、信号显示推定装置40、信号器数据库51以及关系数据库52。
信号显示推定装置40是在执行预定程序时通过处理器110(参照图23)实现的功能之一。信号显示推定装置40能够进一步分为多个功能。信号显示推定装置40具有的各个功能表示为位置信息取得部210、识别对象选择部220、ROI设定部230、信号显示识别部240、评价值计算部250、信号器整合部260以及信号显示推定部270。
位置信息取得部210取得摄像头22A、22B的位置信息。位置信息是三维空间中的摄像头22A、22B的绝对位置，等于通过GPS接收机取得的车辆1的位置信息。
识别对象选择部220执行信号器识别处理的前处理。对识别对象选择部220取入信号器数据库51的信号器信息、和通过位置信息取得部210取得到的摄像头22A、22B的位置信息。作为前处理，识别对象选择部220基于摄像头22A、22B的位置与各信号器的位置以及朝向的关系，从登记于信号器数据库51的信号器中筛选作为信号器识别处理的对象的信号器。
ROI设定部230对通过各摄像头22A、22B拍摄到的摄像头图像设定表示通过识别对象选择部220选择的识别对象的信号器的存在区域的ROI。在多个信号器被选择为识别对象的情况下，与各信号器对应地在摄像头图像内设定多个ROI。通过对各摄像头22A、22B的摄像头图像设定ROI，能识别各摄像头22A、22B的摄像头图像所包含的信号器。
信号显示识别部240通过按由ROI设定部230设定的各ROI来切取摄像头图像，执行使用了机器学习的图像处理，从而在切取出的ROI图像内对点亮的灯光进行检测。并且，信号显示识别部240计算所点亮的灯光在ROI图像中的位置，根据所点亮的灯光的灯光颜色和位置，按各ROI图像、也即是各信号器来识别信号器的信号显示。
评价值计算部250执行前述的评价值计算处理，计算通过信号显示识别部240按各信号器识别到的信号显示的评价值。在评价值计算部250中，按各摄像头22A、22B的摄像头图像所包含的各信号器，得到信号显示及其评价值。
信号器整合部260在通过信号器识别处理识别到的多个信号器中，对车辆1应该遵循的行进方向前方的前方信号器、和在信号显示上与前方信号器具有相关性的信号器进行整合。在该整合处理中，信号器整合部260对关系数据库52所包含的信号器间关系信息进行参照。
信号显示推定部270基于信号器间关系信息，对通过信号器整合部260整合后的多个信号器之间在通过信号显示识别部240识别到的信号显示上是否存在不匹配进行判断。例如，在信号显示在处于Same的关系的信号之间不同的情况下、在信号显示在处于Opposite的关系的信号之间相同的情况下，能够判断为在信号显示上存在不匹配。在没有那样的不匹配的情况下，信号显示推定部270将通过信号显示识别部240识别到的前方信号器的信号显示推定为实际的信号显示。另一方面，在产生了那样的不匹配的情况下，信号显示推定部270基于通过评价值计算部250计算出的各信号器的评价值，推定前方信号器的信号显示。具体而言，例如设为评价值最高的信号器的信号显示正确，推定前方信号器的信号显示。
12.信号显示推定系统中的处理流程
接着，对本实施方式涉及的信号显示推定系统70中的处理流动进行说明。图25是表示本实施方式涉及的信号显示推定系统70中的处理流程、特别是信号显示推定装置40的处理流程的流程图。
在步骤S10中，信号显示推定装置40根据摄像头的位置和信号器的位置以及朝向，选择识别对象的信号器。在该处理中，信号显示推定装置40利用登记了三维空间中的信号器的位置和朝向的信号器信息。
在步骤S20中，信号显示推定装置40根据通过步骤S10选择出的信号器与摄像头的相对的位置和朝向，在通过摄像头拍摄到的摄像头图像中设定ROI。
在步骤S30中，信号显示推定装置40判定已执行以下的步骤S40、S50的ROI的数量i是否比通过步骤S10选择出的信号器的数量少。在判定结果为肯定的情况下，信号显示推定装置40将i的值增加1，并且，执行步骤S40和S50。
在步骤S40中，信号显示推定装置40从通过步骤S20设定的ROI中选择未实施本步骤的ROI。并且，信号显示推定装置40以所选择出的ROI切取摄像头图像，使用基于机器学习的图像处理，对在切取出的ROI内点亮的灯光进行检测。信号显示推定装置40计算所点亮的灯光在ROI图像中的位置，根据所点亮的灯光的灯光颜色和位置来识别信号器的信号显示。
在步骤S50中，信号显示推定装置40计算通过步骤S40识别到的信号显示的评价值。
在步骤S60中，信号显示推定装置40判断已实施步骤S40、S50的ROI的数量i是否为通过步骤S10选择出的信号器的数量以上。在判定结果为否定的情况下，信号显示推定装置40返回到步骤S30。另一方面，在判定结果为肯定的情况下，信号显示推定装置40执行步骤S70和S80。
在步骤S70中，信号显示推定装置40对车辆1应该遵循的行进方向前方的前方信号器、和在信号显示上与前方信号器具有相关性的信号器进行整合。在该处理中，信号显示推定装置40利用表示多个信号器间的信号显示的关系的信号器间关系信息。
在步骤S80中，信号显示推定装置40基于被整合后的信号器的信号显示和评价值，推定车辆1应该遵循的行进方向前方的前方信号器的信号显示。
13.信号显示推定系统的变形例的构成
接着，使用图26对信号显示推定系统的变形例进行说明。图26是表示本实施方式涉及的信号显示推定系统70的变形例的构成的框图。在该变形例中，信号显示推定系统70具备摄像头22A、22B、外界传感器28、信号显示推定装置40、信号器数据库51以及关系数据库52。外界传感器28是对车辆1周围的目标物进行检测的传感器，例如包括LIDAR、毫米波雷达。
在该变形例中，信号显示推定装置40在作为位置信息取得部210、识别对象选择部220、ROI设定部230、信号显示识别部240、评价值计算部250、信号器整合部260以及信号显示推定部270的功能之外，还具备作为目标物追踪部300、信号显示推定部310、评价值计算部320以及推定结果选择部330的功能。也即是，在该变形例中，存储于控制装置100的存储器140的程序构成为在由处理器110进行了执行时，使处理器110进一步作为目标物追踪部300、信号显示推定部310、评价值计算部320以及推定结果选择部330进行工作。
以下，对作为变形例的特征部的目标物追踪部300、信号显示推定部310、评价值计算部320以及推定结果选择部330进行说明。
目标物追踪部300对通过外界传感器28检测到的目标物进行追踪。目标物追踪部300所追踪的目标物是在车辆1的周边行驶的车辆，不限于1台车辆。例如，在交叉路口的附近中，在车辆1的前方行驶的先行车辆成为追踪对象的目标物，在交叉路口中，在与车辆1的行进方向交叉的方向上行驶的交叉车辆也成为追踪对象的目标物。目标物追踪部300基于目标物相对于车辆的相对距离来推定地图上的目标物的绝对位置，并且，根据目标物的位置的变化推定目标物的速度。
信号显示推定部310根据通过目标物追踪部300推定的追踪目标物的位置和速度来判定追踪目标物的行为，根据追踪目标物的行为推定车辆1应该遵循的行进方向前方的前方信号器的信号显示。车辆1周边的目标物也与车辆1同样地按照信号器进行驾驶，因此，能够根据目标物的行为来推定前方信号器的信号显示。例如，若是作为追踪目标物的先行车辆通过了交叉路口，则前方信号器的信号显示能够推定为蓝。另外，若是作为追踪目标物的交叉车辆通过了交叉路口，则前方信号器的信号显示能够推定为红。此外，相对于被定位为“第1信号显示推定部”的信号显示推定部270，信号显示推定部310被定位为“第2信号显示推定部”。
评价值计算部320计算对通过信号显示推定部310推定(决定)的前方信号器的信号显示(第2推定信号显示)的似然度进行表示的“评价值(第2评价值)”。通过评价值计算部250计算的“评价值(第1评价值)”是表示基于摄像头图像识别到的信号显示的确定度的参数，相对于此，通过评价值计算部320计算的“评价值(第2评价值)”是表示根据目标物的行为推定的信号显示的似然度的参数。例如，能够利用成为了信号显示的推定基础的目标物的跟踪可靠度、该目标物的位置或者速度的方差等来作为“评价值(第2评价值)”。此外，相对于被定位为“第1评价值计算部”的评价值计算部250，评价值计算部320被定位为“第2评价值计算部”。
推定结果选择部330对与通过信号显示推定部270推定的信号显示(第1推定信号显示)对应的评价值(以下记载为评价值A)和通过评价值计算部320计算出的评价值(以下记载为评价值B)进行比较。在评价值A比评价值B高的情况下，推定结果选择部330选择通过信号显示推定部270推定的信号显示(第1推定信号显示)来作为最终的推定结果。相反地，在评价值A为评价值B以下的情况下，推定结果选择部330选择通过信号显示推定部310推定的信号显示(第2推定信号显示)来作为最终的推定结果。
14.信号显示推定系统的变形例中的处理流程
接着，对本实施方式涉及的信号显示推定系统70的变形例中的处理流程进行说明。图27是表示本实施方式涉及的信号显示推定系统70的变形例中的处理流程、特别是变形例涉及的信号显示推定装置40的处理流程的流程图。但是，在流程图中仅示出了步骤S80以后的处理。
在步骤S90中，信号显示推定装置40决定通过步骤S80推定的信号显示(第1推定信号显示)的评价值(评价值A)。例如，若是基于被整合后的信号器中具有最高的评价值的信号器的信号显示推定了前方信号器的信号显示，则该最高的评价值被决定为评价值A。
在步骤S100中，信号显示推定装置40对通过外界传感器28检测到的目标物进行追踪，推定目标物的位置和速度。
在步骤S110中，信号显示推定装置40根据目标物的位置和速度判定目标物的行为，基于目标物的行为来推定前方信号器的信号显示(第2推定信号显示)。将该处理称为第2信号显示推定处理。
在步骤S120中，信号显示推定装置40计算对通过第2信号显示推定处理推定的前方信号器的信号显示(第2推定信号显示)的似然度进行表示的评价值(评价值B)。将该处理称为第2评价值计算处理。
在步骤S130中，信号显示推定装置40对评价值A和评价值B进行比较。在评价值A比评价值B高的情况下，信号显示推定装置40选择步骤S140，选择根据摄像头图像推定的信号显示(第1推定信号显示)来作为最终的推定结果。另一方面，在评价值A为评价值B以下的情况下，信号显示推定装置40选择步骤S150，选择根据目标物的行为推定的信号显示(第2推定信号显示)来作为最终的推定结果。将这些处理称为推定结果选择处理。
通过将以上的步骤S90～S150的处理追加至到步骤S80为止的处理来进行执行，即使是在无法确保基于摄像头图像的信号显示的推定精度的情况下，也能够基于周边车辆的行为来推定车辆1应该遵循的行进方向前方的前方信号器的信号显示。
15.其他
在上述实施方式中，以在车辆1的通行为左侧通行、使用横向型的信号器的国家或者地域中取得的摄像头图像为例，但对于能否应用本发明涉及的信号显示推定系统，不取决于交通法规。例如，也可以应用于如图28所示那样的车辆1的通行为右侧通行、使用纵向型的信号器的国家或者地域。

Claims (12)

1.一种信号显示推定系统，其特征在于，具备：
一个或者多个摄像头，其安装于车辆，对行进方向前方的风景进行拍摄；
计算机，其与所述一个或者多个摄像头结合；以及
存储装置，其与所述计算机结合，
所述存储装置包括：
信号器数据库，其包含表示信号器的位置和朝向的信号器信息；和
关系数据库，其包含表示基于交通法规的、多个信号器间的信号显示的关系的信号器间关系信息，
所述计算机执行：
信号器识别处理，基于所述车辆的位置信息和所述信号器信息，对通过所述一个或者多个摄像头拍摄到的摄像头图像所包含的信号器进行识别；
信号显示识别处理，按通过所述信号器识别处理识别到的各信号器，对信号显示进行识别；
第1评价值计算处理，按各信号器计算第1评价值，所述第1评价值表示通过所述信号显示识别处理识别到的信号显示的确定度；
信号器整合处理，在通过所述信号器识别处理识别到的多个信号器中，基于所述信号器间关系信息，对所述车辆应该遵循的行进方向前方的前方信号器和在信号显示上与所述前方信号器具有相关性的一个或多个信号器进行整合；以及
信号显示推定处理，在通过所述信号器整合处理整合后的多个信号器之间，在通过所述信号显示识别处理识别到的信号显示上存在不匹配的情况下，基于通过所述第1评价值计算处理计算出的、通过所述信号器整合处理与所述前方信号器整合的所述一个或多个信号器中第1评价值最高的信号器的信号显示，决定所述前方信号器的第1推定信号显示，
与所述前方信号器整合的所述一个或多个信号器，与和所述前方信号器相同的交叉路口相关联。
2.根据权利要求1所述的信号显示推定系统，其特征在于，
所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，选择位于距所述一个或者多个摄像头为指定距离内的位置的信号器，在所述摄像头图像中对所选择的信号器进行识别。
3.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，选择位于所述一个或者多个摄像头的视角内的信号器，在所述摄像头图像中对所选择的信号器进行识别。
4.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，计算各信号器相对于所述一个或者多个摄像头的正对程度，在所述摄像头图像中对所述正对程度为阈值以上的信号器进行识别。
5.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述信号器识别处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，计算各信号器相对于所述一个或者多个摄像头的仰角，并且，使用所述车辆的位置和时刻，计算太阳高度，在所述摄像头图像中对所述仰角为根据所述太阳高度决定的仰角阈值以下的信号器进行识别。
6.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：在通过所述信号器识别处理识别到的特定的两个信号器之间，通过所述信号显示识别处理识别到的信号显示的关系与所述信号器间关系信息匹配的情况下，分别使所述特定的两个信号器的信号显示的第1评价值增加。
7.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：计算通过所述信号器识别处理识别到的信号器距所述摄像头图像的中心的距离，越是所述距离短的信号器，越使其信号显示的第1评价值增加。
8.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：使用所述车辆的位置信息和所述信号器信息，计算信号器矢量，越是车辆矢量与所述信号器矢量所成的角度大的信号器，越使其信号显示的第1评价值减少，所述信号器矢量是表示通过所述信号器识别处理识别到的信号器相对于所述一个或者多个摄像头在实际空间上的方向的矢量，所述车辆矢量是表示所述车辆在实际空间上的行进方向的矢量。
9.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：计算在所述摄像头图像中通过所述信号器识别处理识别到的信号器被其他目标物遮挡的遮挡度，越是所述遮挡度大的信号器，越使其信号显示的第1评价值减少。
10.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：对于在过去时刻的所述信号显示识别处理中识别到信号显示、但在当前时刻的所述信号显示识别处理中未识别到信号显示的信号器，基于所述过去时刻的第1评价值和从所述过去时刻起的经过时间，计算所述当前时刻的第1评价值。
11.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述第1评价值计算处理包括如下处理：在通过所述信号器识别处理识别到的特定的信号器中，通过所述信号显示识别处理连续地多次识别到相同的信号显示的情况下，与所述相同的信号显示的连续识别次数相应地使所述特定的信号器的信号显示的第1评价值增加。
12.根据权利要求1或者2所述的信号显示推定系统，其特征在于，
所述信号显示推定系统具备对存在于所述车辆的周边的目标物进行检测的外界传感器，
所述计算机还执行：
第2信号显示推定处理，根据通过所述外界传感器检测到的目标物的行为，决定所述前方信号器的第2推定信号显示；
第2评价值计算处理，计算第2评价值，所述第2评价值表示通过所述第2信号显示推定处理决定的所述前方信号器的第2推定信号显示的确定度；以及
推定结果选择处理，在与通过第1信号显示推定处理决定的第1推定信号显示对应的第1评价值比通过所述第2评价值计算处理计算出的第2评价值高的情况下，选择通过所述第1信号显示推定处理决定的第1推定信号显示来作为最终的推定结果，在与通过所述第1信号显示推定处理决定的第1推定信号显示对应的第1评价值为通过所述第2评价值计算处理计算出的第2评价值以下的情况下，选择通过所述第2信号显示推定处理决定的第2推定信号显示来作为最终的推定结果。
CN202010708655.XA 2019-07-23 2020-07-22 信号显示推定系统 Active CN112289067B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-135553 2019-07-23
JP2019135553A JP7088135B2 (ja) 2019-07-23 2019-07-23 信号表示推定システム

Publications (2)

Publication Number Publication Date
CN112289067A CN112289067A (zh) 2021-01-29
CN112289067B true CN112289067B (zh) 2022-05-31

Family

ID=71661623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708655.XA Active CN112289067B (zh) 2019-07-23 2020-07-22 信号显示推定系统

Country Status (4)

Country Link
US (1) US11367291B2 (zh)
EP (1) EP3770880B1 (zh)
JP (1) JP7088135B2 (zh)
CN (1) CN112289067B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250697B2 (en) * 2018-12-26 2022-02-15 Uatc, Llc Missing traffic face detector
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
MX2022005516A (es) * 2019-11-12 2022-11-17 Nissan Motor Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.
KR20210077280A (ko) * 2019-12-17 2021-06-25 현대자동차주식회사 V2x 통신을 이용한 차량의 자율주행 시스템 및 그 방법
KR20220083945A (ko) * 2020-12-11 2022-06-21 현대자동차주식회사 신호등 정보 제공 장치, 그를 포함한 차량 시스템 및 그 방법
KR102458071B1 (ko) * 2021-04-15 2022-10-25 주식회사 에스더블유엠 자율주행차량의 신호등 인식장치 및 인식방법
CN113409608A (zh) * 2021-06-25 2021-09-17 阿波罗智联(北京)科技有限公司 针对交通信号灯的提示方法、装置、车辆和电子设备
JP7400778B2 (ja) * 2021-06-25 2023-12-19 株式会社デンソー 冷却システム
JP7503031B2 (ja) * 2021-08-02 2024-06-19 株式会社デンソー 車両制御装置
JP2023021835A (ja) * 2021-08-02 2023-02-14 株式会社デンソー 車両制御装置
CN113947917B (zh) * 2021-09-23 2023-10-24 联想(北京)有限公司 信号显示装置的提示方法及装置、设备、存储介质
EP4213112A1 (en) * 2022-01-13 2023-07-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for detecting a color of a traffic light in an environment of a vehicle
JP2023140157A (ja) * 2022-03-22 2023-10-04 トヨタ自動車株式会社 車両制御方法、車両制御システム、及び車両制御プログラム
DE102022127111A1 (de) * 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Betrieb einer Fahrfunktion auf einer Zufahrts-Fahrbahn zu einer Signalisierungseinheit

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915281B2 (ja) 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
EP2983153B1 (en) * 2013-04-04 2018-12-19 Nissan Motor Co., Ltd Signal recognition device
EP3147884B1 (en) * 2014-05-20 2019-12-11 Nissan Motor Co., Ltd Traffic-light recognition device and traffic-light recognition method
JP6299517B2 (ja) 2014-08-08 2018-03-28 日産自動車株式会社 信号機認識装置及び信号機認識方法
JP6712447B2 (ja) * 2015-06-30 2020-06-24 株式会社ゼンリン 運転支援装置、プログラム
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
JP2017182297A (ja) * 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 車両制御装置および車両制御方法
US9977975B2 (en) * 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
US10643084B2 (en) * 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
JP2019049892A (ja) * 2017-09-11 2019-03-28 トヨタ自動車株式会社 信号機認識装置
JP6939615B2 (ja) * 2018-02-02 2021-09-22 トヨタ自動車株式会社 信号機認識装置

Also Published As

Publication number Publication date
US11367291B2 (en) 2022-06-21
US20210027076A1 (en) 2021-01-28
EP3770880B1 (en) 2024-05-01
CN112289067A (zh) 2021-01-29
JP2021018737A (ja) 2021-02-15
EP3770880A1 (en) 2021-01-27
JP7088135B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112289067B (zh) 信号显示推定系统
CN110895417B (zh) 车辆控制装置、车辆控制方法及存储介质
JP3766909B2 (ja) 走行環境認識方法および装置
CN111712419B (zh) 驾驶辅助装置以及驾驶辅助方法
JP5363921B2 (ja) 車両用白線認識装置
CN112298196B (zh) 信号器信息管理系统
JP5363920B2 (ja) 車両用白線認識装置
CN111746531A (zh) 车辆控制装置、车辆控制方法、及存储介质
CN111746550B (zh) 车辆控制装置、车辆控制方法、及存储介质
US11701967B2 (en) Display control device, display control method, and storage medium
JP6642886B2 (ja) 車両の運転支援装置
CN114954509A (zh) 判定装置、车辆控制装置、判定方法以及存储介质
CN111746530B (zh) 车辆控制装置、车辆控制方法、及存储介质
US20240051531A1 (en) Vehicle control device, vehicle control method, and storage medium
KR102335987B1 (ko) 차량 주행제어 장치 및 방법
CN111746529B (zh) 车辆控制装置、车辆控制方法、及存储介质
JP2006040029A (ja) 障害物認識方法及び障害物認識装置
CN111746528B (zh) 车辆控制装置、车辆控制方法、及存储介质
US20240203136A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7467522B2 (ja) 車両制御装置
US20240051529A1 (en) Vehicle control device, vehicle control method, and storage medium
US20230294702A1 (en) Control device, control method, and storage medium
US20240051532A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2024013451A (ja) 車両用検出装置
CN116767193A (zh) 驾驶支援装置、驾驶支援方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant