CN115071702A - 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 - Google Patents

车辆控制装置、车辆控制方法以及车辆控制用计算机程序 Download PDF

Info

Publication number
CN115071702A
CN115071702A CN202210253041.6A CN202210253041A CN115071702A CN 115071702 A CN115071702 A CN 115071702A CN 202210253041 A CN202210253041 A CN 202210253041A CN 115071702 A CN115071702 A CN 115071702A
Authority
CN
China
Prior art keywords
vehicle
control
control value
state
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210253041.6A
Other languages
English (en)
Inventor
桥本大辅
小堀训成
镰田一史
长田侑士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115071702A publication Critical patent/CN115071702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/803—Relative lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供一种车辆控制装置、车辆控制方法以及车辆控制用计算机程序。车辆控制装置具有：状态识别部(33)，将从通过车辆(10)的拍摄部得到的图像中的表示周边车辆的物体区域提取的特征输入到信号灯状态识别器来识别周边车辆的信号灯的状态；第1控制指示决定部(34)，基于周边车辆的信号灯的状态的识别结果及车辆与周边车辆的相对位置关系，按照预定规则来决定第1控制值；第2控制指示决定部(35)，通过将所述识别结果输入到被预先进行了学习以使得输出第2控制值的控制指示识别器来决定第2控制值，该第2控制值用于控制车辆以使得避免其与周边车辆的碰撞；以及控制指示综合部(36)，根据第1和第2控制值决定在车辆的控制中使用的综合控制值。

Description

车辆控制装置、车辆控制方法以及车辆控制用计算机程序
技术领域
本发明涉及车辆控制装置、车辆控制方法以及车辆控制用计算机程序。
背景技术
为了对车辆进行自动驾驶控制或者对驾驶员进行的车辆驾驶进行辅助，希望能够准确地预测在车辆的周围行驶的其他车辆的行为。于是，为了预测其他车辆的行为，提出了使用所谓的深度神经网络(以下简称为DNN)这样的机器学习方法的技术(参照日本特开2020－42786号公报)。
日本特开2020－42786号公报所公开的汽车图像的处理方法取得设置于自动驾驶设备的汽车图像的收集点所收集到的应该处理的图像，利用深度学习模型对应该处理的图像进行处理，输出应该处理的图像中的汽车的状态参数。并且，该处理方法基于状态参数来确定应该处理的图像中的汽车行为。另外，应该处理的图像中的汽车的状态参数是为了表示刹车灯状态、方向指示灯状态、车门状态、后备箱门状态、车轮方向状态中的一个或者多个而使用的。
发明内容
有时根据车辆周围的行驶环境，会难以精度良好地检测在车辆的周围行驶的其他车辆的方向指示灯或者刹车灯的状态。并且，当方向指示灯或者刹车灯的状态检测失败时，车辆的控制装置有可能进行以车辆与其他车辆发生碰撞风险这种程度的方式接近、或者进行不必要的减速或制动这样的不适当的车辆控制。
于是，本发明的目的在于提供一种车辆控制装置，其即使难以识别车辆周围的其他车辆的信号灯的状态，也能够适当地对车辆进行控制。
根据一个实施方式，提供一种车辆控制装置。该车辆控制装置具有：物体检测部，其从通过设置于车辆的对车辆的周围进行拍摄的拍摄部得到的图像中，检测表示了在车辆的周围行驶的周边车辆的物体区域；状态识别部，其通过将从该图像上的物体区域提取的特征输入到信号灯状态识别器来对周边车辆的信号灯的状态进行识别，该信号灯状态识别器被预先进行了学习以使得对周边车辆的信号灯的状态进行识别；第1控制指示决定部，其基于周边车辆的信号灯的状态的识别结果以及车辆与周边车辆的相对位置关系，按照用于对车辆进行控制以使得避免车辆与周边车辆的碰撞的预定规则来决定第1控制值；第2控制指示决定部，其通过将周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定第2控制值，该控制指示识别器被预先进行了学习以使得输出第2控制值，该第2控制值用于对车辆进行控制以使得避免车辆与周边车辆的碰撞；控制指示综合部，其基于第1控制值与第2控制值之差或者第2控制值的绝对值，决定用于避免车辆与周边车辆的碰撞的综合控制值；以及控制部，其按照综合控制值来对车辆的行驶进行控制。
在该车辆控制装置中，优选第1控制指示决定部按预定周期输出第1控制值，并且，第2控制指示决定部按预定周期输出第2控制值，控制指示综合部在第1控制值与第2控制值之差的绝对值为一定值以下的期间持续了预定的时间阈值以上的情况下，将在该期间内输出的任一第1控制值和在该期间内输出的任一第2控制值的平均值作为综合控制值。
或者，优选第1控制指示决定部按预定周期输出第1控制值，并且，第2控制指示决定部按预定周期输出第2控制值，控制指示综合部在第1控制值与第2控制值之差的绝对值为一定值以上的期间持续了预定的时间阈值以上的情况下，将在该期间内输出的第1控制值的平均值和在该期间内输出的第2控制值的平均值中的绝对值大的一方作为综合控制值。
进一步，在该车辆控制装置中，优选控制指示综合部在第2控制值的绝对值为预定的上限值以上的情况下，将该上限值或者第1控制值作为综合控制值。
进一步，在该车辆控制装置中，优选第2控制指示决定部通过将车辆与周边车辆间的相对位置关系、相对车速、相对加减速度、物体区域的尺寸以及物体区域的位置中的至少一个与周边车辆的信号灯的状态的识别结果一起输入到控制指示识别器来决定第2控制值。
再进一步，在该车辆控制装置中，优选信号灯状态识别器具有被输入从物体区域提取的特征的输入层、输出周边车辆的信号灯的状态的输出层以及在输入层与输出层之间从输入层向输出层依次设置的至少一个中间层，至少一个中间层分别对来自比该中间层靠输入层侧的层的输出执行预定运算，第2控制指示决定部通过将关于信号灯状态识别器的至少一个中间层的任一中间层的预定运算的结果与周边车辆的信号灯的状态的识别结果一起输入到控制指示识别器来决定第2控制值。
再进一步，在该车辆控制装置中，优选信号灯状态识别器具有递归构造，状态识别部通过将从在图像之前过去由拍摄部得到的一个以上的过去图像各自中的物体区域提取的特征和从图像上的物体区域提取的特征按时间序列的顺序输入到信号灯状态识别器，对周边车辆的信号灯的状态进行识别。
或者，在该车辆控制装置中，优选信号灯状态识别器是具有执行时间轴方向上的卷积运算的卷积层的卷积神经网络，状态识别部通过将从在图像之前过去由拍摄部得到的一个以上的过去图像各自中的物体区域提取的特征和从图像上的物体区域提取的特征输入到信号灯状态识别器，对周边车辆的信号灯的状态进行识别。
根据其他实施方式，提供一种车辆控制方法。该车辆控制方法包括：从通过设置于车辆的对车辆的周围进行拍摄的拍摄部得到的图像中，检测表示了在车辆的周围行驶的周边车辆的物体区域；通过将从该图像上的物体区域提取的特征输入到信号灯状态识别器来对周边车辆的信号灯的状态进行识别，该信号灯状态识别器被预先进行了学习以使得对周边车辆的信号灯的状态进行识别；基于周边车辆的信号灯的状态的识别结果以及车辆与周边车辆的相对位置关系，按照用于对车辆进行控制以使得避免车辆与周边车辆的碰撞的预定规则来决定第1控制值；通过将周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定第2控制值，该控制指示识别器被预先进行了学习以使得输出第2控制值，该第2控制值用于对车辆进行控制以使得避免车辆与周边车辆的碰撞；基于第1控制值与第2控制值之差或者第2控制值的绝对值，决定用于避免车辆与周边车辆的碰撞的综合控制值；以及按照综合控制值来对车辆的行驶进行控制。
根据又一实施方式，提供一种车辆控制用计算机程序。该车辆控制用计算机程序用于使搭载于车辆的处理器执行：从通过设置于车辆的对车辆的周围进行拍摄的拍摄部得到的图像，检测表示了在车辆的周围行驶的周边车辆的物体区域；通过将从该图像上的物体区域提取的特征输入到信号灯状态识别器来对周边车辆的信号灯的状态进行识别，该信号灯状态识别器被预先进行了学习以使得对周边车辆的信号灯的状态进行识别；基于周边车辆的信号灯的状态的识别结果以及车辆与周边车辆的相对位置关系，按照用于对车辆进行控制以使得避免车辆与周边车辆的碰撞的预定规则来决定第1控制值；通过将周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定第2控制值，该控制指示识别器被预先进行了学习以使得输出第2控制值，该第2控制值用于对车辆进行控制以使得避免车辆与周边车辆的碰撞；基于第1控制值与第2控制值之差或者第2控制值的绝对值，决定用于避免车辆与周边车辆的碰撞的综合控制值；以及按照综合控制值来对车辆的行驶进行控制。
本发明涉及的车辆控制装置实现如下效果：即使难以识别车辆周围的其他车辆的信号灯的状态，也能够适当地对车辆进行控制。
附图说明
图1是安装有车辆控制装置的车辆控制系统的概略构成图。
图2是作为车辆控制装置的一个实施方式的电子控制装置的硬件结构图。
图3是与车辆控制处理有关的电子控制装置的处理器的功能框图。
图4是对第1控制指示决定的一个例子的概要进行说明的图。
图5是车辆控制处理的动作流程图。
具体实施方式
以下，参照附图对车辆控制装置以及在车辆控制装置上执行的车辆控制方法和车辆控制用计算机程序进行说明。该车辆控制装置对由搭载于车辆的摄像头生成的以时间序列方式得到的一系列图像中所表示出的、在车辆的周围行驶的其他车辆(以下，为了便于说明而称为周边车辆)的信号灯的状态进行识别，利用该识别结果来对车辆进行控制。因此，该车辆控制装置通过向物体检测用的识别器输入该一系列的图像，从而按图像来检测在该图像上包含周边车辆的区域(以下有时称为物体区域)，该识别器预先被进行了学习以使得对周边车辆进行检测。并且，该车辆控制装置通过对从各图像中检测到的周边车辆进行跟踪，从而将在各图像中表示了相同的周边车辆的物体区域彼此进行关联。另外，该车辆控制装置通过按时间序列顺序将根据一系列图像中的表示了相同的周边车辆的物体区域内的像素值求出的特征输入到信号灯状态识别用的识别器，从而识别周边车辆的信号灯的状态(以下有时简称为信号灯状态)。并且，该车辆控制装置基于周边车辆的信号灯状态的识别结果和车辆与周边车辆的相对位置关系，按照用于对车辆进行控制以使得避免车辆与周边车辆的碰撞的预定规则，求出包括第1控制值的第1控制指示。进一步，该车辆控制装置通过将周边车辆的信号灯状态的识别结果输入到控制指示决定用的识别器，从而求出包括第2控制值的第2控制指示，该控制指示决定用的识别器被预先进行了学习以使得输出用于对车辆进行控制以避免车辆与周边车辆的碰撞。并且，该车辆控制装置基于第1控制值和第2控制值来决定包括最终的控制值(以下称为综合控制值)的综合控制指示，按照综合控制指示对车辆的行驶进行控制。
例如在周边车辆进行车道变更的情况下，会使转弯信号闪烁。另外，周边车辆在减速时会使刹车灯点亮。这些信号或者灯这样的信号灯的点亮或者闪烁表示周边车辆在该时间点或者不久之后实施的行为的可能性高。于是，该车辆控制装置对周边车辆的信号灯状态进行识别，根据通过将该识别结果作为输入的控制指示决定用的识别器得到的控制指示、和基于预定规则而根据信号灯状态的识别结果等决定的控制指示，决定综合控制指示。这样，该车辆控制装置对按照利用信号灯状态的识别结果的两种方法得到的控制指示进行评价，决定能够避免车辆与周边车辆的碰撞的可能性高的综合控制指示。因此，该车辆控制装置即使是在难以识别周边车辆的信号灯状态的行驶环境中也能够决定适当的控制指示。此外，在以下的例子中，作为各控制指示所包括的控制值，要求车辆的加速度或者减速度(以下一并称为加减速度)。但是，各控制值不限于加减速度，也可以是转向角。
图1是安装有车辆控制装置的车辆控制系统的概略构成图。另外，图2是作为车辆控制装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10、且对车辆10进行控制的车辆控制系统1具有用于对车辆10的周围进行拍摄的摄像头2、和作为车辆控制装置的一个例子的电子控制装置(ECU)3。摄像头2和ECU3经由遵循了控制器局域网络这样标准的车内网络以能够通信的方式相连接。此外，车辆控制系统1也可以还具有存储在车辆10的自动驾驶控制中所使用的地图的储存装置。进一步，车辆控制系统1也可以具有LiDAR或者雷达这样的测距传感器、GPS接收机这样的用于依照卫星测位系统对车辆10的自我位置进行测位的接收机、用于与其他设备进行无线通信的无线终端。再进一步，车辆控制系统1也可以具有用于对车辆10的预定行驶路线进行搜索的导航装置。
摄像头2是拍摄部的一个例子，具有CCD或者C-MOS等的由对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上成像成为拍摄对象的区域的像的成像光学系统。并且，摄像头2例如以朝向车辆10的前方的方式安装在车辆10的车室内。并且，摄像头2按预定的拍摄周期(例如1/30秒～1/10秒)对车辆10的前方区域进行拍摄，生成映现了该前方区域的图像。由摄像头2得到的图像优选为彩色图像。此外，也可以在车辆10设置有拍摄方向或者焦点距离不同的多个摄像头。
摄像头2每当生成图像时，经由车内网络向ECU3输出该所生成的图像。
ECU3对车辆10进行控制。在本实施方式中，ECU3基于从通过摄像头2得到的时间序列的一系列图像检测到的周边车辆的信号灯状态，对车辆10进行自动驾驶控制，以使得避免车辆10与周边车辆的碰撞。因此，ECU3具有通信接口21、存储器22以及处理器23。
通信接口21是通信部的一个例子，具有用于将ECU3连接于车内网络的接口电路。即，通信接口21经由车内网络与摄像头2连接。并且，通信接口21每当从摄像头2接收图像时，将所接收到的图像交给处理器23。
存储器22是存储部的一个例子，例如具有易失性的半导体存储器和非易失性的半导体存储器。此外，存储器22也可以在如后述的那样处理器23具有多个运算单元的情况下，按运算单元而具有专用的存储电路。并且，存储器22存储在通过ECU3的处理器23执行的车辆控制处理中所使用的各种数据以及参数、例如从摄像头2接收到的图像、用于确定在车辆控制处理中利用的各识别器的各种参数等。进一步，存储器22将表示与所检测到的周边车辆有关的信息的检测物体列表这样的、在车辆控制处理的途中所生成的各种数据存储一定期间。再进一步，存储器22也可以存储地图信息这样的在车辆10的行驶控制中利用的信息。
处理器23是控制部的一个例子，具有一个或者多个CPU(Central ProcessingUnit，中央处理单元)及其外围电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图形处理单元(Graphics Processing Unit，GPU)这样的其他运算电路。并且，处理器23在车辆10行驶期间每当从摄像头2接收图像时，基于所接收到的图像来检测周边车辆，对车辆10进行自动驾驶控制以使得车辆10与周边车辆不碰撞。
图3是与车辆控制处理有关的ECU3的处理器23的功能框图。处理器23具有物体检测部31、跟踪部32、状态识别部33、第1控制指示决定部34、第2控制指示决定部35、控制指示综合部36以及车辆控制部37。处理器23具有的这些各部例如为由在处理器23上动作的计算机程序实现的功能块。或者，处理器23具有的这些各部也可以是设置于处理器23的专用的运算电路。此外，在车辆10设置有多个摄像头的情况下，处理器23也可以按摄像头而基于由该摄像头得到的图像来执行车辆控制处理。
物体检测部31通过每当从摄像头2接收图像时，将所接收到的最新的图像输入到物体检测用的识别器，从而对包含表示于该图像的周边车辆、且具有预定形状的区域(即物体区域)进行检测，并且，确定周边车辆的种类。
在本实施方式中，物体检测部31利用被预先进行了学习以使得对包含表示于图像的周边车辆的物体区域进行检测、且对周边车辆的种类进行识别的DNN来作为物体检测用的识别器。物体检测部31利用的DNN例如可以设为Single Shot MultiBox Detector(SSD)或者Faster R-CNN这样的具有卷积神经网络(以下简称为CNN)型的架构的DNN。
例如，在物体检测用的识别器被作为DNN来构成的情况下，该识别器具有设置于被输入图像的输入侧的主干部、和与主干部相比而设置于输出侧的位置检测部以及种类推定部。位置检测部基于来自主干部的输出，输出表示在了图像上的、周边车辆等的检测对象物体的外接矩形来作为物体区域。此外，物体区域的形状不限于矩形形状，例如也可以是圆形、椭圆形或者五边形以上的多边形形状。种类推定部基于来自主干部的输出，算出在位置检测部检测到的物体区域所表示的周边车辆的各种类(例如普通乘用车、巴士、卡车、二轮车等)的确信度。此外，位置检测部和种类推定部也可以一体地形成。
主干部例如可以设为具有从输入侧向输出侧串联地连接的多个层的CNN。该多个层包括2个以上的卷积层。进一步，主干部具有的多个层也可以包括按一个或者多个卷积层而设置的池化层。
主干部通过当被输入图像时对该图像执行各层的运算，从而输出从该图像算出的feature map(特征图)。此外，主干部也可以输出分辨率不同的多个feature map。例如，主干部也可以输入具有与所被输入的图像的分辨率相同的分辨率的feature map、和分辨率比所被输入的图像的分辨率低的1个以上的feature map。
从主干部输出的feature map分别被输入到位置检测部和种类推定部。并且，位置检测部和种类推定部可以分别例如设为具有从输入侧向输出侧串联地连接的多个层的CNN。关于位置检测部和种类推定部的各部，CNN具有的多个层包括2个以上的卷积层。另外，关于位置检测部和种类推定部的各部，CNN具有的多个层也可以包括按一个或者多个卷积层而设置的池化层。此外，CNN具有的卷积层和池化层也可以关于位置检测部和种类推定部被共用化。进一步，关于位置检测部和种类推定部的各部，也可以在多个层包括1个以上的全连接层。在该情况下，全连接层优选与各卷积层相比而设置在输出侧。另外，也可以在全连接层直接输入来自各卷积层的输出。另外，种类推定部的输出层既可以设为按照Softmax函数算出周边车辆的种类各自的确信度的Softmax层，也可以设为按照Sigmoid函数算出周边车辆的种类各自的确信度的Sigmoid层。
位置检测部和种类推定部例如被按图像上的各种各样的位置、各种各样的尺寸以及各种各样的深宽比的区域而进行学习，以使得输出周边车辆的种类各自的确信度。因此，识别器通过被输入图像，按图像上的各种各样的位置、各种各样的尺寸以及各种各样的深宽比的区域而输出周边车辆的种类各自的确信度。并且，位置检测部和种类推定部检测关于任一种类的周边车辆的确信度成为预定的确信度阈值以上的区域来作为表示了该种类的周边车辆的物体区域。
对利用于识别器的学习的教师数据所包含的图像(教师图像)例如添加有成为检测对象的周边车辆的种类、和作为表示了周边车辆的物体区域的该周边车辆的外接矩形的标签。
识别器使用如上述那样的大量的教师图像，例如按照误差反向传播法这样的学习方法被进行学习。处理器23通过利用这样被进行了学习的识别器，能够从图像精度良好地检测成为检测对象的周边车辆。
根据变形例，物体检测部31也可以利用DNN以外的识别器，从图像检测周边车辆。例如，物体检测部31也可以使用支持向量机(SVM)来作为物体检测用的识别器，该支持向量机预先被进行了学习，以使得将从设定在学习图像上的窗口算出的特征量作为输入，输出在该窗口表示有周边车辆的确信度。物体检测部31通过一边对设定在图像上的窗口的位置、尺寸以及深宽比进行各种各样的变更，一边从该窗口算出特征量(例如HOG)，向SVM输入所算出的特征量，从而关于该窗口求出确信度。并且，物体检测部31判定为在确信度成为预定的确信度阈值以上的窗口表示有周边车辆，并且，将该窗口作为物体区域即可。
此外，物体检测部31也可以检测周边车辆以外的、对车辆10的行驶控制有影响的物体。那样的物体例如包括人、道路标识、交通信号灯、车道区划线等的道路标示以及道路上的其他物体等。在该情况下，物体检测用的识别器被预先进行学习以使得也检测这些物体即可。并且，物体检测部31通过将图像输入到该物体检测用的识别器，能够也检测这些物体。
物体检测部31也可以通过进一步执行非极大值抑制(Non-maximum suppression(NMS))处理，从至少部分地重叠的两个以上的物体区域中的推定为表示有同一物体的物体区域选择一个。
物体检测部31将各物体区域在图像上的位置以及范围和该物体区域所包含的物体的种类登记于检测物体列表。并且，物体检测部31将检测物体列表存储于存储器22。进一步，物体检测部31关于各物体区域，将通过物体检测用的识别器的主干部从该物体区域所包含的各像素算出、且被向状态识别部33输出的feature map存储于存储器22。此外，被向状态识别部33输出的feature map能够设为具有与被输入到了物体检测用的识别器的图像的分辨率相同的分辨率。另外，在通过物体检测用的识别器的主干部具有的池化层等算出具有比所被输入的图像的分辨率低的分辨率的feature map的情况下，也可以该具有低的分辨率的feature map被输出给状态识别部33。进一步，也可以通过物体检测用的识别器的主干部算出的、具有互不相同的分辨率的多个feature map被输出给状态识别部33。
跟踪部32关于从最新的图像检测到的物体区域的各个区域，将表示于该物体区域的周边车辆与参照检测物体列表而从过去的图像检测到的周边车辆相关联，由此，对表示于该物体区域的周边车辆进行跟踪。
跟踪部32例如通过对最新的图像中的所着眼的物体区域和过去的图像中的物体区域应用Lucas-Kanade法这样的、基于光流的跟踪处理，从而对表示于该物体区域的周边车辆进行跟踪。因此，跟踪部32例如通过对所着眼的物体区域应用SIFT或者Harris运算符这样的特征点提取用的滤波器，从而从该物体区域提取多个特征点。并且，跟踪部32通过关于多个特征点分别按照所应用的跟踪方法来确定过去的图像中的物体区域中的所对应的点，从而算出光流即可。或者，跟踪部32也可以通过对最新的图像中的所着眼的物体区域和过去的图像中的物体区域应用从图像检测到的移动物体的跟踪中所应用的其他跟踪方法，从而对表示于该物体区域的周边车辆进行跟踪。
跟踪部32对于从最新的图像检测到的周边车辆中的、未与过去的图像所表示了的周边车辆相关联的周边车辆，分配与其他的跟踪中的周边车辆不同的识别编号来作为新的跟踪对象，将该所分配了的识别编号登记于检测物体列表。另一方面，跟踪部32关于从最新的图像检测到的周边车辆中的与过去的图像所表示了的周边车辆相关联的周边车辆、即跟踪中的周边车辆，关联与被分配给了该跟踪中的周边车辆的识别编号相同的识别编号。
跟踪部32向状态识别部33通知成为状态识别的对象的跟踪中的周边车辆的识别编号。另外，跟踪部32推定成为状态识别的对象的跟踪中的周边车辆与车辆10的相对位置关系、相对速度以及该周边车辆的减速度，将其推定结果登记于检测列表。
跟踪部32能够基于图像上的包含周边车辆的物体区域的位置和摄像头2的光轴方向，确定从车辆10朝向周边车辆的方向。另外，物体区域的下端的位置被设想为表示该物体区域所包含的周边车辆与路面接触的位置。于是，跟踪部32能够基于与物体区域的下端对应的从摄像头2起算的方位和摄像头2的设置高度，推定到表示于该物体区域的周边车辆为止的距离。并且，跟踪部32在与车辆10的行进方向正交的方向(以下称为横向)上的车辆10与周边车辆间的距离比与一条车道的宽度相当的距离短的情况下，推定为车辆10和周边车辆行驶在相同的车道上。另一方面，跟踪部32在横向上的车辆10与周边车辆间的距离为与一条车道的宽度相当的距离的情况下，推定为周边车辆行驶在与车辆10行驶的车道相邻的车道上。进一步，基于从车辆10到周边车辆的距离以及方位的变化和生成各图像时的车辆10的车速以及加减速度，跟踪部32推定车辆10与周边车辆间的相对速度以及该周边车辆的减速度即可。此外，从车辆10到周边车辆的距离以及方位的变化根据在周边车辆的跟踪中所生成了的各图像中的物体区域的位置变化来进行推定。
状态识别部33关于跟踪中的周边车辆的各个车辆，每当从摄像头2得到图像时，将根据包含该周边车辆的物体区域内的像素值求出的特征输入到具有递归构造的信号灯状态识别用的识别器(以下简称为信号灯状态识别器)。即，来自通过摄像头2得到的最新的图像中的周边车辆的物体区域的特征、以及来自通过摄像头2在最新的图像之前得到的一个以上的过去图像各自中的该周边车辆的物体区域的特征被以时间序列的顺序输入到信号灯状态识别器。并且，状态识别部33对伴随着时间序列的外观变化的、该周边车辆的信号灯状态进行识别来作为该识别器的输出结果。
状态识别部33作为根据表示了周边车辆的物体区域内的像素值求出的特征，例如可以利用通过物体检测用的识别器的主干部算出的feature map中的该物体区域所包含的feature。由此，不仅是周边车辆本身的特征，也能够将周边车辆周围的环境的特征利用于状态识别。在本实施方式中，也考虑由周边车辆和在周边车辆的前后行驶的其他车辆的相对位置关系导致的影响、例如如周边车辆的转弯信号等的一部分被其他车辆挡住那样的状况，信号灯状态识别器能够对周边车辆的信号灯的状态进行识别。例如，在feature map的分辨率与被输入到了物体检测用的识别器的图像的分辨率相同的情况下，与该图像上的物体区域对应的、feature map上的区域内所包含的各feature成为根据物体区域内的像素值求出的特征。另外，在feature map的分辨率比被输入到了物体检测用的识别器的图像的分辨率低的情况下，根据feature map的分辨率相对于所被输入的图像的分辨率之比而对物体区域的坐标进行了修正后的位置和范围成为与物体区域对应的feature map上的区域。例如设为所被输入的图像上的物体区域的左上端位置和右上端位置分别为(tlX,tlY)和(brX,brY)，对于所被输入的图像进行1/N(N为2以上的整数)的缩小(downsizing)，算出feature map。在该情况下，与图像上的物体区域对应的feature map上的区域的左上端位置和右下端位置分别成为(tlX/N,tlY/N)和(brX/N,brY/N)。
根据变形例，状态识别部33也可以将被输入到了物体检测用的识别器的图像上的表示了周边车辆的物体区域内的各像素值本身作为输入到信号灯状态识别器的、根据表示了周边车辆的物体区域内的像素值求出的特征。或者，状态识别部33也可以将对该物体区域内的各像素进行卷积运算这样的预定的滤波处理而得到的值作为输入到信号灯状态识别器的、根据表示了周边车辆的物体区域内的像素值求出的特征。
状态识别部33关于各物体区域，通过对所提取到的特征进行下采样或者上采样来调整(resize)为预定尺寸(例如32×32)。由此，即使在周边车辆的跟踪途中车辆10与周边车辆间的相对距离变化、图像上的周边车辆的尺寸变化，信号灯状态识别器也将所被输入的特征作为一定的尺寸来处理，因此，信号灯状态识别器的结构被简化。
状态识别部33例如可以使用循环神经网络(Recurrent Neural Network(RNN))、长短期记忆网络(Long Short Term Memory(LSTM))或者门控循环单元(Gated RecurrentUnit(GRU))这样的具有递归构造的神经网络来作为具有递归构造的信号灯状态识别器。那样的神经网络具有被输入根据物体区域内的像素值求出的特征的输入层、输出信号灯状态的识别结果的输出层以及在输入层与输出层之间从输入层向输出层依次设置的至少一个中间层。并且，任一中间层构成为具有上述的递归构造。进一步，中间层也可以包括对来自上游侧的层的输出执行卷积运算这样的预定运算的层。信号灯状态识别器对物体区域所包含的特征进行处理即可，因此，与物体检测用的识别器相比，输入层以及中间层的尺寸小就可以了，并且，权重系数这样的用于对信号灯状态识别器进行规定的参数数量少就可以了。因此，信号灯状态识别器的运算量比物体检测用的识别器的运算量少，能够减少对于处理器23的运算负荷。进一步，也能削减信号灯状态识别器的学习所需要的运算量。
信号灯状态识别器具有递归构造，因此，每当以时间序列的方式依次被输入特征时，会对内部状态进行更新。由此，信号灯状态识别器能够基于跟踪中的周边车辆的信号灯的时间序列的变化，对该信号灯的点亮状态进行识别。在本实施方式中，状态识别部33对左右任一转弯信号或者危险预警灯是否为闪烁状态、刹车灯是为点亮的状态还是为熄灭的状态进行识别来作为周边车辆的信号灯状态。因此，作为信号灯状态识别器的输出层的激活函数，例如可使用sigmoid函数。由此，信号灯状态识别器能够输出各状态的确信度。并且，状态识别部33将各状态的确信度与所对应的阈值进行比较，判定为周边车辆的信号灯状态处于确信度成为所对应的阈值以上的状态。例如，设为关于所着眼的周边车辆的左转弯信号闪烁的状态的确信度为0.8，另一方面，关于左转弯信号未闪烁的状态的确信度为0.2。并且，当设为阈值为0.5时，状态识别部33判定为所着眼的周边车辆的信号灯状态为左转弯信号闪烁的状态。
或者，作为信号灯状态识别器的输出层的激活函数，也可以使用softmax函数。在该情况下，信号灯状态识别器输出左转弯信号闪烁、右转弯信号闪烁、危险预警灯闪烁、刹车灯点亮或者任何都不是的判定结果来作为周边车辆的信号灯状态。因此，状态识别部33将由从信号灯状态识别器输出的判定结果表示的状态作为周边车辆的信号灯状态即可。
根据变形例，状态识别部33也可以使用执行时间轴方向的卷积运算的、具有CNN型的架构的神经网络来作为信号灯状态识别器。在该情况下，信号灯状态识别器例如具有一个以上的对从前一层输出的feature map沿着时间轴方向执行卷积运算的卷积层(以下称为时间特征卷积层)。各个时间特征卷积层的时间轴方向的核大小例如被设定为使得通过经由全部时间特征卷积层来在包含一次被输入的多个特征的期间整体进行卷积运算。时间特征卷积层例如既可以关于时间轴方向和空间方向的任何方向都执行卷积运算(以下称为三维卷积运算)，或者也可以执行仅关于时间轴方向的卷积运算(以下称为时间维度卷积运算)。进一步，时间特征卷积层也可以关于通道方向也执行卷积运算或者全连接运算。另外，在信号灯状态识别器具有多个时间特征卷积层的情况下，也可以该多个时间特征卷积层中的任一层执行三维卷积运算，该多个时间特征卷积层的其他层执行时间维度卷积运算。进一步，信号灯状态识别器也可以具有一个以上的不在时间轴方向上执行卷积运算、而关于空间方向执行卷积运算的卷积层(以下称为空间特征卷积层)。该空间特征卷积层也可以关于通道方向执行卷积运算或者全连接运算。在信号灯状态识别器具有一个以上的空间特征卷积层的情况下，空间特征卷积层和时间特征卷积层的顺序也可以任何的顺序。例如，也可以从输入侧向输出侧依次按空间特征卷积层、时间特征卷积层的顺序设置各卷积层，或者也可以是其相反的顺序。进一步，也可以交替地设置有空间特征卷积层和时间特征卷积层。进一步，信号灯状态识别器也可以具有一个以上的池化层。再进一步，信号灯状态识别器也可以具有一个以上的激活层和一个以上的全连接层。信号灯状态识别器的输出层例如使用Sigmoid函数或者Softmax函数来作为激活函数。
状态识别部33向检测物体列表登记关于成为状态识别的对象的各个周边车辆的信号灯状态的识别结果或者信号灯状态的确信度，并且，向第1控制指示决定部34和第2控制指示决定部35进行通知。
第1控制指示决定部34基于周边车辆的信号灯状态的识别结果和车辆10与周边车辆间的相对位置关系，按照用于对车辆10进行控制以使得避免车辆与周边车辆的碰撞的预定规则，决定包括第1控制值的第1控制指示。即，第1控制指示决定部34按照所谓的规则库来决定第1控制值。在本实施方式中，第1控制值是为了避免车辆10与周边车辆的碰撞而车辆10的成为目标的加减速度。
例如，预定规则可以设为表示周边车辆的信号灯状态的识别结果为刹车灯的点亮状态的期间P为时间阈值T1以上、且该周边车辆和车辆10行驶在相同的车道上。另外，作为其他的预定规则，也可以设定为：关于周边车辆，信号灯状态为右转弯信号的闪烁状态的期间P为时间阈值T1以上，该周边车辆行驶在与车辆10的行驶车道(以下称为自身车道)的左侧相邻的车道上。进一步，作为其他的预定规则，也可以设定为：关于周边车辆的信号灯状态为左转弯信号的闪烁状态的期间P为时间阈值T1以上，该周边车辆行驶在与自身车道的右侧相邻的车道上。在任一周边车辆满足这些控制条件中的任一条件的情况下，第1控制指示决定部34判定为需要使车辆10减速。另一方面，在任何周边车辆都不满足这些控制条件的情况下，第1控制指示决定部34判定为不需要使车辆10减速。
在判定为了需要使车辆10减速时，第1控制指示决定部34决定使车辆10减速的减速度来作为第1控制值。因此，第1控制指示决定部34根据车辆10与成为了该判定的原因的周边车辆之间的距离、该周边车辆相对于车辆10的相对速度以及该周边车辆的减速度中的至少任一个，决定车辆10的减速度。例如车辆10与该周边车辆之间的距离越短、从车辆10的速度减去该周边车辆的速度而得到的速度差越大、或者该周边车辆的减速度越大，第1控制指示决定部34越增大车辆10的减速度。并且，第1控制指示决定部34向控制指示综合部36输出包括所决定的减速度来作为第1控制值的第1控制指示。
另一方面，在判定为了不需要使车辆减速时，第1控制指示决定部34向控制指示综合部36输出指示车辆10维持当前的车速(即加减速度为0)的第1控制指示。
图4是对第1控制指示决定的一个例子的概要进行说明的图。设为对表示于图像400的周边车辆中的、在自身车道上行驶在车辆10的前方的周边车辆401的信号灯状态为刹车灯的点亮状态这一情况进行表示的期间P为时间阈值T1以上。在该情况下，使车辆10减速的控制指示被作为第1控制指示进行输出。同样地，在表示行驶在自身车道的右侧的相邻车道上的周边车辆402的信号灯状态为左转弯信号的闪烁状态的期间P为时间阈值T1以上的情况下，使车辆10减速的控制指示也被作为第1控制指示进行输出。另一方面，若行驶在自身车道上的周边车辆的信号灯状态不是刹车灯的点亮状态、行驶在相邻车道上的周边车辆的信号灯状态不是自车道侧的转弯信号的闪烁状态，则输出使车辆10维持当前车速的第1控制指示。
此外，预定规则不限定于上述的例子。例如，预定规则也可以包括用于使车辆10加速的规则。例如设为与上述的摄像头2不同地在车辆10设置有对车辆10的后方进行拍摄的摄像头。设为从由对后方进行拍摄的摄像头生成的一系列图像检测到的周边车辆在车辆10的后方行驶在相对于自身车道的相邻车道上，并且，该周边车辆的信号灯状态为自车道侧的转弯信号的闪烁状态。在该情况下，推定为该周边车辆要在车辆10的后方向自身车道进行车道变更。于是，第1控制指示决定部34将第1控制指示所包括的第1控制值设为使车辆10加速的值，以使得扩大车辆10与周边车辆间的距离。
再进一步，预定规则也可以包括利用来自信号灯状态识别器的任一中间层的输出(例如feature map)的规则。例如设为：关于在自身车道上行驶在车辆10的前方的周边车辆，从信号灯状态识别器的任一中间层输出的最新的feature map所包含的各个值的平方和比预定的阈值小。在该情况下设想为：物体区域内的对比度低，信号灯状态识别器的信号灯状态的识别结果的可靠性低。于是，第1控制指示决定部34也可以与信号灯状态无关地决定第1控制值。例如，在关于在自身车道上行驶的周边车辆的feature map所包含的各个值的平方和比预定阈值小的情况下，第1控制指示决定部34也可以生成包括该周边车辆与车辆10的车间距离越短、则越大的减速度的第1控制指示。
如上述的那样，在周边车辆的任一个以上满足了任一规则的情况下，第1控制指示决定部34输出包括第1控制值的第1控制指示，该第1控制值用于指示与该所满足了的规则相当的车辆10的行为。进一步，第1控制指示决定部34也可以在行驶在自身车道上的周边车辆与车辆10的车间距离成为了预定距离以下的情况下，与周边车辆的信号灯状态无关地输出使车辆10减速的第1控制指示。此外，车辆10的车速越大，预定距离被设定为越长。
第2控制指示决定部35通过向控制指示决定用的识别器输入各周边车辆的信号灯状态的识别结果，从而求出包括第2控制值的第2控制指示。在以下中，将控制指示决定用的识别器称为控制指示识别器。控制指示识别器被预先进行学习，以使得输出用于对车辆10进行控制以避免车辆10与周边车辆的碰撞的控制值。另外，在本实施方式中，第2控制值与第1控制值同样地是为了避免车辆10与周边车辆的碰撞而成为车辆10的目标的加减速度。另外，作为控制指示识别器的输入参数，也可以与信号灯状态的识别结果一起使用车辆10与周边车辆间的相对位置关系、相对车速、相对加减速度、包含周边车辆的物体区域的尺寸以及该物体区域在图像上的位置中的至少一个。进一步，来自信号灯状态识别器的任一中间层的输出(例如feature map)被作为向控制指示识别器的输入参数的一个来使用。再进一步，第2控制指示决定部35也可以关于上述的输入参数中的一个或者多个，不是只是最新的参数，而是将在最近的预定期间得到的多个参数输入到控制指示识别器。通过这样的参数被与信号灯状态的识别结果一起进行输入，控制指示识别器即使在难以识别周边车辆的信号灯状态的行驶环境中，也能够输出更适当的第2控制值。
第2控制指示决定部35能够使用RNN、LSTM或者GRU这样的具有递归构造的神经网络来作为控制指示识别器。或者，第2控制指示决定部35也可以使用不具有递归构造的其他构造的神经网络来作为控制指示识别器。例如，第2控制指示决定部35可以使用如下神经网络来作为控制指示识别器，该神经网络具有输入层、作为全连接层的1个以上的中间层以及利用sigmoid函数或者softmax函数来作为激活函数、并输出任一控制输出的输出层。再或者，第2控制指示决定部35也可以使用按照了神经网络以外的机器学习模型的识别器来作为控制指示识别器。第2控制指示决定部35例如可以使用SVM、逻辑回归模型或者朴素贝叶斯分类器来作为那样的识别器。
控制指示识别器使用大量的教师数据，按照与该控制指示识别器相应的学习方法被预先进行学习，该大量的教师数据包括各输入参数和对于那些输入参数的用于避免碰撞的适当的控制输出的组合。此外，用于避免碰撞的适当的控制输出也包括如通过在没有碰撞的担忧的情况下维持车辆10的车速和行进路线来避免不必要的减速和不必要的行进路线变更那样的控制输出。因此，第2控制指示决定部35通过利用这样的控制指示识别器，能够求出与周边车辆的信号灯状态相应的适当的控制指示。
此外，也可以在信号灯状态识别器和控制指示识别器分别被作为神经网络来构成的情况下，使用共同的教师数据，通过误差反向传播法，对那些神经网络一体地进行学习。这样，通过各识别器被一体地进行学习，即使车辆10的周围的环境为如难以识别周边车辆的信号灯状态那样的环境，这些识别器也能够决定适当的控制指示。在物体检测用的识别器也被作为神经网络来构成的情况下，物体检测用的识别器也可以与信号灯状态识别器以及控制指示识别器一起被一体地进行学习。
第2控制指示决定部35向控制指示综合部36输出所决定的第2控制指示。
控制指示综合部36基于第1控制指示所包括的第1控制值与第2控制指示所包括的第2控制值之差或者第2控制值的绝对值，决定包括用于避免车辆10与周边车辆的碰撞的综合控制值的综合控制指示。
例如在由第1控制指示指定了的加减速度与由第2控制指示指定了的加减速度之差的绝对值(以下称为加减速度差)为一定值以下的情况下，认为那些控制指示的可靠性高。于是，控制指示综合部36在第1控制指示与第2控制指示间的加减速度差为一定值以下的期间P持续了第2时间阈值T2以上的情况下，将最新的第1控制指示和第2控制指示各自所包括的加减速度的平均值决定为综合控制值。或者，控制指示综合部36也可以将在该期间P接收到的多个第1控制指示和多个第2控制指示各自所包括的加减速度的平均值决定为综合控制值。由此，能抑制车辆10的加减速度急剧地变化。
另一方面，在第1控制指示与第2控制指示间的加减速度差比一定值大的期间P持续了第3时间阈值T3以上的情况下，认为那些控制指示的可靠性相对低。于是，控制指示综合部36将在该期间P接收到的第1控制指示中的加减速度的平均值和在该期间P接收到的第2控制指示中的加减速度的平均值中的、绝对值大的一方决定为综合控制指示所包括的综合控制值。由此，例如虽然由第1控制指示决定部34判定为不需要减速控制，但在实际上需要减速控制的情况下，控制指示综合部36也能够生成按照来自第2控制指示决定部35的输出对减速控制进行指示的综合控制指示。此外，第3时间阈值T3例如优选被设定为比第2时间阈值T2长的时间。
另外，设想为：在第1控制指示与第2控制指示间的加减速度差比一定值大的期间P短于第2时间阈值T2的情况下，第1控制指示和第2控制指示中的至少一方的可靠度不稳定。于是，控制指示综合部36也可以将通过对第2控制指示所包括的加减速度应用反馈控制来得到的加减速度作为综合控制值包含于综合控制指示。此外，作为反馈控制，例如使用PD控制或者PID控制。由此，控制指示综合部36能抑制车辆10的加减速度急剧地变化，能够使车辆10平滑地加速或者减速。
进一步设想为：在一定期间内的第1控制指示和第2控制指示中的任一加减速度的方差值比一定值大的情况下，第1控制指示和第2控制指示中的至少一方的可靠度不稳定。于是，控制指示综合部36通过在预定时间的期间无视设想为可靠度不稳定的一方的控制指示，在该期间将另一方的控制指示的加减速度值直接作为综合控制值，能够使车辆10平滑地加速或者减速。
或者，控制指示综合部36也可以在第2控制指示所包括的加减速度的绝对值为预定的上限阈值以上的情况下，将与该上限阈值相当的加减速度作为综合控制指示所包括的综合控制值。再或者，在第2控制指示所包括的加减速度的绝对值为预定的上限阈值以上的情况下，有可能因车辆10的周围的环境为设想外的环境而控制指示识别器输出了异常值。于是，在该情况下，控制指示综合部36将第1控制指示所包括的加减速度作为综合控制值。或者，控制指示综合部36也可以设为将与不久前输出的综合控制指示所包括的综合控制值相同的控制值作为本次的综合控制值来继续进行相同的控制。
控制指示综合部36向车辆控制部37通知综合控制指示。
车辆控制部37对车辆10的各部进行控制，以使得车辆10按照从控制指示综合部36接收到的综合控制指示所包括的综合控制值来进行行驶。例如，车辆控制部37设定加速器开度或者制动量，以使得消除由加速度传感器(未图示)测定的车辆10的当前的加速度与作为所接收到的综合控制指示所包括的综合控制值的加减速度之差。那时，车辆控制部37也可以通过PD控制或者PID控制这样的反馈控制，设定加速器开度或者制动量。并且，车辆控制部37按照所设定的加速器开度求出燃料喷射量，向车辆10的发动机的燃料喷射装置输出与该燃料喷射量相应的控制信号。或者，车辆控制部37按照所设定的加速器开度求出向车辆10的马达供给的电力，对马达的驱动装置进行控制以使得向马达供给该电力。再或者，车辆控制部37向车辆10的制动器输出与所设定的制动量相应的控制信号。
图5是由处理器23执行的车辆控制处理的动作流程图。处理器23按预定周期而按照图5所示的动作流程图执行车辆控制处理。
处理器23的物体检测部31将从摄像头2得到的最新的图像输入到物体检测用的识别器，对表示于该图像的周边车辆进行检测。即，物体检测部31在图像上检测包含周边车辆的物体区域(步骤S101)。并且，物体检测部31将所检测到的周边车辆登记于检测物体列表。
处理器23的跟踪部32关于最新的图像中的包含周边车辆的物体区域的各个物体区域，基于该物体区域和过去的图像中的物体区域，对最新的图像中的表示于该物体区域的周边车辆进行跟踪(步骤S102)。
处理器23的状态识别部33关于跟踪中的周边车辆的各个车辆，通过将根据表示了该周边车辆的物体区域内的像素值求出的特征输入到信号灯状态识别器，从而对该周边车辆的信号灯状态进行识别(步骤S103)。
进一步，处理器23的第1控制指示决定部34基于跟踪中的各周边车辆的信号灯状态以及各周边车辆与车辆10的相对位置关系，按照预定规则决定第1控制指示(步骤S104)。
另外，处理器23的第2控制指示决定部35通过将跟踪中的各周边车辆的信号灯状态的识别结果输入到控制指示识别器，从而决定第2控制指示(步骤S105)。
处理器23的控制指示综合部36基于第1控制指示和第2控制指示来决定综合控制指示(步骤S106)。并且，处理器23的车辆控制部37对车辆10进行控制以使得车辆10沿着综合控制指示进行行驶(步骤S107)。然后，处理器23结束车辆控制处理。
如以上说明的那样，该车辆控制装置从由搭载于车辆的摄像头生成的、以时间序列的方式得到的一系列图像中检测周边车辆，并且，对其进行跟踪。并且，该车辆控制装置通过将从各图像中的表示了周边车辆的物体区域得到的特征输入到信号灯状态识别器，从而对周边车辆的信号灯状态进行识别。进一步，该车辆控制装置基于周边车辆的信号灯状态的识别结果和车辆与周边车辆的相对位置关系，按照预定规则来求出与车辆的行驶有关的第1控制指示。进一步，该车辆控制装置通过将周边车辆的信号灯状态的识别结果输入到控制指示识别器，从而求出与车辆的行驶有关的第2控制指示。并且，该车辆控制装置基于第1控制指示和第2控制指示，决定综合控制指示，按照所决定的控制指示对车辆的行驶进行控制。这样，该车辆控制装置不是只是参照周边车辆的信号灯状态的识别结果，也参照车辆与周边车辆间的相对位置关系，因此，即使是在难以准确地识别信号灯状态的情况下，也能够比较适当地决定第1控制指示。进一步，该车辆控制装置利用将信号灯状态的识别结果作为输入参数之一、按照机器学习系统构建的控制指示识别器。对于控制指示识别器，也使用对无法得到足够的识别精度的行驶环境中的信号灯状态的识别结果和应该进行的车辆控制的组合进行表示的数据作为教师数据来进行学习。因此，该控制指示识别器即使是在难以准确地识别信号灯状态的情况下，也能够决定比较适当的第2控制指示。并且，该车辆控制装置通过参照第1控制指示和第2控制指示这两方，能够决定为了避免车辆与周边车辆的碰撞而被认为更适当的控制指示。因此，该车辆控制装置即使难以识别车辆周围的其他车辆的信号灯的状态，也能够适当地对车辆进行控制。例如，该车辆控制装置能够抑制尽管周边车辆不向车辆的前方并入但却进行减速控制、相反地看漏了伴随着周边车辆的并入的方向指示灯的闪烁或者伴随着周边车辆的减速的刹车灯的点亮而未进行制动这样的状况。
另外，上述的实施方式或者变形例涉及的对车辆控制装置的处理器23的各部的功能进行实现的计算机程序也可以被以记录于半导体存储器、磁记录介质或者光记录介质这样的计算机能够读取的可移动的记录介质的形态来进行提供。
如上所述，本领域技术人员能够在本发明的范围内与所实施的方式相匹配地进行各种各样的变更。

Claims (10)

1.一种车辆控制装置，具有：
物体检测部，其从通过设置于车辆的对所述车辆的周围进行拍摄的拍摄部得到的图像中，检测表示了在所述车辆的周围行驶的周边车辆的物体区域；
状态识别部，其通过将从所述图像上的所述物体区域提取的特征输入到信号灯状态识别器来对所述周边车辆的信号灯的状态进行识别，所述信号灯状态识别器被预先进行了学习以使得对所述周边车辆的信号灯的状态进行识别；
第1控制指示决定部，其基于所述周边车辆的信号灯的状态的识别结果以及所述车辆与所述周边车辆的相对位置关系，按照用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的预定规则来决定第1控制值；
第2控制指示决定部，其通过将所述周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定第2控制值，所述控制指示识别器被预先进行了学习以使得输出所述第2控制值，所述第2控制值是用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的控制值；
控制指示综合部，其基于所述第1控制值与所述第2控制值之差或者所述第2控制值的绝对值，决定用于避免所述车辆与所述周边车辆的碰撞的综合控制值；以及
控制部，其按照所述综合控制值来对所述车辆的行驶进行控制。
2.根据权利要求1所述的车辆控制装置，
所述第1控制指示决定部按预定周期输出所述第1控制值，并且，所述第2控制指示决定部按所述预定周期输出所述第2控制值，
所述控制指示综合部在所述第1控制值与所述第2控制值之差的绝对值为一定值以下的期间持续了预定的时间阈值以上的情况下，将在所述期间内输出的任一所述第1控制值和在所述期间内输出的任一所述第2控制值的平均值作为所述综合控制值。
3.根据权利要求1所述的车辆控制装置，
所述第1控制指示决定部按预定周期输出所述第1控制值，并且，所述第2控制指示决定部按所述预定周期输出所述第2控制值，
所述控制指示综合部在所述第1控制值与所述第2控制值之差的绝对值为一定值以上的期间持续了预定的时间阈值以上的情况下，将在所述期间内输出的所述第1控制值的平均值和在所述期间内输出的所述第2控制值的平均值中的绝对值大的一方作为所述综合控制值。
4.根据权利要求1所述的车辆控制装置，
所述控制指示综合部在所述第2控制值的绝对值为预定的上限值以上的情况下，将所述预定的上限值或者所述第1控制值作为所述综合控制值。
5.根据权利要求1～4中任一项所述的车辆控制装置，
所述第2控制指示决定部通过将所述车辆与所述周边车辆间的相对位置关系、相对车速、相对加减速度、所述物体区域的尺寸以及所述物体区域的位置中的至少一个与所述周边车辆的信号灯的状态的识别结果一起输入到所述控制指示识别器来决定所述第2控制值。
6.根据权利要求1～4中任一项所述的车辆控制装置，
所述信号灯状态识别器具有被输入从所述物体区域提取的特征的输入层、输出所述周边车辆的信号灯的状态的输出层以及在所述输入层与所述输出层之间从所述输入层向所述输出层依次设置的至少一个中间层，所述至少一个中间层分别对来自比该中间层靠所述输入层侧的层的输出执行预定运算，
所述第2控制指示决定部通过将关于所述信号灯状态识别器的所述至少一个中间层的任一中间层的所述预定运算的结果与所述周边车辆的信号灯的状态的识别结果一起输入到所述控制指示识别器来决定所述第2控制值。
7.根据权利要求1～6中任一项所述的车辆控制装置，
所述信号灯状态识别器具有递归构造，
所述状态识别部通过将从在所述图像之前过去由所述拍摄部得到的一个以上的过去图像各自中的所述物体区域提取的特征和从所述图像上的所述物体区域提取的特征按时间序列的顺序输入到所述信号灯状态识别器，对所述周边车辆的信号灯的状态进行识别。
8.根据权利要求1～6中任一项所述的车辆控制装置，
所述信号灯状态识别器是具有执行时间轴方向上的卷积运算的卷积层的卷积神经网络，
所述状态识别部通过将从在所述图像之前过去由所述拍摄部得到的一个以上的过去图像各自中的所述物体区域提取的特征和从所述图像上的所述物体区域提取的特征输入到所述信号灯状态识别器，对所述周边车辆的信号灯的状态进行识别。
9.一种车辆控制方法，包括：
从通过设置于车辆的对所述车辆的周围进行拍摄的拍摄部得到的图像中，检测表示了在所述车辆的周围行驶的周边车辆的物体区域；
通过将从所述图像上的所述物体区域提取的特征输入到信号灯状态识别器来对所述周边车辆的信号灯的状态进行识别，所述信号灯状态识别器被预先进行了学习以使得对所述周边车辆的信号灯的状态进行识别；
基于所述周边车辆的信号灯的状态的识别结果以及所述车辆与所述周边车辆的相对位置关系，按照用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的预定规则来决定第1控制值；
通过将所述周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定所述第2控制值，所述控制指示识别器被预先进行了学习以使得输出第2控制值，所述第2控制值是用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的控制值；
基于所述第1控制值与所述第2控制值之差或者所述第2控制值的绝对值，决定用于避免所述车辆与所述周边车辆的碰撞的综合控制值；
按照所述综合控制值来对所述车辆的行驶进行控制。
10.一种车辆控制用计算机程序，用于使搭载于车辆的处理器执行：
从通过设置于所述车辆的对所述车辆的周围进行拍摄的拍摄部得到的图像中，检测表示了在所述车辆的周围行驶的周边车辆的物体区域；
通过将从所述图像上的所述物体区域提取的特征输入到信号灯状态识别器来对所述周边车辆的信号灯的状态进行识别，所述信号灯状态识别器被预先进行了学习以使得对所述周边车辆的信号灯的状态进行识别；
基于所述周边车辆的信号灯的状态的识别结果以及所述车辆与所述周边车辆的相对位置关系，按照用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的预定规则来决定第1控制值；
通过将所述周边车辆的信号灯的状态的识别结果输入到控制指示识别器来决定所述第2控制值，所述控制指示识别器被预先进行了学习以使得输出第2控制值，所述第2控制值是用于对所述车辆进行控制以使得避免所述车辆与所述周边车辆的碰撞的控制值；
基于所述第1控制值与所述第2控制值之差或者所述第2控制值的绝对值，决定用于避免所述车辆与所述周边车辆的碰撞的综合控制值；以及
按照所述综合控制值来对所述车辆的行驶进行控制。
CN202210253041.6A 2021-03-16 2022-03-15 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 Pending CN115071702A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-042214 2021-03-16
JP2021042214A JP7472832B2 (ja) 2021-03-16 2021-03-16 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Publications (1)

Publication Number Publication Date
CN115071702A true CN115071702A (zh) 2022-09-20

Family

ID=83247320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210253041.6A Pending CN115071702A (zh) 2021-03-16 2022-03-15 车辆控制装置、车辆控制方法以及车辆控制用计算机程序

Country Status (3)

Country Link
US (1) US20220301320A1 (zh)
JP (1) JP7472832B2 (zh)
CN (1) CN115071702A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7280426B1 (ja) 2022-11-01 2023-05-23 株式会社 日立産業制御ソリューションズ 物体検出装置および物体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642886B2 (ja) 2016-03-24 2020-02-12 株式会社Ｓｕｂａｒｕ 車両の運転支援装置

Also Published As

Publication number Publication date
US20220301320A1 (en) 2022-09-22
JP2022142165A (ja) 2022-09-30
JP7472832B2 (ja) 2024-04-23

Similar Documents

Publication Publication Date Title
US11093801B2 (en) Object detection device and object detection method
CN108146503B (zh) 车辆防撞
US9493163B2 (en) Driving support apparatus for vehicle
US11308717B2 (en) Object detection device and object detection method
CN115071702A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
CN113496201B (zh) 物体状态识别装置、方法、计算机可读取的记录介质及控制装置
CN114761301B (zh) 车辆控制方法及车辆控制装置
EP3961580A1 (en) Apparatus, method, and computer program for object detection
US11433888B2 (en) Driving support system
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
CN115546756A (zh) 提高车辆内的情境感知能力
CN113492750B (zh) 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质
CN114746923B (zh) 信号机识别方法及信号机识别装置
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
CN116434180A (zh) 点亮状态识别装置、点亮状态识别方法以及点亮状态识别用计算机程序
US20220254056A1 (en) Distance calculation apparatus and vehicle position estimation apparatus
JP2023084575A (ja) 点灯状態識別装置
CN117622205A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN117622201A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN118144670A (zh) 用于车辆的自适应远光灯控制的方法和装置
CN115871653A (zh) 车辆控制装置、信息处理装置、动作方法以及存储介质
CN115771505A (zh) 用于运行具有挂车的牵引车的方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination