CN113496201A - 物体状态识别装置、方法、物体状态识别用计算机程序及控制装置 - Google Patents

物体状态识别装置、方法、物体状态识别用计算机程序及控制装置 Download PDF

Info

Publication number
CN113496201A
CN113496201A CN202110323297.5A CN202110323297A CN113496201A CN 113496201 A CN113496201 A CN 113496201A CN 202110323297 A CN202110323297 A CN 202110323297A CN 113496201 A CN113496201 A CN 113496201A
Authority
CN
China
Prior art keywords
image
predicted
vehicle
next image
recognizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110323297.5A
Other languages
English (en)
Other versions
CN113496201B (zh
Inventor
桥本大辅
黑田龙介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113496201A publication Critical patent/CN113496201A/zh
Application granted granted Critical
Publication of CN113496201B publication Critical patent/CN113496201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供物体状态识别装置、方法、物体状态识别用计算机程序及控制装置。物体状态识别装置具有：物体检测部，每当从摄像部获取到图像时将图像输入到第1识别器，关于图像所示的一个以上规定物体检测包括该物体的物体区域；预测部，关于能够预测接下来从摄像部得到的下一图像上的位置的物体，在下一图像上设定预测物体区域；状态识别部，在从下一图像检测物体区域之前，将根据下一图像上的预测物体区域内的像素值求出的特征输入到第2识别器，识别伴随按时间序列的外观变化的该物体的状态，关于未设定预测物体区域的物体，将根据从下一图像检测到的物体区域内的像素值求出的特征输入到第2识别器，识别伴随按时间序列的外观变化的该物体的状态。

Description

物体状态识别装置、方法、物体状态识别用计算机程序及控制 装置
技术领域
本发明涉及识别图像所示出的物体的状态的物体状态识别装置、物体状态识别方法以及物体状态识别用计算机程序、及利用这样的物体状态识别装置的控制车辆的行驶的控制装置。
背景技术
研究了对车辆进行控制的技术，以自动驾驶车辆。为了对车辆进行自动驾驶，要求以避免存在于车辆的周围的其它物体与车辆发生碰撞的方式，在预测出其它物体的行为之后，设定车辆的预定行驶路径。为此，提出了预测存在于车辆的周围的其它物体的行为的技术(例如，参照专利文献1)。
例如，专利文献1所公开的移动体行为预测装置根据能够从车辆辨识的移动体的行为的预测结果和经过预测时间后的移动体的行为的辨识结果，输出移动体的第一预测行为，并且根据车辆的行为，输出能够从车辆辨识的移动体的第二预测行为。然后，该移动体行为预测装置以使移动体的行为的预测结果与经过预测时间后的移动体的行为的辨识结果的误差最小化的方式学习第一预测行为，以使本车辆不进行不安全的驾驶的方式学习本车辆的周边的移动体将来的第二预测行为。进而，该移动体行为预测装置具有：第一神经网络，根据有教学的学习来输出第一预测行为；以及第二神经网络，根据强化学习来输出第二预测行为。
现有技术文献
专利文献
专利文献1：日本特开2019-109691号公报
发明内容
如上述技术那样，在使用神经网络来执行预测其它物体的行为的处理的情况下，有时运算量变得非常多。因此，有时针对执行预测其它物体的行为的处理的硬件的要求变得过大、或者预测其它物体的行为的处理在所期望的时间之前不结束。
因而，本发明的目的在于提供能够使处理负荷在时间上分散的物体状态识别装置。
根据一个实施方式，提供物体状态识别装置。该物体状态识别装置具有：物体检测部，每当从摄像部获取到图像时，将图像输入到第1识别器，从而关于图像所示出的至少一个规定的物体的各个物体，在图像上检测包括该物体的物体区域；预测部，关于至少一个规定的物体的各个物体，判定能否预测从摄像部获取的图像的接下来从摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定下一图像上的包括被预测的该物体的位置的预测物体区域；以及状态识别部，关于至少一个规定的物体中的对于下一图像设定有预测物体区域的物体，在从下一图像检测物体区域之前，将根据下一图像上的预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，另一方面，关于至少一个规定的物体中的对于下一图像未设定预测物体区域的物体，将根据从下一图像检测到的物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按照时间序列的外观变化的该物体的状态，第2识别器具有递归构造或者执行时间轴方向上的卷积运算。
在该物体状态识别装置中，优选由第1识别器进行的物体区域的检测和由第2识别器进行的至少一个规定的物体各自的状态的识别由互不相同的运算电路执行。
在该情况下，优选并行地执行由第2识别器关于至少一个规定的物体中的对于下一图像设定有预测物体区域的物体识别状态与由第1识别器从下一图像检测物体区域。
另外，在该物体状态识别装置中，优选预测部关于至少一个规定的物体中的、图像上的物体区域的至少一端与图像的任意一端相接的物体，判定为无法预测该物体在下一图像中的位置，关于该物体不设定下一图像中的预测物体区域。
或者另外，在该物体状态识别装置中，优选摄像部被搭载于车辆，预测部关于至少一个规定的物体的各个物体，判定是否在与车辆行驶中的车道邻接的车道上行驶、且求出距车辆的距离，关于至少一个规定的物体中的在邻接的车道上行驶且距车辆的距离为规定距离以下的物体，判定为无法预测该物体在下一图像中的位置，关于该物体不设定下一图像中的预测物体区域。
根据本发明的另一方式，提供控制车辆的行驶的控制装置。该控制装置具有：物体检测部，每当从搭载于车辆的摄像部获取到图像时，将图像输入到第1识别器，从而关于图像所示出的车辆周围的至少一个规定的物体的各个物体，在图像上检测包括该物体的物体区域；预测部，关于至少一个规定的物体的各个物体，判定能否预测从摄像部获取到的图像的接下来从摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定下一图像上的包括被预测的该物体的位置的预测物体区域；以及状态识别部，关于至少一个规定的物体中的对于下一图像设定有预测物体区域的物体，在从下一图像检测物体区域之前，将根据下一图像上的预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按照时间序列的外观变化的该物体的状态，另一方面，关于至少一个规定的物体中的对于下一图像未设定预测物体区域的物体，将根据从下一图像检测到的物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，第2识别器具有递归构造或者执行时间轴方向上的卷积运算；驾驶计划部，关于至少一个规定的物体的各个物体，根据该物体的状态，预测该物体移动的轨迹，根据预测出的轨迹，以使车辆与至少一个规定的物体中的任意物体都远离规定距离以上的方式设定车辆的预定行驶路径；以及车辆控制部，控制车辆，以使车辆沿着预定行驶路径行驶。
根据本发明的又一方式，提供物体状态识别方法。该物体状态识别方法包括：每当从摄像部获取到图像时，将图像输入到第1识别器，从而关于图像所示出的至少一个规定的物体的各个物体，在图像上检测包括该物体的物体区域，关于至少一个规定的物体的各个物体，判定能否预测从摄像部获取到的图像的接下来从摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定下一图像上的包括被预测的该物体的位置的预测物体区域，关于至少一个规定的物体中的对于下一图像设定有预测物体区域的物体，在从下一图像检测物体区域之前，将根据下一图像上的预测物体区域内的像素值而求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，第2识别器具有递归构造或者执行时间轴方向上的卷积运算，关于至少一个规定的物体中的对于下一图像未设定预测物体区域的物体，将根据从下一图像检测到的物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态。
根据本发明的又一方式，提供物体状态识别用计算机程序。该物体状态识别用计算机程序包括用于使计算机执行如下步骤的命令：每当从摄像部获取到图像时，将图像输入到第1识别器，从而关于图像所示出的至少一个规定的物体的各个物体，在图像上检测包括该物体的物体区域，关于至少一个规定的物体的各个物体，判定能否预测从摄像部获取到的图像的接下来从摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定下一图像上的包括被预测的该物体的位置的预测物体区域，关于至少一个规定的物体中的对于下一图像设定有预测物体区域的物体，在从下一图像检测物体区域之前，将根据下一图像上的预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，第2识别器具有递归构造或者执行时间轴方向上的卷积运算，关于至少一个规定的物体中的对于下一图像未设定预测物体区域的物体，将根据从下一图像检测到的物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态。
本发明的物体状态识别装置起到能够使处理负荷在时间上分散这样的效果。
附图说明
图1是安装有物体状态识别装置的车辆控制系统的概略结构图。
图2是作为物体状态识别装置的一个实施方式的电子控制装置的硬件结构图。
图3是与包括物体状态识别处理的车辆控制处理有关的、电子控制装置的处理器的功能框图。
图4是示出被用作第1识别器的DNN的结构的一个例子的图。
图5是示出能够预测下一图像上的位置的检测对象物体和无法预测下一图像上的位置的检测对象物体的一个例子的图。
图6是与状态识别处理关联的各部分的处理的时序图。
图7是示出检测物体列表的一个例子的图。
图8是包括物体状态识别处理的车辆控制处理的动作流程图。
符号说明
1：车辆控制系统；2：摄像机；3：电子控制装置(物体状态识别装置)；4：车内网络；21：通信接口；22：存储器；23：处理器；31：物体检测部；32：追踪部；33：预测部；34：状态识别部；35：驾驶计划部；36：车辆控制部。
具体实施方式
以下，参照图，说明物体状态识别装置以及在物体状态识别装置中执行的物体状态识别方法及物体状态识别用计算机程序。该物体状态识别装置例如搭载于车辆，对于车辆周围的其它车辆这样的作为检测对象的物体(以下，有时称为检测对象物体)，识别伴随按时间序列的外观变化的状态。为此，该物体状态识别装置每当利用搭载于车辆的摄像机得到图像时，将该图像输入到为了对检测对象物体进行检测而预先学习的第1识别器，从而检测在该图像上包括检测对象物体的区域(以下，有时称为物体区域)。另外，该物体状态识别装置通过对检测出的检测对象物体进行追踪，从而将在各图像中示出相同的检测对象物体的物体区域彼此对应起来。另一方面，该物体状态识别装置根据包括处于追踪过程中的检测对象物体的物体区域的位置等，判定能否预测接下来得到的图像中的该检测对象物体的位置，在能够预测出该位置的情况下，求出包括该检测对象物体的预定位置的预测物体区域。然后，该物体状态识别装置在接下来得到图像时，在被判定为能够预测出检测对象物体的位置的情况下，在由第1识别器从下一图像检测出物体区域之前，将根据预测物体区域内的像素值求出的特征输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，从而识别检测对象物体的状态。另一方面，在接下来得到图像时，在被判定为无法预测出检测对象物体的位置的情况下，该物体状态识别装置针对下一图像，将根据由第1识别器检测到的物体区域内的像素值而求出的特征输入到第2识别器，从而识别检测对象物体的状态。由此，即使同时存在处于追踪过程中的多个检测对象物体，该物体状态识别装置也能够使执行由第2识别器进行的处理的定时针对每个检测对象物体而不同。因此，该物体状态识别装置能够使处理负荷在时间上分散。进而，在该物体状态识别装置具有多个运算电路的情况下，该多个运算电路中的、执行由第2识别器进行的处理的运算电路的等待时间减少，作为其结果，物体状态识别处理整体的处理量提高。
例如，设检测对象物体为车辆。车辆在左转或者右转的情况下，使转弯信号闪烁。另外，车辆在减速时，使制动灯点亮，在停车时等，使危险警示灯闪烁。这些转弯信号或者制动灯这样的车辆的信号灯的点亮或者闪烁是表示伴随按时间序列的车辆外观的变化的、且与车辆的行为有关的状态。但是，在示出转弯信号、制动灯或者危险警示灯的各个图像中，不知道这些灯的点亮熄灭随时间的变化，所以难以从示出了转弯信号、制动灯或者危险警示灯的各个图像精度良好地识别转弯信号或者危险警示灯是否闪烁、制动灯是点亮还是熄灭。因而，该物体状态识别装置如上所述将根据按时间序列的一连串的图像各自的物体区域内的像素值而求出的特征输入到具有递归构造的第2识别器，从而能够精度良好地识别有无转弯信号或者危险警示灯的闪烁、制动灯的点亮以及熄灭。
以下，说明将物体状态识别装置应用于车辆控制系统的例子。在该例中，物体状态识别装置对由搭载于车辆的摄像机得到的按时间序列的一连串的图像执行物体状态识别处理，从而检测存在于车辆的周围的其它车辆作为检测对象物体。然后，该物体状态识别装置识别左右中的某个转弯信号或者危险警示灯是否为闪烁状态、制动灯是为点亮的状态还是为熄灭的状态作为检测到的其它车辆的、伴随外观变化的状态。
图1是安装有物体状态识别装置的车辆控制系统的概略结构图。另外，图2是作为物体状态识别装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10且控制车辆10的车辆控制系统1具有用于对车辆10的周围进行摄影的摄像机2和作为物体状态识别装置的一个例子的电子控制装置(ECU)3。摄像机2与ECU3经由遵循控制器局域网络这样的标准的车内网络4能够通信地连接。此外，车辆控制系统1也可以还具有存储用于车辆10的自动驾驶控制的地图的储存装置。进而，车辆控制系统1也可以具有LiDAR或者雷达这样的测距传感器、GPS接收机这样的用于依据卫星定位系统而对车辆10的自身位置进行定位的接收机、用于与其它设备进行无线通信的无线终端以及用于探索车辆10的行驶预定路线的导航装置等。
摄像机2是作为用于检测存在于规定的探测范围内的物体的传感器的摄像部的一个例子，具有CCD或者C－MOS等由对于可见光具有灵敏度的光电变换元件的阵列构成的2维检测器和使作为摄影对象的区域的像在该2维检测器上成像的成像光学系统。而且，摄像机2以朝着车辆10的前方的方式，例如安装于车辆10的车室内。而且，摄像机2每隔规定的摄影周期(例如1/30秒～1/10秒)而对车辆10的前方区域进行摄影，生成拍摄到该前方区域的图像。由摄像机2得到的图像优选为彩色图像。此外，也可以在车辆10中设置摄影方向或者焦点距离不同的多个摄像机。
摄像机2每当生成图像时，经由车内网络4将该生成的图像输出到ECU3。
ECU3控制车辆10。在本实施方式中，ECU3根据从由摄像机2得到的按时间序列的一连串的图像检测到的物体控制车辆10，以自动驾驶车辆10。为此，ECU3具有通信接口21、存储器22以及处理器23。
通信接口21是通信部的一个例子，具有用于将ECU3与车内网络4连接的接口电路。即，通信接口21经由车内网络4而与摄像机2连接。而且，通信接口21每当从摄像机2接收到图像时，将接收到的图像交付给处理器23。
存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。此外，存储器22也可以如后所述在处理器23具有多个运算单元的情况下，针对每个运算单元而具有专用的存储器电路。并且，存储器22存储在由ECU3的处理器23执行的物体状态识别处理中使用的各种数据以及参数、例如从摄像机2接收到的图像、用于确定在物体状态识别处理中利用的各识别器的各种参数、以及每个物体的种类的可信度阈值等。进而，存储器22将表示与检测到的物体有关的信息的检测物体列表这样的、在物体状态识别处理的中途生成的各种数据存储一定期间。进而，另外存储器22也可以存储地图信息这样的用于车辆10的行驶控制的信息。
处理器23是控制部的一个例子。在本实施方式中，处理器23具有第1运算电路231、第2运算电路232以及第3运算电路233。第1运算电路231例如具有一个或者多个CPU(Central Processing Unit，中央处理单元)及其周边电路。另外，第2运算电路232具有一个或者多个图形处理单元(Graphics Processing Unit，GPU)。进而，第3运算电路233具有所谓的神经网络加速器这样的、专用于由第2识别器执行的规定的运算(例如，卷积运算)的一个或者多个数值运算电路。第1运算电路231、第2运算电路232以及第3运算电路233例如能够经由能够相互参照的共有存储器(未图示)等协作地执行规定的运算处理。另外，第1运算电路231、第2运算电路232以及第3运算电路233中的、第1运算电路231的通用性最高，但第1运算电路231的运算速度比第2运算电路232以及第3运算电路233的运算速度慢。相对于此，第2运算电路232能够执行的运算的种类与第1运算电路231能够执行的运算的种类相比受限，但第2运算电路232的运算速度比第1运算电路231的运算速度快。而且，第3运算电路233能够执行的运算的种类与第2运算电路232能够执行的运算的种类相比进一步受限，但第3运算电路233的运算速度比第1运算电路231的运算速度以及第2运算电路232的运算速度更快。此外，根据变形例，也可以是第3运算电路233也具有与第2运算电路232所具有的GPU相同的GPU。
处理器23在车辆10行驶的期间，每当从摄像机2接收到图像时，对接收到的图像执行包括物体状态识别处理的车辆控制处理。然后，处理器23根据检测到的车辆10的周围的物体控制车辆10，以自动驾驶车辆10。
图3是与包括物体状态识别处理的车辆控制处理有关的、ECU3的处理器23的功能框图。处理器23具有物体检测部31、追踪部32、预测部33、状态识别部34、驾驶计划部35以及车辆控制部36。处理器23所具有的这些各部分例如为由在处理器23上进行动作的计算机程序实现的功能模块。另外，处理器23所具有的这些各部分中的物体检测部31、追踪部32、预测部33以及状态识别部34执行物体状态识别处理。此外，当在车辆10中设置多个摄像机的情况下，处理器23也可以针对每个摄像机而根据由该摄像机得到的图像来执行物体状态识别处理。
物体检测部31每当从摄像机2接收到图像时，将接收到的最新的图像输入到物体检测用的第1识别器，从而检测包括该图像所示出的检测对象物体的物体区域，并且确定该检测对象物体的种类。此外，由物体检测部31进行的物体检测处理中的由第1识别器进行的运算处理例如由第2运算电路232执行，除此以外的处理例如由第1运算电路231执行。
在本实施方式中，物体检测部31利用DNN作为第1识别器，该DNN为了检测包括图像所示出的检测对象物体的物体区域、且识别检测对象物体的种类而预先学习。物体检测部31利用的DNN例如能够采用SSD(Single Shot MultiBox Detector)、或者Faster R-CNN这样的、具有卷积神经网络(以下，简称为CNN)型的架构的、所谓的深度神经网络(以下，简称为DNN)。
图4是示出被用作第1识别器的DNN的结构的一个例子的图。DNN400具有设置于被输入图像的输入侧的主干部401、比主干部401靠输出侧设置的位置检测部402以及种类推测部403。位置检测部402根据来自主干部401的输出，将图像上示出的检测对象物体的外接矩形作为物体区域而输出。种类推测部403根据来自主干部401的输出，计算由位置检测部402检测到的物体区域所示出的检测对象物体的每个种类的可信度。此外，位置检测部402以及种类推测部403也可以一体地形成。
主干部401例如能够采用具有从输入侧向输出侧串联地连接的多个层的CNN。在该多个层中包括两层以上的卷积层。进而，也可以在主干部401所具有的多个层中包括针对一个或者多个卷积层的每一层而设置的池化层。进而另外，在主干部401所具有的多个层中也可以包括一个以上的全连接层。例如，主干部401能够采用与SSD的基层同样的结构。或者，主干部401也可以依照VGG－19、AlexNet或者Network－In－Network这样的其它CNN架构而构成。
主干部401当被输入图像时，对该图像执行各层的运算，从而输出根据该图像而计算出的特征图(feature map)。此外，主干部401也可以输出分辨率不同的多个特征图。例如，主干部401也可以输出具有与被输入的图像的分辨率相同的分辨率的特征图和分辨率比被输入的图像的分辨率低的一个以上的特征图。
对位置检测部402以及种类推测部403分别输入从主干部401输出的特征图。然后，位置检测部402以及种类推测部403分别例如能够采用具有从输入侧向输出侧串联地连接的多个层的CNN。关于位置检测部402以及种类推测部403的各个部，在CNN所具有的多个层中包括两层以上的卷积层。另外，关于位置检测部402以及种类推测部403的各个部，也可以在CNN所具有的多个层中包括针对一个或者多个卷积层的每个卷积层而设置的池化层。此外，也可以位置检测部402以及种类推测部403共用CNN所具有的卷积层以及池化层。进而，也可以关于位置检测部402以及种类推测部403的各个部，在多个层中包括一个以上的全连接层。在该情况下，全连接层优选比各卷积层靠输出侧设置。另外，也可以对全连接层直接输入来自各卷积层的输出。另外，种类推测部403的输出层既可以采用依照Softmax函数而计算检测对象物体的种类各自的可信度的Softmax层，也可以采用依照Sigmoid函数而计算检测对象物体的种类各自的可信度的Sigmoid层。
位置检测部402以及种类推测部403被学习成例如针对图像上的各种位置、各种尺寸以及各种纵横比的区域的每个区域输出检测对象物体的种类各自的可信度。因而，识别器400通过被输入图像，从而针对图像上的各种位置、各种尺寸以及各种纵横比的区域的每个区域，输出检测对象物体的种类各自的可信度。然后，位置检测部402以及种类推测部403检测关于任意种类的检测对象物体的可信度为规定的可信度阈值以上的区域，作为示出该种类的检测对象物体的物体区域。
在用于识别器400的学习的教学数据所包含的图像(教学图像)中，例如检测对象物体的种类(例如，普通乘用车、巴士、卡车、两轮车等)和作为示出检测对象物体的物体区域的、该检测对象物体的外接矩形被附加标签。
识别器400使用如上所述的大量的教学图像，例如依照误差反向传播法这样的学习手法来学习。处理器23通过利用这样学习的识别器400，能够从图像精度良好地检测作为检测对象的物体。
此外，物体检测部31也可以检测车辆10的周围的其它车辆以外的、影响到车辆10的行驶控制的物体。作为这样的物体，例如包括人、道路标识、信号机、车道划分线等道路标示以及道路上的其它物体等。在该情况下，第1识别器只要以还检测这些物体的方式预先学习即可。然后，物体检测部31通过将图像输入到该第1识别器，能够还检测这些物体。
进而物体检测部31也可以执行非最大抑制(Non－maximum suppression(NMS))处理，从而从至少部分重复的两个以上的物体区域中的、被推测为示出同一物体的物体区域中选择一个。
物体检测部31将各物体区域在图像上的位置以及范围和该物体区域所包含的物体的种类登记于检测物体列表。然后，物体检测部31将检测物体列表存储于存储器22。
追踪部32关于从最新的图像检测到的各个物体区域，将该物体区域所示出的检测对象物体与参照检测物体列表而从过去的图像检测出的检测对象物体对应起来，从而追踪该物体区域所示出的检测对象物体。此外，由追踪部32进行的追踪处理例如由第1运算电路231执行。
追踪部32例如将Lucas－Kanade法这样的基于光流的追踪处理应用于最新的图像中的所着眼的物体区域以及过去的图像中的物体区域，从而追踪该物体区域所示出的检测对象物体。因此，追踪部32例如对所着眼的物体区域应用SIFT或者Harris算子这样的特征点抽取用的滤波器，从而从该物体区域抽取多个特征点。然后，追踪部32关于多个特征点的各个特征点，依照应用的追踪手法而确定过去的图像中的物体区域中的对应的点，从而计算光流即可。或者，追踪部32也可以通过将应用于追踪从图像检测到的移动物体的其它追踪手法应用于最新的图像中的所着眼的物体区域以及过去的图像中的物体区域，从而追踪该物体区域所示出的检测对象物体。
追踪部32针对从最新的图像检测到的检测对象物体中的、未与过去的图像所示出的检测对象物体对应起来的检测对象物体，作为新的追踪对象，分配与其它处于追踪过程中的检测对象物体不同的识别编号，将该分配的识别编号登记于检测物体列表。另一方面，追踪部32关于从最新的图像检测到的检测对象物体中的、与过去的图像所示出的检测对象物体对应起来的检测对象物体、即处于追踪过程中的检测对象物体对应关联与对该处于追踪过程中的检测对象物体分配的识别编号相同的识别编号。
此外，追踪部32在存在比规定数量多的处于追踪过程中的检测对象物体的情况下，也可以从处于追踪过程中的检测对象物体之中选择规定数量的检测对象物体当作作为状态识别的对象的物体。例如，越是靠近车辆10的检测对象物体，则对车辆10的驾驶控制的影响越大，所以追踪部32也可以从处于追踪过程中的检测对象物体中的、靠近车辆10的检测对象物体依次选择规定数量的检测对象物体。例如，在图像上示出检测对象物体的物体区域越大，则被推测为从车辆10至该检测对象物体为止的距离越近。因而，追踪部32例如也可以从最新的图像上的物体区域的尺寸大的物体区域起依次选择规定数量的检测对象物体。或者，在车辆控制系统1具有LiDAR或者雷达这样的测距传感器(未图示)的情况下，也可以利用该测距传感器来测定直至处于追踪过程中的各检测对象物体为止的距离。在该情况下，例如与图像上的示出检测对象物体的物体区域的重心对应的、与从摄像机2起的方位相当的从测距传感器起的方位上的距离作为从车辆10至该检测对象物体为止的距离而被测定。然后，追踪部32按照推测或者测定出的距车辆10的距离从近到远的顺序依次选择规定数量的检测对象物体即可。或者另外，追踪部32也可以从处于追踪过程中的检测对象物体之中选择针对每个车道而决定的数量的检测对象物体。
当物体检测部31从自摄像机2得到的最新的图像(以下，有时称为当前图像)对检测对象物体进行检测、且利用追踪部32进行追踪处理时，预测部33关于处于追踪过程中的检测对象物体的各个物体，判定能否预测在接下来得到的图像(以下，有时简称为下一图像)上的该检测对象物体的位置。然后，预测部33关于能够预测下一图像上的位置的检测对象物体，设定包括该预定位置的预测物体区域。此外，由预测部33进行的预测处理例如由第1运算电路231执行。
例如，在物体区域中的至少一端与当前图像的任意一端相接的情况下，预测部33关于该物体区域所包含的检测对象物体，判定为无法预测下一图像上的位置。这是因为有可能该检测对象物体整体未示出在当前图像上、无法准确地预测获取当前图像时与获取下一图像时之间的车辆10与该检测对象物体间的相对的位置关系的变化。
图5是示出能够预测下一图像上的位置的检测对象物体和无法预测下一图像上的位置的检测对象物体的一个例子的图。在图5所示的图像500中，包括在与车辆10行驶的车道相同的车道上行驶的车辆501的物体区域511与图像500中的任意的端部都未相接。因此，关于车辆501，下一图像上的位置被判定为能够预测。另一方面，包括在与车辆10行驶的车道邻接的车道上行驶的车辆502的物体区域512的右端与图像500的右端相接。因此，关于车辆502，下一图像上的位置被判定为无法预测。
或者，当在当前图像中，所着眼的检测对象物体在与车辆10行驶中的车道邻接的车道上行驶、且该检测对象物体与车辆10之间的距离为规定距离以下或者包括该检测对象物体的物体区域的尺寸为规定尺寸以上的情况下，预测部33关于该检测对象物体，判定为无法预测下一图像上的位置。这是因为由于该检测对象物体进入到车辆10行驶中的车道而超越车辆10或者被车辆10超越等，下一图像中的该检测对象物体的位置有可能相对于当前图像中的该检测对象物体的位置大幅移动。
例如，在物体检测部31从当前图像检测到车道划分线的情况或者局部化处理部(未图示)从当前图像检测到车道划分线的情况下，预测部33根据车道划分线与物体区域的位置关系，确定各检测对象物体行驶中的车道即可。例如，预测部33关于所着眼的检测对象物体，判定为该检测对象物体位于由位于包括该检测对象物体的物体区域的下端的两侧的两个车道划分线夹持的车道上即可。由此，预测部33能够判定所着眼的检测对象物体是否正在与车辆10行驶中的车道邻接的车道上行驶。
另外，在所着眼的检测对象物体正在与车辆10行驶中的道路相同的道路上行驶的情况下，图像上的包括该检测对象物体的物体区域的下端的位置被推测为表示该检测对象物体的路面上的位置。另外，图像上的各像素的位置与从摄像机2起与该像素相当的方位一对一地对应。因而，预测部33能够根据图像上的包括所着眼的检测对象物体的物体区域的下端的位置，确定从摄像机2向该检测对象物体的路面上的位置的方位。因而，预测部33能够根据存储于存储器22的摄像机2的安装位置(包括距路面的高度)和从摄像机2向该检测对象物体的路面上的位置的直至位置为止的所确定的方位，推测从车辆10至该检测对象物体为止的距离。
或者，预测部33也可以关于所着眼的检测对象物体，根据示出该检测对象物体的物体区域的尺寸(例如，横宽)与假定为种类与该检测对象物体相同的基准物体位于离车辆10规定距离的位置的情况下的基准尺寸之比，推测从车辆10至该检测对象物体为止的距离。或者另外，在车辆控制系统1具有LiDAR或者雷达这样的测距传感器(未图示)的情况下，也可以利用该测距传感器来测定直至所着眼的检测对象物体为止的距离。在该情况下，例如，与图像上的示出所着眼的检测对象物体的物体区域的重心对应的、与从摄像机2起的方位相当的从测距传感器起的方位下的距离作为从车辆10至该检测对象物体为止的距离而被测定。预测部33将如上所述推测出的从车辆10至所着眼的检测对象物体为止的距离与上述规定距离进行比较，关于该检测对象物体，判定能否预测下一图像上的位置即可。
或者另外，预测部33也可以根据所着眼的检测对象物体之前的其它检测对象物体的行为，关于着眼的检测对象物体，判定能否预测下一图像上的位置。例如，也可以当在规定时间前的第1时间点，在与所着眼的检测对象物体行驶的车道相同的车道上行驶的之前的其它检测对象物体在该第1时间点以后进行了车道变更的情况下，预测部33关于所着眼的检测对象物体，判定为无法预测下一图像上的位置。这是因为例如某个或某些障碍物例如停车车辆等比其之前的其它检测对象物体靠前存在，所以有可能后续的着眼的检测对象物体也进行车道变更。此外，预测部33关于各检测对象物体，针对每个图像而确定与上述方法同样地行驶的车道，从而能够判定该检测对象物体是否进行了车道变更。
预测部33关于判定为能够预测下一图像上的位置的检测对象物体，求出包括下一图像上的预定位置的预测物体区域。一般而言，车辆10与能够预测在下一图像上的位置的车辆周围的检测对象物体的相对的位置关系不急剧地变化。因而，预测部33能够推测为当前图像上的检测对象物体的位置与下一图像上的检测对象物体的预定位置相同。因而，预测部33将与当前图像上的包括检测对象物体的物体区域相同的下一图像上的区域设定成预测物体区域。
或者，预测部33也可以将通过使最近的规定期间所包含的一连串的图像各自中的物体区域的重心位置按时间的排列用直线或者多项式近似而得到的、在下一图像上的物体区域的重心的预定位置作为检测对象物体的预定位置。同样地，预测部33也可以将通过使最近的规定期间所包含的一连串的图像各自中的物体区域的尺寸(包括宽度以及高度)按时间的排列用直线或者多项式近似而得到的、在下一图像上的物体区域的预测尺寸作为预测物体区域的尺寸。然后，预测部33将在下一图像上的检测对象物体的预定位置作为重心位置、且将预测出的尺寸的区域设定成预测物体区域。
预测部33关于判定为无法预测在下一图像上的位置的检测对象物体，将检测物体列表所包含的、表示能否预测下一图像上的位置的标志的值更新为表示无法预测下一图像上的位置的值。进而，预测部33关于判定为无法预测下一图像上的位置的检测对象物体，将表示下一图像上的预测物体区域的位置以及范围的信息(例如，预测物体区域的左上端以及右下端的坐标)登记于检测物体列表。
此外，根据变形例，预测部33也可以在由物体检测部31进行的物体检测处理之后，代替对当前图像进行上述处理，而在由物体检测部31进行的物体检测处理之前、或者与物体检测处理并行地执行上述处理。在该情况下，预测部33代替当前图像中的检测对象物体的位置或者包括该检测对象物体的物体区域的位置，而对紧接着之前的图像中的该检测对象物体的位置或者包括该检测对象物体的物体区域的位置执行与上述实施方式同样的处理，从而判定能否预测当前图像上的位置即可。另外，该根据变形例，预测部33也可以根据紧接着之前的图像与当前图像的比较，预测能否检测对象物体在当前图像上的位置。例如，也可以在紧接着之前的图像中的各像素的亮度值的统计代表值(例如，平均值、中位数或者众数)与当前图像中的各像素的亮度值的统计代表值之差的绝对值为规定的亮度阈值以上的情况下，预测部33判定为无法预测检测对象物体在当前图像上的位置。由此，例如，在车辆10进入到隧道内的前后或者从隧道出来的前后这样的、车辆10的周围的明亮度急剧地变化的情况下，预测部33能够判定为无法预测检测对象物体在当前图像上的位置。作为其结果，物体检测部31从当前图像实际地检测到的物体区域的信息被用于识别检测对象物体的状态。此外，在车辆10的周围的明亮度急剧地变化的情况下，根据变化前、即紧接着之前的图像中的检测对象物体的位置预测出的、变化后即当前图像中的检测对象物体的位置有时比物体检测部31从当前图像实际地检测到的检测对象物体的位置准确。因而，与上述例子相反地，也可以在紧接着之前的图像中的各像素的亮度值的统计代表值与当前图像中的各像素的亮度值的统计代表值之差的绝对值为规定的阈值以上的情况下，不论紧接着之前的图像中的该检测对象物体的位置以及包括该检测对象物体的物体区域的位置如何，预测部33都判定为能够预测检测对象物体在当前图像上的位置。
另外，预测部33也可以关于根据紧接着之前的图像而被判定为无法预测下一图像上的位置的检测对象物体，在由物体检测部31进行的物体检测处理之前或者与物体检测处理并行地设定预测物体区域。此外，以紧接着之前的图像为基准时的下一图像为当前图像，所以预测部33对当前图像设定预测物体区域即可。在该情况下，预测部33通过对紧接着之前的图像或者之前的图像中的物体区域执行与上述预测物体区域的设定处理同样的处理，从而在当前图像上设定预测物体区域即可。
或者，预测部33也可以通过将Kanade－Lucas－Tomasi法这样的、基于光流的追踪处理应用于紧接着之前的图像上的物体区域和当前图像，从而在当前图像上设定预测物体区域。在该情况下，预测部33例如通过对紧接着之前的图像上的物体区域应用SIFT或者Harris算子这样的特征点抽取用的滤波器，从而从该物体区域抽取多个特征点。预测部33关于多个特征点的各个特征点，依照所应用的追踪手法而确定当前图像中的对应的点，从而计算光流即可。然后，预测部33根据所求出的光流以及紧接着之前的图像上的物体区域，推测在当前图像上与该物体区域对应的区域，将推测出的区域设定成预测物体区域即可。
状态识别部34每当从摄像机2得到图像时，即，关于由摄像机2得到的按时间序列的一连串的图像的各个图像，识别处于追踪过程中的检测对象物体的状态。
在本实施方式中，状态识别部34参照检测物体列表，确定处于追踪过程中的检测对象物体中的、在紧接着之前得到的图像中由预测部33设定有预测物体区域的检测对象物体。然后，状态识别部34关于设定有预测物体区域的检测对象物体，不等待物体检测部31的物体检测处理的结果，即在由第1识别器进行的当前图像上的物体区域的检测之前，将根据当前图像上的预测物体区域内的像素值而求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该检测对象物体的状态。另一方面，关于未设定预测物体区域的检测对象物体，状态识别部34通过将根据由物体检测部31检测到的物体检测区域内的像素值而求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该检测对象物体的状态。此外，由状态识别部34进行的状态识别处理中的由第2识别器进行的运算处理例如由第3运算电路233执行，其它处理例如由第1运算电路231或者第2运算电路232执行。
状态识别部34将根据预测物体区域或者物体区域内的像素值而求出的特征例如设为该预测物体区域或者物体区域内的各像素的值本身。或者，状态识别部34也可以将根据预测物体区域或者物体区域内的像素值而求出的特征设为针对该预测物体区域或者物体区域内的各像素进行卷积运算这样的规定的滤波器处理而得到的值。
状态识别部34关于各预测物体区域或者各物体区域，对抽取出的特征执行下采样，上采样、bi－linear插值或者bi－cubic插值等尺寸变换处理，从而调整成规定的尺寸(例如，32×32)。由此，即使在追踪检测对象物体的中途，车辆10与检测对象物体间的相对距离发生变化而图像上的检测对象物体的尺寸发生变化，第2识别器也将输入的特征作为固定尺寸处置，所以能简化第2识别器的结构。
状态识别部34作为第2识别器，例如能够使用递归神经网络(Recurrent NeuralNetwork(RNN))、长短期记忆(Long Short Term Memory(LSTM))或者门控循环单元(GatedRecurrent Unit(GRU))这样的、具有递归构造的神经网络。第2识别器对物体区域或者预测物体区域所包含的特征进行处理即可，所以与第1识别器相比，输入层以及中间层的尺寸小也可以、且权重系数这样的用于规定第2识别器的参数数少也可以。因此，第2识别器的运算量比第1识别器少，能够减小针对处理器23的运算负荷。进而，第2识别器的学习所需的运算量也被削减。此外，在第1识别器以及第2识别器分别作为神经网络而构成的情况下，也可以使用共同的教学数据，通过误差反向传播法来一体地学习这些神经网络。
第2识别器具有递归构造，所以每当按照时间序列依次输入特征时，更新在内部递归利用的内部状态(还被称为中间状态或者隐藏状态)。由此，第2识别器能够根据所着眼的处于追踪过程中的检测对象物体的外观的按时间序列的变化，识别该检测对象物体的状态。该内部状态存储于存储器22。然后，第2识别器每当被输入关于所着眼的处于追踪过程中的检测对象物体的特征时，从存储器22读入与该检测对象物体有关的最新的内部状态，应用于第2识别器的运算。
在本实施方式中，状态识别部34如上所述作为检测对象物体(即，车辆10的周围的其它车辆)的状态，识别左右中的某个转弯信号或者危险警示灯是否为闪烁状态、制动灯是为点亮的状态还是为熄灭的状态。为此，作为第2识别器的输出层的激活函数，例如使用Sigmoid函数。由此，第2识别器能够输出各状态的可信度。然后，状态识别部34将各状态的可信度与对应的阈值进行比较，判定为检测对象物体的状态是可信度为对应的阈值以上的状态。例如，设为关于检测对象物体的左边的转弯信号闪烁的状态的可信度为0.8，另一方面，关于左边的转弯信号未闪烁的状态的可信度为0.2。然后，当阈值为0.5时，状态识别部34判定为检测对象物体的状态为左边的转弯信号闪烁的状态。
或者，作为第2识别器的输出层的激活函数，也可以使用Softmax函数。在该情况下，第2识别器作为检测对象物体的状态，输出左边的转弯信号闪烁、右边的转弯信号闪烁、危险警示灯闪烁、制动灯点亮、或者哪个都不是这样的判定结果。因而，状态识别部34将按照从第2识别器输出的判定结果表示的状态设为检测对象物体的状态即可。
根据变形例，状态识别部34作为第2识别器，也可以使用执行时间轴方向的卷积运算的、具有CNN型架构的神经网络。在该情况下，第2识别器例如具有一个以上的、对从紧接着之前的层输出的特征图沿着时间轴方向执行卷积运算的卷积层(以下，称为时间特征卷积层)。各个时间特征卷积层的时间轴方向的核尺寸例如被设定成经由所有的时间特征卷积层，从而在包含被一次输入的多个特征的期间整体进行卷积运算。时间特征卷积层例如既可以关于时间轴方向以及空间方向中的任意方向都执行卷积运算(以下，称为3维卷积运算)，或者也可以执行仅关于时间轴方向的卷积运算(以下，称为时间维度卷积运算)。进而，时间特征卷积层也可以关于通道方向也执行卷积运算或者全连接运算。另外，在第2识别器具有多个时间特征卷积层的情况下，也可以是该多个时间特征卷积层中的任意层执行3维卷积运算，该多个时间特征卷积层的其它层执行时间维度卷积运算。进而，第2识别器也可以具有一个以上的卷积层(以下，称为空间特征卷积层的)，该卷积层不在时间轴方向上执行卷积运算，而就空间方向上执行卷积运算。也可以是该空间特征卷积层也关于通道方向执行卷积运算或者全连接运算。在第2识别器具有一个以上的空间特征卷积层的情况下，空间特征卷积层和时间特征卷积层的顺序可以为任意的顺序。例如，既可以从输入侧向输出侧依次按照空间特征卷积层、时间特征卷积层的顺序设置各卷积层、或者也可以为其相反的顺序。进而，也可以将空间特征卷积层和时间特征卷积层交替地设置。进而，第2识别器也可以具有一个以上的池化层。进而另外，第2识别器也可以具有一个以上的激活层以及一个以上的全连接层。第2识别器的输出层例如作为激活函数，使用Sigmoid函数或者Softmax函数。
状态识别部34关于作为状态识别的对象的检测对象物体的各个物体，将第2识别器的状态识别结果以及更新后的内部状态写入到存储器22，更新存储于存储器22的、状态识别结果以及内部状态，并且将状态识别结果通知给驾驶计划部35。
图6是与状态识别处理关联的各部分的处理的时序图。处理器23的各部分的处理例如由在处理器23的第1运算电路231上进行动作的调度器(未图示)管理，依照图6所示的时序图而执行。在图6中，横轴表示时间。另外，在图6中，各个块表示执行在该块内示出的处理，各个箭头表示各处理间的数据(图像、特征等)的交换。例如，当在时刻t1，ECU3从摄像机2接收到当前图像时，由处理器23所具有的第2运算电路232执行针对该当前图像的、由物体检测部31的第1识别器进行的检测对象物体的物体检测处理。此外，也可以在进行物体检测处理之前，对当前图像进行对比度校正或者颜色变换这样的前处理。
当进行物体检测处理时，由处理器23所具有的第1运算电路231进行将检测到的物体的种类以及物体区域向检测物体列表登记等的物体检测的后处理，之后，执行追踪部32的追踪处理。然后，在追踪处理之后，关于处于追踪过程中的各检测对象物体，执行预测处理，该预测处理包括能否进行下一图像中的位置的预测的判定以及下一图像上的预测物体区域的设定。此外，如上所述，关于预测处理，也可以在由第1识别器进行的物体检测处理之前或者在该物体检测处理的执行过程中执行预测处理。在该情况下，预测部33通过根据针对紧接着在时刻t1获取到的图像之前获取到的图像的物体检测处理的结果来执行预测处理，从而对在时刻t1获取到的图像设定预测物体区域即可。
另外，在追踪处理之后，由第2运算电路232关于未根据紧接着之前的图像在当前图像上设定预测物体区域的检测对象物体，从根据当前图像检测到的物体区域抽取特征、对抽取出的特征进行尺寸调整。然后，由第3运算电路233执行使用了第2识别器的状态识别处理。此外，为了提高处理器23的处理量，优选将由第3运算电路233进行的、针对各检测对象物体的状态识别处理作为批次处理而汇总地执行。
另一方面，关于根据紧接着之前的图像而在当前图像上设定有预测物体区域的检测对象物体，与由第2运算电路232针对当前图像进行的物体检测处理并行地，进行由第1运算电路231进行的、从当前图像上的预测物体区域抽取特征以及对抽取出的特征进行尺寸调整，由第3运算电路233执行使用了第2识别器的状态识别处理。得到的检测对象物体的状态识别的结果被用于驾驶计划部35以及车辆控制部36的处理。此外，为了提高处理器23的处理量，优选将由第3运算电路233进行的针对各检测对象物体的状态识别处理作为批次处理而汇总地执行。
这样，关于相同的图像所示出的多个检测对象物体中的任意检测对象物体，由第3运算电路233进行的状态识别处理与由第2运算电路232进行的物体检测处理并行地执行。另外，关于该多个检测对象物体中的除此以外的检测对象物体，在由第2运算电路232进行的物体检测处理结束之后，执行由第3运算电路233进行的状态识别处理。特别是，限定车辆10与检测对象物体的相对的位置关系，以如满足被判定为无法预测在下一图像上的位置的条件。因此，设想被判定为无法预测在下一图像上的位置、即在物体检测处理的结束后执行状态识别处理的检测对象物体的数量比在物体检测处理的执行过程中执行状态识别处理的检测对象物体的数量少。因此，车辆控制处理整体的处理量提高。
图7是示出检测物体列表的一个例子的图。在检测物体列表700中，关于处于追踪过程中的检测对象物体的各个物体，保存表示该物体是否为状态识别对象的索引，分配给该物体的识别编号、表示存储有与该物体有关的信息的存储器22的地址的指针以及由状态识别部34进行状态识别的次数(即，根据对应的物体区域而求出的特征被输入到第2识别器的次数)。进而，在检测物体列表700中，关于处于追踪过程中的检测对象物体的各个物体，保存表示物体区域的位置以及范围的信息(未图示)以及表示检测对象物体的种类的信息(未图示)等。进而另外，在检测物体列表700中，关于处于追踪过程中的检测对象物体的各个物体，保存表示能否预测下一图像上的位置的标志(未图示)以及表示下一图像上的预测物体区域的位置以及范围的信息(未图示)。另外，在用关于各检测对象物体的指针表示的存储器22上的保存区域701存储最新的图像中的输入到第2识别器的特征、最后更新的第2识别器的内部状态以及来自最后更新的第2识别器的输出结果等。
驾驶计划部35参照检测物体列表，生成一个以上的车辆10的预定行驶路径(Trajectory：轨迹)，以避免使存在于车辆10的周围的物体与车辆10发生碰撞。预定行驶路径例如表示为从当前时刻至未来规定时间为止的各时刻下的车辆10的目标位置的集合。例如，驾驶计划部35参照检测物体列表，使用摄像机2向车辆10安装的安装位置等信息来执行视点变换处理，从而将检测物体列表中的物体的图像内坐标变换为俯瞰图像上的坐标(俯瞰坐标)。然后，驾驶计划部35通过对一连串的俯瞰坐标执行使用了卡尔曼滤波器(KalmanFilter)或者粒子滤波器(Particle filter)等的跟踪处理，从而追踪登记于检测物体列表的物体，根据基于其追踪结果而得到的轨迹来推测物体各自的直至未来规定时间为止的预测轨迹。此时，驾驶计划部35将检测对象物体的状态识别结果用于预测轨迹的推测。例如，在所着眼的检测对象物体的状态为左边的转弯信号闪烁的状态的情况下，该检测对象物体向左侧变更车道、或者左转的可能性高。因而，驾驶计划部35关于该检测对象物体，向左侧变更车道、或者推测左转的预测轨迹。另外，在所着眼的检测对象物体的状态为制动灯点亮的状态的情况或者为危险警示灯闪烁的状态的情况下，该检测对象物体减速的可能性高。因而，驾驶计划部35关于该检测对象物体推测如与当前时间点相比减速那样的预测轨迹。进而，在所着眼的检测对象物体的状态为左右的转弯信号以及危险警示灯都未闪烁且制动灯熄灭的状态的情况下，该检测对象物体不减速而直线前进的可能性高。因而，驾驶计划部35关于该检测对象物体，推测如不减速而直线前进那样的预测轨迹。
驾驶计划部35根据处于追踪过程中的各物体的预测轨迹、车辆10的位置、速度以及姿势，生成车辆10的预定行驶路径，以使关于任意的物体都使直至未来规定时间为止的处于追踪过程中的物体各自与车辆10之间的距离的预测值成为规定距离以上。此外，驾驶计划部35例如，能够根据从搭载于车辆10的GPS接收机(未图示)得到的表示车辆10的当前位置的当前位置信息，推测车辆10的位置、速度以及姿势。或者，也可以是局部化处理部(未图示)每当由摄像机2得到图像时，从该图像检测车辆10的左右的车道划分线，将检测到的车道划分线与存储于存储器22的地图信息进行匹配，从而推测车辆10的位置、速度以及姿势。进而，驾驶计划部35例如也可以参照车辆10的当前位置信息和存储于存储器22的地图信息，确认车辆10能够行驶的车道的数量。然后，驾驶计划部35在存在多个车辆10能够行驶的车道的情况下，也可以以变更车辆10行驶的车道的方式生成预定行驶路径。
此外，驾驶计划部35也可以生成多个预定行驶路径。在该情况下，驾驶计划部35也可以选择多个预定行驶路径中的、车辆10的加速度的绝对值的总和最小的路径。
驾驶计划部35将所生成的预定行驶路径通知给车辆控制部36。
车辆控制部36以使车辆10沿着被通知的预定行驶路径行驶的方式控制车辆10的各部分。例如，车辆控制部36依照被通知的预定行驶路径以及由车速传感器(未图示)测定出的车辆10的当前的车速，求出车辆10的加速度，以成为该加速度的方式，设定加速器开度或者制动器量。然后，车辆控制部36依照所设定的加速器开度而求出燃料喷射量，将与该燃料喷射量相应的控制信号输出到车辆10的引擎的燃料喷射装置。或者，车辆控制部36将与所设定的制动器量相应的控制信号输出到车辆10的制动器。
进而，在为了车辆10沿着预定行驶路径行驶而变更车辆10的前进路线的情况下，车辆控制部36依照该预定行驶路径而求出车辆10的转向角，将与该转向角相应的控制信号输出到控制车辆10的转向轮的致动器(未图示)。
图8是由处理器23执行的包括物体状态识别处理的车辆控制处理的动作流程图。处理器23每当从摄像机2接收到图像时，依照图8所示的动作流程图而执行车辆控制处理。此外，在以下所示的动作流程图中，步骤S101～S108的处理对应于物体状态识别处理。
处理器23的物体检测部31将从摄像机2得到的最新的图像(即，当前图像)输入到第1识别器，检测当前图像所示出的一个以上的检测对象物体。即，物体检测部31在当前图像上检测包括检测对象物体的一个以上的物体区域(步骤S101)。进而，物体检测部31针对检测到的每个检测对象物体，识别该检测对象物体的种类。然后，物体检测部31将检测到的检测对象物体登记于检测物体列表。
处理器23的追踪部32关于当前图像中的、包括检测对象物体的物体区域的各个物体区域，根据该物体区域和过去的图像中的物体区域，追踪当前图像中的、该物体区域所示出的检测对象物体(步骤S102)。
另外，处理器23的状态识别部34与步骤S101的处理的执行并行地，关于处于追踪过程中的检测对象物体中的被判定为能够预测当前图像上的位置的检测对象物体，抽取根据当前图像上的预测物体区域内的像素值而求出的特征(步骤S103)。然后，状态识别部34通过将抽取出的特征输入到具有递归构造的第2识别器，从而识别该检测对象物体的状态(步骤S104)。
另一方面，状态识别部34关于处于追踪过程中的检测对象物体中的被判定为无法预测当前图像上的位置的检测对象物体，抽取根据通过步骤S101的处理检测到的物体区域内的像素值而求出的特征(步骤S105)。然后，状态识别部34通过将抽取出的特征输入到具有递归构造的第2识别器，从而识别该检测对象物体的状态(步骤S106)。
另外，处理器23的预测部33关于处于追踪过程中的各检测对象物体，判定能否预测在下一图像上的位置(步骤S107)。然后，预测部33关于能够预测在下一图像上的位置的检测对象物体，设定下一图像上的预测物体区域(步骤S108)。
处理器23的驾驶计划部35参照检测物体列表，关于登记于检测物体列表的各检测对象物体，以与参照状态识别结果而推测的该物体的预测轨迹为规定的距离以上的方式，生成车辆10的预定行驶路径(步骤S109)。然后，处理器23的车辆控制部36以沿着预定行驶路径使车辆10行驶的方式控制车辆10(步骤S110)。然后，处理器23结束车辆控制处理。
如以上说明那样，该物体状态识别装置每当由搭载于车辆的摄像机得到图像时，将该图像输入到为了对检测对象物体进行检测而预先学习的第1识别器，从而在该图像上检测包括检测对象物体的物体区域。另外，该物体状态识别装置通过追踪检测到的检测对象物体，从而将在各图像中示出相同的检测对象物体的物体区域彼此对应起来。另一方面，该物体状态识别装置根据紧接着之前的图像中的包括处于追踪过程中的检测对象物体的物体区域的位置等，判定能否预测接下来得到的图像中的该检测对象物体的位置，在能够预测该位置的情况下，设定包括该检测对象物体的预定位置的预测物体区域。然后。该物体状态识别装置在接下来得到图像时，在被判定为能够预测检测对象物体的位置的情况下，将根据预测物体区域内的像素值而求出的特征输入到具有递归构造或者执行时间轴方向上的卷积运算的第2识别器，从而识别检测对象物体的状态。另一方面，在接下来得到图像时，在被判定为无法预测检测对象物体的位置的情况下，该状态识别装置将根据针对该图像由第1识别器检测到的物体区域内的像素值而求出的特征输入到第2识别器，从而识别检测对象物体的状态。由此，即使同时存在处于追踪过程中的多个检测对象物体，该物体状态识别装置也能够使执行由第2识别器进行的处理的定时针对每个检测对象物体而不同。因此，该物体状态识别装置能够使处理负荷在时间上分散，作为其结果，能够提高物体状态识别处理整体的处理量。特别是，该物体状态识别装置通过与由第1识别器进行的物体检测处理平行地执行针对被判定为能够预测检测对象物体的位置的检测对象物体的、由第2识别器进行的状态识别处理，能够进一步提高物体状态识别处理整体的处理量。进而，该物体状态识别装置利用从各个图像检测物体的第1识别器，从按时间序列的一连串的图像分别抽取输入到第2识别器的特征，所以与将图像整体输入到具有递归构造的识别器而识别物体的状态相比，能够整体上削减运算量。另外，用于第1识别器的学习的图像为静态图像即可，另一方面，对于第2识别器的学习，需要动态图像，但该动态图像所包含的各个图像的尺寸可以比用于第1识别器的学习的图像的尺寸小。因此，该物体状态识别装置能够削减各识别器的学习所需的成本(例如，教学图像的标注所需的成本、教学图像的收集所需的成本等)，并且削减各识别器的学习所需的运算量以及运算时间。
根据变形例，作为伴随按照时间序列的外观变化的状态的识别对象的检测对象物体不限于车辆，例如，也可以为位于车辆10的周围的人(或者小孩)。在该情况下，状态识别部34也可以将来自从包括处于追踪过程中的人的按时间序列的一连串的图像中分别检测或者设定的物体区域或者预测物体区域的特征按照时间序列输入到第2识别器，从而识别该人的状态(例如，该人行走的行走状态、该人奔跑的跑行状态、或者该人将要奔跑的跑行开始状态)。在该情况下，预测部33也可以关于由第1识别器推测为是人的检测对象物体，判定为无法预测下一图像中的位置，不设定预测物体区域。由此，物体状态识别装置即使在作为检测对象物体的人突然窜出到道路，从而与车辆10的相对的位置关系急剧地变化的情况下，也能够将示出作为检测对象物体的人的区域的特征用于该人的状态识别，所以能够精度良好地识别该人的状态。
根据其它变形例，物体检测部31也可以利用DNN以外的识别器，从图像对检测对象物体进行检测。例如，物体检测部31也可以作为第1的识别器而使用支持向量机(SVM)，该支持向量机(SVM)是以将根据设定于图像上的窗口而计算的特征量(例如，HOG)作为输入而输出在该窗口示出作为检测对象的物体的可信度的方式预先学习的。物体检测部31一边对设定于图像上的窗口的位置、尺寸以及纵横比进行各种变更，一边根据该窗口来计算特征量，将计算出的特征量输入到SVM，从而关于该窗口而求出可信度。然后，物体检测部31判定为在关于任意种类的检测对象物体而可信度为规定的可信度阈值以上的窗口示出该检测对象物体、且将该窗口作为物体区域即可。此外，也可以针对作为检测对象的物体的每个种类而准备SVM。在该情况下，物体检测部31关于各窗口，将根据该窗口而计算出的特征量输入到各个SVM，从而针对物体的每个种类计算可信度即可。
另外，上述实施方式或者变形例的实现物体状态识别装置的处理器23的各部分的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的、计算机可读取的便携式的记录介质的形式提供。
如以上那样，本领域技术人员能够在本发明的范围内，与实施的方式相匹配地进行各种变更。

Claims (8)

1.一种物体状态识别装置，具有：
物体检测部，每当从摄像部获取到图像时，将所述图像输入到第1识别器，从而关于所述图像所示出的至少一个规定的物体的各个物体，在所述图像上检测包括该物体的物体区域；
预测部，关于所述至少一个规定的物体的各个物体，判定能否预测所述图像的接下来从所述摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定所述下一图像上的包括被预测的该物体的位置的预测物体区域；以及
状态识别部，关于所述至少一个规定的物体中的对于所述下一图像设定有所述预测物体区域的物体，在从所述下一图像检测所述物体区域之前，将根据所述下一图像上的所述预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，另一方面，关于所述至少一个规定的物体中的对于所述下一图像未设定所述预测物体区域的物体，将根据从所述下一图像检测到的所述物体区域内的像素值求出的特征输入到所述第2识别器，从而识别伴随按照时间序列的外观变化的该物体的状态，所述第2识别器具有递归构造或者执行时间轴方向上的卷积运算。
2.根据权利要求1所述的物体状态识别装置，其中，
由所述第1识别器进行的所述物体区域的检测和由所述第2识别器进行的所述至少一个规定的物体各自的状态的识别由互不相同的运算电路执行。
3.根据权利要求2所述的物体状态识别装置，其中，
并行地执行由所述第2识别器关于所述至少一个规定的物体中的对于所述下一图像设定有所述预测物体区域的物体识别状态与由所述第1识别器从所述下一图像检测所述物体区域。
4.根据权利要求1～3中的任意一项所述的物体状态识别装置，其中，
所述预测部关于所述至少一个规定的物体中的、所述图像上的所述物体区域的至少一端与所述图像的任意一端相接的物体，判定为无法预测该物体在所述下一图像中的位置，关于该物体不设定所述下一图像中的所述预测物体区域。
5.根据权利要求1～3中的任意一项所述的物体状态识别装置，其中，
所述摄像部被搭载于车辆，
所述预测部关于所述至少一个规定的物体的各个物体，判定是否在与所述车辆行驶中的车道邻接的车道上行驶、且求出距所述车辆的距离，关于所述至少一个规定的物体中的在所述邻接的车道上行驶且距所述车辆的距离为规定距离以下的物体，判定为无法预测该物体在所述下一图像中的位置，关于该物体不设定所述下一图像中的所述预测物体区域。
6.一种控制装置，控制车辆的行驶，其中，所述控制装置具有：
物体检测部，每当从搭载于所述车辆的摄像部获取到图像时，将所述图像输入到第1识别器，从而关于所述图像所示出的所述车辆周围的至少一个规定的物体的各个物体，在所述图像上检测包括该物体的物体区域；
预测部，关于所述至少一个规定的物体的各个物体，判定能否预测所述图像的接下来从所述摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定所述下一图像上的包括被预测的该物体的位置的预测物体区域；以及
状态识别部，关于所述至少一个规定的物体中的对于所述下一图像设定有所述预测物体区域的物体，在从所述下一图像检测所述物体区域之前，将根据所述下一图像上的所述预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按照时间序列的外观变化的该物体的状态，另一方面，关于所述至少一个规定的物体中的对于所述下一图像未设定所述预测物体区域的物体，将根据从所述下一图像检测到的所述物体区域内的像素值求出的特征输入到所述第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，所述第2识别器具有递归构造或者执行时间轴方向上的卷积运算；
驾驶计划部，关于所述至少一个规定的物体的各个物体，根据该物体的状态，预测该物体移动的轨迹，根据预测出的所述轨迹，以使所述车辆与所述至少一个规定的物体中的任意物体都远离规定距离以上的方式设定所述车辆的预定行驶路径；以及
车辆控制部，控制所述车辆，以使所述车辆沿着所述预定行驶路径行驶。
7.一种物体状态识别方法，包括：
每当从摄像部获取到图像时，将所述图像输入到第1识别器，从而关于所述图像所示出的至少一个规定的物体的各个物体，在所述图像上检测包括该物体的物体区域，
关于所述至少一个规定的物体的各个物体，判定能否预测所述图像的接下来从所述摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定所述下一图像上的包括被预测的该物体的位置的预测物体区域，
关于所述至少一个规定的物体中的对于所述下一图像设定有所述预测物体区域的物体，在从所述下一图像检测所述物体区域之前，将根据所述下一图像上的所述预测物体区域内的像素值而求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，所述第2识别器具有递归构造或者执行时间轴方向上的卷积运算，
关于所述至少一个规定的物体中的对于所述下一图像未设定所述预测物体区域的物体，将根据从所述下一图像检测到的所述物体区域内的像素值求出的特征输入到所述第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态。
8.一种物体状态识别用计算机程序，使计算机执行如下步骤：
每当从摄像部获取到图像时，将所述图像输入到第1识别器，从而关于所述图像所示出的至少一个规定的物体的各个物体，检测包括该物体的物体区域，
关于所述至少一个规定的物体的各个物体，判定能否预测所述图像的接下来从所述摄像部得到的下一图像中的该物体的位置，在能够预测该物体的位置的情况下，设定所述下一图像上的包括被预测的该物体的位置的预测物体区域，
关于所述至少一个规定的物体中的对于所述下一图像设定有所述预测物体区域的物体，在从所述下一图像检测所述物体区域之前，将根据所述下一图像上的所述预测物体区域内的像素值求出的特征输入到第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态，所述第2识别器具有递归构造或者执行时间轴方向上的卷积运算，
关于所述至少一个规定的物体中的对于所述下一图像未设定所述预测物体区域的物体，将根据从所述下一图像检测到的所述物体区域内的像素值求出的特征输入到所述第2识别器，从而识别伴随按时间序列的外观变化的该物体的状态。
CN202110323297.5A 2020-04-06 2021-03-26 物体状态识别装置、方法、计算机可读取的记录介质及控制装置 Active CN113496201B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-068674 2020-04-06
JP2020068674A JP7359735B2 (ja) 2020-04-06 2020-04-06 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Publications (2)

Publication Number Publication Date
CN113496201A true CN113496201A (zh) 2021-10-12
CN113496201B CN113496201B (zh) 2024-02-09

Family

ID=77922586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323297.5A Active CN113496201B (zh) 2020-04-06 2021-03-26 物体状态识别装置、方法、计算机可读取的记录介质及控制装置

Country Status (3)

Country Link
US (1) US11829153B2 (zh)
JP (1) JP7359735B2 (zh)
CN (1) CN113496201B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN115128566A (zh) * 2021-03-24 2022-09-30 索尼集团公司 雷达数据确定电路及雷达数据确定方法
US20220410901A1 (en) * 2021-06-28 2022-12-29 GM Global Technology Operations LLC Initializing early automatic lane change
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
WO2024090390A1 (ja) * 2022-10-24 2024-05-02 ソフトバンクグループ株式会社 情報処理装置、車両、情報処理方法、及び情報処理プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆系统
WO2014017302A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用周囲環境認識装置
CN108027974A (zh) * 2015-09-25 2018-05-11 株式会社日立信息通信工程 图像处理装置以及图像处理方法
US20190043244A1 (en) * 2018-03-23 2019-02-07 Intel Corporation Deep geometric model fitting
CN109427114A (zh) * 2017-08-30 2019-03-05 松下电器（美国）知识产权公司 信息处理方法、信息处理装置和信息处理程序
CN109478324A (zh) * 2016-08-01 2019-03-15 歌乐株式会社 图像处理装置、外界识别装置
CN109624974A (zh) * 2017-10-05 2019-04-16 本田技研工业株式会社 车辆控制装置、车辆控制方法以及存储介质
CN109963539A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助系统及其控制方法、以及程序
US20190333381A1 (en) * 2017-01-12 2019-10-31 Mobileye Vision Technologies Ltd. Navigation through automated negotiation with other vehicles
US20190354835A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Action detection by exploiting motion in receptive fields
JP2020010185A (ja) * 2018-07-06 2020-01-16 Ｔｅｒｒａ Ｄｒｏｎｅ株式会社 情報収集装置及びこれを搭載した無人航空機
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06255399A (ja) 1993-03-04 1994-09-13 Mazda Motor Corp 車両の表示装置
JPH06325180A (ja) 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
JP4151890B2 (ja) 2002-11-22 2008-09-17 富士重工業株式会社 車両監視装置および車両監視方法
SE531668C2 (sv) 2006-07-05 2009-06-30 Scania Cv Ab Anordning för bestämning av en omgivningssituation
JP4371137B2 (ja) 2006-11-10 2009-11-25 トヨタ自動車株式会社 自動運転制御装置
JP4941059B2 (ja) 2007-04-02 2012-05-30 株式会社豊田中央研究所 運転支援装置
JP5195079B2 (ja) 2008-06-27 2013-05-08 トヨタ自動車株式会社 運転支援装置
JP2010231254A (ja) 2009-03-25 2010-10-14 Fujifilm Corp 画像解析装置、画像解析方法およびプログラム
US20140279707A1 (en) 2013-03-15 2014-09-18 CAA South Central Ontario System and method for vehicle data analysis
US9947077B2 (en) 2013-12-31 2018-04-17 Thomson Licensing Video object tracking in traffic monitoring
CN112839169B (zh) 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
JP6339537B2 (ja) 2015-07-31 2018-06-06 矢崎エナジーシステム株式会社 運転評価装置
US10800455B2 (en) 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
WO2017130639A1 (ja) 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN107180220B (zh) 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
JP6547785B2 (ja) 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
JP6832504B2 (ja) 2016-08-08 2021-02-24 パナソニックＩｐマネジメント株式会社 物体追跡方法、物体追跡装置およびプログラム
JP2018036444A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 表示制御装置
JP6867153B2 (ja) 2016-12-21 2021-04-28 ホーチキ株式会社 異常監視システム
JP6897170B2 (ja) 2017-03-07 2021-06-30 株式会社デンソー 走行制御装置
WO2018212538A1 (en) 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
JP6673293B2 (ja) 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
JP6729516B2 (ja) 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
US10691962B2 (en) * 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
JP2019070934A (ja) 2017-10-06 2019-05-09 東芝デジタルソリューションズ株式会社 映像処理装置、映像処理方法およびプログラム
US10606270B2 (en) 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
JP6930394B2 (ja) 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
CN109858309B (zh) 2017-11-30 2021-04-20 东软睿驰汽车技术（上海）有限公司 一种识别道路线的方法和装置
US10762396B2 (en) * 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
JP6917878B2 (ja) 2017-12-18 2021-08-11 日立Astemo株式会社 移動体挙動予測装置
TWI649698B (zh) * 2017-12-21 2019-02-01 財團法人工業技術研究院 物件偵測裝置、物件偵測方法及電腦可讀取媒體
DE112019000049T5 (de) 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
JP7193202B2 (ja) 2018-03-06 2022-12-20 日産自動車株式会社 動作予測方法及び動作予測装置
US10489918B1 (en) * 2018-05-09 2019-11-26 Figure Eight Technologies, Inc. Video object tracking
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US10760918B2 (en) 2018-06-13 2020-09-01 Here Global B.V. Spatiotemporal lane maneuver delay for road navigation
CN110660254B (zh) * 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
CN112602091A (zh) * 2018-07-30 2021-04-02 优创半导体科技有限公司 使用针对不同图像场训练的多个神经网络进行物体检测
JP7052663B2 (ja) 2018-09-26 2022-04-12 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7147420B2 (ja) 2018-09-26 2022-10-05 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11704782B2 (en) * 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
JP7258137B2 (ja) * 2018-11-15 2023-04-14 モービルアイ ヴィジョン テクノロジーズ リミテッド 複数フレーム意味信号の高速ｃｎｎ分類
KR20200057414A (ko) 2018-11-16 2020-05-26 삼성전자주식회사 주행 가이드 정보를 제공하는 전자 장치 및 그 방법
WO2020184539A1 (ja) * 2019-03-13 2020-09-17 日本電気株式会社 物体追跡装置、物体追跡方法、及び、記録媒体
JP7106477B2 (ja) * 2019-03-20 2022-07-26 本田技研工業株式会社 車両制御装置
DE102019206178A1 (de) 2019-04-30 2020-11-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Abschätzen einer Fahrspurwechselabsicht eines Fahrzeugs
JP7253441B2 (ja) * 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
US11003928B2 (en) * 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
US11301754B2 (en) * 2019-12-10 2022-04-12 Sony Corporation Sharing of compressed training data for neural network training
US11210794B2 (en) * 2020-03-20 2021-12-28 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Moving object detection system
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7472832B2 (ja) * 2021-03-16 2024-04-23 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆系统
WO2014017302A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用周囲環境認識装置
CN108027974A (zh) * 2015-09-25 2018-05-11 株式会社日立信息通信工程 图像处理装置以及图像处理方法
CN109478324A (zh) * 2016-08-01 2019-03-15 歌乐株式会社 图像处理装置、外界识别装置
US20190333381A1 (en) * 2017-01-12 2019-10-31 Mobileye Vision Technologies Ltd. Navigation through automated negotiation with other vehicles
CN109963539A (zh) * 2017-03-02 2019-07-02 欧姆龙株式会社 看护辅助系统及其控制方法、以及程序
CN109427114A (zh) * 2017-08-30 2019-03-05 松下电器（美国）知识产权公司 信息处理方法、信息处理装置和信息处理程序
CN109624974A (zh) * 2017-10-05 2019-04-16 本田技研工业株式会社 车辆控制装置、车辆控制方法以及存储介质
US20190043244A1 (en) * 2018-03-23 2019-02-07 Intel Corporation Deep geometric model fitting
US20190354835A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Action detection by exploiting motion in receptive fields
JP2020010185A (ja) * 2018-07-06 2020-01-16 Ｔｅｒｒａ Ｄｒｏｎｅ株式会社 情報収集装置及びこれを搭載した無人航空機
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치

Also Published As

Publication number Publication date
US20210312199A1 (en) 2021-10-07
JP2021165914A (ja) 2021-10-14
CN113496201B (zh) 2024-02-09
JP7359735B2 (ja) 2023-10-11
US11829153B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
US11093801B2 (en) Object detection device and object detection method
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
US11308717B2 (en) Object detection device and object detection method
CN113496201B (zh) 物体状态识别装置、方法、计算机可读取的记录介质及控制装置
CN113435237B (zh) 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
CN111986128A (zh) 偏心图像融合
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP4004812A1 (en) Using captured video data to identify active turn signals on a vehicle
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
JP7226368B2 (ja) 物体状態識別装置
US20200394435A1 (en) Distance estimation device, distance estimation method, and distance estimation computer program
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
JP2023084575A (ja) 点灯状態識別装置
JP2022146384A (ja) 物体検出装置
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN116309694A (zh) 跟踪装置、跟踪方法以及跟踪用计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant