CN108292436B - 追踪装置 - Google Patents

Abstract

追踪装置具备：图像输入部，供摄像部拍摄而获得的图像输入；第1移动体检测部，使用输入到图像输入部的多个图像算出光流，根据算出的光流检测移动体位置及移动方向；第2移动体检测部，根据基于多个图像生成的多个俯瞰图像检测移动体位置及移动方向；第3移动体检测部，统合第1移动体检测部及第2移动体检测部的检测结果检测移动体位置及移动方向；追踪移动体确定部，根据第1～第3移动体检测部的检测结果决定应追踪的移动体；推断部，推断追踪移动体确定部决定的追踪移动体将来位置及移动方向；以及追踪部，使用由第2～第3移动体检测部分别检测到的移动体各自位置和由推断部推断出的推断位置的任一方对追踪移动体追踪，确定追踪移动体位置。

Description

追踪装置

技术领域

本发明涉及一种追踪装置。

背景技术

近年来，在车辆上设置摄像机或声呐等外界传感器而检测存在于车辆周围的移动体来实施对驾驶员的警告或者车辆控制，由此辅助驾驶员的驾驶辅助功能、自动驾驶技术的开发在急速推进。在移动体的检测中，为了提高检测的准确性，较有效的为使用在不同时刻获得的信息来追踪移动体的位置。

专利文献1揭示了一种对象物追踪装置，其根据利用过去的拍摄图像求出的对象物在路面上的位置以及车辆运动信息来预测当前的对象物在路面上的位置，进而在对应的当前的拍摄图像上的位置上设定检测框，由此检测对象物，根据所设定的检测框内的图像的脚部位置来推断对象物的当前位置，并根据当前的拍摄图像中的对象物相对于过去的拍摄图像中的对象物的放大率来推断对象物在路面上的当前位置。

现有技术文献

专利文献

专利文献1：日本专利特开2011-65338号公报

发明内容

发明要解决的问题

业界期望移动体的追踪不中断。

解决问题的技术手段

根据本发明的第1形态，追踪装置具备：图像输入部，其供摄像部进行拍摄而获得的图像输入；第1移动体检测部，其使用输入到图像输入部的多个图像来算出光流，并根据算出的光流来检测移动体的位置及移动方向；第2移动体检测部，其根据基于多个图像而生成的多个俯瞰图像来检测移动体的位置及移动方向；第3移动体检测部，其统合第1移动体检测部及第2移动体检测部的检测结果而检测移动体的位置及移动方向；追踪移动体确定部，其根据第1～第3移动体检测部的检测结果来决定应追踪的移动体；推断部，其推断追踪移动体确定部所决定的追踪移动体的将来的位置及移动方向；以及追踪部，其使用由第2～第3移动体检测部分别检测到的移动体各自的位置以及由推断部推断出的推断位置中的任一方对追踪移动体进行追踪而确定该追踪移动体的位置。

发明的效果

根据本发明，即便在无法进行使用光流的移动体的检测或者使用俯瞰图像的移动体的检测的情况下，也能继续移动体的追踪。

附图说明

图1为表示车辆10的构成的图。

图2为以功能块的形式表示由图像处理ECU 18执行的程序所具有的功能的图。

图3为表示第1检测结果RES1的一例的图。

图4为表示第2检测结果RES2的一例的图。

图5为表示统合物体MOF的一例的图。

图6为表示追踪移动体DMO的一例的图。

图7为表示移动体候选CPE的一例的图。

图8为表示移动向量算出部51的动作的流程图。

图9的(a)为表示根据摄像机12在时刻t－Δt拍摄到的图像而获得的平面投影图像的一例的图，图9的(b)为表示根据摄像机12在时刻t拍摄到的图像而获得的平面投影图像的一例的图，图9的(c)为表示仅检测到伴随行人X1的移动而产生的光流的结果的图。

图10为表示检测到的第1候选区域的一例的图。

图11为表示脚部位置算出部52的动作的流程图。

图12的(a)～图12的(e)为说明图11的步骤S601～步骤S604的处理的图。

图13的(a)～(c)为说明根据算出的第2候选区域来算出最接近点Ha的过程的图。

图14为表示关联部53的动作的流程图。

图15的(a)为表示图14的步骤S1306的判断例的图，图15的(b)为表示图14的步骤S1308的处理例的图。

图16为表示追踪处理部55的动作的流程图。

图17为表示接续图16的、追踪处理部55的动作的流程图。

图18为表示接续图17的、追踪处理部55的动作的流程图。

图19为表示由追踪处理部55进行的追踪移动体DMO的更新处理的一览的图。

图20为表示追踪移动体确定部54的动作的流程图。

图21为表示接续图20的、追踪移动体确定部54的动作的流程图。

图22为表示接续图21的、追踪移动体确定部54的动作的流程图。

图23为表示由追踪移动体确定部54进行的移动体候选CPE的更新处理的一览的图。

图24为表示路径生成部17所生成的路径的图，图24的(a)为车辆10右前方的车辆向图示右侧移动的情况，图24的(b)为车辆10右前方的车辆向图示左侧移动的情况。

具体实施方式

(第1实施方式)

下面，参考图1～图24，对将本发明的移动体检测装置运用于图像处理ECU的第1实施方式进行说明。

图1为表示搭载图像处理ECU 18的车辆10的构成的图。车辆10具备：轮速传感器20，其用以算出车辆10的移动量；操舵角传感器22，其用以算出车辆10的行进方向；传感器接口24，其将轮速传感器20及操舵角传感器22的输出发送至后文叙述的图像处理ECU 18；摄像机12，其拍摄车辆10的周围；摄像机接口14，其将摄像机12进行拍摄而获得的图像发送至图像处理ECU 18；路径生成部17，其算出车辆10的移动路径；图像处理ECU 18，其使用摄像机12进行拍摄而获得的图像来检测存在于车辆10周围的移动体；存储器26，它是以临时性存储部的形式供图像处理ECU 18使用的易失性存储区域；监视器34，其向车辆10的用户展示信息；显示控制部32，其控制监视器34；制动执行器36，其使车辆10产生制动力；以及车辆行为控制ECU 30，其对制动执行器36输出动作指令。

传感器接口24、摄像机接口14、路径生成部17、图像处理ECU 18、显示控制部32以及车辆行为控制ECU 30通过系统总线16连接在一起。

摄像机12每隔预先规定的时间Δt例如每隔17毫秒进行一次拍摄，并将通过拍摄而获得的信息输出至摄像机接口14。摄像机接口14使用从摄像机12接收到的信息，在实施考虑了摄像机12中安装的透镜的像差的修正之后的基础上制作图像，并发送至图像处理ECU 18。因而，每当摄像机12进行拍摄时，便从摄像机接口14向图像处理ECU 18输出制作好的图像。以下，将摄像机接口14输出至图像处理ECU 18的图像称为“拍摄图像”。

图像处理ECU 18具备通信部18a、CPU、ROM及RAM，将ROM中保存的程序展开至RAM来执行。通信部18a经由系统总线16与摄像机接口14进行通信，接收摄像机12进行拍摄而获得的图像。每当从摄像机接口14收到拍摄图像时，便执行ROM中保存的程序。该程序将执行所需的数据的一部分保存至存储器26。其中，程序的一部分可通过硬件来实现，也可不使用存储器26而仅保存至图像处理ECU 18所配备的RAM。

(图像处理ECU 18的构成和处理的概要)

图2以功能块的形式表示由图像处理ECU 18执行的程序所具有的功能，展示了功能块之间的相关。下面，对各功能块的处理的概要以及在功能块之间收发的数据的概要及例子进行说明。各功能块的处理的详情将于后文说明。

图像处理ECU 18具备：移动向量算出部51，其供拍摄图像输入；脚部位置算出部52，其同样供拍摄图像输入；关联部53，其对移动向量算出部51及脚部位置算出部52的算出结果进行关联；追踪移动体确定部54，其确定要设为追踪对象的移动体；以及追踪处理部55，其对作为追踪对象的移动体进行追踪。以下所说明的第1检测结果RES1、第2检测结果RES2、统合物体MOF、移动体候选CPE及追踪移动体DMO是存储器26中确保的存储区域。但该存储区域内保存的信息也以同样的名称进行称呼。

每当输入拍摄图像时，图像处理ECU 18便进行图2所示的一系列处理。每当输入拍摄图像时，便算出第1检测结果RES1、第2检测结果RES2及统合物体MOF。另一方面，移动体候选CPE及追踪移动体DMO存储至存储器26，每当输入拍摄图像时，便通过追踪移动体确定部54和追踪处理部55加以更新。但在图像处理ECU 18刚开始动作之后，移动体候选CPE及追踪移动体DMO中是没有存储任何信息的，通过后文叙述的处理，信息才存储至移动体候选CPE及追踪移动体DMO。

移动向量算出部51从摄像机12输入拍摄图像，使用最新的拍摄图像和前一拍摄图像来算出光流，检测有可能为移动体的区域(以下记作第1候选区域)。继而，将检测到的第1候选区域的坐标及移动方向输出至第1检测结果RES1。第1检测结果RES1具有与移动向量算出部51所检测的第1候选区域相同数量的纪录。第1检测结果RES1例如如下。

图3为表示第1检测结果RES1的一例的图。第1检测结果RES1由1个以上的纪录构成，在各纪录中记录第1候选区域的坐标和该第1候选区域的移动方向。第1候选区域以矩形加以定义，其坐标是通过左上的坐标和右下的坐标来确定。但第1候选区域并不限定于矩形，也可设为椭圆或任意形状的区域。此外，第1候选区域的移动方向不仅包含左右方向的分量，还包含进深方向即远离/靠近摄像机12的方向的分量，移动方向也能以0～360度的角度来表现。返回至图2继续进行说明。

脚部位置算出部52根据最新的拍摄图像和前一拍摄图像中的各方来制作俯瞰图像，根据其差分来检测有可能为移动体的区域(以下记作第2候选区域)。继而，将检测到的第2候选区域的重心G在俯瞰图像中的坐标以及与车辆10的最接近点Ha在俯瞰图像中的坐标输出至第2检测结果RES2。第2检测结果RES2具有与脚部位置算出部52所检测的第2候选区域相同数量的纪录。进而，脚部位置算出部52通过与俯瞰图像的制作相反的次序而在平面变换图像中算出与最接近点Ha相对应的最接近点Hb，并同样输出至第2检测结果RES2。第2检测结果RES2例如具有以下构成。

图4为表示第2检测结果RES2的一例的图。第2检测结果RES2由1个以上的纪录构成，在各纪录中记录俯瞰图像中的第2候选区域的信息和正面图像中的第2候选区域的信息。所谓俯瞰图像中的第2候选区域的信息，是指第2候选区域的重心G的坐标以及第2候选区域当中离车辆10最近的点即最接近点Ha的坐标。所谓正面图像中的第2候选区域的信息，是指与俯瞰图像中的最接近点Ha相对应的坐标，是对俯瞰图像中的最接近点Ha的坐标进行坐标变换而获得。返回至图2继续进行说明。

关联部53进行由移动向量算出部51检测到的第1候选区域与由脚部位置算出部52检测到的第2候选区域的关联，并将进行关联之后的区域(以下记作统合候选区域)以及统合候选区域的移动方向存储至统合物体MOF。即，对关联部53输入记录有第1候选区域的第1检测结果RES1以及第2检测结果RES2，并输出统合物体MOF。进而，关联部53从第1检测结果RES1和第2检测结果RES2中删除进行了关联的纪录并进行输出。例如，在输入至关联部53的第1检测结果RES1有3个纪录、第2检测结果RES2有5个纪录、对其中的2个纪录进行了关联的情况下，关联部53所输出的各纪录数如下。即，统合物体MOF为2个纪录，第1检测结果RES1为1个纪录，第2检测结果RES2为3个纪录。统合物体MOF例如具有以下构成。

图5为表示统合物体MOF的一例的图。统合物体MOF由1个以上的纪录构成，在各纪录中记录正面图像中的统合候选区域的坐标和该统合候选区域的移动方向。统合候选区域以矩形加以定义，其坐标是通过左上的坐标和右下的坐标来确定。但统合候选区域并不限定于矩形，也可设为椭圆或任意形状的区域。此外，统合候选区域的移动方向不仅包含左右方向的分量，也可包含进深方向即远离/靠近摄像机12的方向的分量。返回至图2继续进行说明。

追踪处理部55具备推断部55a和追踪部55b。推断部55a进行以下所说明的处理中的移动体的位置的预测，追踪部55b进行这以外的处理。追踪处理部55读取关联部53所输出的统合物体MOF、第1检测结果RES1及第2检测结果RES2，进而从存储器26读取追踪移动体DMO。在追踪移动体DMO中以每一移动体1个纪录的形式存储正在追踪的移动体的信息。追踪移动体DMO的例子将于后文说明。追踪处理部55进行追踪移动体DMO中存储的移动体的位置的预测、移动体的位置的更新即移动体的位置的确定、移动体从追踪对象中的删除即特定纪录从追踪移动体DMO中的删除、与移动体有关的信息向路径生成部17的输出、以及后文叙述的追踪置信度的变更。更新后的追踪移动体DMO存储至存储器26。追踪处理部55对统合物体MOF进行后文叙述的处理并输出，第1检测结果RES1及第2检测结果RES2不作变更而输出。所谓追踪置信度，是表示每一移动体的追踪处理的准确性的指标，当追踪置信度变为规定值以下时，便从追踪移动体DMO中删除。追踪置信度例如以0～100来表示，从初始值即50起通过后文叙述的处理而增减，当追踪置信度变为0时，便从追踪移动体DMO中删除。

图6为表示追踪移动体DMO的一例的图。追踪移动体DMO由1个以上的纪录构成，在各纪录中记录移动体在下一帧中的正面图像的坐标即预测位置、移动体的速度、移动体的移动方向、追踪置信度、以及移动体在当前帧中的正面图像的坐标即更新位置也就是已确定的移动体的位置。统合候选区域以矩形加以定义，其坐标是通过左上的坐标和右下的坐标来确定。但统合候选区域并不限定于矩形，也可设为椭圆或任意形状的区域。再者，此处是在移动体进行匀速运动这一前提下记录移动体的速度。此外，移动体的移动方向不仅包含左右方向的分量，也可包含进深方向即远离/靠近摄像机12的方向的分量。返回至图2继续进行说明。

追踪移动体确定部54读取追踪处理部55所输出的统合物体MOF、第1检测结果RES1及第2检测结果RES2，进而从存储器26读取移动体候选CPE。与成为追踪对象的候选的移动体候选区域有关的信息以每一该候选1个纪录的形式存储在移动体候选CPE中。移动体候选CPE的例子将于后文说明。追踪移动体确定部54进行纪录向移动体候选CPE的追加或删除、后文叙述的满足基准的纪录向追踪移动体DMO的追加、以及后文叙述的移动体置信度的增减。移动体置信度例如以整数表示，从初始值即50起通过后文叙述的处理而增减，当移动体置信度变为0以下时，该纪录便从统合物体MOF中删除，当移动体置信度超过100时，该纪录便从统合物体MOF移动至追踪移动体DMO。

图7为表示移动体候选CPE的一例的图。移动体候选CPE由1个以上的纪录构成，在各纪录中记录移动体候选区域在下一帧中的多个预测位置、移动体候选区域的速度、移动体候选区域的移动方向、以及移动体置信度。移动体候选区域的预测位置以矩形加以定义，其坐标是通过左上的坐标和右下的坐标来确定。但预测位置并不限定于矩形，也可设为椭圆或任意形状的区域。此外，移动体候选区域的移动方向不仅包含左右方向的分量，也可包含进深方向即远离/靠近摄像机12的方向的分量。

再者，图2中，存储器26中保存有移动体候选CPE及追踪移动体DMO，但在图像处理ECU 18刚开始动作之后，移动体候选CPE及追踪移动体DMO是不含纪录的。像动作的概要展示的那样，通过追踪移动体确定部54的处理对移动体候选CPE及追踪移动体DMO追加纪录。即，存储器26中存储的移动体候选CPE及追踪移动体DMO都是通过追踪移动体确定部54来追加纪录。

(移动向量算出部)

使用流程图，对移动向量算出部51的动作进行说明。以下所说明的各步骤的执行主体为图像处理ECU 18的CPU。

图8为表示移动向量算出部51的动作的流程图。

在步骤S301中，将从摄像机12接收到的拍摄图像转换为投影至铅垂地立起的假想平面而得的平面投影图像。继而，根据将最新的拍摄图像转换为平面投射图像而得的图像以及将前一拍摄图像转换为平面投射图像而得的图像来检测光流。关于光流，例如以如下方式算出。即，进行将光流的算出中使用的2张图像中的一张图像分割为多个小区域、从另一张图像中探索灰度值的分布与各小区域相似的小区域(另一个小区域)的处理，将关联起来的一个小区域作为光流的起点，将另一个小区域作为光流的终点。接着，进入至步骤S302。

在步骤S302中，使用从传感器接口24输出的轮速传感器20及操舵角传感器22的输出来算出预料伴随从前一图像的拍摄起到当前为止的时间Δt之内的车辆10的移动而产生的光流。接着，进入至步骤S303。

在步骤S303中，算出步骤S301中算出的光流与步骤S302中算出的光流的差分。通过该处理，算出排除了因车辆10移动所产生的影响的光流。接着，进入至步骤S304。

在步骤S304中，使用步骤S303中算出的光流来检测有可能为移动体的区域即第1候选区域。例如，构成光流的终点的小区域当中，在光流彼此接近、朝向相同方向且具有相同长度时，将这多个成为光流的终点的小区域合并而检测为一个第1候选区域。接着，进入至步骤S305。

在步骤S305中，对步骤S304检测到的各第1候选区域打标签。但在区域的面积小于预先规定的面积的情况下，也可将该区域视为噪声而不打标签。接着，进入至步骤S306。

在步骤S306中，针对步骤S305中打上标签的各第1候选区域设定与该第1候选区域外接的矩形，并将该矩形的左上及右下的坐标登记至第1检测结果RES1。进而，使用步骤S303中算出的光流来检测第1候选区域的移动方向，并将检测到的移动方向一并登记至第1检测结果RES1。

在第1检测结果RES1中，针对打上标签的每一第1候选区域而登记至不同纪录。例如，在5个第1候选区域打上了标签的情况下，在第1检测结果RES1中登记5个纪录。以下，将第1检测结果RES1的第k个纪录记作RES1[k]。

(移动向量算出部的处理例)

图9的(a)～(c)为说明移动向量算出部51的处理例的图。图9的(a)为根据摄像机12在时刻t－Δt拍摄到的图像而获得的平面投影图像的一例。如图9的(a)所示，该平面投影图像中拍摄有行人X1和驻车框线Y。

图9的(b)为根据摄像机12在时刻t拍摄到的图像而获得的平面投影图像的一例。对图9的(a)与图9的(b)进行比较得知，行人X1在时间Δt之内在向前方(图示右侧)移动。此外，由于驻车框线Y的位置在向图示下侧发生了移动，因此得知车辆10在时间Δt之内在接近驻车框线Y。

图9的(c)为表示仅检测到伴随行人X1的移动而产生的光流的结果的图。如上所述，在时间Δt之内车辆10也在移动，但是，使用轮速传感器20及操舵角传感器22的输出来算出伴随车辆10的移动而产生的光流并从根据图9的(a)和图9的(b)算出的光流当中扣除而排除了车辆移动的影响。由此，图9的(c)中，仅检测到表示行人X1的移动的光流Op。对如此检测到的光流Op进行分析，将向同一方向移动了同一量程度的区域加以统合而识别为一个物体。

图10为表示如此检测到的第1候选区域的一例。如图10所示，以物体形式检测到行人X1的区域，与行人X1外接的矩形区域R1的位置存储至第1检测结果RES1。再者，由于光流下难以检测到脚，因此检测行人X1的躯干及头部作为第1候选区域。

如以上所说明，移动向量算出部51以如下方式算出第1候选区域。使用多张图像来算出多个光流即移动向量。在多个移动向量中提取同一速度、同一移动方向的移动向量。与提取到的移动向量的终点相当的小区域经合并而得的区域为第1候选区域。如此，根据算出的光流而检测到的第1候选区域的坐标、移动方向登记至第1检测结果RES1。

(脚部位置算出部)

使用流程图，对脚部位置算出部52的动作进行说明。以下所说明的各步骤的执行主体为图像处理ECU 18的CPU。

图11为表示脚部位置算出部52的动作的流程图。

在步骤S601中，将从摄像机12接收到的当前时刻t下的拍摄图像转换为从车辆10的正上方进行俯视而得的图像即俯瞰图像。在俯瞰图像的制作即从拍摄图像到俯瞰图像的转换中，可以使用预先存储在存储器26中的未图示的坐标变换表、焦距f等摄像机12的内部参数、以及安装位置和角度等摄像机12的外部参数来进行。该坐标变换表中存储有原图像的坐标与俯瞰图像的坐标的对应关系。接着，进入至步骤S602。

在步骤S602中，将前一拍摄图像即从当前时刻倒退时间Δt而得的时刻t－Δt下的拍摄图像以与步骤S601相同的方式转换为俯瞰图像并进入至步骤S603。

在步骤S603中，使用车辆信息即轮速传感器20及操舵角传感器22的输出来算出从前一图像的拍摄起到当前为止的时间Δt之内的车辆10的移动量和移动方向。继而，根据该移动量和移动方向，对步骤S602中制作出的俯瞰图像进行车辆10的移动的影响的修正。接着，进入至步骤S604。

在步骤S604中，算出步骤S601中制作出的俯瞰图像与步骤S603中进行了修正的俯瞰图像的差分，生成差分图像。虽然在时间Δt之内车辆10在移动，但通过步骤S603的修正来修正了移动的影响。因此，本步骤中算出的差分中是排除了车辆10的移动的影响的。接着，进入至步骤S605。

在步骤S605中，将步骤S604中算出的差分图像二值化。该二值化的阈值可为预先规定的值，也可为根据所获得的差分图像来决定的值。接着，进入至步骤S606。

在步骤S606中，将在步骤S605中经二值化之后的差分图像中存在的区域当中的、存在于规定距离以内的差分信息以属于同一组的方式加以分组，并进入至步骤S607。

步骤S607中，进行对步骤S606中经分组后的各区域分配标签例如编号的标签化处理，并进入至步骤S608。但在区域的面积为规定值以下的情况下，也可不分配标签。

在步骤S608中，算出分配有标签的区域(以下记作第2候选区域)的重心，将俯瞰图像中的重心的坐标保存至第2检测结果RES2。此外，在俯瞰图像中算出第2候选区域当中离摄像机12最近的坐标即最接近点Ha并保存至第2检测结果RES2。进而，在平面变换图像中算出与最接近点Ha相对应的最接近点Hb，并同样输出至第2检测结果RES2。最接近点Ha及最接近点Hb的算出方法将在后文中结合附图进行说明。

在第2检测结果RES2中，针对打上标签的每一第2候选区域而登记至不同纪录。例如，在5个第2候选区域打上了标签的情况下，在第2检测结果RES2中登记5个纪录。以下，将第2检测结果RES2的第k个纪录记作RES2[k]。

(脚部位置算出部的处理例)

使用图12～图13，对脚部位置算出部的处理例进行说明。

图12的(a)～图12的(e)为说明图11的步骤S601～步骤S604的处理的图。图12的(a)及图的12(b)为平面变换图像，图12的(c)～图的12(e)为俯瞰图像。图12的(a)与图9的(a)相同，图12的(b)与图9的(b)相同。此外，图12的(c)是将图12的(a)转换(步骤S602)为俯瞰图像而得，图12的(d)是将图的12(b)转换(步骤S601)为俯瞰图像而得。

如图12的(a)及图的12(c)所示，平面变换图像中的行人X1在俯瞰图像中转换为行人X1a。此外，平面变换图像中的驻车框线Y在俯瞰图像中转换为驻车框线Ya。图12的(b)是从图12的(a)的拍摄起经过时间Δt之后拍摄到的图像，与图12的(a)相比，行人X1向图示右侧进行了移动。由于在时间Δt之内车辆10发生了移动，因此，对图12的(a)与图12的(b)进行比较，驻车框线Y也发生了移动。因而，在与图12的(a)～图12的(b)相对应的俯瞰图像即图12的(c)～图12的(d)中，行人X1a和驻车框线Ya也发生了移动。

根据时间Δt之内的车辆10的移动量及移动方向对图12的(c)进行修正，并算出修正后的图12的(c)与图12的(d)的差分，获得图12的(e)(步骤S604)。图12的(e)中，无运动的驻车框线Ya因差分算出而消失，从而仅显示出有运动的行人X1a的差分即行人差分区域X1b。

图13的(a)～(c)为说明根据算出的第2候选区域来算出最接近点Ha的过程的图。图13的(a)中，标有符号X1c的影线区域为行人差分区域X1b经过差分的分组(步骤S606)、2值化(步骤S605)以及标签化(步骤S607)而决定为第2候选区域的区域。

如图13的(a)所示，在俯瞰图像中设定表示摄像机12的位置的摄像机位置C(cx,cy)。该摄像机位置C是根据俯瞰图像的显示范围而唯一地决定的。在图13的(a)的例子中，是设置在俯瞰图像的下边上。此处，将表示移动物体的区域X1c的重心点G1的坐标设为G1(gx1,gy1)。

接着，如图13的(b)所示，设定连结重心点G1(gx1,gy1)与摄像机位置C(cx,cy)的线段L1。进而，如图13的(c)所示，求属于区域X1c的点当中的、最接近摄像机位置C(cx,cy)的点即最接近点Ha(hx1,hy1)。具体而言，在线段L1上从重心点G1(gx1,gy1)向摄像机位置C(cx,cy)探索，将区域X1c的端部作为最接近点Ha。如此探索出的最接近点Ha(hx1,hy1)表示区域X1c与路面接触的接地点的位置。进而，算出与所算出的最接近点Ha相对应的平面变换图像中的最接近点Hb。从最接近点Ha向最接近点Hb的转换即与俯瞰图像中的某一坐标相对应的平面投射图像中的坐标的算出可以通过与俯瞰图像的制作相反的次序来实现。

如以上所说明，脚部位置算出部52进行如下运算。

算出多张俯瞰图像的差分，将具有差分的区域当中的、距离较近的小区域彼此分组为第2候选区域。算出第2候选区域的重心。算出包含在第2候选区域内、处于连结该重心与俯瞰图像上的摄像机位置的线段上而且离摄像机12最近的坐标作为最接近点Ha。进而，在平面变换图像中算出与最接近点Ha相对应的最接近点Hb。第2候选区域的重心的坐标以及最接近点Ha登记至第2检测结果RES2。与根据俯瞰图像算出的最接近点Ha相对应的平面图像上的最接近点Hb也登记至第2检测结果RES2。

(关联部)

使用流程图，对关联部53的动作进行说明。以下所说明的各步骤的执行主体为图像处理ECU 18的CPU。

图14为表示关联部53的动作的流程图。

在步骤S1301中，读取移动向量算出部51所算出的第1检测结果RES1以及脚部位置算出部52所算出的第2检测结果RES2并进入至步骤S1302。

在步骤S1302中，对循环计数器j代入初始值1，并进入至步骤S1303。当处理进入到与本步骤相对应的步骤S1311时，使循环计数器j增加1并再次进入至步骤S1303。反复进行该处理直至循环计数器达到第1检测结果RES1的总纪录数即J为止。

在步骤S1303中，读取第1检测结果RES1的第“j”纪录中的第1候选区域的顶点坐标。以下，将本步骤中读取的第1候选区域的左上的坐标称为(sxj,syj)，同样地将右下的坐标称为(exj,eyj)。接着，进入至步骤S1304。

在步骤S1304中，对循环计数器“m”代入初始值1，并进入至步骤S1305。

在步骤S1305中，读取第2检测结果RES2的第“m”纪录中的最接近点Hb的坐标。以下，将本步骤中读取的最接近点Hb的坐标称为(hbxm,hbym)。接着，进入至步骤S1306。

在步骤S1306中，判断最接近点Hb的X坐标是否包含在规定范围内。所谓规定范围，是指通过步骤S1303中读取的第1候选区域和规定阈值TH加以设定的范围。更详细而言，是指平面投影图像中的X坐标(水平方向)距矩形区域不到距离TH的范围。例如，在最接近点Hb的X坐标包含在第1候选区域的X坐标内的情况、或者最接近点Hb的X坐标距第1候选区域的X坐标的端部不到距离TH的情况下，判断包含在规定范围内。在判断为规定范围内的情况下，进入至步骤S1307，在判断不在规定范围内的情况下，进入至步骤S1310。

在步骤S1307中，判断第1检测结果RES1的第“j”纪录的移动方向与第2检测结果RES2的第“m”纪录的移动方向是否一致。在判断两者一致的情况下，进入至步骤S1308，在判断两者不一致的情况下，进入至步骤S1310。但在本说明书中，所谓移动方向的一致，不仅包括严格一致的情况，也包括2个移动方向所成的角在预先规定的容许角度以内的情况。

在步骤S1308中，在统合物体MOF中以(sxj,syj)的形式登记具有矩形形状的统合候选区域的左上的坐标，同样地以(exj,hbym)的形式登记右下的坐标。即，该统合候选区域是将第1检测结果RES1的第“j”纪录中的第1候选区域的Y坐标延长到第2检测结果RES2的第“m”纪录中的最接近点Hb的Y坐标而得。接着，进入至步骤S1309。

在步骤S1309中，将在步骤S1307中得到肯定判定的第1候选区域和第2候选区域删除。即，从第1检测结果RES1中删除第“j”纪录，从第2检测结果RES2中删除第“m”纪录。再者，虽然该处理使得第1检测结果RES1及第2检测结果RES2的总纪录数减少，但步骤S1302及步骤S1304的处理不受影响。其原因在于，步骤S1302中的总纪录数J以及步骤S1304中的总纪录数M会在执行步骤S1301时加以计数。接着，进入至步骤S1310。

步骤S1310为循环计数器“m”的循环终点，在循环计数器“m”为M的情况下，进入至步骤S1311，在循环计数器“m”不为M的情况下，增加1并返回至步骤S1305。

步骤S1311为循环计数器j的循环终点，在循环计数器j为J的情况下，结束图14的流程图，在循环计数器j不为J的情况下，增加1并返回至步骤S1303。

(关联部的处理例)

图15为说明关联部53的处理例的图。图15的(a)为表示展示关联的成败的3个例子的图，也就是表示图14的步骤S1306的判断例的图，图15的(b)为表示第1候选区域、第2候选区域的最接近点Hb以及统合候选区域的关系即步骤S1308的处理例的图。

图15的(a)中，符号1350表示第1候选区域，符号Hb1～Hb3表示成为正面图像中的第2候选区域的最接近点Hb的比较对象的3个点。最接近点Hb1的X坐标处于第1候选区域1350的X坐标的范围内。最接近点Hb2的X坐标虽然在第1候选区域1350的X坐标的范围外，但距第1候选区域1350的端部在距离TH以内。最接近点Hb3的X坐标在第1候选区域1350的X坐标的范围外，而且与第1候选区域1350的端部相隔距离TH以上。在该情况下，最接近点Hb1及Hb2在图14的步骤S1306中会得到肯定判断，最接近点Hb3在该步骤中会得到否定判断。

图15的(b)中，符号1351和符号Hb4表示在图14的步骤S1306及步骤S1307中得到肯定判断的第1候选区域以及第2候选区域的最接近点Hb。符号1352表示根据第1候选区域1351及最接近点Hb4设定的统合区域。但在图15的(b)中，为了避免第1候选区域1351与统合区域1352重叠，是以朝+侧错开些许的方式显示统合区域1352的X坐标及Y坐标。如图15的(b)所示，统合区域1352具有将构成第1候选区域1351的矩形的下边朝下方延伸到最接近点Hb4的Y坐标而成的形状。即，若利用左上坐标和右下坐标来确定表示统合区域1352的矩形区域，则统合区域1352的左上的XY坐标以及右下的X坐标与第1候选区域1351一致，区域1352的右下的Y坐标与最接近点Hb4的Y坐标一致。因而，成为图14的步骤S1308的样子。

如以上所说明，关联部53进行如下运算。

根据第1候选区域和第2候选区域来算出统合两者的区域。若根据光流即移动向量算出的第1候选区域与对应于根据俯瞰图像算出的第2候选区域的最接近点Ha的、平面图像上的最接近点Hb的水平方向的距离在预先规定的范围内、第1候选区域的移动方向与最接近点Hb的移动方向一致，则将该第1候选区域与第2候选区域统合。即，将第1候选区域的垂直方向下端扩展到第2候选区域的最接近点Hb，将该区域作为统合候选区域。该统合候选区域存储至统合物体MOF。

(追踪处理部的动作)

使用流程图，对追踪处理部55的动作进行说明。以下所说明的各步骤的执行主体为图像处理ECU 18的CPU。

图16～18为表示追踪处理部55的动作的流程图。由于总步骤数较多，因此流程图跨越了3个图。

在步骤S1401中，从存储器26读取追踪移动体DMO，从关联部53读取统合物体MOF、第1检测结果RES1及第2检测结果RES2，并进入至步骤S1402。

在步骤S1402中，对循环计数器n代入初始值1，并进入至步骤S1403。当处理进入到与本步骤相对应的步骤S1422时，使循环计数器i增加1并再次进入至步骤S1403。反复进行该处理直至循环计数器达到追踪移动体DMO的总纪录数即N为止。

在步骤S1403中，对计数器i代入初始值0，并进入至步骤S1404。计数器i用于对符合后文叙述的条件的次数进行计数。

在步骤S1404中，对循环计数器k代入初始值1，并进入至图17所示的步骤S1405。当处理进入到与本步骤相对应的步骤S1416时，使循环计数器k增加1并再次进入至步骤S1405。反复进行该处理直至循环计数器达到统合物体MOF的总纪录数即K为止。

在图17的步骤S1405中，判断在追踪移动体DMO中的第“n”纪录中记录的移动体的预测位置是否存在统合物体MOF中的第“k”纪录中记录的统合候选区域。换句话说，判断在追踪移动体DMO中的第“n”纪录的预测位置是否包含统合物体MOF中的第“k”纪录的坐标。在判断包含的情况下，进入至步骤S1406，在判断不包含的情况下，进入至步骤S1408。再者，本步骤中读取的移动体的预测位置是上一次执行追踪处理部55时在后文叙述的步骤S1423中算出的移动体的预测位置。

在步骤S1406中，判断追踪移动体DMO中的第“n”纪录的移动方向与统合物体MOF中的第“k”纪录的移动方向是否一致。在判断一致的情况下，进入至步骤S1407，在判断不一致的情况下，进入至图18的步骤S1416。

在步骤S1407中，以如下方式变更追踪移动体DMO中的第“n”纪录的更新位置、移动方向、追踪置信度。即，对更新位置代入统合物体MOF中的第“k”纪录的坐标，对移动方向代入统合物体MOF中的第“k”纪录的移动方向，大幅增加追踪置信度例如增加20。接着，进入至图18的步骤S1416。

在当在步骤S1405中作出否定判断时执行的步骤S1408中，判断在追踪移动体DMO中的第“n”纪录中所记录的移动体的预测位置中是否存在第1检测结果RES1的第1候选区域。换句话说，判断在追踪移动体DMO中的第“n”纪录的预测位置是否包含某一第1候选区域的坐标。在判断包含某一第1候选区域的情况下，进入至步骤S1409，在判断不存在包含的第1候选区域的情况下，进入至步骤S1411。再者，在以下的追踪处理部55的动作的说明中，将在本步骤中判断在预测位置中包含坐标的第1候选区域称为特定第1候选区域。

在步骤S1409中，判断追踪移动体DMO中的第“n”纪录的移动方向与特定第1候选区域的移动方向是否一致。在判断移动方向一致的情况下，进入至步骤S1410，在判断移动方向不一致的情况下，进入至图18的步骤S1416。

在步骤S1410中，以如下方式变更追踪移动体DMO中的第“n”纪录的更新位置、移动方向、追踪置信度。即，对更新位置代入同一纪录的移动体的预测位置，对移动方向代入特定第1候选区域的移动方向，减少追踪置信度例如减少10。接着，进入至图18的步骤S1416。

在当在步骤S1408中作出否定判断时执行的步骤S1411中，判断在追踪移动体DMO中的第“n”纪录中所记录的移动体的预测位置中是否存在第2检测结果RES2的最接近点Hb。换句话说，判断在追踪移动体DMO中的第“n”纪录的预测位置中是否包含某一第2检测结果RES2的最接近点Hb。在判断包含某一最接近点Hb的情况下，进入至步骤S1412，在判断不存在包含的最接近点Hb的情况下，进入至步骤S1415。再者，在以下的追踪处理部55的动作的说明中，将在本步骤中判断在预测位置包含最接近点Hb的第2候选区域称为特定第2候选区域。

在步骤S1412中，判断追踪移动体DMO中的第“n”纪录的移动方向与特定第2候选区域的移动方向是否一致。在判断移动方向一致的情况下，进入至步骤S1413，在判断移动方向不一致的情况下，进入至步骤S1414。

在步骤S1413中，以如下方式变更追踪移动体DMO中的第“n”纪录的更新位置及移动方向。即，对更新位置代入特定第2候选区域的最接近点Hb的坐标，对移动方向代入特定第2候选区域的移动方向。接着，进入至图18的步骤S1416。

在步骤S1414中，以如下方式变更追踪移动体DMO中的第“n”纪录的更新位置及追踪置信度。即，对更新位置代入特定第2候选区域的最接近点Hb的坐标，略微减少追踪置信度例如减少5。接着，进入至图18的步骤S1416。

在当在步骤S1405、S1408、S1411中均作出否定判断时执行的步骤S1415中，使计数器i递增也就是使i增加1并进入至图18的步骤S1416。

图18的步骤S1416为循环计数器k的循环终点，在循环计数器k为K的情况下，进入至步骤S1417，在循环计数器k不为K的情况下，使循环计数器k增加1并返回至图17的步骤S1405。

在步骤S1417中，判断计数器i与统合物体MOF的总纪录数即K是否相等。在判断与K相等的情况下，进入至步骤S1418，在判断与K不相等的情况下，进入至步骤S1419。

在步骤S1418中，大幅减少追踪移动体DMO中的第“n”纪录的追踪置信度例如减少20，而且对更新位置代入同一纪录的移动体的预测位置。接着，进入至步骤S1419。

在步骤S1419中，判断追踪移动体DMO中的第“n”纪录的追踪置信度是否为消失阈值例如零以上。在判断为消失阈值以上的情况下，进入至步骤S1420，在判断不到消失阈值的情况下，进入至步骤S1421。

在步骤S1420中，进行不删除追踪移动体DMO的第“n”纪录的决定，并将该纪录的信息即作为已确定的移动体的位置的更新位置、移动方向以及速度作为移动体信息输出至路径生成部17。接着，进入至步骤S1422。

在步骤S1421中，删除追踪移动体DMO中的第“n”纪录，并进入至步骤S1422。

步骤S1422为循环计数器n的循环终点，在循环计数器n为N的情况下，进入至步骤S1423，在循环计数器n不为N的情况下，使循环计数器n增加1并返回至图16的步骤S1403。

在步骤S1423中，以追踪移动体DMO的所有纪录为对象，根据各纪录的速度、移动方向及更新位置来算出新的预测位置。将该算出的预测位置记录至追踪移动体DMO，而且清除即删除各纪录的更新位置，结束通过图16～图18的流程图展示的程序。

(追踪处理部的处理总结)

将基于使用图16～图18来说明过的追踪处理部55的动作的追踪移动体DMO的更新位置、移动方向以及追踪置信度的更新示于图19。

图19为表示由追踪处理部55进行的追踪移动体DMO的更新处理的一览表。图19中展示了若符合规定条件则进行对应的处理这一情况。

“条件”栏的所谓“坐标的一致”，表示追踪移动体DMO的某一纪录的预测位置与统合候选区域、第1候选区域、第2候选区域的坐标一致或者都不一致。“条件”栏的所谓“移动方向”，表示追踪移动体DMO的某一纪录的移动方向与坐标一致的统合候选区域、第1候选区域或第2候选区域的移动方向是否一致。

“处理”栏的“更新位置”、“移动方向”、“追踪置信度”表示追踪移动体DMO的某一纪录的移动体候选区域的各个值的更新处理。

如以上所说明，追踪处理部55进行如下运算。

追踪处理部55读取统合物体MOF、第1检测结果RES1、第2检测结果RES2及追踪移动体DMO。追踪处理部55进行追踪移动体DMO中存储的移动体的位置的更新即移动体的位置的确定、移动体从追踪对象中的删除即特定纪录从追踪移动体DMO中的删除、与移动体有关的信息向路径生成部17的输出、以及追踪置信度的变更。当追踪置信度变为规定值以下时，便从追踪移动体DMO中删除。

(追踪移动体确定部的动作)

使用流程图，对追踪移动体确定部54的动作进行说明。以下所说明的各步骤的执行主体为图像处理ECU 18的CPU。

图20～22为表示追踪移动体确定部54的动作的流程图。由于总步骤数较多，因此流程图跨越了3个图。

在步骤S1501中，从存储器26读取移动体候选CPE，从追踪移动体DMO读取统合物体MOF、第1检测结果RES1及第2检测结果RES2，并进入至步骤S1502。

在步骤S1502中，对循环计数器n代入初始值1，并进入至步骤S1503。当处理进入到与本步骤相对应的步骤S1525时，使循环计数器i增加1并再次进入至步骤S1503。反复进行该处理直至循环计数器达到移动体候选CPE的总纪录数即N为止。

在步骤S1503中，对计数器i代入初始值0，并进入至步骤S1504。

在步骤S1504中，对循环计数器k代入初始值1，并进入至图21所示的步骤S1505。当处理进入到与本步骤相对应的步骤S1517时，使循环计数器k增加1并再次进入至步骤S1505。反复进行该处理直至循环计数器达到统合物体MOF的总纪录数即K为止。

在图21的步骤S1505中，判断在移动体候选CPE中的第“n”纪录中所记录的移动体的预测位置中是否存在统合物体MOF中的第“k”纪录中记录的统合候选区域。换句话说，判断在移动体候选CPE中的第“n”纪录的某一预测位置是否包含统合物体MOF中的第“k”纪录的坐标。在判断包含的情况下，进入至步骤S1506，在判断不包含的情况下，进入至步骤S1509。再者，本步骤中读取的移动体的预测位置是上一次执行追踪移动体确定部54时在后文叙述的步骤S1528中算出的移动体的预测位置。

在步骤S1506中，判断移动体候选CPE中的第“n”纪录的移动方向与统合物体MOF中的第“k”纪录的移动方向是否一致。在判断一致的情况下，进入至步骤S1507，在判断不一致的情况下，进入至步骤S1508。

在步骤S1507中，以如下方式变更移动体候选CPE中的第“n”纪录的更新位置、移动方向、移动体置信度。即，对更新位置代入统合物体MOF中的第“k”纪录的坐标，对移动方向代入统合物体MOF中的第“k”纪录的移动方向，增加移动体置信度例如增加10。接着，进入至图22的步骤S1517。

在步骤S1508中，将统合物体MOF中的第“k”纪录作为移动体候选CPE的新纪录加以登记。此时，移动体置信度设定预先规定的值例如50。此外，所追加的纪录的预测位置设为空栏，所追加的纪录的更新位置设为统合物体MOF中的第“k”纪录的坐标。预测位置将通过后文叙述的处理来算出。接着，进入至图22的步骤S1517。

在当在步骤S1505中作出否定判断时执行的步骤S1509中，判断在移动体候选CPE中的第“n”纪录中所记录的某一预测位置中是否存在第1检测结果RES1的第1候选区域。换句话说，判断在移动体候选CPE中的第“n”纪录的某一预测位置是否包含任一第1候选区域的坐标。在判断包含任一第1候选区域的情况下，进入至步骤S1510，在判断不存在包含的第1候选区域的情况下，进入至步骤S1512。再者，在以下的追踪移动体确定部54的动作的说明中，将在本步骤中判断在预测位置包含坐标的第1候选区域称为特定第1候选区域。

在步骤S1510中，判断移动体候选CPE中的第“n”纪录的移动方向与特定第1候选区域的移动方向是否一致。在判断移动方向一致的情况下，进入至步骤S1511，在判断移动方向不一致的情况下，进入至图22的步骤S1517。

在步骤S1511中，以如下方式变更移动体候选CPE中的第“n”纪录的更新位置、移动方向、移动体置信度。即，对更新位置代入移动体候选CPE中的第“n”纪录的预测位置，对移动方向代入特定第1候选区域的移动方向，减少移动体置信度例如减少10。但代入至更新位置的预测位置是该纪录中存储的多个预测位置当中与特定第1候选区域的距离最短的预测位置。接着，进入至图22的步骤S1517。

在当在步骤S1509中作出否定判断时执行的步骤S1512中，判断在移动体候选CPE中的第“n”纪录中所记录的移动体的预测位置中是否存在第2检测结果RES2的最接近点Hb。换句话说，判断在移动体候选CPE中的第“n”纪录的预测位置是否包含某一第2检测结果RES2的最接近点Hb。在判断包含某一最接近点Hb的情况下，进入至步骤S1513，在判断不存在包含的最接近点Hb的情况下，进入至步骤S1516。再者，在以下的追踪移动体确定部54的动作的说明中，将在本步骤中判断在预测位置包含最接近点Hb的第2候选区域称为特定第2候选区域。

在步骤S1513中，判断移动体候选CPE中的第“n”纪录的移动方向与特定第2候选区域的移动方向是否一致。在判断移动方向一致的情况下，进入至步骤S1514，在判断移动方向不一致的情况下，进入至步骤S1515。

在步骤S1514中，以如下方式变更移动体候选CPE中的第“n”纪录的更新位置、移动方向及移动体置信度。即，对更新位置代入特定第2候选区域的最接近点Hb的坐标，对移动方向代入特定第2候选区域的移动方向，略微减少移动体置信度例如减少5。接着，进入至图22的步骤S1517。

在步骤S1515中，以如下方式变更移动体候选CPE中的第“n”纪录的更新位置及移动体置信度。即，对更新位置代入特定第2候选区域的最接近点Hb的坐标，略微减少移动体置信度例如减少5。接着，进入至图22的步骤S1517。

在当在步骤S1505、S1509、S1512中均作出否定判断时执行的步骤S1516中，使计数器i递增也就是使i增加1并进入至图22的步骤S1517。

图22的步骤S1517为循环计数器k的循环终点，在循环计数器k为K的情况下，进入至步骤S1518，在循环计数器k不为K的情况下，使循环计数器k增加1并返回至图21的步骤S1505。

在步骤S1518中，判断计数器i与统合物体MOF的总纪录数即K是否相等。在判断与K相等的情况下，进入至步骤S1519，在判断与K不相等的情况下，进入至步骤S1520。

在步骤S1519中，大幅减少移动体候选CPE中的第“n”纪录的移动体置信度例如减少20，并且对更新位置代入同一纪录的移动体候选区域的预测位置。再者，虽然移动体候选区域具有多个预测位置的候选，但将其中距离最短的预测位置代入至更新位置。接着，进入至步骤S1520。

在步骤S1520中，判断移动体候选CPE中的第“n”纪录的移动体置信度是否为追踪阈值例如100以上。在判断为追踪阈值以上的情况下，进入至步骤S1521，在判断不到追踪阈值的情况下，进入至步骤S1522。

在步骤S1521中，将移动体候选CPE中的第“n”纪录作为追踪移动体DMO的新纪录加以登记。此时，追踪置信度设定预先规定的值例如50。此外，所追加的纪录的预测位置设为空栏，所追加的纪录的更新位置设为移动体候选CPE中的第“n”纪录的预测位置。所追加的纪录的预测位置将通过后文叙述的处理来算出。接着，进入至步骤S1525。

在步骤S1522中，判断移动体候选CPE中的第“n”纪录的移动体置信度是否为消失阈值例如零以上。在判断为消失阈值以上的情况下，进入至步骤S1525，在判断不到消失阈值的情况下，进入至步骤S1524。

在步骤S1524中，删除移动体候选CPE中的第“n”纪录，并进入至步骤S1525。

步骤S1525为循环计数器n的循环终点，在循环计数器n为N的情况下，进入至步骤S1526，在循环计数器n不为N的情况下，使循环计数器n增加1并返回至图20的步骤S1503。

在步骤S1526中，判断是否存在不属于任何移动体候选CPE的统合物体MOF。换句话说，判断是否存在对于移动体候选CPE的1～N中的任何纪录而言步骤S1505都未作出肯定判断的统合物体MOF的纪录(以下，称为“全否定判断纪录”)。在判断存在全否定判断纪录的情况下，进入至步骤S1527，在判断不存在全否定判断纪录的情况下，进入至步骤S1528。

在步骤S1527中，将全否定判断纪录作为移动体候选CPE的新纪录加以登记。此时，移动体置信度设定预先规定的值例如50。此外，所追加的纪录的预测位置设为空栏，所追加的纪录的更新位置设为全否定判断纪录的坐标。接着，进入至步骤S1528。

在步骤S1528中，以移动体候选CPE的所有纪录为对象，根据各纪录的移动方向及更新位置以及预先规定的多个速度来算出多个新的预测位置。所谓预先规定的多个速度，例如为与步行、小跑、全力快跑相对应的速度。将该算出的预测位置记录至移动体候选CPE的各纪录，并且清除即删除各纪录的更新位置，结束通过图20～图22的流程图展示的程序。

(追踪移动体确定部的处理总结)

将基于使用图20～图22来说明过的追踪移动体确定部54的动作的移动体候选CPE的更新位置、移动方向及移动体置信度的更新示于图23。

图23为表示由追踪移动体确定部54进行的移动体候选CPE的更新处理的一览表。图23中展示了若符合规定条件则进行对应的处理这一情况。

“条件”栏的所谓“坐标的一致”，表示移动体候选CPE的某一纪录中记录的移动体候选区域的预测位置与统合候选区域、第1候选区域、第2候选区域的坐标一致或者都不一致。“条件”栏的所谓“移动方向”，表示移动体候选CPE的某一纪录的移动方向与坐标一致的统合候选区域、第1候选区域或第2候选区域的移动方向是否一致。

“处理”栏的“更新位置”、“移动方向”、“移动体置信度”表示移动体候选CPE的某一纪录的移动体候选区域的各个值的更新处理。其中，在统合候选区域与坐标一致、移动方向不一致的情况下，将该统合候选区域追加至追踪移动体DMO。

如以上所说明，追踪移动体确定部54进行如下运算。

追踪移动体确定部54读取统合物体MOF、第1检测结果RES1、第2检测结果RES2及移动体候选CPE。追踪移动体确定部54进行纪录向移动体候选CPE的追加或删除、后文叙述的满足基准的纪录向追踪移动体DMO的追加、以及后文叙述的移动体置信度的增减。当移动体置信度变为0以下时，该纪录便从移动体候选CPE中删除，当移动体置信度超过100时，该纪录便从移动体候选CPE移动至追踪移动体DMO。

以上说明过的实施方式的追踪装置具备：移动向量算出部51，其根据拍摄图像来算出第1候选区域；脚部位置算出部52，其根据俯瞰图像来算出第2候选区域；关联部53，其算出将第1候选区域及第2候选区域关联而得的统合候选区域；追踪处理部55，其根据第1及第2候选区域以及统合候选区域来追踪作为追踪对象的移动体；以及追踪移动体确定部54，其确定要设为追踪对象的移动体。

每当收到拍摄图像时，便算出第1候选区域、第2候选区域及统合候选区域。另一方面，移动体候选CPE及追踪移动体DMO存储至存储器26，每当收到拍摄图像时，便通过追踪移动体确定部54和追踪处理部55加以更新。

(路径生成部)

路径生成部17根据追踪处理部55所输出的移动体信息来算出车辆10的移动路径。算出的移动路径经由显示控制部32而显示在监视器34上。但也可为车辆行为控制ECU 30根据路径生成部17的输出来控制制动执行器36而防止碰撞。

追踪处理部55所输出的移动体信息由移动体的位置、移动方向以及速度构成。路径生成部17算出避免与移动体的碰撞的移动路径，而在无法算出能够避免碰撞的移动路径的情况下，将停止指示输出至显示控制部32。

(路径生成部的动作例)

图24为表示路径生成部17根据追踪处理部55所输出的移动体信息来生成路径的情形的图。图24的(a)、(b)中，共通点为在车辆10左前方存在移动体70、在车辆10右前方存在移动体71。

图24的(a)中，位于车辆10左前方的移动体70向图示左侧移动，位于车辆10右前方的移动体71向图示右侧移动。从追踪处理部55接收到移动体信息的路径生成部17生成在移动体70与移动体71之间行进也就是大致直线前进的路径72。

图24的(b)中，位于车辆10左前方的移动体70以及位于车辆10右前方的移动体71向图示左侧移动。从追踪处理部55接收到移动体信息的路径生成部17以绕过移动体70与移动体71之间的方式生成向图示右侧大幅鼓起的路径73。

根据上述第1实施方式，获得以下作用效果。

(1)追踪装置即图像处理ECU 18具备：图像输入部即通信部18a，其供摄像部即摄像机12进行拍摄而获得的图像输入；第1移动体检测部即移动向量算出部51，其使用输入到图像输入部的多个图像来算出光流，并根据算出的光流来检测移动体的位置及移动方向；第2移动体检测部即脚部位置算出部52，其根据基于多个图像而生成的多个俯瞰图像来检测移动体的位置及移动方向；第3移动体检测部即关联部53，其统合第1移动体检测部及第2移动体检测部的检测结果而检测移动体的位置及移动方向；追踪移动体确定部54，其根据第1～第3移动体检测部的检测结果来决定应追踪的移动体；推断部55a，其推断追踪移动体确定部54所决定的追踪移动体的将来的位置及移动方向；以及追踪部55b，其使用由第1～第3移动体检测部分别检测到的移动体各自的位置以及由推断部55a推断出的推断位置中的任一方来追踪追踪移动体而确定该追踪移动体的位置。

由于以如此方式构成图像处理ECU 18，因此，即便在无法进行移动向量算出部51的使用光流的第1候选区域的检测或者脚部位置算出部52的使用俯瞰图像的第2候选区域的检测的情况下，也能继续由追踪处理部55进行的移动体的追踪，所以移动体的追踪的继续比较容易。

(2)第2移动体检测部即脚部位置算出部52算出多个俯瞰图像的差分即差分区域以及该差分区域的重心G，将包含在差分区域内、处于连结差分区域的重心G与俯瞰图像中的摄像部的位置C的线段L1上而且离摄像部的位置C最近的点即最接近点检测为移动体。

因此，能够高精度地检测光流下难以算出的移动体的脚部位置。

(3)若由第1移动体检测部检测到的移动体的位置与由第2移动体检测部检测到的移动体的位置的水平方向的距离在预先规定的范围内，而且由第1移动体检测部检测到的移动体的移动方向与由第2移动体检测部检测到的移动体的移动方向一致，则第3移动体检测部即关联部53将第1移动体检测部所检测到的移动体与第2移动体检测部所检测到的移动体加以统合。

因此，可以通过使用位置和移动方向这2个条件来高精度地对移动体的检测易于进行且水平方向的精度较高的基于光流的移动体的检测结果与脚部位置的检测精度较高的基于俯瞰图像的移动体的检测结果进行统合。

(4)由第1移动体检测部即移动向量算出部51以及第3移动体检测部即关联部53检测的移动体的位置是在水平方向及垂直方向上有宽度的区域。第3移动体检测部将使要统合的由第1移动体检测部检测到的移动体的区域的垂直方向下端扩展到要统合的由第2移动体检测部检测到的移动体的垂直方向下端而得的区域作为由第3移动体检测部检测的移动体的位置。

因此，由于将水平方向的精度较高的由移动向量算出部51检测到的区域扩展到脚部位置的精度较高的由脚部位置算出部52算出的最接近点Hb，所以能够高精度地掌握移动体的区域。

(5)追踪移动体确定部54存储移动体置信度，移动体置信度表示将追踪移动体的候选即移动体候选决定为追踪对象的准确性的指标，并推断移动体候选的将来的位置。追踪移动体确定部54进而根据由该追踪移动体确定部54推断出的移动体候选的将来的位置与由第3移动体检测部检测到的移动体的位置、由第1移动体检测部检测到的移动体的位置、以及由第2移动体检测部检测到的移动体的位置的关系来增减移动体置信度，当移动体置信度变为规定值以上时，将该移动体候选决定为新的追踪移动体。

因此，由于当移动体候选区域的移动体置信度变为预先规定的阈值以上时会将该移动体候选区域决定为追踪处理部55要追踪的新的移动体，所以能将准确性较高的移动体候选区域新设为追踪对象。

(6)若由推断部55a推断的追踪移动体的将来的位置与由第3移动体检测部检测的移动体的位置的距离不到规定距离，而且由推断部55a推断的追踪移动体的将来的移动方向与由第3移动体检测部检测的移动体的移动方向一致，则追踪处理部55的追踪部55b将由第3移动体检测部检测到的移动体的位置作为追踪移动体的被追踪到的位置。若由推断部55a推断的追踪移动体的将来的位置与由第3移动体检测部检测的移动体的位置的距离为规定距离以上，而且由推断部55a推断的追踪移动体的将来的位置与由第1移动体检测部检测的移动体的位置的距离不到规定距离，而且由推断部55a推断的追踪移动体的将来的移动方向与由第2移动体检测部检测的移动体的移动方向一致，则追踪部55b将由推断部55a推断出的推断位置作为追踪移动体的被追踪到的位置。若由推断部55a推断的追踪移动体的将来的位置与由第3移动体检测部检测的移动体的位置的距离为规定距离以上，而且由推断部55a推断的追踪移动体的将来的位置与由第1移动体检测部检测的移动体的位置的距离为规定距离以上，而且由推断部55a推断的追踪移动体的将来的位置与由第2移动体检测部检测的移动体的位置的距离不到规定距离，则追踪部55b将由第2移动体检测部检测到的移动体的位置作为追踪移动体的被追踪到的位置。

因此，可以通过将追踪处理部55所推断的移动体的位置及移动方向和追踪移动体的位置与移动向量算出部51、脚部位置算出部52及关联部53所检测到的移动体的位置及移动方向进行比较来追踪移动体。

(7)追踪部55b针对各追踪移动体而存储表示追踪移动体的追踪的准确性的指标即追踪置信度，根据由推断部推断的追踪移动体的将来的位置与由第3移动体检测部检测的移动体的位置、由第1移动体检测部检测的移动体的位置、以及由第2移动体检测部检测的移动体的位置的关系来增减追踪置信度，当追踪置信度变为规定值以下时，将该追踪移动体从追踪的对象中排除。

因此，由于在更新移动体的位置的追踪处理的同时增减追踪置信度、当追踪置信度变为预先规定的阈值以下时将该移动体从追踪的对象中排除，所以能够削减对准确性较低的移动体进行追踪的处理负荷。此外，可以针对追踪处理部55所追踪的移动体而将追踪的准确性确保在一定程度以上。

(变形例1)

在上述实施方式中，追踪处理部55将移动体的移动假定为匀速运动，并将移动体的速度保存到追踪移动体DMO中。但追踪处理部55也可使用卡尔曼滤波法来算出移动体的移动，并将该参数保存至追踪移动体DMO。

根据该变形例1，能够高精度地推断移动体的移动。

上文中，对实施方式及变形例进行了说明，但本发明并不限定于这些内容。在本发明的技术思想的范围内思索的其他形态也包含在本发明的范围内。

下面的优先权基础申请的揭示内容以引用文的形式并入至本申请。

日本专利申请2015年第237513号(2015年12月4日申请)

符号说明

10 车辆

12 摄像机

17 路径生成部

18 图像处理ECU

18a 通信部

26 存储器

30 车辆行为控制ECU

51 移动向量算出部

52 脚部位置算出部

53 关联部

54 追踪移动体确定部

55 追踪处理部

55a 推断部

55b 追踪部

CPE 移动体候选

DMO 追踪移动体

ECU 图像处理

MOF 统合物体

RES1 第1检测结果

RES2 第2检测结果。

Claims (6)

1.一种追踪装置，其特征在于，具备：

图像输入部，其供摄像部进行拍摄而获得的图像输入；

第1移动体检测部，其使用分别输入到所述图像输入部的多个图像来算出光流，并根据算出的所述光流来检测移动体的位置及移动方向；

第2移动体检测部，其根据基于所述多个图像而生成的多个俯瞰图像的差分来检测移动体的位置及移动方向；

第3移动体检测部，其统合所述第1移动体检测部及所述第2移动体检测部的检测结果而检测移动体的位置及移动方向；

追踪移动体确定部，其根据所述第1移动体检测部～第3移动体检测部的检测结果来决定应追踪的移动体；

推断部，其推断所述追踪移动体确定部所决定的追踪移动体的将来的位置及移动方向；以及

追踪部，其使用由所述第1移动体检测部～第3移动体检测部分别检测到的移动体各自的位置以及由所述推断部推断出的推断位置中的任一方来追踪所述追踪移动体，从而确定该追踪移动体的位置，

所述追踪移动体确定部存储移动体置信度，该移动体置信度是表示将所述追踪移动体的候选即移动体候选决定为追踪对象的准确性的指标，

并推断所述移动体候选的将来的位置，

根据由该追踪移动体确定部推断出的所述移动体候选的将来的位置与由所述第3移动体检测部检测到的移动体的位置、由所述第1移动体检测部检测到的移动体的位置、以及由所述第2移动体检测部检测到的移动体的位置的关系来增减所述移动体置信度，当所述移动体置信度变为规定值以上时，将该移动体候选决定为新的所述追踪移动体。

2.根据权利要求1所述的追踪装置，其特征在于，

所述第2移动体检测部算出所述多个俯瞰图像的所述差分即差分区域以及该差分区域的重心，

将包含在所述差分区域内、处于将所述差分区域的重心与俯瞰图像中的所述摄像部的位置连结的线段上而且离所述摄像部的位置最近的点检测为移动体。

3.根据权利要求2所述的追踪装置，其特征在于，

若由所述第1移动体检测部检测到的移动体的位置与由所述第2移动体检测部检测到的移动体的位置的水平方向的距离在预先规定的范围内，而且由所述第1移动体检测部检测到的移动体的移动方向与由所述第2移动体检测部检测到的移动体的移动方向一致，则所述第3移动体检测部将所述第1移动体检测部所检测到的移动体与所述第2移动体检测部所检测到的移动体加以统合。

4.根据权利要求2所述的追踪装置，其特征在于，

由所述第1移动体检测部及所述第3移动体检测部检测的移动体的位置是在水平方向及垂直方向上有宽度的区域，

所述第3移动体检测部将使要统合的由所述第1移动体检测部检测到的移动体的区域的垂直方向下端扩展到要统合的由所述第2移动体检测部检测到的移动体的垂直方向下端而得的区域作为由所述第3移动体检测部检测的移动体的位置。

5.根据权利要求1所述的追踪装置，其特征在于，

若由所述推断部推断的追踪移动体的将来的位置与由所述第3移动体检测部检测的移动体的位置的距离不到规定距离，而且由所述推断部推断的所述追踪移动体的将来的移动方向与由所述第3移动体检测部检测的所述移动体的移动方向一致，则所述追踪部将由所述第3移动体检测部检测到的移动体的位置作为所述追踪移动体的被追踪到的位置，

若由所述推断部推断的追踪移动体的将来的位置与由所述第3移动体检测部检测的移动体的位置的距离为规定距离以上，而且由所述推断部推断的追踪移动体的将来的位置与由所述第1移动体检测部检测的移动体的位置的距离不到规定距离，而且由所述推断部推断的所述追踪移动体的将来的移动方向与由所述第2移动体检测部检测的所述移动体的移动方向一致，则所述追踪部将由所述推断部推断出的所述推断位置作为所述追踪移动体的被追踪到的位置，

若由所述推断部推断的追踪移动体的将来的位置与由所述第3移动体检测部检测的移动体的位置的距离为规定距离以上，而且由所述推断部推断的追踪移动体的将来的位置与由所述第1移动体检测部检测的移动体的位置的距离为规定距离以上，而且由所述推断部推断的追踪移动体的将来的位置与由所述第2移动体检测部检测的移动体的位置的距离不到规定距离，则所述追踪部将由所述第2移动体检测部检测到的移动体的位置作为所述追踪移动体的被追踪到的位置。

6.根据权利要求1所述的追踪装置，其特征在于，

所述追踪部针对各所述追踪移动体而存储表示所述追踪移动体的追踪的准确性的指标即追踪置信度，

根据由所述推断部推断的追踪移动体的将来的位置与由所述第3移动体检测部检测的移动体的位置、由所述第1移动体检测部检测的移动体的位置、以及由所述第2移动体检测部检测的移动体的位置的关系来增减所述追踪置信度，当所述追踪置信度变为规定值以下时，将该追踪移动体从追踪的对象中排除。

Images