CN116524454A - 物体追踪装置、物体追踪方法及存储介质 - Google Patents

Abstract

提供能够使存在于车辆的周边的物体的追踪精度更加提高的物体追踪装置、物体追踪方法及存储介质。实施方式的物体追踪装置具备：图像取得部，其取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；辨识部，其根据由所述图像取得部取得的图像来辨识物体；区域设定部，其设定包含由所述辨识部辨识到的物体的图像区域；以及物体追踪部，其基于由所述区域设定部设定的图像区域的时间序列的变化量来追踪所述物体，所述区域设定部基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

Description

物体追踪装置、物体追踪方法及存储介质

技术领域

本发明涉及物体追踪装置、物体追踪方法及存储介质。

背景技术

以往，已知基于由车载相机拍摄到的车辆前方的图像数据，来进行以预先进行了学习的结果为基础的信号处理，检测在车辆的周边存在的物体的技术(例如，日本特开2021-144689号公报)。在日本特开2021-144689号公报中，使用卷积神经网络等深度神经网络(DNN)，来检测在车辆的周边存在的物体。

发明内容

然而，在如以往技术那样以由搭载于移动体的摄像部拍摄到的图像为对象进行物体追踪的情况下，与静止相机的图像相比，追踪对象的外观的变化、移动量变大，因此有时不能进行精度良好的物体追踪。

本发明是考虑这样的情况为完成的，其目的之一在于提供能够使存在于车辆的周边的物体的追踪精度更加提高的物体追踪装置、物体追踪方法及存储介质。

本发明的物体追踪装置、物体追踪方法及存储介质采用了以下的结构。

(1)：本发明的一方案的物体追踪装置具备：图像取得部，其取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；辨识部，其根据由所述图像取得部取得的图像数据来辨识物体；区域设定部，其设定包含由所述辨识部辨识到的物体的图像区域；以及物体追踪部，其基于由所述区域设定部设定的图像区域的时间序列的变化量来追踪所述物体，所述区域设定部基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

(2)：在上述(1)的方案中，所述区域设定部基于比由所述辨识部进行的物体的辨识时间点靠过去的所述物体的位置的变化量来推定比所述辨识时间点靠后的所述物体的位置及速度，并基于推定的位置及速度、以及比所述辨识时间点靠过去的所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

(3)：在上述(1)的方案中，所述区域设定部在由所述辨识部辨识到所述物体的情况下，将由所述摄像部拍摄到的拍摄图像向鸟瞰图像进行投影变换，并取得所述鸟瞰图像中的所述物体的位置及尺寸，所述区域设定部基于取得的所述物体的位置及尺寸和所述移动体的行为信息，来推定所述鸟瞰图像中的所述物体的将来的位置，并将推定的位置与所述拍摄图像建立对应关系而设定在下一图像帧中追踪所述物体的图像区域的位置及尺寸。

(4)：在上述(1)的方案中，所述物体追踪部在所述物体的追踪中使用KCF(Kernelized Correlation Filter：核化相关滤波器)。

(5)：在上述(1)的方案中，所述区域设定部在所述移动体进行躲避与所述物体之间的接触的行驶的情况下，与不进行躲避所述接触的行驶的情况相比增大所述图像区域的尺寸。

(6)：本发明的另一方案的物体追踪方法使计算机进行如下处理：取得图像数据，该图像数据包括由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；根据取得的所述图像数据来辨识物体；设定包含所辨识到的所述物体的图像区域；基于设定的所述图像区域的时间序列的变化量来追踪所述物体；基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

(7)：本发明的又一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；根据取得的所述图像数据来辨识物体；设定包含所辨识到的所述物体的图像区域；基于设定的所述图像区域的时间序列的变化量来追踪所述物体；基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

根据(1)～(7)的方案，能够使存在于车辆的周边的物体的追踪精度更加提高。

附图说明

图1是表示搭载于本车辆M的物体追踪装置的结构和周边设备的一例的图。

图2是表示搭载了物体追踪装置的本车辆M的周边状况的一例的图。

图3是表示在图2所示的周边状况中由相机拍摄到的本车辆M的前方的图像的一例的图。

图4是表示区域设定部的结构的一例的图。

图5是表示由网格提取部设定的网格的结构的一例的图。

图6是表示由网格提取部进行的网格G的提取方法的一例的图。

图7是表示由网格提取部算出的网格图像的一例的图。

图8是表示由区域控制部执行的网格G的搜索方法的一例的图。

图9是表示重叠于图像的边界框(bounding box)的一例的图。

图10是用于说明图像区域的设定和追踪处理的简要图。

图11是表示区域设定处理的一例的流程图。

图12是表示由物体追踪装置执行的驾驶控制处理的流程的一例的流程图。

具体实施方式

以下，参照附图，来说明本发明的物体追踪装置、物体追踪方法及存储介质的实施方式。实施方式的物体追踪装置例如搭载于移动体。所谓移动体，例如是指四轮车辆、二轮车辆、微型移动体(micr_o-mobility)、机器人自行移动的物体、或者通过载置于自行移动的移动体、或由人搬运而移动的智能手机等可移动型装置。在以下的说明中移动体设为是四轮车辆，并将移动体称作“本车辆M”来进行说明。物体追踪装置不限于搭载于移动体，也可以基于由定点观测用相机、智能手机的相机拍摄到的拍摄图像来进行以下说明的处理。

图1是表示搭载于本车辆M的物体追踪装置100的结构和周边设备的一例的图。物体追踪装置100例如与相机10、HMI30、车辆传感器40及行驶控制装置200等通信。

相机10安装于本车辆M的前玻璃的背面等，按时间序列拍摄本车辆M的行进方向上的至少包含路上的区域，并将所拍摄到的图像(拍摄图像)向物体追踪装置100输出。在相机10与物体追踪装置100之间也可以存在传感器融合装置等，但关于此省略说明。

HMI30通过HMI控制部150的控制对本车辆M的乘员提示各种信息，并且接受由乘员进行的输入操作。HMI30例如包括各种显示装置、扬声器、开关、话筒、蜂鸣器、触摸面板、按键等。各种显示装置例如是LCD(Liquid Crystal Display)、有机EL(ElectroLuminescence)显示装置等。显示装置例如设置于仪表板中的驾驶员座(距转向盘最近的座位)的正面附近，且设置于乘员能够从转向盘的间隙或越过转向盘视觉辨认的位置。显示装置也可以设置于仪表板的中央。显示装置也可以是HUD(Head Up Display)。HUD通过向驾驶员座前方的前风窗玻璃的一部分投影图像，使就座于驾驶员座的乘员的眼睛视觉辨认虚像。显示装置显示由后述的HMI控制部150生成的图像。

车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度(横摆角速度)的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。在车辆传感器40中也可以包括检测本车辆M的转向角(可以是转向轮的角度，也可以是转向盘的操作角度)的转向角传感器。在车辆传感器40中也可以包括检测油门踏板、制动踏板的踩踏量的传感器。在车辆传感器40中也可以包括取得本车辆M的位置的位置传感器。位置传感器例如是从GPS(Global Positioning System)装置取得位置信息(经度、纬度信息)的传感器。位置传感器例如也可以是使用搭载于本车辆M的导航装置(未图示)的GNSS(Global Navigation Satellite System)接收机来取得位置信息的传感器。

物体追踪装置100例如具备图像取得部110、辨识部120、区域设定部130、物体追踪部140、HMI控制部150及存储部160。这些构成要素例如通过CPU(Central ProcessingUnit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Progrrammable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)来实现，还也可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装。

存储部160也可以通过上述的各种存储装置、或SSD(Solid StateDrive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、或RAM(Random Access Memory)等实现。存储部160例如保存在进行实施方式中的物体追踪上需要的信息、追踪结果、地图信息、程序、其他各种信息等。地图信息例如也可以包括道路形状(道路宽度、曲率、坡度)、车道数、交叉路口、车道(行车道)的中央的信息或者车道的边界(划分线)的信息等。地图信息也可以包括POI(Point OfInterest)信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。

图像取得部110取得由相机10以时间序列拍摄到的图像(以下，称作相机图像)。图像取得部110也可以使所取得的相机图像存储于存储部160。

辨识部120基于由图像取得部110取得的相机图像，来辨识本车辆M的周边状况。例如，辨识部120辨识在本车辆M的周边(规定距离以内)存在的物体的类别、位置、速度、加速度等。在物体中例如包括其他车辆(包括摩托车等)、行人、自行车等交通参加者、道路构造物等。在道路构造物中，例如包括道路标识、交通信号机、缘石、中央隔离带、护栏、围栏、壁、交叉道口等。物体的位置例如被辨识为以本车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标上的位置，并使用于控制。物体的位置也可以由该物体的重心、角部等代表点表示，还可以由表现出的区域表示。所谓物体的“状态”，也可以包括物体的加速度、加加速度、或者“行动状态”(例如是否正在进行或正要进行车道变更)。以下，设为物体是“其他车辆”来进行说明。

辨识部120也可以辨识在本车辆M行驶的道路上描出的人行横道、停止线、其他交通标识(限制速度、道路标识)等。辨识部120也可以辨识将本车辆M行驶的道路所包含的各车道划分的道路划分线(以下，称作划分线)、根据在本车辆M的左右分别存在的最近的划分线来辨识本车辆M的行驶车道。辨识部120也可以对由相机10拍摄到的图像进行分析来辨识划分线，还可以根据由车辆传感器40检测出的本车辆M的位置信息并参照存储于存储部160的地图信息，根据本车辆M的位置来辨识周围的划分线的信息、行驶车道，还可以综合这两方的辨识结果。

辨识部120辨识本车辆M相对于行驶车道的位置、姿势。辨识部120例如也可以将本车辆M的基准点从车道中央的偏离及车身相对于将本车辆M的行进方向上的车道中央相连的线所成的角度辨识为本车辆M相对于行驶车道的相对位置及姿势。代替于此，辨识部120也可以将本车辆M的基准点相对于行驶车道的任意侧端部(道路划分线或道路边界)的位置等辨识为本车辆M相对于行驶车道的相对位置。

辨识部120也可以对由相机10拍摄到的图像进行分析，并基于从分析结果得到的特征信息(例如，边缘信息、颜色信息、物体的形状、大小等信息)，来辨识其他车辆的车身相对于本车辆M的正面方向或车道的延伸方向的朝向、车宽、其他车辆的车轮的位置、朝向等。车身的朝向是指，例如其他车辆的横摆角(车身相对于将其他车辆的行进方向上的车道中央相连的线所成的角度)。

区域设定部130在由辨识部120辨识到物体的情况下，在相机图像中设定包含物体的图像区域。关于图像区域，例如，图像区域的形状可以是例如边界框那样的矩形形状，也可以是其他形状(例如，圆形等)。区域设定部130基于包含过去的图像帧中的物体的图像区域的时间序列的变化量、以及本车辆M的行为信息，来设定物体追踪部140在将来的图像帧中追踪物体时的图像区域的位置及尺寸。

物体追踪部140基于由区域设定部130设定的图像区域，来追踪将来的图像帧所包含的物体。

HMI控制部150通过HMI30向乘员通知规定的信息、取得通过乘员的操作而由HMI30接受的信息。例如，在向乘员通知的规定的信息中，例如包括与本车辆M的状态相关的信息、与驾驶控制相关的信息等与本车辆M的行驶存在关联的信息。在与本车辆M的状态相关的信息中，例如包括本车辆M的速度、发动机转速、挡位等。在规定的信息中，也可以包括与物体的追踪结果相关的信息、用于警告存在与物体接触的可能性的信息、催促用于躲避接触的驾驶操作的信息。在规定的信息中，也可以包括电视节目、存储于DVD等存储介质的条目(例如，电影)等与本车辆M的驾驶控制无关的信息。

例如，HMI控制部150也可以生成包含上述的规定的信息的图像，并使所生成的图像显示于HMI30的显示装置，还可以生成表示规定的信息的声音，并使所生成的声音从HMI30的扬声器输出。

行驶控制装置200例如是控制本车辆M的转向及速度中的一方或双方，来进行使本车辆M自主地行驶的自动驾驶控制装置、车间距离控制、自动制动控制、自动车道变更控制、车道维持控制等的驾驶支援装置等。例如，行驶控制装置200基于由物体追踪装置100得到的信息，来使自动驾驶控制装置、驾驶支援装置等工作，执行躲避本车辆M与追踪中的物体的接触等行驶控制。

[物体追踪装置的功能]

接着，说明物体追踪装置100的功能的详细情况。图2是表示搭载了物体追踪装置100的本车辆M的周边状况的一例的图。图2作为一例示出搭载了物体追踪装置100的本车辆M以速度VM沿着道路RD1的延伸方向(图中X轴方向)行驶中、在本车辆M的前方摩托B(物体目标的一例)横穿道路RD1行驶的场景。以下，作为一例，说明物体追踪装置100追踪摩托(摩托车)B这一情况。

图3是表示在图2所示的周边状况中由相机10拍摄到的本车辆M的前方的图像IM10的一例的图。图像取得部110取得图像数据，该图像数据包括由搭载于本车辆M的相机10按时间序列拍摄到的、表示本车辆M的周边状况的多个帧。更具体而言，例如，图像取得部110以约30Hz程度的帧频从相机10取得图像数据，但并不限定于此。

辨识部120对图像IM10进行图像分析处理，取得图像所包含的每个物体的特征信息(例如，基于颜色、大小、形状等的特征信息)，并通过所取得的特征信息和预先决定的物体目标的特征信息之间的匹配处理，来辨识摩托B。在摩托B的辨识中，例如也可以包括通过人工智能(AI)、机器学习进行的判定处理等。

区域设定部130设定将图像IM10所包含的摩托B包含在内的图像区域(边界框)。图4是表示区域设定部130的结构的一例的图。区域设定部130例如具备差量算出部132、网格提取部134、区域控制部136及区域预测部138。例如，差量算出部132、网格提取部134及区域控制部136是指，设定包含由辨识部120辨识到的摩托B的图像区域时的功能，区域预测部138是设定下一图像帧中的图像区域时的功能。

差量算出部132关于由图像取得部110取得的多个帧，算出像素值的差量，并将所算出的差量二值化为第一值(例如，1)和第二值(例如，0)，由此算出该多个帧间的差量图像DI。

更具体而言，首先，差量算出部132对由图像取得部110取得的多个帧实施灰度变换，将RGB图像变换为灰度图像。接着，差量算出部132基于拍摄到多个帧的拍摄间隔中的本车辆M的速度，使在上次时间点拍摄到的帧(以下，有时称作“上次帧”)以该帧的消失点为中心放大，由此与在本次时间点拍摄到的帧(以下，有时称作“本次帧”)进行对位。

例如，差量算出部132例如根据在上次时间点与本次时间点之间计测到的本车辆M的速度(平均速度)来推定本车辆M的移动距离，并以消失点为中心使上次帧放大与该移动距离相应的放大率的量。所谓消失点，例如是通过使图像帧所包含的本车辆M的行驶车道的两侧延长而连结的交点。差量算出部132使上次帧放大在上次时间点与本次时间点之间计测到的本车辆M的移动距离所相应的放大率的量。此时，放大了的上次帧的尺寸比放大前大，因此差量算出部132通过将放大了的上次帧的端部修剪，使放大了的上次帧的尺寸返回原来的尺寸。

差量算出部132也可以除了上次帧与本次帧之间的拍摄间隔中的本车辆M的速度之外还考虑上次帧与本次帧之间的拍摄间隔中的本车辆M的横摆角速度，来修正上次帧。更具体而言，差量算出部132也可以基于该拍摄间隔中的横摆角速度，来算出上次帧的取得时间点的本车辆M的横摆角与本次帧的取得时间点的本车辆M的横摆角之间的差量，并使上次帧向横摆方向位移与该差量相应的角度的量，由此使上次帧与本次帧对位。

接着，差量算出部132在将上次帧对位到本次帧之后，算出上次帧与本次帧的像素值的差量。差量算出部132在关于各像素算出的差量值为规定值以上的情况下，对该像素分配表示是对象物体的候补的第一值。另一方面，差量算出部132在所算出的差量值小于规定值的情况下，对该像素分配表示不是动体的候补的第二值。

网格提取部134按由差量算出部132算出的差量图像DI中的多个像素中的每个像素来设定网格，并在所设定的网格各自中的第一值的像素的密度(比例)为阈值以上的情况下，提取该网格G。网格G是差量图像DI中的被定义为网格的多个像素的集合。

图5是表示由网格提取部134设定的网格的结构的一例的图。网格提取部134例如如图5所示那样，关于差量图像DI中的距相机10的距离为第一距离(例如，10m)以下的区域，将网格G的尺寸设定为约10×10像素程度(是“第一尺寸”的一例)，关于距相机10的距离比第一距离大的第二距离(例如，20m)以下的区域，将网格G的尺寸设定为约8×8像素程度(是“第二尺寸”的一例)，关于距相机10的距离比第二距离大的区域，将网格G的尺寸设定为约5×5像素程度(是“第三尺寸”的一例)。这是由于：距相机10的距离越大，则由相机10拍摄的区域的变化越小，为了检测动体，需要设定更细的网格G的尺寸。根据差量图像DI中的距相机10的距离，来设定网格G的尺寸，由此能够更准确地检测动体。

图6是表示由网格提取部134进行的网格G的提取方法的一例的图。网格提取部134关于多个网格G中的各个网格G，判定第一值的像素的密度是否为阈值(例如，约85％程度)以上，关于判定为第一值的像素的密度为阈值以上的网格G，如图6的上部所示那样，提取构成该网格G的像素整体(设定为第一值)。另一方面，网格提取部134关于判定为第一值的像素的密度小于阈值的网格G，如图6的下部所示那样，废弃构成该网格G的像素整体(设定为第二值)。

在上述的说明中，网格提取部134关于多个网格G中的各个网格G判定第一值的像素的密度是否为单一的阈值以上。然而，本发明不限定于这样的结构，网格提取部134也可以根据差量图像DI中的距相机10的距离，来变更阈值。例如，一般情况下，距相机10的距离越近，则由相机10拍摄到的区域的变化更大，越容易产生误差，因此也可以是距相机10的距离越近，则网格提取部134越将阈值设定得更高。而且，网格提取部134不限于第一值的像素的密度，也可以使用基于第一值的像素得到的任意的统计值来进行判定。

网格提取部134通过针对差量图像DI实施将第一值的像素的密度为阈值以上的网格的像素整体设定为第一值的处理(网格置换处理)，算出网格图像GI。图7是表示由网格提取部134算出的网格图像GI的一例的图。在图7的例子中，为了便于说明，以残留了背景图像一部分的状态示出，但实际上图7所示的网格图像GI的构成要素不是像素而成为网格。这样，通过对差量图像DI实施网格置换处理，来检测表示摩托B的网格。

区域控制部136搜索由网格提取部134提取、且满足规定基准的网格G的集合，并对搜索到的网格G的集合设定边界框。

图8是表示由区域控制部136执行的网格G的搜索方法的一例的图。区域控制部136首先根据由网格提取部134算出的网格图像GI，来搜索下端为一定长L1以上的网格G的集合。此时，区域控制部136如图8的左部所示那样，为了判定为网格G的集合具有一定长L1以上的下端，不必以该集合没有缺损地包含网格G这一情况为条件，也可以是，以例如该下端所包含的网格G的密度为基准值以上这一情况为前提条件，判定为具有一定长L1以上的下端。

接着，区域控制部136在确定了具有一定长L1以上的下端的网格G的集合的情况下，判定该网格G的集合是否具有一定长L2以上的高度。即，通过判定网格G的集合是否具有一定长L1以上的下端且一定长L2以上的高度，能够确定该网格G的集合是否相当于摩托、行人、四轮车辆等物体。在该情况下，下端的一定长L1及高度的一定长L2的组合按摩托、行人、四轮车辆等物体中的每个物体而设定为固有的值。

接着，区域控制部136在确定了具有一定长L1以上的下端及一定长L2以上的高度的网格G的集合的情况下，对该网格G的集合设定边界框。接着，区域控制部136判定所设定的边界框所包含的网格G的密度是否为阈值以上。区域控制部136在判定为所设定的边界框所包含的网格G的密度为阈值以上的情况下，将该边界框检测为对象物体，并将检测到的区域重叠于图像IM10上。

图9是表示重叠于图像IM10的边界框BX的一例的图。通过上述的处理，能够更准确地设定例如如图9所示那样包含摩托B的图像区域的边界框BX。图9所示的图像也可以由HMI控制部150向HMI30输出。

区域设定部130也可以代替上述的方法(或除此之外还)通过使用了已知的人工智能(AI)、机器学习、深度学习(深度学习)的方法，根据图像中的物体的特征量来设定边界框BX。

区域预测部138基于包含过去的图像帧中的摩托B的边界框BX的时间序列的变化量、以及本车辆M的行为信息，来设定在将来的图像帧中追踪摩托时的图像区域的位置及尺寸。例如，区域预测部138基于比由辨识部120进行的摩托B的辨识时间点靠过去的摩托B的位置的变化量来推定比辨识时间点靠后的摩托B的位置及速度，并基于推定出的位置及速度、以及比辨识时间点靠过去的本车辆M的行为信息(例如，位置、速度、横摆角速度)，来设定在将来的图像帧中追踪摩托B的图像区域的位置及尺寸。

物体追踪部140基于由区域设定部130设定出的图像区域的时间序列的变化量来追踪下一图像帧中的摩托B。例如，物体追踪部140针对由区域预测部138预测到的图像区域(边界框)，进行摩托B的搜索，并在针对摩托B的特征量与边界框内的物体的特征量之间的一致程度为规定程度(阈值)以上的情况下，辨识为边界框内的物体是摩托B，追踪摩托B。

物体追踪部140作为物体的追踪方法，使用KCF(Kernelized CorrelationFilter)。所谓KCF，是指通过在输入连续的图像和该图像中的想要追踪的注目区域时基于图像的频率成分进行了随时训练的滤波器，返回在图像中响应最良好的区域的物体追踪算法的一种。

例如，KCF能够通过FFT(Fast Fourier Transform)一边抑制存储器使用量等一边高速地学习并追踪物体。例如，使用一般的二分类识别器的跟踪方法从物体的预测位置的周边随机对搜索窗采样来进行识别处理。另一方面，KCF通过FFT分析处理使搜索窗逐个像素地紧密地进行了位移的图像群，因此与使用二分类识别器的方法相比能够实现高速处理。

关于跟踪方法，并不限定于KCF，例如也可以使用Boosting、CSRT(Channel andSpatial Reliability Tracking)MEDIANFLOW、TLD(TrackingLearning Detection)、MIL(Multiple Instance Learning)等。但是，在这些物体追踪算法中，从追踪精度及处理速度的观点出发最优选使用KCF。特别是在进行本车辆M的行驶控制的领域(自动驾驶、驾驶支援)中，根据本车辆M的周边状况迅速且高精度的控制是重要的要素，因此在实施方式这样的进行驾驶控制的领域中，KCF尤为有效。

接着，关于区域预测部138中的图像区域的设定、以及设定出的图像区域中的追踪处理进行说明。图10是用于说明图像区域的设定和追踪处理的简要图。在图10的例子中，示出了当前时刻(t)的相机图像的帧IM20、以及包含当前时刻(t)的摩托B在内的边界框BX(t)。

区域预测部138基于由辨识部120辨识到的边界框BX(t)的位置及大小、以及在过去的时刻(t-1)的图像帧中辨识到的边界框BX(t-1)的位置及大小，来求取帧间的边界框的位置及大小的变化量。接着，区域预测部138基于求出的变化量，来推定将来(例如，下一帧(时刻(t+1)、下下帧(t+2)等)的注目区域即边界框BX(t+1)、BX(t+2)的位置及大小。物体追踪部140基于推定出的边界框BX(t+1)、BX(t+2)，来搜索与上次辨识到的特征量之间的一致程度为规定程度以上的区域，并将规定程度以上的区域辨识为摩托B。这样，即便由于本车辆M的行为、物体的行为而图像上的物体的大小因朝向、角度的差异等发生了变形的情况下，也能够高精度地辨识摩托B。

图11是表示由区域预测部138进行的区域设定处理的一例的流程图。在图11的例子中，区域预测部138将由图像取得部110取得的相机图像(例如，图10的图像IM20)投影变换为鸟瞰图像(俯瞰图像)(例如，图10的图像IM30)(步骤S100)。在步骤S100的处理中，区域预测部138例如从前方视野角的相机图像的坐标系(相机坐标系)变换为从上方观察本车辆M时的以本车辆M的位置为基准的坐标系(车辆坐标系)。接着，区域预测部138根据变换后的图像取得追踪对象物体(在上述的例子中为摩托B)的位置及尺寸(步骤S102)。接着，区域预测部138由车辆传感器40取得过去数帧中的本车辆M的行为信息(例如，速度、横摆角速度)(步骤S104)，并基于所取得的行为信息，来推定本车辆M的位置及速度的变化量(步骤S106)。在步骤S106的处理中，例如通过对行为信息进行卡尔曼滤波、线性插补等处理，能够更高精度地推定变化量。

接着，区域预测部138基于所推定的变化量来更新鸟瞰图像中的将来的摩托B的坐标(位置)(步骤S108)。接着，区域预测部138根据在步骤S102的处理中取得的追踪对象物体的尺寸来取得更新后的坐标中的尺寸(步骤S110)，使将来的追踪对象物体的位置及尺寸与相机图像建立对应关系，在相机图像上设定推定为将来存在追踪对象物体的将来的图像区域(追踪时的注目区域)(步骤S112)。由此，本流程图的处理结束。在这样设定的注目区域中，在下一帧中进行物体的辨识，由此在注目区域内包含追踪对象物体(摩托B)的可能性变高，因此能够使追踪精度更加提高。

行驶控制装置200基于由物体追踪部140追踪的追踪结果、以及本车辆M的行为信息，来推定摩托与本车辆M之间的接触风险。具体而言，行驶控制装置200使用本车辆M与摩托B之间的相对位置(相对距离)及相对速度来导出接触富余时间TTC(Time ToCollision)，并判定所导出的接触富余时间TTC是否小于阈值。接触富余时间TTC例如是通过相对距离除以相对速度而算出的值。在接触富余时间TTC小于阈值的情况下，行驶控制装置200认为存在本车辆M与摩托B接触的可能性，使本车辆M的接触躲避的行驶控制执行。在该情况下，行驶控制装置200以通过转向控制来避开由物体追踪部140检测到的摩托B的方式生成本车辆M的轨道，并使本车辆M沿着所生成的轨道行驶。区域预测部138也可以在本车辆M进行躲避与摩托B之间的接触的行驶的情况下，与不进行躲避接触的行驶的情况相比，增大下一图像帧的追踪对象的图像区域的尺寸。由此，通过接触躲避控制，即便在本车辆M的行为大幅变化的情况下，也能够抑制追踪对象物体的追踪精度劣化这一情况。

行驶控制装置200也可以代替上述的转向控制而(或除此之外还)使本车辆M在摩托B横穿道路RD1之前在比摩托的B的位置靠跟前(图2所示的人行横道的跟前)的位置停止。行驶控制装置200在接触富余时间TTC为阈值以上的情况下，判定为本车辆M与摩托B不接触，不执行接触躲避控制。这样，在本实施方式中，能够将由物体追踪装置100检测的检测结果适宜地活用于本车辆M的自动驾驶或驾驶支援。

HMI控制部150例如将由行驶控制装置200执行的内容向HMI30输出并向本车辆M的乘员通知。HMI控制部150也可以在检测到物体的情况下，使HMI30显示而向乘员通知所检测到的内容、由边界框预测的预测位置及大小。由此，能够使乘员掌握本车辆M将周边的物体的将来的行为预测为什么样。

[处理流程]

接着，关于由实施方式的物体追踪装置100执行的处理的流程进行说明。本流程图的处理可以是以例如规定的时机反复执行。

图12是表示由物体追踪装置100执行的驾驶控制处理的流程的一例的流程图。在图12的例子中，图像取得部110取得相机图像(步骤S200)。接着，辨识部120根据相机图像来辨识物体(步骤S202)。接着，区域设定部130基于物体的位置和大小，来设定根据相机图像来追踪物体的图像区域(注目区域)(步骤S204)。接着，预测区域，并使用所预测的区域来追踪物体(步骤S206)。

接着，行驶控制装置200基于追踪结果来判定是否需要本车辆M的行驶控制(步骤S208)。在判定为需要行驶控制的情况下，行驶控制装置200执行基于追踪结果的行驶控制(步骤S210)。例如，步骤S210的处理是例如在判定为本车辆M与物体有可能在不远的将来接触的情况下执行的躲避控制。在步骤S210的处理中，执行将由辨识部120进行的本车辆M的周边状况的辨识结果也包含在内的行驶控制。由此，本流程图的处理结束。在步骤S208的处理中判定为不需要行驶控制的情况下，本流程图的处理结束。

根据如以上那样说明的实施方式，在物体追踪装置100中具备：图像取得部110，其取得图像数据，该图像数据包括由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；辨识部120，其根据由图像取得部110取得的图像来辨识物体；区域设定部130，其设定包含由辨识部120辨识到的物体的图像区域；以及物体追踪部140，其基于由区域设定部130设定的图像区域的时间序列的变化量来追踪物体，区域设定部130基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及移动体的行为信息，来设定在将来的图像帧中追踪物体的图像区域的位置及尺寸，由此能够使存在于车辆的周边的物体的追踪精度更加提高。

根据实施方式，通过基于本车辆的行为信息，来修正在图像帧更新时使用于下一帧中的注目区域的区域的位置、尺寸(大小)，能够更加提高在注目区域内包含追踪对象的物体的可能性，能够使各帧中的追踪精度更加提高。

根据实施方式，在以搭载于移动体的相机(移动相机)的图像为输入的KCF下的物体追踪处理中进行反映了移动体行为的修正，由此能够使追踪精度更加提高。例如，根据实施方式，以KCF为基础追加与本车辆的行为相应的注目区域(追踪对象的图像区域)的调整处理而追踪对象物体，由此能够也灵活地应对在相机10的帧间表观上的物体的位置、大小的变化而追随。因此，能够与使用了预先设定的模板匹配的物体追踪相比使追踪精度提高。

上述说明的实施方式能够如以下这样表现。

一种物体追踪装置，其中，

所述物体追踪装置具备：

存储介质，其保存能够由计算机读入的命令；以及

处理器，其连接于所述存储介质，

通过所述处理器执行能够由所述计算机读入的命令来进行如下处理：

取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；

根据所取得的所述图像来辨识物体；

设定包含所辨识到的所述物体的图像区域；

基于设定的所述图像区域的时间序列的变化量来追踪所述物体；

基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (7)

1.一种物体追踪装置，其中，

所述物体追踪装置具备：

图像取得部，其取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；

辨识部，其根据由所述图像取得部取得的图像数据来辨识物体；

区域设定部，其设定包含由所述辨识部辨识到的物体的图像区域；以及

物体追踪部，其基于由所述区域设定部设定的图像区域的时间序列的变化量来追踪所述物体，

所述区域设定部基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

2.根据权利要求]所述的物体追踪装置，其中，

所述区域设定部基于比由所述辨识部进行的物体的辨识时间点靠过去的所述物体的位置的变化量来推定比所述辨识时间点靠后的所述物体的位置及速度，并基于推定的位置及速度、以及比所述辨识时间点靠过去的所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

3.根据权利要求1所述的物体追踪装置，其中，

所述区域设定部在由所述辨识部辨识到所述物体的情况下，将由所述摄像部拍摄到的拍摄图像向鸟瞰图像进行投影变换，并取得所述鸟瞰图像中的所述物体的位置及尺寸，

所述区域设定部基于取得的所述物体的位置及尺寸和所述移动体的行为信息，来推定所述鸟瞰图像中的所述物体的将来的位置，并将推定的位置与所述拍摄图像建立对应关系而设定在下一图像帧中追踪所述物体的图像区域的位置及尺寸。

4.根据权利要求1所述的物体追踪装置，其中，

所述物体追踪部在所述物体的追踪中使用KCF即核化相关滤波器。

5.根据权利要求1所述的物体追踪装置，其中，

所述区域设定部在所述移动体进行躲避与所述物体之间的接触的行驶的情况下，与不进行躲避所述接触的行驶的情况相比增大所述图像区域的尺寸。

6.一种物体追踪方法，其中，

所述物体追踪方法使计算机进行如下处理：

取得图像数据，该图像数据包括由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；

根据取得的所述图像数据来辨识物体；

设定包含所辨识到的所述物体的图像区域；

基于设定的所述图像区域的时间序列的变化量来追踪所述物体；

基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。

7.一种存储介质，其存储有程序，其中，

所述程序使计算机进行如下处理：

取得图像数据，该图像数据包含由搭载于移动体的摄像部按时间序列拍摄到的多个图像帧；

根据取得的所述图像数据来辨识物体；

设定包含所辨识到的所述物体的图像区域；

基于设定的所述图像区域的时间序列的变化量来追踪所述物体；

基于包含过去的图像帧中的所述物体的图像区域的时间序列的变化量、以及所述移动体的行为信息，来设定在将来的图像帧中追踪所述物体的图像区域的位置及尺寸。