CN107924568B - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

一种图像处理装置，其对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪，其特征在于，所述图像处理装置具有：图像取得单元，其取得图像；模板取得单元，其取得与所述图像中包含的跟踪对象物对应的模板；遮蔽图生成单元，其生成遮蔽图，该遮蔽图是表示所述图像中包含的跟踪对象物被其它物体遮蔽的程度的图；以及跟踪单元，其根据所述模板和所述遮蔽图两者来检测所述图像中包含的跟踪对象物，取得多个图像间的所述跟踪对象物的移动量和移动方向。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及跟踪包含在连续的帧中的物体的技术。

背景技术

已知在监视系统等中检测包含在图像中的物体并自动跟踪该物体的移动的技术。物体的跟踪例如可以通过如下方式来实现：取得未映照跟踪对象物体的图像和映照有跟踪对象物体的图像之间的差分而生成模板（template），使用该模板在图像内逐帧进行搜索（专利文献1）。

在应用物体跟踪的系统中存在交通流量测量系统。例如，使用设置在路边的照相机在道路上进行拍摄，并跟踪通过的车辆，由此能够对通过对象地点的车辆的台数进行计数（专利文献2）。

现有技术文献

专利文献

专利文献1：日本特开2001-060269号公报

专利文献2：日本特开2009-087316号公报

发明内容

发明要解决的课题

当欲根据在道路上拍摄的图像（动态图像）来跟踪在该道路上通过的车辆时，有时遮蔽成为问题。例如，当车辆彼此之间的车间距离变短时，该车辆彼此之间在图像上有时相互重叠。此外，随着车道变更等，车辆彼此之间在相邻的车道间有时相互重叠。这样，当作为跟踪对象的车辆的一部分被其它物体（车辆等）遮蔽时，存在模板匹配的精度显著降低的问题。

在专利文献1所记载的发明中，通过使用在不同的时刻取得的多个模板进行匹配并采用一致度最高的模板，由此来防止跟踪精度的降低。但是，当跟踪道路上的车辆时，存在作为跟踪对象的车辆被前后车辆大部分遮蔽的情况，在这样的情况下，利用该方法无法确保精度。

此外，在专利文献2所记载的发明中，采取了如下方法：独立地跟踪位于道路上的车辆，然后验证跟踪正在正确地进行的可能性，并根据该可能性来确定最终结果。但是，当对象车辆大部分被遮蔽时、或多个车辆采取了复杂的动作时，同样无法确保精度。

本发明是考虑到上述课题而完成的，其目的在于提高当在跟踪物体的图像处理装置中跟踪对象物的一部分被遮蔽时的跟踪精度。

用于解决课题的手段

用于解决所述课题的本发明的图像处理装置是对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪的装置，其特征在于，具有：图像取得单元，其取得图像；模板取得单元，其取得与所述图像中包含的跟踪对象物对应的模板；遮蔽图生成单元，其生成遮蔽图，该遮蔽图是表示所述图像中包含的跟踪对象物被其它物体遮蔽的程度的图；以及跟踪单元，其使用所述模板检测所述图像中包含的跟踪对象物，并根据所述模板和所述遮蔽图两者取得多个图像间的所述跟踪对象物的移动量和移动方向。

本发明的图像处理装置是对多帧间的跟踪对象物的移动进行跟踪的装置。另外，移动是指图像上的移动，有可能因跟踪对象物本身的移动和摄影条件（照相机的摇摄、倾斜、缩放等）的变化这两者而发生。

模板取得单元是取得与跟踪对象物对应的模板的单元。模板可以是跟踪对象物的特征量，也可以是跟踪对象物的图像本身。例如，在跟踪车辆时，可以使用每种车型（例如，客车、货车、公共汽车、摩托车等）的特征量，如果已经存在进行跟踪的结果，也可以使用根据跟踪结果截取的图像。

遮蔽图生成单元是生成表示跟踪对象物被其它物体遮蔽的程度的图（遮蔽图）的单元。遮蔽图例如也可以是将与跟踪对象物对应的区域分割为多个块而得到的图。此外，也可以用几个阶段来表示遮蔽的程度。

此外，跟踪单元是在连续取得的多帧之间跟踪在所取得的图像中包含的跟踪对象物的单元。在本发明中，跟踪单元不仅使用与跟踪对象物对应的模板，而且还使用遮蔽图来跟踪帧间的跟踪对象物的移动。在跟踪对象物的一部分被遮蔽的情况下，虽然基于匹配的跟踪精度与遮蔽比率对应地降低，但是，通过使用遮蔽图而能够考虑到由其它物体造成的遮蔽来进行匹配，从而使得跟踪的精度提高。

此外，也可以是，其特征在于，所述遮蔽图是将所述模板分割为多个块并将遮蔽程度与各个块进行了关联的图，所述跟踪单元以所述块为单位使用所述模板进行匹配，进而，根据使用与各个块对应的遮蔽程度进行加权而得的结果，取得所述跟踪对象物的移动量和移动方向。

通过根据每个块的遮蔽程度对匹配结果进行加权，能够在减弱被遮蔽的块的影响的情况下高精度地取得跟踪对象物的移动目的地。

此外，也可以是，其特征在于，所述遮蔽图生成单元根据对在图像间跟踪所述跟踪对象物而得到的单个矢量与在图像间分别跟踪所述多个块而得到的多个矢量各自进行比较的结果，生成所述遮蔽图。

通过比较“与跟踪对象物整体对应的单个矢量”和“与构成跟踪对象物的多个块分别对应的多个矢量”而生成跟踪对象物的遮蔽状况。在某个块中发生了遮蔽的情况下，针对该块的、帧间的跟踪精度降低（或者跟踪本身失败）。由此，根据双方的矢量的偏差，能够计算出该块中的遮蔽程度。

此外，也可以是，其特征在于，所述单个矢量与所述多个矢量各自的比较结果之间的差越大，则所述遮蔽图生成单元将所对应的块的遮蔽程度设定得越大，与块对应的遮蔽程度越大，则所述跟踪单元将该块的权重设定得越小。

此外，也可以是，其特征在于，每当所述跟踪单元生成跟踪结果，所述遮蔽图生成单元就更新所述遮蔽图，所述跟踪单元在下一帧的所述跟踪对象物的检测处理中利用被更新后的所述遮蔽图。

跟踪对象物的遮蔽状况按照每帧发生变化。由此，也可以将前一帧的跟踪对象物的遮蔽状况用于下一帧的跟踪。由此，在遮蔽状况时时刻刻变化的情况下也能够应对。

此外，也可以是，其特征在于，关于所述遮蔽图中设定的遮蔽程度，所对应的块内的、与所述跟踪对象物的移动方向垂直的边缘越强，则所述遮蔽图中设定的遮蔽程度越小。

在跟踪对象物沿一定的方向移动并且观察到与该移动方向垂直的边缘较强的情况下，可以估计出该跟踪对象物未被遮蔽。由此，也可以根据边缘的强度来校正遮蔽图。

此外，也可以是，所述模板取得单元将裁剪（clipping）所述跟踪单元检测到的所述跟踪对象物而得到的图像作为下一帧的模板。

如果存在检测跟踪对象物而得到的结果，则也可以根据该结果取得作为模板的图像，以在下一帧中使用。根据这样的结构，即使在跟踪对象物的大小或方向随着时间的推移而逐渐变化的情况下，也能够正确地进行跟踪。

另外，本发明可以被确定为包含所述单元中的至少一部分的图像处理装置。此外，本发明也可以被确定为由所述图像处理装置执行的图像处理方法。此外，本发明也可以被确定为使计算机执行所述图像处理方法的程序。只要在技术上不发生矛盾，可以将所述处理和手段自由进行组合而实施。

发明效果

根据本发明，能够提高当在跟踪物体的图像处理装置中跟踪对象物的一部分被遮蔽时的跟踪精度。

附图说明

图1是第一实施方式的图像处理系统的配置图。

图2是第一实施方式的图像处理系统的结构图。

图3是图像取得部取得的图像的示例。

图4是说明由后续车辆造成的前面车辆的遮蔽和遮蔽图的图。

图5是第一实施方式的图像处理装置进行的处理的流程图。

图6是说明车辆的检测处理的图。

图7是第一实施方式的图像处理装置进行的处理的流程图。

图8是说明车辆的跟踪处理的图。

图9是说明第二实施方式中的边缘的强度的图。

具体实施方式

（第一实施方式）

<系统结构>

以下，参照附图对本发明的优选实施方式进行说明。

本实施方式的图像处理系统是连续取得通过拍摄在道路上行驶的车辆而得到的图像并且根据所取得的多个图像来跟踪车辆的移动的系统。

图1是本实施方式的图像处理系统的配置图。本实施方式的图像处理系统由图像处理装置100和照相机200构成，图像处理装置100通过对由配置在道路上的照相机200连续拍摄而得到的多个图像进行处理而跟踪车辆的移动。

图2是本实施方式的图像处理系统的系统结构图。

图像处理装置100由图像取得部101、车辆检测部102、车辆跟踪部103、遮蔽状态取得部104和存储部105构成。

图像取得部101是使用安装在道路上的照相机200来取得包含在道路上行驶的车辆的图像（以下，道路图像）的单元。图像取得部101能够以规定的帧速率连续取得道路图像。图像取得部101取得的道路图像按时序的顺序被存储在存储部105中，用于后面说明的各单元进行的处理。

另外，在实施方式的说明中，在连续取得的道路图像中的一张这一含义上，使用帧（frame）这个词，但是，帧与道路图像是等价的。此外，在连续的帧中，新的车辆（尚未进行跟踪的车辆）从摄影范围外出现的情况被称作流入，正在跟踪的车辆驶出摄影范围外的情况被称作流出。

车辆检测部102是检测当前未进行跟踪的新的车辆流入照相机200的摄影范围内的情况的单元。可以使用预先存储在存储部105中的多个特征量来进行新的车辆的检测。只要能够检测车辆，特征量可以是任何特征量。例如，也可以针对每种车型或车体的形状（客车、货车、公共汽车、二轮车等）而使用不同的特征量。此外，使用多个特征值时，可以以任何方式进行分类。此外，也可以分别保持从不同的方向（前后左右等）观察车辆时的特征量。

车辆检测部102是检测未进行跟踪的新的车辆出现的情况的单元，在那以后的帧中的车辆的跟踪则由车辆跟踪部103来进行。

另外，在本实施方式中，在照相机200的摄影范围的整个范围内追踪车辆，但是，也可以另行规定追踪车辆的范围。

车辆跟踪部103是在多帧之间跟踪由车辆检测部102检测到的车辆的移动的单元。跟踪一直持续直到车辆流出至摄影范围外。使用与作为跟踪对象的车辆（以下，称为跟踪对象车辆）对应的模板图像和由后述的遮蔽状态取得部104生成的遮蔽图这两种数据来进行车辆的跟踪。关于生成模板图像和遮蔽图的处理的具体内容，将在后面进行叙述。

遮蔽状态取得部104是取得跟踪对象车辆的遮蔽状态并生成遮蔽图的单元。

这里，对遮蔽状态和遮蔽图进行说明。图3是由照相机200拍摄的道路图像的示例。由于本实施方式的图像处理系统是对设置在道路上的照相机所拍摄到的车辆进行跟踪的系统，因此，多发生作为跟踪对象的车辆被前后车辆隐藏的情况。

例如，在图3的示例中，车辆10A和10C被后续车辆遮蔽。在这样的情况下，如果应用以往所使用的模板匹配等方法，则有可能无法检测到正确的位置。特别是，由于车辆10C的所对应区域中的近半被隐藏，因此还可能会发生匹配中的得分降低而导致跟踪被中断的情况。

因此，在本实施方式的图像处理装置中，遮蔽状态取得部104针对各跟踪对象车辆生成遮蔽图，该遮蔽图是表示各跟踪对象车被其它物体（车辆）遮蔽到何种程度的图，根据该遮蔽图进行加权之后再进行模板匹配。关于遮蔽图的具体的生成方法以及遮蔽图的使用法，将在后面进行叙述。

存储部105是临时或永久地存储装置所使用的数据的单元。存储部105优选使用能够高速读写且大容量的存储介质。例如，可以优选使用闪存等。在存储部105中，临时或永久地存储车辆检测部102所利用的特征量、图像取得部101所取得的多个图像、车辆跟踪部103所利用的模板图像、以及遮蔽状态取得部104生成的遮蔽图等 。

另外，图像取得部101、车辆检测部102、车辆跟踪部103、遮蔽状态取得部104可以通过被设计为专用的硬件来实现，也可以通过软件模块来实现。当作为软件执行时，存储在辅助存储装置中的程序被加载到主存储装置中，通过由CPU执行而使各单元发挥功能。（CPU、辅助存储装置、主存储装置均不图示）

<遮蔽图>

接下来，对由遮蔽状态取得部104生成的遮蔽图的详细情况进行说明。图4是示出跟踪对象车辆的遮蔽状态和所对应的遮蔽图的图。

遮蔽图是指，将与跟踪对象车辆对应的区域分割为16个块（4×4）并对各块分配表示遮蔽程度的值（遮蔽度）的图。另外，遮蔽度由设完全被遮蔽的状态为1、完全未被遮蔽的状态为0的实数来表示。

图4的（A）是跟踪对象车辆未被遮蔽的状态的示例。该情况下，遮蔽图中全部被分配0值。此外，图4的（B）是跟踪对象车辆的一部分被后续车辆遮蔽的状态的示例。该情况下，左下的6个块被分配大于等于0的值。

本实施方式的图像处理装置针对每个跟踪对象车辆和每帧生成这样的遮蔽图，根据所分配的值进行加权之后再实施模板匹配。即，对被遮蔽的块赋予更小的权重，而对未被遮蔽的块则赋予更大的权重。由此，能够排除遮蔽的影响，并检测出跟踪对象车辆位置。

关于遮蔽图的具体的生成方法，将在后面进行叙述。另外，在本例中，遮蔽度是取0～1的范围的实数，但是，遮蔽度也可以是除此以外的数。此外，遮蔽度并不一定需要取0～1的范围。例如，也可以是取0～255的范围的整数。

<处理流程图>

接下来，参照作为处理流程图的图5对由图像处理装置100进行的图像处理的详细情况进行说明。每当图像取得部101取得新的帧即执行图5所示的处理。例如，当帧速率为10fps时，每秒执行十次。

首先，在步骤S11中，图像取得部101经由照相机200取得道路图像，临时存储在存储部105中。另外，按时序的顺序存储所取得的道路图像，当处理完成时将该道路图像删除。

接下来，在步骤S12中，车辆跟踪部13判定是否存在当前正在跟踪的车辆，如果存在，则执行对跟踪对象车辆进行跟踪的处理。使用后述的计数器来判断是否存在当前正在跟踪的车辆。另外，这里，假设不存在正在跟踪的车辆而进行说明，稍后将参照图7对步骤S12的详细情况进行说明。

在步骤S13中，车辆检测部102判定在步骤S11中取得的图像上是否存在当前未被跟踪的车辆。具体而言，根据预先存储在存储部105中的特征量尝试检测车辆。对于本步骤中的车辆检测，可以使用基于特征量的已知的物体检测方法。例如，使用所存储的多个特征量来尝试匹配，由此确定初始位置和范围。另外，如果检测出的车辆已经是正在跟踪的车辆，则跳过该车辆。经由存储部105在车辆检测部102和车辆跟踪部103之间共享关于正在跟踪的车辆的信息。

这里，假设在图6的（A）所示的图像600内检测到新的车辆。

如果检测到新的车辆，则处理转变到步骤S14。此外，如果未检测到新的车辆，则结束对该帧的处理。

当检测到车辆时，在步骤S14中，车辆检测部102裁剪出所对应的范围作为模板图像601。这里生成的模板图像在以后的帧中被用于车辆的跟踪。将模板图像601与车辆的标识符（每检测到车辆即进行编号）和检测到车辆的图像上的范围进行关联而存储在存储部105中。此外，车辆检测部102生成与跟踪对象车辆对应的遮蔽图602。这里生成的遮蔽图是如图6的（B）所示全部块被设定为默认值（遮蔽度：0）的图。

接下来，在步骤S15中，车辆检测部102将检测到的车辆的台数追加到当前正在跟踪的车辆的数量（以下，正在跟踪的车辆数）中。这里所设定的台数在步骤S12中执行的车辆跟踪处理中被利用。

接下来，参照图7所示的流程图对步骤S12中进行的处理进行说明。另外，在没有特别记载的情况下，由车辆跟踪部103来执行各步骤。

当所设定的“正在跟踪的车辆数”为1台以上时，执行步骤S12的处理。即，在执行步骤S12的时机（timing），按时序的顺序将两个以上的帧存储在存储部105中。

首先，在步骤S21中，在计数器n中设定1。n是用于对图像中包含的跟踪对象车辆依次进行处理的计数器。

接下来，在步骤S22中，对图像中包含的第n个车辆估计当前的帧中的粗略位置。本步骤是用于从图像的整个区域中锁定用于进行模板匹配的区域的处理。例如，也可以是，当在过去的两个以上的帧中已求出第n个车辆的位置变化时，根据该位置变化来估计当前的帧中的位置。例如，也可以是，取得两帧前的对象车辆与一帧前的对象车辆之间的位置变化，使用该变化来估计当前的帧中的该对象车辆的位置。或者，也可以使用卡尔曼滤波器等来估计车辆的位置。

另外，在没有用于进行估计的足够信息的情况下，可以估计为该对象车辆位于在步骤S13中或在前一帧中检测到的位置附近，也可以省略锁定本身。

接下来，在步骤S23中，使用与第ｎ个车辆对应的模板图像来进行针对道路图像的模板匹配。

另外，这里，将模板图像分割为4×4的16块，在步骤S22中估计出的位置附近按照每个块进行匹配。其结果是，由于得到了16个匹配结果，因此根据与前一帧之间的位置变化，生成16块的移动矢量v_block(x,y)（x，y是坐标）。

图8的（A）是表示当前正在处理的帧的前一帧的图，图8的（B）是表示当前正在处理的帧的图。此外，图8的（C）是表示双方的帧之间的块的移动矢量的图。另外，由阴影示出的两个块表示因遮蔽而无法正确地取得移动矢量。在该块中，移动矢量为0。

当步骤S23的处理完成时，成为已取得前一帧与当前帧之间的每个块的移动矢量的状态。

在步骤S24中，根据在步骤S23中取得的每个块的移动矢量和遮蔽图，取得与车辆对应的单个的移动矢量。

具体而言，首先，从16个移动矢量中将偏离值、即其值大大偏离其它矢量的矢量除外。例如，将从平均值或众数偏离20％以上的矢量除外。

接下来，对剩余的移动矢量进行基于遮蔽图的加权。具体而言，使用遮蔽度的减少函数来计算权重。例如可以使用函数（1-x）。即，当遮蔽度为0时计算出权重1，当遮蔽度为1时计算出权重0，将其与移动矢量相乘。

这里使用的遮蔽图是表示前一帧中的跟踪对象车辆的遮蔽状态的图。在初次的处理中，由于遮蔽图是默认的（即遮蔽度全部为0），因此移动矢量不变。

最后，取多个移动矢量的平均，将其作为与跟踪对象车辆对应的单个移动矢量v。

另外，前述的单个移动矢量的取得方法不限于上面所例示的方法。例如，可以将与权重最大的块对应的移动矢量作为与车辆对应的单个移动矢量，也可以将对权重比规定的阈值大的块取移动矢量的平均而得到的值作为与车辆对应的单个移动矢量。

在步骤S25中，判定跟踪对象车辆是否驶出了摄影范围。另外，如果在图像上设定有跟踪范围，则当已经从该范围流出时也可以做出肯定判定。此外，当跟踪失败时、或者以规定的帧数连续跟踪失败时，也可以做出肯定判定。当判定为跟踪对象车辆已驶出摄影范围时，针对第n个车辆，使跟踪结束标志为“真（true）”，然后转变到步骤S29。

如果跟踪对象车辆未驶出摄影范围，则裁剪出该车辆移动的目的地区域，设定为新的模板图像（步骤S27）。在图8的示例的情况下，与区域801对应的图像被重新设定为模板图像。在进行裁剪时，区域的大小可以与前一帧相同，也可以进行适当调整。在进行调整的情况下，存在根据规定的系数进行放大或缩小的方法以及根据检测到的块间的距离变化进行放大或缩小的方法。

接下来，在步骤S28中，遮蔽状态取得部104更新遮蔽图。

具体而言，分别取得与车辆对应的移动矢量v、与16个移动矢量v_block(x,y)之间的差分（设为ΔP_(x,y)），并将ΔP_(x,y)的大小乘以常数k得到的值（k｜ΔP_(x,y)｜）分别与在遮蔽图中设定的当前值相加。即，在初次的处理中，遮蔽图的各块所具有的遮蔽度为0 + k |ΔP_(x,y)|。

在图8的示例的情况下，由于左下方的两个块被后续车辆遮蔽，因此，只有左下方的两个块被高于其它块的遮蔽度所更新。

另外，当判断为遮蔽已消除时，进行将对各块分配的遮蔽度恢复到0的处理。例如，也可以是，（1）当遮蔽度大于等于规定值并且（2）｜ΔP_(x,y)｜小于等于规定值时，判断为遮蔽已消除。当然也可以采用其它方法。

以上，对第n个车辆的跟踪处理结束。

在步骤S29中，使计数器n递增（increament），在步骤S30中，判定计数器n是否超过了正在跟踪的车辆数。其结果，如果未超过，则处理返回到步骤S22，开始对下一个车辆的跟踪。如果超过，则从正在跟踪的车辆数中减去已结束跟踪的车辆的数量（跟踪结束标志为“真”的车辆的数量）（步骤S31）。

另外，更新后的遮蔽图在下一帧的处理中被用于加权。

此外，每次随着帧处理的进展，随时更新遮蔽图。由此，在处理第i帧时得到的遮蔽图被用在处理第i + 1帧时。由此，能够随时反映随着时间的推移而时时刻刻变化的遮蔽状态。即，即使在连续的帧中遮蔽动态地发生的情况下，也能够适当地更新遮蔽图。

另外，在本实施方式中，举出了在下一帧的处理中将更新后的遮蔽图用于加权的示例，但是，并不一定非要在下一帧的处理中使用。即，也可以在能够获得发明效果的范围内适当变更作为对象的帧。

例如，也可以将在第i帧中被更新的遮蔽图用于第i＋2帧的处理。此外，例如，也可以是，在构成为每10帧更新遮蔽图的基础上，将在第i帧中被更新的遮蔽图用于第i＋1帧至第i＋10帧的处理。

如以上进行了说明那样，在本实施方式的图像处理装置中，根据按照每个块取得的移动矢量和与车辆整体对应的移动矢量的比较结果，生成遮蔽图，使用该遮蔽图来进行匹配时的加权。在现有技术中，在模板匹配中无法积极地消除遮蔽的影响，但是，本实施方式的图像处理装置通过进行前述的加权，能够抑制具有不良影响的块的影响而进行匹配。即，能够提高车辆的跟踪精度。

（第二实施方式）

第二实施方式是根据图像上的边缘的强度来校正遮蔽度的实施方式。

在第二实施方式中，在步骤S28的处理中，提取存在于与车辆的行进方向垂直的方向上的边缘的强度，计算出与该边缘的强度成比例的系数，并将该系数与遮蔽度相乘。例如，对所取得的图像应用Sobel滤波器，取得所得到的全部值的绝对值之和，其中，所述Sobel滤波器用于提取存在于与车辆的行进方向垂直的方向（在图8的示例中为横轴方向）上的边缘。然后，将利用图9所示那样的关系式求出的系数与遮蔽图中的遮蔽度相乘。

在图像内沿特定的方向行进的车辆具有这样的特征：当未发生遮蔽时，边缘在与行进方向正交的方向上立起。在第二实施方式中，可以利用该特征更正确地计算出遮蔽度。

另外，车辆的行进方向可以预先定义，也可以设置检测单元，根据检测结果而动态地设定。例如，也可以根据过去的跟踪结果进行学习，从而估计出车辆的行进方向。

（变形例）

上述实施方式只是一例，本发明能够在不脱离其宗旨的范围内适当地变更。

例如，在实施方式的说明中，将跟踪对象车辆分割为16个块进行处理，但是，分割方法也可以是除此以外的方法。块越多，则精度越高，但是处理时间也变长，因此，只要根据所要求的规格适当地设定块数和块尺寸即可。

此外，在实施方式的说明中，通过分别求出与车辆对应的移动矢量与16个移动矢量的差分而生成遮蔽图，但是，只要能够求出遮蔽的程度，则遮蔽度的计算方法不限于例示出的方法。

此外，在实施方式的说明中，举出了通过对连续取得的多个帧逐帧进行处理的方式来跟踪车辆的示例，但是，处理也可以不一定逐帧进行。例如，也可以构成为像跳过一张那样地隔帧进行处理。

标号说明

100：图像处理装置；

101：图像取得部；

102：车辆检测部；

103：车辆跟踪部；

104：遮蔽状态取得部；

105：存储部；

200：照相机。

Claims (8)

1.一种图像处理装置，其对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪，其特征在于，所述图像处理装置具有：

图像取得单元，其取得图像；

模板取得单元，其取得与所述图像中包含的跟踪对象物对应的模板；

遮蔽图生成单元，其生成遮蔽图，该遮蔽图是表示所述图像中包含的跟踪对象物被其它物体遮蔽的程度的图；以及

跟踪单元，其使用所述模板检测所述图像中包含的跟踪对象物，并根据所述模板和所述遮蔽图两者取得多个图像间的所述跟踪对象物的移动量和移动方向,

关于所述遮蔽图中设定的遮蔽程度，所对应的块内的、与所述跟踪对象物的移动方向垂直的边缘越强，则所述遮蔽图中设定的遮蔽程度越小。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述遮蔽图是将所述模板分割为多个块并将遮蔽程度与各个块进行了关联的图，

所述跟踪单元以所述块为单位使用所述模板进行匹配，进而，根据使用与各个块对应的遮蔽程度进行加权而得的结果，取得所述跟踪对象物的移动量和移动方向。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述遮蔽图生成单元根据对在图像间跟踪所述跟踪对象物而得到的单个矢量与在图像间分别跟踪所述多个块而得到的多个矢量各自进行比较的结果，生成所述遮蔽图。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述单个矢量与所述多个矢量各自的比较结果之间的差越大，则所述遮蔽图生成单元将所对应的块的遮蔽程度设定得越大，

与块对应的遮蔽程度越大，则所述跟踪单元将该块的权重设定得越小。

5.根据权利要求1～4中的任一项所述的图像处理装置，其特征在于，

每当所述跟踪单元生成跟踪结果，所述遮蔽图生成单元就更新所述遮蔽图，

所述跟踪单元在下一帧的所述跟踪对象物的检测处理中利用被更新后的所述遮蔽图。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述模板取得单元将裁剪所述跟踪单元检测到的所述跟踪对象物而得到的图像作为下一帧的模板。

7.一种图像处理方法，该图像处理方法是由对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪的图像处理装置执行的方法，其特征在于，所述图像处理方法包含：

图像取得步骤，取得图像；

模板取得步骤，取得与所述图像中包含的跟踪对象物对应的模板；

遮蔽图生成步骤，生成遮蔽图，所述遮蔽图是表示所述图像中包含的跟踪对象物被其它物体遮蔽的程度的图；以及

跟踪步骤，使用所述模板检测所述图像中包含的跟踪对象物，并根据所述模板和所述遮蔽图两者取得多个图像间的所述跟踪对象物的移动量和移动方向,

关于所述遮蔽图中设定的遮蔽程度，所对应的块内的、与所述跟踪对象物的移动方向垂直的边缘越强，则所述遮蔽图中设定的遮蔽程度越小。

8.一种计算机可读取的存储介质，其存储了使计算机执行权利要求7所述的图像处理方法的各个步骤的程序。

Images