CN107924569B - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

一种图像处理装置，其对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪，其中，所述图像处理装置具有：图像取得单元，其取得图像；和跟踪单元，其利用匹配检测出所述图像中包含的跟踪对象物，取得多个图像间的所述跟踪对象物的移动量和移动方向，所述跟踪单元使用与所述跟踪对象物对应的第一模板进行第一匹配，并且，当进行所述第一匹配的结果的得分低于第一阈值时，使用尺寸或形状与所述第一模板不同的第二模板来进行第二匹配。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及跟踪包含在连续的帧中的物体的技术。

背景技术

已知在监视系统等中检测包含在图像中的物体并自动跟踪该物体的移动的技术。物体的跟踪例如可以通过如下方式来实现：取得未映照跟踪对象物体的图像和映照有跟踪对象物体的图像之间的差分而生成模板(template)，使用该模板在图像内逐帧进行搜索(专利文献1)。

在应用物体跟踪的系统中存在交通流量测量系统。例如，使用设置在路边的照相机在道路上进行拍摄，并跟踪通过的车辆，由此能够对通过对象地点的车辆的台数进行计数(专利文献2)。

现有技术文献

专利文献1：日本特开2001-060269号公报

专利文献2：日本特开2009-087316号公报

专利文献3：日本特开2013-255062号公报

发明内容

发明要解决的课题

当欲根据在道路上拍摄到的图像(动态图像)来跟踪在该道路上通过的车辆时，如果图像上的车辆的观察方式(見え方)变化很大，则存在无法完全跟踪车辆的问题。例如，当车辆在道路上右转或左转时、或者掉头时，车辆的方向发生改变，因此存在模式匹配(pattern matching)失败的情况。此外，当欲挪用利用监视摄像机等、能够进行姿势控制的照相机拍摄的图像来跟踪车辆时，车辆的观察方式(大小等)会伴随着照相机的姿势(摇摄、倾斜、缩放等)的变化而发生变化，因此同样存在模式匹配失败的情况。

这样，当在图像上作为跟踪对象的车辆的大小或观察方式发生变化时，存在模式匹配的精度降低的问题。

另一方面，专利文献3所述的被摄物体跟踪装置具有这样的特征：根据被摄物体的模糊(ボケ)程度来判定该被摄物体的移动，由此来追随被摄物体的观察方式的变化。

但是，在跟踪道路上的车辆时，由于照相机与车辆之间的距离很远，因此难以掌握模糊的变化。即，难以将该技术应用于车辆的跟踪。

本发明是考虑到上述课题而完成的，其目的在于提高当在跟踪物体的图像处理装置中跟踪对象物的观察方式发生了变化时的跟踪精度。

用于解决课题的手段

为了解决上述课题的本发明的图像处理装置是对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪的装置，其特征在于，所述图像处理装置具有：图像取得单元，其取得图像；和跟踪单元，其利用匹配检测出所述图像中包含的跟踪对象物，取得多个图像间的所述跟踪对象物的移动量和移动方向，所述跟踪单元使用与所述跟踪对象物对应的第一模板进行第一匹配，并且，当进行所述第一匹配的结果的得分低于第一阈值时，使用尺寸或形状与所述第一模板不同的第二模板来进行第二匹配。

本发明的图像处理装置是对多帧间的跟踪对象物的移动进行跟踪的装置。另外，移动是指图像上的移动，有可能因跟踪对象物本身的移动和摄影条件(照相机的摇摄、倾斜、缩放等)的变化两者而发生。

跟踪单元是利用匹配从图像中检测出跟踪对象物、根据该检测结果取得跟踪对象物的移动(帧间的移动方向和移动量)的单元。

利用模板来进行跟踪对象物的检测。对于模板，可以使用特征量，也可以使用图像等。例如，在跟踪车辆时，可以使用每种车型(例如，客车、货车、公共汽车、摩托车等)的特征量，如果已经存在进行跟踪的结果，也可以使用根据跟踪结果截取的图像。其结果，能够得到与跟踪对象物对应的坐标和区域。

此外，跟踪单元在连续取得的多帧之间跟踪在所取得的图像中包含的跟踪对象物。例如，取得检测到的跟踪对象物的位置变化，以跟踪对象物为单位取得各个跟踪对象物的移动。

在本发明中，跟踪单元首先使用第一模板来进行第一匹配。关于第一模板，可以是预先存储的，当存在在前一帧以前的图像中跟踪跟踪对象物的结果时，第一模板也可以通过从该图像中截取跟踪对象物而得到。另外，如上所述，模板可以是指特征量，也可以是指图像等。

在使用模板进行匹配时，如果跟踪对象物的观察方式在帧间变化很大，则存在难以命中(hit)的问题。例如，当照相机进行缩放时、或当跟踪对象物的行进方向改变时，存在与模板对应的区域与跟踪对象物实际存在的区域不一致而因此导致匹配失败或匹配得分降低的担忧。

因此，在本发明中，取得进行第一匹配的结果的得分(匹配的可靠性)，如果低于第一阈值，则使用尺寸或形状与第一模板不同的第二模板来进行重新匹配。

第二模板可以通过放大或缩小第一模板而形成，也可以通过变更纵横尺寸比后变形而形成。此外，第二模板不一定需要是通过对第一模板进行变形而形成的模板，也可以是新取得的模板。例如，当在作为处理对象的图像之前的帧中存在检测所述跟踪对象物的结果时，也可以根据该结果新取得所述第二模板。

根据这样的结构，即使在在图像上跟踪对象物的观察方式发生改变的情况下，也能够追随该改变。

此外，也可以是，其特征在于，所述跟踪单元根据检测所述跟踪对象物的结果来估计所述跟踪对象物的行进方向的变化，使用与变化后的行进方向对应的所述第二模板来进行所述第二匹配。

当跟踪对象物的行进方向发生变化时，例如存在车辆的前表面变为侧面等、图像上的观察方式本身变化很大的情况。此外，在图像内存在交叉点的情况下、以及跟踪对象物(车辆)的移动方向改变的情况下，可以估计车辆的方向已经改变(例如右转或左转)。在这样的情况下，也可以使用与变化后的方向对应的模板(例如特征量或模板图像)来进行第二匹配。根据这样的结构，能够进一步提高跟踪的精度。

此外，也可以是，其特征在于，所述跟踪单元根据进行所述第二匹配的结果的得分以及匹配结果所确定出的区域中的边缘强度两者，决定是否结束所述跟踪对象物的跟踪。

此外，也可以是，其特征在于，所述跟踪单元在进行所述第二匹配的结果的得分低于第二阈值并且匹配结果所确定出的区域中的边缘强度低于第三阈值时，结束所述跟踪对象物的跟踪。

在即使进行第二匹配也没能得到期待的得分的情况下，判断是继续跟踪还是结束跟踪。这时，可以根据由匹配而确定出的区域(即，估计存在跟踪对象物的区域)中的边缘强度来进行判断。区域中的边缘强度是指该区域中包含的像素所具有的边缘强度之和。

例如，当由匹配而确定出的区域中的边缘强度小于等于规定的阈值时，在该区域中存在背景而非正在跟踪的物体的可能性较高，因此结束跟踪。这样，通过一并使用边缘强度，能够适当地进行是否结束跟踪的判断。

此外，也可以是，其特征在于，所述跟踪单元取得对连续的规定张数的图像进行第一匹配的结果的得分或进行第二匹配的结果的得分的合计值，根据所述合计值决定是否结束所述跟踪对象物的跟踪。

在对多个连续的图像进行匹配以跟踪跟踪对象物时，可以根据通过匹配得到的得分来决定是继续跟踪还是结束跟踪。但是，如果仅凭对单个图像的匹配结果进行判断，则即使在得分暂时降低、之后又恢复的情况下，跟踪也会中止。因此，针对连续的多个图像，对通过匹配得到的得分进行合计，根据合计值来进行判断。根据这样的结构，只有在不能期望得分恢复的情况下才能结束跟踪。

此外，也可以是，其特征在于，当在作为处理对象的图像之前的图像中存在检测所述跟踪对象物的结果时，所述跟踪单元根据该结果取得所述第一模板。

在能够确定跟踪对象物的位置的情况下，也可以使用该信息来取得第一模板。根据这样的结构，由于能够在更新模板的同时进行跟踪对象物的跟踪，因此，在跟踪对象物的观察方式逐渐变化的情况下是有效的。

此外，也可以是，其特征在于，所述跟踪单元将与所述跟踪对象物对应的区域分割为多个块，将边缘强度低于第四阈值的块以外的区域作为所述第一模板。

存在跟踪对象物的方向在图像上改变而导致观察方式逐渐变小的情况。

在这样的情况下，当在针对每帧更新模板的同时推进处理的情况下，需要逐渐缩小作为模板的区域。因此，也可以是，根据边缘的强度从估计存在跟踪对象物的区域中检测出不存在跟踪对象物的部分区域，将删除了该部分区域之后的区域作为在下一帧中使用的模板。

根据这样的结构，可以与图像上的跟踪对象物的尺寸一致地，使模板的大小适当地追随该尺寸。

此外，也可以是，其特征在于，所述跟踪对象物是车辆，所述多个块沿水平方向排列。这是因为，在跟踪车辆时，画面上的水平方向上的尺寸主要因车辆的右转或左转而发生变化。

另外，本发明可以被确定为包含所述单元中的至少一部分的图像处理装置。此外，本发明也可以被确定为由所述图像处理装置执行的图像处理方法。此外，本发明也可以被确定为使计算机执行所述图像处理方法的程序。只要不发生技术上的矛盾，可以将所述处理和手段自由进行组合而实施。

发明效果

根据本发明，能够提高当在跟踪物体的图像处理装置中跟踪对象物的观察方式发生变化时的跟踪精度。

附图说明

图1是实施方式的图像处理系统的配置图。

图2是实施方式的图像处理系统的结构图。

图3是说明照相机缩放时的影响的图。

图4是说明车辆右转时的影响的图。

图5是实施方式的图像处理装置进行的处理的流程图。

图6是实施方式的图像处理装置进行的处理的流程图。

图7是实施方式的图像处理装置进行的处理的流程图。

图8是说明在步骤S34中进行的处理的图。

图9是说明在步骤S34中进行的处理的图。

具体实施方式

(系统结构)

以下，参照附图对本发明的优选实施方式进行说明。

本实施方式的图像处理系统是连续取得通过拍摄在道路上行驶的车辆而得到的图像并且根据所取得的多个图像来跟踪车辆的移动的系统。

图1是本实施方式的图像处理系统的配置图。本实施方式的图像处理系统由图像处理装置100和照相机200构成，图像处理装置100通过对由配置在道路上的照相机200连续拍摄而得到的多个图像进行处理而跟踪车辆的移动。

图2是本实施方式的图像处理系统的系统结构图。

图像处理装置100由图像取得部101、车辆检测部102、车辆跟踪部103和存储部104构成。

图像取得部101是使用安装在道路上的照相机200来取得包含在道路上行驶的车辆的图像(以下，道路图像)的单元。图像取得部101能够以规定的帧速率连续取得道路图像。图像取得部101取得的道路图像按时序的顺序被存储在存储部104中，用于后面说明的各单元进行的处理。

另外，在实施方式的说明中，在连续取得的道路图像中的一张这一含义上，使用帧(frame)这个词，但是，帧与道路图像是等价的。此外，在连续的帧中，新的车辆(尚未进行跟踪的车辆)从摄影范围外出现的情况被称作流入，正在跟踪的车辆驶出摄影范围外的情况被称作流出。

车辆检测部102是检测当前未进行跟踪的新的车辆流入照相机200的摄影范围内的情况的单元。可以使用预先存储在存储部104中的多个模板来进行新的车辆的检测。只要能够检测车辆，模板可以是任何模板。例如，也可以针对每种车型或车体的形状(客车、货车、公共汽车、二轮车等)而使用不同的模板。此外，在使用多个模板的情况下，可以以任何方式进行分类。此外，也可以分别保持从不同的方向(前后左右等)观察车辆时的模板。

车辆检测部102是检测未进行跟踪的新的车辆出现的情况的单元，在那以后的帧中的车辆的跟踪则由车辆跟踪部103来进行。

另外，在本实施方式中，在照相机200的摄影范围的整个范围内追踪车辆，但是，也可以另行规定追踪车辆的范围。

车辆跟踪部103是在多帧之间跟踪由车辆检测部102检测到的车辆的移动的单元。跟踪一直持续直到车辆流出至摄影范围外。使用与作为跟踪对象的车辆(以下，称为跟踪对象车辆)对应的模板来进行车辆的跟踪。具体而言，针对每帧设定通过匹配进行搜索的对象区域(以下，称为搜索区域)，对该区域进行使用了模板的匹配。另外，模板可以是特征量，但是，在本实施例中，被设为模板图像。

搜索对象区域是搜索车辆的区域，并且被设定为估计存在跟踪对象车辆的地点。例如，当在过去的帧中存在检测到车辆的结果时，车辆跟踪部103根据该结果来设定搜索区域。

关于使用模板的匹配处理的具体内容，将在后面进行叙述。

存储部104是临时或永久地存储装置所使用的数据的单元。存储部104优选使用能够高速读写且大容量的存储介质。例如，可以优选使用闪存等。在存储部104中，临时或永久地存储车辆检测部102和车辆跟踪部103所利用的模板、图像取得部101所取得的多个图像等。

另外，图像取得部101、车辆检测部102、车辆跟踪部103可以通过被设计为专用的硬件来实现，也可以通过软件模块来实现。当作为软件执行时，存储在辅助存储装置中的程序被加载到主存储装置中，通过由CPU执行而使各单元发挥功能。(CPU、辅助存储装置、主存储装置均不图示)。

照相机200是配置在道路上的监视摄像机。在本实施方式中，照相机200不是仅用于车辆跟踪的照相机，而是也用于监视目的等其它目的的共用照相机。因此，存在与车辆跟踪无关地发生摇摄、倾斜、缩放等的情况。

(现有技术中的课题)

接下来，对匹配对象区域和在现有技术中发生的问题进行说明。图3是示出由照相机200拍摄的图像的图。

本实施方式的图像处理装置在取得与跟踪对象车辆对应的模板之后，对由照相机200取得的图像进行模式匹配，检测出跟踪对象车辆的位置。

例如考虑如下情况：使用与不同的车型对应的多个模板对由照相机200拍摄的图像进行模式匹配的结果，在图3的(A)的由标号10A示出的区域中检测到车辆。

在使用这样的方法的情况下，当图像上的车辆的大小或方向发生变化时，跟踪有时会失败。图3的(B)是示出照相机200进行缩放(zoom)而使得视角减小后的状态的图。在这样的情况下，如果继续使用图3的(A)中所使用的模板，则会发生匹配失败、或者匹配得分显著降低的问题。为了解决该问题，需要追随车辆的观察方式的变化而变更模板的尺寸(在本例中，放大到由标号10B示出的尺寸)。

示出另一示例。图4的(A)～(C)是示出车辆右转时的示例的图。如所例示的那样，当车辆的行进方向发生变化时，图像上的大小发生变化，因此模板也需要追随该变化而发生变形(在本例中，像标号20A，20B，20C那样依次放大)。此外，在图4的示例中，由于车辆的观察方式本身发生变化，因此，不仅需要根据车辆的行进方向更新模板的尺寸，还需要更新模板的内容本身。

本实施方式的图像处理装置检测到在车辆的跟踪中图像上的车辆的大小或方向发生变化的情况，以适当的尺寸更新下一帧的模板。由此，即使在图像上的车辆的观察方式发生变化这样的情况下，也能够对车辆进行适当的模式匹配，从而能够准确地进行跟踪。关于更新模板的具体方法，将在后面叙述。

(处理流程图)

接下来，参照作为处理流程图的图5对由图像处理装置100进行的图像处理的详细情况进行说明。每当图像取得部101取得新的帧即执行图5所示的处理。例如，当帧速率为10fps时，每秒执行十次。

首先，在步骤S11中，图像取得部101经由照相机200取得道路图像，临时存储在存储部104中。另外，按时序顺序存储所取得的道路图像，当处理完成时将该道路图像删除。

接下来，在步骤S12中，车辆跟踪部13判定是否存在当前正在跟踪的车辆，如果存在，则执行对跟踪对象车辆进行跟踪的处理。使用后述的计数器来判断是否存在当前正在跟踪的车辆。另外，这里，假设不存在正在跟踪的车辆而进行说明，稍后将参照图6对步骤S12的详细情况进行说明。

在步骤S13中，车辆检测部102判定在步骤S11中取得的图像上是否存在当前未被跟踪的车辆。具体而言，根据预先存储在存储部104中的模板尝试车辆检测。对于本步骤中的车辆检测，可以使用基于模板的已知的物体检测方法。例如，使用所存储的多个模板来尝试匹配，由此确定初始位置和范围。另外，如果检测到的车辆已经是正在跟踪的车辆，则跳过该车辆。关于正在跟踪的车辆的信息经由存储部104在车辆检测部102和车辆跟踪部103之间共享。

如果检测到新的车辆，则处理转移到步骤S14。此外，如果未检测到新的车辆，则结束对该帧的处理。

当检测到车辆时，在步骤S14中，车辆检测部102将检测到的范围存储在存储部104中。由此使得被检测到的车辆处于正在跟踪的状态。

接下来，在步骤S15中，车辆检测部102将检测到的车辆的台数追加到当前正在跟踪的车辆的数量(以下，正在跟踪的车辆数)中。这里所设定的台数将在步骤S12中执行的车辆跟踪处理中被利用。

接下来，参照图6所示的流程图对步骤S12中进行的处理进行说明。另外，在没有特别记载的情况下，由车辆跟踪部103来执行各步骤。

当所设定的“正在跟踪的车辆数”在1台以上时，执行步骤S12的处理。即，在执行步骤S12的时机(timing)，按时序顺序将两个以上的帧存储在存储部105中。

首先，在步骤S21中，在计数器n中设定1。n是用于对图像中包含的跟踪对象车辆依次进行处理的计数器。

接下来，在步骤S22中，使用与第n个车辆对应的模板来进行对道路图像的模式匹配。这里使用的模板也可以是例如在步骤S13中用于车辆检测的模板。

在本步骤中，首先，针对图像中包含的第n个车辆，估计当前的帧中的粗略位置，设定搜索区域。例如，也可以是，当在过去的两个以上的帧中已求出第n个车辆的位置变化时，根据该位置变化来估计当前的帧中的位置。例如，也可以是，取得两帧前的对象车辆与一帧前的对象车辆之间的位置变化，使用该变化来估计当前的帧中的该对象车辆的位置。或者，也可以使用卡尔曼滤波器等来估计车辆的位置。

另外，在没有用于进行估计的足够信息的情况下，可以估计为该对象车辆位于在步骤S13中检测到的位置附近，也可以省略锁定(絞り込み)本身。

然后，使用所对应的模板进行第一匹配。

在步骤S23中，取得第一匹配中的匹配得分，判定该匹配得分是否大于等于规定值(第一阈值)。其结果，匹配得分低于规定值时，意味着利用当前所使用的模板无法正确地对跟踪对象车辆进行跟踪，因此，在以后的步骤中，对模板进行变形而再次尝试匹配。

在步骤S24中，估计跟踪对象车辆的行进方向发生了变化。也可以根据过去的跟踪结果来估计行进方向的变化。例如，在当前所设定的搜索区域附近存在车辆的位置发生较大变化的经历时，则可以估计为车辆的位置持续地发生了变化。或者，也可以根据照相机200拍摄的道路的形状来估计行进方向。例如，摄影对象是十字路口或丁字路口时，也可以估计为该摄影对象会向任意一个方向行进。该情况下，估计结果也可以有多个。

另外，也可以省略步骤S24的处理。

在步骤S25中，更新在步骤S22中所使用的模板，再次尝试模式匹配(第二匹配)。

作为模板的更新方法，有以下这样的方法。

(1)单纯地放大/缩小使用的模板

是当照相机放大显示(zoom in)(或缩小显示(zoom out))、或跟踪对象车辆朝向画面近前方向(或画面深处方向)行驶时有效的方法(参照图3)。

(2)替换为与车辆的行进方向对应的模板

是当朝向画面近前方向(或画面深处方向)行驶的车辆右转或左转时、或从侧向道路驶出的车辆右转或左转而朝向画面近前方向(或画面深处方向)行驶时有效的方法(参照图4)。该情况下，根据在步骤S24中估计出的行进方向的变化来更新要使用的模板。例如，当在步骤S24中判定为原本朝向正面的车辆朝向左斜方向时，使用与左斜前方对应的模板来进行匹配。另外，也可以将替换后的模板调整为适当的大小(例如，基于不久之前使用的模板的大小)。

在步骤S26中，取得第二匹配中的匹配得分，判定该匹配得分是否大于等于规定值(第二阈值)。其结果，匹配得分大于等于规定值时(步骤S26-“是”)，则意味着可以正确地检测到跟踪对象车辆，因此采用第二匹配结果作为跟踪结果(步骤S27)。

另一方面，当在步骤S26中匹配得分低于规定值时(步骤S26-“否”)，则存在看丢了跟踪对象车辆的可能性，因此，在以后的步骤中，判定是继续跟踪还是结束跟踪。

参照图7继续说明。

在步骤S31中，将通过匹配而确定出的区域(即，估计存在跟踪对象车辆的区域)分割为竖1×横N个块。图8是示出分割的示例的图。在本例中，如图8所示，将通过匹配而确定出的区域分割为竖1×横5个块。

接下来，在步骤S32中，判定是否全部块的边缘强度均小于等于规定值。块的边缘强度是指该块中包含的像素所具有的边缘强度之和。例如，对所取得的图像应用Sobel滤波器，取得所得到的全部值的绝对值之和，其中，所述Sobel滤波器用于提取存在于特定方向上的边缘。所取得的边缘强度可以是纵向，也可以是横向。或者，也可以是双方的组合。由此可以得到每个块的边缘强度。

其结果，全部块的边缘强度小于等于规定值时，则估计无论在全部块中的哪一个都不存在车辆，因此，使第n个车辆的跟踪结束标记为“真”(步骤S38)。这是因为，与不存在车辆的块(例如仅存在道路的块)相比，在存在车辆的块中会出现较强的边缘。

边缘强度大于等于规定值的块只要有一个时，处理即转移到步骤S33。

在步骤S33中，运算对第n个车辆的匹配得分的、过去k帧(k是任意的整数)的合计值，并判定合计值是否小于等于规定值。这里运算的匹配得分可以是与第一匹配对应的得分，也可以是与第二匹配对应的得分。这里，当合计值小于等于规定值时，由于估计为匹配得分永久性下降，因此，使第n个车辆的跟踪结束标记为“真(true)”(步骤S38)。

当合计值超过规定值时，处理转移到步骤S34。

在步骤S34中，将在步骤S32中分割得到的块中、边缘强度小于等于规定值的块删除。本步骤是根据边缘强度来估计车辆的行进方向发生了变化并确定车辆所存在的区域的步骤。例如，在图8的示例的情况下，由于区域805的边缘强度小于等于规定值，因此判定为区域805中不存在车辆。然后，截取与区域801～804对应的图像作为新的模板。这里取得的模板将在下一帧以后的匹配中使用。

参照图9对具体的示例进行说明。图9是从侧向道路驶出的车辆右转而向图像近前方向驶来时的示例。

当利用前述的方法进行处理时，由标号901和902示出的区域会被删除，与剩余的区域对应的图像成为新的模板。

以上，对第n个车辆的跟踪处理结束。

在步骤S34的处理结束后，或者在步骤S23中为肯定判定的情况下、以及在步骤S27的处理结束后、步骤S38的处理结束后，处理转移到步骤S35。

在步骤S35中，使计数器n递增(increament)，在步骤S36中，判定计数器n是否超过了正在跟踪的车辆数。其结果，如果未超过，则处理返回到步骤S22以开始对下一个车辆的跟踪。如果超过，则从正在跟踪的车辆数中减去已结束跟踪的车辆的数量(跟踪结束标记为“真”的车辆的数量)。

另外，在下一帧的处理中使用被更新后的模板。

此外，在本例中，返回到步骤S22，但是，也可以返回到步骤S24或步骤S25，根据第二匹配进行处理。

如以上进行了说明那样，在本实施方式的图像处理装置中，当通过使用第一模板的模式匹配结果无法得到足够的得分时，预测车辆的观察方式的变化而更新模板，重试模式匹配。由此，即使在图像上的车辆的观察方式骤然变化的情况下，也能够追随该观察方式。

此外，通过分析估计存在跟踪对象车辆的区域来判断是结束跟踪还是继续跟踪。由此，能够防止将车辆以外的物体误识别为车辆而继续跟踪的情况。

即，能够提高车辆的跟踪精度。

(变形例)

在前述的实施方式中，当在步骤S23中无法得到规定的得分时(或匹配失败时)，在估计出跟踪对象车辆的行进方向的变化后更新模板，再次进行匹配，但是，也可以进行除此以外的处理。

例如，也可以是，在得分虽不高但可以说匹配成功时，判断为跟踪对象车辆的观察方式正在逐渐变化并采用第一匹配结果，然后，将在下一帧以后使用的模板更新为与变化后的观察方式对应的模板。

另外，为了取得与变化后的观察方式对应的模板，也可以一并使用步骤S24中进行了说明那样的估计行进方向的变化的处理。

另外，也可以一并使用前述的实施方式和本变形例。例如，也可以在步骤S23中设定多个阈值，根据得到的得分来决定要执行哪个处理。例如，也可以是，在步骤S23中，根据阈值A和阈值B(A>B)将得分分为三个阶段，当得分低于阈值A且大于等于阈值B时，进行在本变形例中叙述的处理，当得分低于阈值B时，进行步骤S24～S27的处理。

(其它变形例)

上述实施方式只是一例，本发明可以在不脱离其宗旨的范围内适当变更而实施。

例如，即使省略步骤S31～S34中的任意一部分，也能够获得本发明的效果。

此外，在实施方式的说明中，使用模板图像来进行匹配，但是，也可以使用特征量来进行匹配。此外，在使用模板图像的情况下，可以使用一张模板图像进行匹配，也可以将模板图像分割为多个块，针对每个块进行匹配。例如，可以求出多个块的平均值，也可以在删除偏离值之后求出平均值。

此外，在实施方式的说明中，在步骤S25中取得更新后的模板，但是，在图像上的观察方式的变化可以考虑多个模式(例如，车辆能够在直行、左转、右转这三个方向上行进的情况下)的情况下，也可以取得多个模板，对各个模板进行匹配。该情况下，当无论哪个结果都无法得到规定的得分时，可以对步骤S26作出否定判定。

此外，本发明的图像处理装置所跟踪的对象物不限于车辆。

标号说明

100：图像处理装置；

101：图像取得部；

102：车辆检测部；

103：车辆跟踪部；

104：存储部；

200：照相机。

Claims (9)

1.一种图像处理装置，其对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪，其特征在于，所述图像处理装置具有：

图像取得单元，其取得图像；和

跟踪单元，其利用匹配检测出所述图像中包含的跟踪对象物，取得多个图像间的所述跟踪对象物的移动量和移动方向，

所述跟踪单元

1)使用与所述跟踪对象物对应的第一模板进行第一匹配，

2)当进行所述第一匹配的结果的得分低于第一阈值时，使用尺寸或形状与所述第一模板不同的第二模板来进行第二匹配，

3)在进行所述第二匹配时，根据进行所述第二匹配的结果的得分以及匹配结果所确定出的区域中的边缘强度两者，决定是否结束所述跟踪对象物的跟踪。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述跟踪单元根据检测所述跟踪对象物而得的结果来估计所述跟踪对象物的行进方向的变化，使用与变化后的行进方向对应的所述第二模板来进行所述第二匹配。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述跟踪单元在进行所述第二匹配的结果的得分低于第二阈值并且匹配结果所确定出的区域中的边缘强度低于第三阈值的情况下，结束所述跟踪对象物的跟踪。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述跟踪单元取得对连续的规定张数的图像进行第一匹配的结果的得分或进行第二匹配的结果的得分的合计值，根据所述合计值决定是否结束所述跟踪对象物的跟踪。

5.根据权利要求1所述的图像处理装置，其特征在于，

当在作为处理对象的图像之前的图像中存在检测所述跟踪对象物而得的结果时，所述跟踪单元根据该结果取得所述第一模板。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述跟踪单元将与所述跟踪对象物对应的区域分割为多个块，将边缘强度低于第四阈值的块以外的区域作为所述第一模板。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述跟踪对象物是车辆，所述多个块沿水平方向排列。

8.一种图像处理方法，该图像处理方法是由对连续拍摄得到的多个图像中包含的跟踪对象物进行跟踪的图像处理装置执行的方法，其特征在于，所述图像处理方法包括：

图像取得步骤，取得图像；和

跟踪步骤，利用匹配检测出所述图像中包含的跟踪对象物，取得多个图像间的所述跟踪对象物的移动量和移动方向，

在所述跟踪步骤中，

1)使用与所述跟踪对象物对应的第一模板进行第一匹配，

2)当进行所述第一匹配的结果的得分低于第一阈值时，使用尺寸或形状与所述第一模板不同的第二模板来进行第二匹配，

3)在进行所述第二匹配时，根据进行所述第二匹配的结果的得分以及匹配结果所确定出的区域中的边缘强度两者，决定是否结束所述跟踪对象物的跟踪。

9.一种计算机可读取的存储介质，其存储了使计算机执行权利要求8所述的图像处理方法的各个步骤的程序。

Images