CN101739658B - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明提供可执行比以往更有效的物体检测和追踪处理等图像处理的图像处理装置、图像处理方法及程序。基于输入的图像数据来形成由多个不同尺度的层图像数据构成的图像金字塔，并准备对象物固定了尺度的模板。由此求出模板所对应的图像金字塔内位置。然后，针对基于该图像金字塔内位置而确定的上侧层图像数据和下侧层图像数据的每一个，进行与质点的匹配来求出似然度。然后，使用这些似然度来进行求出真实形似度的插值处理。

Description

图像处理装置、图像处理方法及程序

技术领域

本发明特别是涉及利用金字塔图像的图像处理装置及其方法。并且涉及由上述的图像处理装置执行的程序。

背景技术

如专利文献1中记载的那样，已知在图像处理中使用图像金字塔的方法。

当为了获得作为处理对象的物体的拍摄图像而实际进行拍摄时，图像上的物体的尺度(scale)会由于该物体与拍摄装置之间的拍摄距离的改变而改变，但对于图像处理来说，有时这种物体尺度的改变会成为问题。

因此，如果利用图像金字塔的方法来使用根据尺度分层的图像，则能够与上述那样的图像上的物体尺度的改变无关地进行图像处理。

非专利文献1：E.Andelson，et al.，“Pyramid methods in imageprocessing”，RCA Engineer，29(6)：22-41(E.安德森及其他.，“图像处理中的金字塔方法”，RCA工程师，29(6)：22-41).

发明内容

本发明的目的在于，作为利用了图像金字塔的图像处理，例如进行关于预先设定的对象物的物体检测、追踪等，并且此时在图像金字塔的方面获得比以往更有效且更高的处理能力。

因此，本发明的图像处理装置是考虑上述问题而完成的，其如下述地构成。

即，图像处理装置包括：图像金字塔形成单元，该图像金字塔形成单元从输入的图像数据生成作为具有不同尺度的图像的层图像数据并对所述层图像数据进行分层，由此形成图像金字塔；位置计算单元，该位置计算单元计算图像金字塔内位置，所述图像金字塔内位置是模板图像数据所对应的所述图像金字塔内的高度位置，所述模板图像数据具有基于固定尺度的对象物的图像部分；上层对应似然度计算单元，该上层对应似然度计算单元对存在于所述图像金字塔内位置的紧接上方的上侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；下层对应似然度计算单元，该下层对应似然度计算单元对存在于所述图像金字塔内位置的紧接下方的下侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；以及真实似然度计算单元，该真实似然度计算单元根据由所述上层对应似然度计算单元和所述下层对应似然度计算单元求出的似然度来计算真实似然度。

在上述构成中，基于输入的图像数据来形成包括多个具有不同尺度的层图像数据的图像金字塔，准备针对对象物固定了尺度的模板，并计算模板所对应的图像金字塔内位置(图像金字塔中的高度位置)。然后，通过将基于该图像金字塔内位置而特定的上侧层图像数据和下侧层图像数据的每一个与状态预测值进行匹配来计算似然度。根据所述上侧层图像数据和所述下侧层图像数据的每一个而求出的似然度分别是对应于比对象物的真实尺度大的尺度以及小的尺度而获得的近似值。因此，使用这些似然度来求出真实似然度。即，在本发明中，通过比对应于形成图像金字塔的层图像数据的数量而确定的分辨率更高的分辨率来更高精度地求出似然度。

发明效果

由此，本发明能够提供比以往更有效的利用图像金字塔的物体检测和追踪处理等图像处理。

附图说明

图1是用于说明图像金字塔的概念的示意图；

图2是用于说明形成图像金字塔的层图像的图；

图3是示出本实施方式的追踪处理系统的基本构成例的图；

图4是示出作为本实施方式的追踪处理系统的、采用了多个方法时的构成例的图；

图5是示出作为本实施方式的追踪处理系统的、与人体头部追踪处理相对应的构成例的图；

图6是以头部追踪处理系统为基础而定义的头部图像区域的示意图；

图7是示出质点与图像金字塔的对应关系的示意图；

图8是示出计算机装置的构成例的框图。

具体实施方式

作为用于实施本发明的优选实施方式(以下，称为实施方式)，下面举出将基于本发明的构成应用在执行特定部分的追踪处理的追踪处理系统中的例子。

按以下顺序进行后面的说明。

(1.图像金字塔)

(2.追踪处理系统构成例)

(3.头部追踪处理系统构成例)

(4.计算机装置的构成例)

(1.金字塔图像)

首先，通过图1和图2来先对本实施方式的追踪处理系统所利用的图像金字塔进行说明。

图1中示出了六个图像，即：第0层图像P0、第1层图像P1、第2层图像P2、第3层图像P3、第4层图像P4、第5层图像P5。

这里，第0层图像P0至第5层图像P5各自具有相同图像的内容，并且分别具有不同的尺度(尺寸和解析度)。

在此情况下，第0层图像P0至第5层图像P5中尺度最大的图像是第0层图像P0。然后，图像的尺度按照第1层图像P1、第2层图像P2、第3层图像P3、第4层图像P4、第5层图像P5的顺序逐渐变小。

在图2中，抽取示出了图1中的第0层图像P0、第1层图像P1、第2层图像P2。如果假定第0层图像P0的水平×垂直像素数目＝H×V，则第1层图像P1是通过预先确定的预定缩小率rd1(rd1＜1＝来缩小第0层图像P0而获得的图像，其尺度由水平×垂直像素＝H·(1-rd1)×V·(1-rd1)表示。另外，第2层图像P2是通过预先确定的比缩小率rd1大的预定缩小率rd2来缩小第0层图像P0而获得的图像，其尺度由水平×垂直像素＝H·(1-rd2)×V·(1-rd2)表示。

如上所述，尺度按照第0层图像P0至第5层图像P5的顺序逐渐变小。因此，关于这些层图像，假定是将第0层图像P0作为最底层进行分层并向上依次堆叠起来的。于是，能够看作由与上述层图像的外周接触的面如图1所示那样形成了四棱锥、即金字塔的形状。这里，将如上述那样通过将层图像分层并重叠而形成的金字塔形状称为图像金字塔100。在如此形成的图像金字塔100中，具有一个相同图像内容的图像的尺度根据金字塔中的高度位置而变化。附带说一下，在图像金字塔100中，位置越高，图像的尺度就越小。

在本实施方式中，当形成上述那样的图像金字塔100时，以第0层图像为基础。即，将输入的帧图像数据(原始帧图像数据)作为第0层图像。在此基础上，例如将分别通过不同的预定缩小率对原始帧图像数据进行缩小处理而获得的图像分别作为第1层图像P1至第5层图像P5。

这里，关于形成图像金字塔100的层图像，假定了第0层图像P0至第5层图像P5这六个，但这仅为一个例示。即，形成图像金字塔100的图像的层数在大于等于2的范围内不应被特别限定，可以根据实际系统所对应的输入图像数据(原始帧图像数据)的尺度、系统所具有的硬件和/或软件的处理能力、以及所追求的追踪处理性能等来设定。

(2.追踪处理系统构成例)

图3示出了作为本实施方式的追踪处理系统1的构成例。该追踪处理系统被构成为输入作为运动图像的图像数据并基于该图像数据的图像来追踪被设定为追踪对象的特定的物体(对象物)。

在图3所示的追踪处理系统1中，作为运动图像的图像数据被输入到金字塔化处理部11中。该追踪处理系统1(金字塔化处理部11)所输入的运动图像的图像数据例如能够通过实时执行的拍摄来获得。

金字塔化处理部11将输入的图像数据以帧图像单位依次获取。并且，如通过图1和图2进行说明的那样，关于所获取的帧图像，生成预定个数的层图像数据。即，生成图像金字塔。此时，金字塔化处理部11将所取得的帧图像数据作为第0层图像，并在此基础上例如通过利用第0层图像数据的图像缩小处理来生成必要个数的基于比第0层图像的数据小的预定尺度的层图像。

另外，在图3中，作为通过金字塔化处理部11形成的图像金字塔100，与图1一样地示了由第1层图像P1至第5层图像P5的六层构成的图像金字塔的例子。但如上所述，这仅为一个例示，实际形成的层数应当适当地考虑上述条件等来决定。

这里，图3所示的模板110是具有下述物体(对象物)来作为图像内容的图像数据，所述物体对于追踪处理系统1被设定为追踪处理的对象。模板110在预先确定的规定尺度的图像(图像框架)内存在对象物的图像部分。从而，模板中示出的对象物也具有某个确定的固定尺度。

另一方面，向追踪处理系统1(金字塔化处理部11)中输入的图像数据(输入图像数据)例如是通过实时拍摄而得的图像数据，因此，根据正拍摄的实际对象物的活动并随着时间的经过，到对象物的拍摄距离会发生变化。

这意味着不能保证输入图像数据中的对象物的尺度与模板中的对象物的尺度相同。

这样一来，通过对对象物尺度不同的图像进行匹配来高精度地求得当前时刻的对象物的位置(似然度)是非常困难的。换言之，如果要高精度地求出似然度，就需要使模板与输入图像数据的对象物尺度相同。

为此，在本实施方式中，通过金字塔化处理部11将输入的图像数据形成为图像金字塔100。在此基础上，从形成图像金字塔100的层图像中确定与模板中的对象物尺度最接近的层图像。并且，通过对所述确定的层图像和模板的图像进行匹配来求出关于对象物位置的似然度。

当金字塔内位置计算部12对通过金字塔化处理部11形成的图像金字塔100应用了模板110时，求出被视为该模板110中的对象物的尺度所对应的高度位置(金字塔内位置)。

这里，如果以层图像单位来看，图像金字塔100可以视为作为根据层图像数而离散化了金字塔的高度而具有基于与层图像相应的分辨率来分级的高度。

但是，金字塔内位置计算部12将图像金字塔100的高度当作连续的高度，并在该连续的高度中计算金字塔内位置。但是，由于实际上进行数字处理，因此，严密地说，算出的金字塔内位置为离散的，并具有有限的分辨率。但是，金字塔内位置的分辨率远远高于与层图像相应的分辨率，在这一点上可以看作是连续的。

这里，作为模板110的图像中的对象物的尺度是已知的。另外，由于图像金字塔100中的第0层图像P0为输入图像数据，因此能够容易检测出该输入图像数据的图像中的对象物的尺度。另外，只要已知第0层图像P0的尺度，就能够知道位于该层之上的层的层图像中的对象物的尺度。这意味着在形成图像金字塔100的时刻，图像金字塔的高度与对象物的尺度的对应关系也是已知的。因此，金字塔内位置计算部12例如可通过计算模板110中的对象物的尺度与第0层图像P0中的对象物的尺度的比率来求出金字塔内位置。并且，如从上面的说明可知，作为如上述求得的金字塔内位置，可指示某个层图像与比它高一层的层图像之间的某个高度。在图3中，作为例子，示出了如单点划线所示那样在第2层图像P2与第3层图像P3之间求出了金字塔内位置的结果。

金字塔内位置计算部12求得的金字塔内位置的信息被传递给似然度计算部13。

似然度计算部13首先确定传来的金字塔内位置被夹在两者之间的一个上侧层图像和一个下侧层图像。如果以图3为例，由于金字塔内位置被求得为位于第2层图像P2与第3层图像P3之间，因此确定第3层图像P3作为上侧层图像，并确定第2层图像P2作为下侧层图像。

也可以由金字塔内位置计算部12确定所述上侧层图像和所述下侧层图像，并从金字塔内位置计算部12向似然度计算部13传递能够表示上侧层图像和下侧层图像分别是哪一层图像的信息。

该似然度计算部13包括上层侧似然度计算部21和下层侧似然度计算部22的两个似然度计算部。这些似然度计算部例如被形成为质点过滤器等。上层侧似然度计算部21通过对作为观测值的上侧层图像和所生成的质点进行匹配来计算每个质点的似然度。同样地，下层侧似然度计算部22通过对作为观测值的下侧层图像和质点进行匹配来计算每个质点的似然度。

即，在本实施方式中，针对在形成图像金字塔100的层图像中相对于模板110中的对象物的尺度所对应的金字塔内位置处于紧接上方的层图像和紧接下方的层图像的两个观测值，分别求出似然度。这里，所述紧接上方的层图像是在存在尺度比模板110的尺度小的对象物的层图像中尺度与模板110最接近的对象物所存在的层图像。另外，所述紧接下方的层图像是在存在尺度比模板110的尺度大的对象物中尺度与模板110最接近的对象物所存在的层图像。另外，上层侧似然度计算部21与下层侧似然度计算部22在分别对每一个质点求出个别的似然度之后，基于这些个别的似然度来最终求出作为极大似然估计值的似然度。

从上述的说明可知，分别通过上层侧似然度计算部21和下层侧似然度计算部22求得的似然度分别是当将模板110中的对象物的尺度作为基准时能够通过与比其小的尺度的对象物进行匹配来求出的似然度中误差最小的近似值，或者能够通过与比其大的尺度的对象物进行匹配来求出的似然度中误差最小的近似值。这意味着与模板110中的对象物尺度一致的真实似然度存在于上述两个近似值之间。

因此，真实似然度计算部14通过利用由上层侧似然度计算部21求得的似然度(上层侧似然度)和由下层侧似然度计算部22求得的似然度(下层侧似然度)的处理，来执行用于求出能够当作所述真实的似然度的似然度(真实似然度)的处理。

这里，当真实似然度计算部14计算真实的似然度时，例如可以进行相当于对作为所述上层侧似然度的值和下层侧似然度的值进行插值的处理。另外，关于由该真实似然度计算部14执行的用于求出真实似然度的算法的具体例子，将在后面进行说明。

例如，当不采用图像金字塔时，相对于作为观测值的输入图像数据中对象物的尺度等的变化，需要使模板图像中的对象物的尺度等与输入图像数据中的对象物的尺度等相一致。为此，需要进行与输入图像数据中对象物的尺度的变化相适应地改变模板图像的尺度(以及对象物的中心位置、旋转角度等)的处理。但是，用于这种处理的计算非常繁重。

因此，如本实施方式这样采用了图像金字塔的方法。由此，能够固定模板110。在此基础上，如果如先前所说明的那样将所选的层图像与模板110进行匹配，则可获得和在与输入图像数据的尺度相对应地改变模板110的图像的尺度之后进行匹配时相同的结果。

另外，利用图像金字塔计算似然度的通常方法例如：选择存在于与求得的金字塔内位置最近的位置上的一个层图像，并利用所述选择的层图像来进行匹配处理。

但是，过多地设置形成图像金字塔的层图像的数量(层数)是不现实的，应考虑金字塔处理的繁重程度等而限制到适当的数量。为此，在上述的通常方法中，所算出的似然度也仅反映出与层图像数量相应地离散的尺度。即，只能获得在与层图像的数量相应的粗略的分辨率下基于与模板110的对象物的尺度最接近的层图像的近似值。

如果想要使该近似值尽可能地接近真实的似然度，则可以增多形成图像金字塔的层图像的数量。但是，如上所述，分层数越多，金字塔处理等也将相应地变得繁重，从而不能发挥由于采用图像金字塔而减轻处理负担的优点。

因此，在本实施方式中，选择将求得的金字塔内位置夹在二者之间的上侧层图像和下侧层图像的两个层图像，基于这些层图像的每一个求出似然度，并基于求出的似然度，例如通过插值处理等来求出真实的似然度。

由此，在本实施方式中，在将形成图像金字塔的层图像的数量抑制在一定数量以下的基础上，可获得与具有和模板110相同的对象物尺度的输入图像数据进行匹配时相同精度的似然度(真实的似然度)。

如先前所说明的那样，似然度计算部13中的上层侧似然度计算部21和下层侧似然度计算部22通过对质点和层图像进行匹配来计算似然度，作为此时可采用的方法(匹配方法：matching measure)，已知有多种方法。

作为本实施方式的上层侧似然度计算部21和下层侧似然度计算部22的最基本的构成，可以考虑从多个方法中例如与实际的对象物等相对应地选定最优的一个方法，并将所述选定的方法应用于上层侧似然度计算部21和下层侧似然度计算部22。

但是，本申请的发明人判明了当不通过单一方法计算似然度而是通过多种方法计算似然度并在此基础上综合这些似然度时，例如鲁棒性等性能会提高。

因此，在本实施方式中采用了对层图像的上层侧和下层侧分别应用多种方法的构成。图4示出了这种应用了多种方法的追踪处理系统的构成例。不管应用单一方法还是多种方法，图3所示的金字塔化处理部11和金字塔内位置计算部12的构成并没有特别变化。因此，在图4中省略了对图3中的金字塔化处理部11和金字塔内位置计算部12的图示。

在图4中，首先，上层侧似然度计算部21包括第1匹配部31-1至第N匹配部31-N的N个匹配部。第1匹配部31-1至第N匹配部31-N分别应用不同的方法。这里，将应用到第1匹配部31-1至第N匹配部31-N的每一个中的方法称为第1方法至第N方法。

第1匹配部31-1获取上侧层图像作为与第1方法对应的观测值，并与质点进行匹配来获得似然度。同样地，第二匹配部31-2至第N匹配部31-N分别获取上侧层图像作为第2方法至第N方法对应的观测值，并与质点进行匹配来获得似然度。

另外，下层侧似然度计算部22也包括与上层侧似然度计算部21相同数量的第1匹配部32-1至第N匹配部32-N的N个匹配部。而且，对第1匹配部32-1至第N匹配部32-N也分别应用不同的第1方法至第N方法。由此，第1匹配部32-1至第N匹配部32-N分别将下侧层图像作为与第1至第N方法对应的观测值来进行与质点的匹配处理，从而计算似然度。

如上所述，上层侧似然度计算部21中的第1匹配部31-1和下层侧似然度计算部22中的第1匹配部32-1采用应用了彼此共同的方法的构成。同样地，上层侧似然度计算部21中的第二匹配部31-2至第N匹配部31-N与下层侧似然度计算部22中的第二匹配部32-2至第N匹配部32-N分别采用应用了彼此共同的方法的构成。

通过似然度计算部13的上述的构成，将从上层侧似然度计算部21输出通过第1匹配部31-1至第N匹配部31-N(第1方法至第N方法)中的每一个求得的N个似然度。同样地，将从下层侧似然度计算部22输出通过第1匹配部32-1至第N匹配部32-N(第1方法至第N方法)中的每一个求得的N个似然度。

此时的真实似然度计算部14与匹配部(测量方式)的数量相对应地同样具有N个第1计算部33-1至4第N计算部33-N。

第1计算部33-1对基于共同的第1方法求得的似然度、即从上层侧似然度计算部21的第1匹配部31-1和下层侧似然度计算部22的第1匹配部32-1输出的似然度，例如进行相当于插值的处理，由此求出基于第1方法的真实似然度。

同样地，余下的第2计算部33-2至第N计算部33-N分别通过对基于共同的第2方法至第N方法求得的似然度(从上层侧似然度计算部21的第2至第N匹配部31-2至31-N和下层侧似然度计算部22的第1至第N匹配部32-2至32-N输出的似然度)进行插值处理，来求出基于第2至第N方法的真实似然度。

此时，将输出N个通过与第1至第N方法中的每个方法求得的真实似然度。因此，在图4的构成中，通过似然度综合部15综合这些多个似然度来输出最终的估计值(估计结果)。

关于作为似然度综合部15所执行的似然度综合处理的具体的算法，可以考虑若干种算法，这里不应被特别限定。例如，作为最简单的例子，可以考虑从所获取的多个似然度中输出最大值的似然度来作为综合后的似然度。另外，也可以考虑与第1至第N方法的每一个相对应地设定加权系数，在此基础上求出所获取的多个似然度的加权平均值，并将该加权平均值作为综合后的似然度。

(3.头部追踪处理系统构成例)

接下来，说明将利用所述图3、图4进行说明的本实施方式的追踪处理系统应用于人体的头部追踪时的具体的构成例。

当进行本实施方式的头部追踪时，首先，如图6所示，将包括人体头部的图像在内的矩形的图像部分定义为头部图像区域。

此时的头部图像区域被设定为由水平尺度＝垂直尺度＝s给定的正方形的图像区域，并设定作为人体头部的Ω形状按一定比率容纳于该图像区域内。另外，在头部图像区域中定义其中心位置C。此时的中心位置C例如是正方形的头部图像区域的对角线的交点。如此，本实施方式的头部追踪系统追踪存在于头部图像区域中作为Ω形状的头部。

接着，为了追踪上述作为Ω形状的人体头部，作为应应用在似然度计算部13中的多种方法，选定下述四种方法，即第1至第4方法。

·第一方法：“相对于头部掩蔽图像的轮廓的倒角(Chamfer)距离”；

·第二方法：“头部Ω形状内部中的掩蔽像素的比例”；

·第三方法：“头部Ω形状外部中的掩蔽像素的比例”；

·第四方法：“相对于头部Ω形状边缘的倒角距离”。

发明人经过研究，判明了通过应用上述四种方法，人体头部追踪处理会获得高鲁棒性。

图5示出了采用了上述第1至第4方法的人体头部追踪系统的构成例。

在该图中，作为人体头部追踪系统，抽取示出了似然度计算部13、以及为追踪人体头部而新设置的头部掩蔽图像形成部16-U、16-D和头部边缘图像形成部17-U、17-D。这里没有示出的金字塔化处理部11、金字塔值计算部12、真实似然度计算部14、以及似然度综合部15等例如可以具有与通过图3、图4进行说明的构成相同的构成。

当采用上述第1至第4方法时，在与第1至第3方法的三种方法对应的匹配处理中，作为观测值的图像数据应使用将头部的Ω形状掩蔽了的图像(头部掩蔽图像)。另外，当进行与余下的第4方法对应的匹配处理时，作为观测值的图像数据应使用提取了头部Ω形状的边缘的图像(头部边缘图像)。

因此，如图5所示，对应于从通过金字塔化处理部11(这里不进行图示)形成的图像金字塔100取出的上侧层图像，设置头部掩蔽图像形成部16-U和头部边缘图像形成部17-U。同样地，对应于下侧层图像，设置头部掩蔽图像形成部16-D和头部边缘图像形成部17-D。

头部掩蔽图像形成部16-U、16-D对所输入的层图像(上侧层图像、下侧层图像)的图像数据执行检测存在于其中的头部Ω形状、并转换为将所述检测到的头部Ω形状的图像部分掩蔽了的图像(头部掩蔽图像)的图像处理。

另外，头部边缘图像形成部17-U、17-D对所输入的层图像(上侧层图像、下侧层图像)的图像数据，提取存在于其中的头部Ω形状的边缘，并转换为通过该边缘表现出头部Ω形状的图像(头部边缘图像)。

接下来，与似然度计算部13采用上述第1至第4方法相应地，在上侧似然度计算部21中设置四个匹配部，即第1匹配部31-1～第4匹配部31-4。同样地，在下层侧似然度计算部22中也设置第1匹配部32-1～第4匹配部32-4的四个匹配部。

这里，似然度计算部13中的八个匹配部(31-1～31-4，32-1～32-4)各自如上述那样例如应用质点过滤器。对这些匹配部利用了共同的质点过滤器的处理如下所述。

首先，每个匹配部预测多个图6所示的头部Ω形状的中心位置C、以及尺度s的组合状态。即，生成多个基于中心位置C以及尺度s的组合的状态预测值。所述每个状态预测值在这里相当于质点。这里，如果以坐标(u，v)表示头部Ω形状的中心位置C，则质点可以如式1那样表示为三维参数矢量。

(式1)

x_i＝(u_i，v_i，s_i)^t

在(式1)中，变量i表示赋予质点的编号，t表示当前时刻。

在图7中示意性地示出了质点。该图所示的各个质点存在于与赋予自身的预测值对应的金字塔内部的高度(相对于尺度)以及与中心位置C相应的空间位置上。

并且，各个匹配部将上述的每一个质点，按照所应用的方法与作为观测值的层图像的图像数据进行匹配，并从该结果中求出每一个质点i的似然度Wi。

基于通过各个匹配部的处理对每一个质点求得的似然度，最终能够获得当前时间t的极大似然估计值。该极大似然估计值例如能够通过下述(式2)所示的计算来求出。

(式2)

$\stackrel{\‾}{x}=\underset{i}{\mathrm{\Σ}}{w}_i{x}_i$

接下来，各个匹配部的处理如下所述。

首先，上层侧似然度计算部21的第1匹配部31-1执行与第1方法对应的处理。即：输入转换为头部掩蔽图像的上侧层图像，作为观测值。然后，与基于相对于头部掩蔽图像的轮廓的倒角距离的质点进行匹配处理，求出似然度。

下层侧似然度计算部22的第二匹配部32-1也同样地对应于第1方法，输入转换为头部掩蔽图像的下侧层图像，并与基于相对于头部掩蔽图像的轮廓的倒角距离的质点进行匹配处理，求出似然度。

同样地，上层侧似然度计算部21的第二匹配部31-2和下层侧似然度计算部22的第二匹配部32-2也分别输入作为头部掩蔽图像的上侧层图像和下侧层图像来作为观测值。并且，这里通过进行基于头部Ω形状内部中的掩蔽像素的比例的匹配处理来求出似然度。

另外，上层侧似然度计算部21的第三匹配部31-3和下层侧似然度计算部22的第三匹配部32-3分别输入作为头部掩蔽图像的上侧层图像和下侧层图像来作为观测值，并通过进行基于头部Ω形状外部中的掩蔽像素的比例的匹配处理来求出似然度。

上层侧似然度计算部21的第4匹配部31-4和下层侧似然度计算部22的第4匹配部32-4分别输入作为头部边缘图像的上侧层图像和下侧层图像来作为观测值，并通过进行基于相对于头部Ω形状边缘的倒角距离的匹配处理来求出似然度。

这里，虽然省略了图示，但此时的真实似然度计算部14与应用了第1至第4方法的四个方法相应地包括第1计算部33-1至第4计算部33-4这四个计算部。

第1计算部33-1输入来自对应于相同的第一方法的、上侧层图像所对应的第1匹配部31-1和下侧层图像所对应的第1匹配部32-1的似然度，并执行插值处理，由此获得对应于第1方法的真实似然度。

同样地，其余的第2计算部33-2～第4计算部33-4分别输入来自对应于第一～第三方法的、上侧层图像所对应的第2匹配部31-2～第4匹配部31-4以及下侧层图像所对应的第2匹配部32-2～第4匹配部32-4的似然度，并执行插值处理。由此，第2计算部33-2～第4计算部33-4分别能够获得对应于第一～第三方法的真实似然度。

这里，作为插值处理的具体例子，在(式3)中示出了与如第1方法或第4方法那样利用了倒角距离的算法对应的运算。为了使说明简单易懂，该(式3)示出了对倒角距离进行插值的算法。

(式3)

$d=\frac{\mathrm{scale}2(\mathrm{scale}-\mathrm{scale}1)(d1+d2)}{\mathrm{scale}(\mathrm{scale}2-\mathrm{scale}1)}-d2$

在所述(式3)中，d表示被看作是作为匹配对象的质点所具有的真实的倒角距离(似然度)。d1表示通过与上侧层图像的匹配处理(第1匹配部31-1或第4匹配部31-4)而求得的倒角距离。d2表示通过与下侧层图像的匹配处理(第1匹配部32-1或第4匹配部32-4)而求得的倒角距离。另外，scale表示作为匹配对象的质点所表示的对象物的尺度(相当于图的尺度s)，scale1表示上侧层图像中的对象物的尺度，scale2表示下侧层图像中的对象物的尺度。

从倒角距离能够唯一地求出似然度。因此，如果基于所述(式3)，则对于基于倒角距离的似然度，也能够通过插值处理来算出真实的似然度。

作为真实似然度计算部14中的各个计算部所执行的用于计算真实似然度的插值处理，可以考虑多种方式。例如作为最简单的方式的线性插值也是有效的。另外，在上述的例子中，基于处在以金字塔内位置作为基准的紧接上方和紧接下方的两个层图像来求出两个似然度，并对它们进行插值。但是，也可以考虑基于以金字塔内位置为基准所选的三个以上的层图像获得三个以上的层图像，并利用所获得三个以上的似然度进行插值处理来求出真实的似然度。此时，例如能够采用双三次(bicubic)插值、样条(spline)插值等。

另外，在通过进行追踪处理的学习而质点的扩散收敛于某个范围内的状态下，各质点所示的尺度也将收敛于某个范围内。这意味着质点在金字塔100中集中存在于某高度位置的范围内。

在这种状态下，将在质点的高度位置附近稳定地求得金字塔内位置，其结果是，也能够在某种程度上确定基于金字塔内位置所选的上侧层图像和下侧层图像的层。

因此，可以考虑如下构成金字塔化处理部11。即，在达到能够以一定水平以上的概率确定基于金字塔内位置而选择的上侧层图像和下侧层图像的层的状态下，以不生成能够认定为被选择的可能性为零的层图像的方式生成图像金字塔。根据上述的构成，能够比通常减少应生成的层图像数量，因此处理量减少。

(4.计算机装置的构成例)

以上说明的作为本实施方式的追踪处理系统能够通过与图3、图4、图5等中示出的功能性结构相对应地形成的硬件来实现。另外，也能够通过记录有下述程序的软件来实现，该程序使得与图3、图4、图5等中示出的功能性结构相对应的处理被执行。另外，也能够将上述的硬件和软件组合并用。

并且，当通过软件来实现本实施方式的动态估计所需的处理的至少一部分时，使作为动态估计系统的硬件资源、即计算机装置(CPU)执行构成该软件的程序。或者，通过使通用的个人计算机等计算机装置执行程序，赋予计算机装置执行动态估计所需的处理的功能。

这里，在图8中示出了作为可执行与本实施方式的动态估计系统对应的程序的装置的、计算机装置(信息处理装置)的构成例。

在该计算机装置200中，CPU(Central Processing Unit，中央处理器)201、ROM(Read Only Memory，只读存储器)202、RAM(RandomAccess Memory，随机存取存储器)203通过总线204相互连接。

总线204上还连接有输入输出接口205。

在输入输出接口205上连接有输入部206、输出部207、存储部208、通信部209以及驱动部210。

输入部206包括键盘、鼠标等操作输入设备等。

另外，此时的输入部20与本实施方式的追踪处理系统相对应地例如能够输入从拍摄装置30输出的图像信号(图像数据)。

输出部207包括显示器和扬声器等。

存储部208包括硬盘、非易失性存储器等。

通信部209包括网络接口等。

驱动器210驱动作为磁盘、光盘、光磁盘或半导体存储器等的存储介质211。

在如上构成的计算机装置200中，CPU201例如将存储在存储器208中的程序经由输入输出接口205和总线204加载到RAM 203中来执行，由此进行上述一系列的处理。

CPU201所执行的程序例如通过记录在记录介质211中，或经由局域网、因特网、数字卫星播放等有线或无线的传输介质来提供，记录介质211是例如磁盘(包括软磁盘)、光盘(CD-ROM(Compact Disc-ReadOnly Memory，只读光盘)，DVD(Digital Versatile Disc，数字多用途光盘)等)、光磁盘和半导体存储器等封装介质。

并且，程序通过将记录介质211装入驱动器中能够经由输入输出接口205而被安装到存储部208中。另外，也能够通过有线或无线的传输介质并通过通信部209接收程序，并将该程序安装到存储部208中。此外，程序也能够预先安装在ROM202或存储部208中。

另外，计算机装置200所执行的程序既可以是沿本说明书中进行说明的顺序时序地进行处理的程序，也可以是并行地、或者在必要的定时、例如在被调用时进行处理的程序。

在以上通过实施方式进行的说明中，以应用本发明进行处理对象物的追踪处理为前提进行了说明，但基于本发明的图像处理不仅仅限定于追踪处理，也能够应用于其他的各种图像处理。

Claims (4)

1.一种图像处理装置，包括：

图像金字塔形成单元，该图像金字塔形成单元从输入的图像数据生成作为具有不同尺度的图像的层图像数据并对所述层图像数据进行分层，由此形成图像金字塔；

位置计算单元，该位置计算单元计算图像金字塔内位置，所述图像金字塔内位置是模板图像数据所对应的所述图像金字塔内的高度位置，所述模板图像数据具有基于固定尺度的对象物的图像部分；

上层对应似然度计算单元，该上层对应似然度计算单元对存在于所述图像金字塔内位置的紧接上方的上侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；

下层对应似然度计算单元，该下层对应似然度计算单元对存在于所述图像金字塔内位置的紧接下方的下侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；以及

真实似然度计算单元，该真实似然度计算单元根据由所述上层对应似然度计算单元和所述下层对应似然度计算单元求出的似然度来计算真实似然度。

2.根据权利要求1所述的图像处理装置，其中，

所述上层对应似然度计算单元和所述下层对应似然度计算单元分别通过进行使用了第1至第N的匹配方法的匹配，来计算与所述第1至第N的匹配方法中的每一个相对应的第1至第N似然度，其中N为自然数，

所述真实似然度计算单元与由所述上层对应似然度计算单元和所述下层对应似然度计算单元分别求出的各为两个的第1至第N似然度中的每个似然度相对应地，计算第1至第N真实似然度。

3.根据权利要求1或2所述的图像处理装置，其中，

所述图像处理装置包括图像转换单元，所述图像转换单元对所述层图像数据进行将其转换成与所述第1至第N匹配方法中特定的匹配方法适应的匹配用图像数据的图像处理，

所述上层对应似然度计算单元和所述下层对应似然度计算单元在使用基于所述第1至第N匹配方法中所述特定的匹配方法进行匹配时，使用转换为所述匹配用图像数据的上侧层图像和下侧层图像。

4.一种图像处理方法，包括：

图像金字塔形成步骤，从输入的图像数据生成作为具有不同尺度的图像的层图像数据并对所述层图像数据进行分层，由此形成图像金字塔；

位置计算步骤，计算图像金字塔内位置，该图像金字塔内位置是模板图像数据所对应的所述图像金字塔内的高度位置，所述模板图像数据具有基于固定尺度的对象物的图像部分；

上层对应似然度计算步骤，对存在于所述图像金字塔内位置的紧接上方的上侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；

下层对应似然度计算步骤，对存在于所述图像金字塔内位置的紧接下方的下侧层图像数据和状态预测值进行匹配来计算关于对象物的似然度；

真实似然度计算步骤，根据通过所述上层对应似然度计算步骤和所述下层对应似然度计算步骤求出的似然度来计算真实似然度。

Images