CN101859438B - 被拍摄体跟踪装置及相机 - Google Patents

Abstract

本发明提供一种被拍摄体跟踪装置及相机。该被拍摄体跟踪装置包括：第一类似度计算部，对具有多个成分的特征量的输入图像和具有多个成分的特征量的模板图像进行比较，按照各个上述多个成分的特征量计算上述输入图像和上述模板图像的类似度；归一化部，将由上述第一类似度计算部计算的多个成分的特征量的类似度归一化；以及第二类似度计算部，根据上述归一化部的归一化结果，计算上述输入图像和上述模板图像的类似度。

Description

被拍摄体跟踪装置及相机

技术领域

本发明涉及一种被拍摄体跟踪装置及相机。

背景技术

在日本国专利第3768073号公报中公开了物体跟踪装置。该物体跟踪装置利用被称为归一化相关的运算方法来计算模板和图像间的类似度，而进行被拍摄体的跟踪。

但是，在如现有的物体跟踪装置所使用的这种类似度计算的一般方法中，在对各个亮度、色差等图像成分施加不同的增益时，存在计算的类似度的精度下降的间题。

发明内容

本发明的第一方式的被拍摄体跟踪装置，包括：第一类似度计算部，对具有多个成分的特征量的输入图像和具有多个成分的特征量的模板图像进行比较，按照各个上述多个成分的特征量计算上述输入图像和上述模板图像的类似度；归一化部，将由上述第一类似度计算部计算的多个成分的特征量的类似度归一化；以及第二类似度计算部，根据上述归一化部的归一化结果，计算上述输入图像和上述模板图像的类似度。

本发明的第二方式，在第一方式的被拍摄体跟踪装置中优选，上述归一化部通过使上述多个成分的特征量的类似度与用于将各成分的特征量的类似度均一化的归一化值相乘而进行归一化。

本发明的第三方式，在第二方式的被拍摄体跟踪装置中优选，还具有加权部，对上述多个成分的特征量的类似度进行与上述输入图像的特征对应的加权。

本发明的第四方式，在第二或第三方式的被拍摄体跟踪装置中优选，上述归一化值被预先算出并记录在存储介质中，上述归一化部从上述存储介质读出上述归一化值而进行归一化。

本发明的第五方式，在第一～第三方式的被拍摄体跟踪装置中优选，上述多个成分的特征量是图像的亮度成分和色差成分，上述第一类似度计算部计算上述输入图像的亮度成分和上述模板图像的亮度成分的类似度以及上述输入图像的色差成分和上述模板图像的色差成分的类似度。

本发明的第六方式的相机，具有第一～第五方式的被拍摄体跟踪装置。

附图说明

图1是表示本发明的相机的一个实施方式的构成的框图。

图2是表示模板匹配处理的流程的流程图。

图3A、图3B是示意地表示不进行归一化而计算出的类似度的具体例的图。

图4A、图4B是示意地表示进行归一化而计算出的类似度的具体例的图。

图5A～图5D是示意地表示在归一化后进行加权而计算出的类似度的具体例的图。

具体实施方式

-第一实施方式-

图1是表示搭载有本发明的第一实施方式的被拍摄体跟踪装置的相机的构成的框图。相机100包括操作部件101、透镜102、摄像元件103、控制装置104、存储卡槽105和监视器106。操作部件101包括由使用者操作的各种输入部件，例如电源按钮、释放按钮、变焦按钮、十字键、确定按钮、重放按钮、删除按钮等。

透镜102由多个光学透镜构成，但在图1中代表性地用1个透镜表示。构成透镜102的透镜包含用于变更变焦倍率的变焦透镜、用于进行焦点调节的调焦用透镜(AF透镜)等。摄像元件103例如为CCD、CMOS等图像传感器，对通过透镜102成像的被拍摄体像进行摄像。并且，摄像元件103将通过摄像得到的图像信号输出到控制装置104。

控制装置104根据从摄像元件103输入的图像信号，生成预定的图像格式、例如JPEG格式的图像数据(以下称为“正式图像数据”)。此外，控制装置104根据生成的正式图像数据，生成显示用图像数据、例如缩略图图像数据。控制装置104生成包含已生成的正式图像数据和缩略图图像数据并进一步附加了标题信息的图像文件，并输出到存储卡槽105。

存储卡槽105是用于插入作为存储介质的存储卡的槽，将从控制装置104输出的图像文件写入并记录到存储卡中。此外，存储卡槽105根据来自控制装置104的指示，读入在存储卡内存储的图像文件。

监视器106是搭载于相机100的背面的液晶监视器(背面监视器)。在监视器106上显示在存储卡中存储的图像、用于设定相机100的设定菜单等。此外，控制装置104在由使用者将相机100的模式设定为摄影模式时，向监视器106输出从摄像元件103以时间系列取得的图像的显示用图像数据。从而在监视器106上显示取景图像(实时取景图像：Live View Image)。

控制装置104由CPU、存储器及其他周边电路构成，用于控制相机100。另外，构成控制装置104的存储器包括SDRAM、闪存。SDRAM是易失性的存储器，作为在CPU执行程序时用于展开程序的工作存储器使用，或作为用于暂时记录数据的缓冲存储器使用。此外，闪存为非易失性存储器，记录有控制装置104执行的程序的数据、在执行程序时读入的各种参数等。

在本实施方式中，控制装置104对于从摄像元件103输入的取景图像的各帧，进行使用了预先准备的模板图像的模板匹配处理，从而从帧内将与模板图像类似的图像区域确定为被拍摄体区域。并且，控制装置104在帧间追踪确定的被拍摄体区域，从而进行被拍摄体跟踪处理。

以下利用图2所示的流程图，详细说明本实施方式的模板匹配处理。另外，图2所示的处理，作为在开始取景图像摄影时起动的程序，由控制装置104执行。

在步骤S1中，控制装置104将输入的图像(以下称为“输入图像”)作为匹配对象，并进入步骤S2。在步骤S2中，控制装置104从输入图像内剪切与模板图像相同尺寸的图像，并将其作为比较用图像。之后，进入步骤S3，控制装置104比较剪切的比较用图像和模板图像，进行类似度的计算。另外，在下文说明本实施方式中的类似度的计算方法。之后进入步骤S4。

在步骤S4中，控制装置104将检索区域、例如输入图像整体内的全部区域或在输入图像内设定的预定区域内作为对象，判断是否完成了比较用图像的剪切和类似度的计算。在步骤S4中为否定判断时，返回步骤S2并反复进行处理。在反复进行处理时，控制装置104在步骤S2中使比较用区域的剪切位置从前次的剪切位置错开，从而最终对整个检索区域内进行模板图像和比较用图像的类似度的计算。与此相对，在步骤S4中为肯定判断时，进入步骤S41。

在步骤S41中，控制装置104根据在步骤S3中计算出的类似度，确定与模板图像的类似度最高的比较用图像在输入图像内的剪切位置，并将确定了的剪切位置确定为被拍摄体位置。另外，在后述方法下的类似度计算中，模板图像和比较用图像的类似度越高，计算的类似度的值(类似度计算值)越小。因此，在步骤S41中，控制装置104将类似度计算值最小的比较用图像的剪切位置确定为被拍摄体位置。之后进入步骤S5。

在步骤S5中，控制装置104判断在步骤S41中确定为被拍摄体位置时使用的最小类似度(类似度最高的比较用图像的剪切位置的类似度计算值)是否为预定的阈值(以下称为“更新阈值”)以下。在步骤S5中为否定判断时，进入后述的步骤S7。与此相对，在步骤S5中为肯定判断时，进入步骤S6。

在步骤S6中，控制装置104将计算出最小类似度的比较用图像作为新的模板图像，进行模板图像的更新，并进入步骤S7。这样就将与当前的模板图像的类似度极高的剪切图像更新为新的模板图像，从而即使在被拍摄体的形状时刻变化时，也不会追丢被拍摄体而可以持续进行跟踪。

在步骤S7中，控制装置104判断整个帧的处理是否完成、即取景图像的输入是否停止。在步骤S7中为否定判断时，返回步骤S 1而反复进行处理。与此相对，在步骤S7中为肯定判断时，结束处理。

接下来，对本实施方式中的模板图像和比较用图像的类似度的计算方法进行说明。在此，对利用类似度的计算方法之一的SAD(Sum ofAbsolute Difference/差值的绝对值的和)来计算类似度的方法进行说明。SAD是指，按照各个像素比较模板图像和比较用图像，计算差值的绝对值的和，通过计算其和而计算类似度的方法。

首先对使用SAD的一般的类似度的计算方法进行说明。在模板图像和比较用图像均为以由亮度成分Y和色差成分Cb、Cr这3个成分构成的YCbCr表色系统表示的图像时，各成分的类似度通过下式(1)～(3)计算。另外，在下式(1)～(3)中，将Y成分的类似度表示为SAD_Y，将Cr成分的类似度表示为SAD_Cr，将Cb成分的类似度表示为SAD_Cb。将比较用图像的各成分分别表示为Y_图像、Cr_图像、Cb_图像，将模板图像的各成分分别表示为Y_模板、Cr_模板、Cb_模板。

SAD_Y＝∑|Y_图像-Y_模板|       …(1)

SAD_Cr＝∑|Cr_图像-Cr_模板|    …(2)

SAD_Cb＝∑|Cb_图像-Cb_模板|    …(3)

并且，模板图像和比较用图像的类似度(SAD)一般如下式(4)所示，通过将由式(1)～(3)计算出的各成分的类似度相加而算出。

SAD＝SAD_Y+SAD_Cr+SAD_Cb    …(4)

但是，利用上述式(1)～(4)计算类似度时，各成分的类似度的增益反映像素信息而分别不同。例如，各像素具有Y、Cb、Cr的各成分时，通过式(1)计算的SAD_Y与通过式(2)计算的SAD_Cr、通过式(3)计算的SAD_Cb相比为其4倍～6倍程度的较大的值。如式(4)所示，类似度SAD通过将SAD_Y、SAD_Cr、SAD_Cb相加而算出，因此增益不同的成分即使仅存在一个时，在类似度SAD的计算中也无法均等地对各成分进行评价。

例如，如图3A所示，对Y成分的类似度(SAD_Y)的增益比SAD_Cr、SAD_Cb的增益大的情况进行考虑。此时，尽管SAD_Cr和SAD_Cb在作为正确的被拍摄体位置的剪切位置3a最小，但SAD_Y在不同的剪切位置3b最小时，如图3B所示，式(4)的类似度SAD的计算结果受到SAD_Y的影响，而在剪切位置3b最小。从而，会将该剪切位置3b确定为该帧的被拍摄体位置。

为了克服这种问题，在本实施方式中，控制装置104将各成分的类似度(SAD_Y、SAD_Cr、SAD_Cb)归一化后计算类似度SAD。因此，在相机100的闪存中预先记录有用于将各成分的类似度归一化的类似度归一化值，例如用于将SAD_Y归一化的类似度归一化值N_y、用于将SAD_Cr归一化的类似度归一化值N_Cr、用于将SAD_Cb归一化的类似度归一化值N_Cb。

在此，对各个成分的类似度归一化值N_y、N_Cr、N_Cb的计算方法进行说明。首先，利用以进行被拍摄体的跟踪的标准景象拍摄的动态图像数据，通过下式(5)～(7)来计算各个成分的类似度平均值。

$\stackrel{\‾}{{\mathrm{SAD}}_y}=\frac{1}{n}\mathrm{\Σ}{\mathrm{SAD}}_Y...\left(5\right)$

$\stackrel{\‾}{{\mathrm{SAD}}_{\mathrm{Cr}}}=\frac{1}{n}\mathrm{\Σ}{\mathrm{SAD}}_{\mathrm{Cr}}...\left(6\right)$

$\stackrel{\‾}{{\mathrm{SAD}}_{\mathrm{Cb}}}=\frac{1}{n}\mathrm{\Σ}{\mathrm{SAD}}_{\mathrm{Cb}}...\left(7\right)$

另外，“标准景象”是指，除去了例如黑白摄影等不标准的景象以外的景象。此外，在式(5)～(7)中，示出了景象的动态图像取样具有n种时的类似度评价值的计算例。

并且，通过下式(8)～(10)将通过式(5)～(7)计算出的各成分的类似度评价值的倒数作为类似度归一化值N_y、N_Cr、N_Cb计算。在本实施方式中，通过下式(8)～(10)计算的类似度归一化值N_y、N_Cr、N_Cb被记录在相机100的闪存中。

$N_y=\frac{1}{\stackrel{\‾}{{\mathrm{SAD}}_y}}...\left(8\right)$

$N_{\mathrm{Cr}}=\frac{1}{\stackrel{\‾}{{\mathrm{SAD}}_{\mathrm{Cr}}}}...\left(9\right)$

$N_{\mathrm{Cb}}=\frac{1}{\stackrel{\‾}{{\mathrm{SAD}}_{\mathrm{Cb}}}}...\left(10\right)$

在本实施方式中，控制装置104读出记录在闪存中的类似度归一化值N_y、N_Cr、N_Cb，并将读出的类似度归一化值N_y、N_Cr、N_Cb分别与各成分的类似度、即SAD_Y、SAD_Cr、SAD_Cb相乘，从而将各成分的类似度归一化，计算模板图像和比较用图像的类似度SAD。

具体地说，控制装置104可以通过下式(11)将各成分的类似度归一化而计算帧和模板图像的类似度SAD。另外，在下式(11)中，SAD的成分包括SAD_Y、SAD_Cr、SAD_Cb三个成分，因此将整体用3除。

$\mathrm{SAD}=\frac{1}{3}(N_y\·{\mathrm{SAD}}_Y+N_{\mathrm{Cr}}\·{\mathrm{SAD}}_{\mathrm{Cr}}+N_{\mathrm{Cb}}\·{\mathrm{SAD}}_{\mathrm{Cb}})...\left(11\right)$

如式(11)所示，通过将各成分的SAD归一化后计算SAD，各成分的权重变得均一，输出的各成分的类似度(各成分的SAD)的增益也固定。其结果，即使在特定成分的类似度具有大的增益的情况下，也可以防止受到该成分的类似度的影响而错误地确定帧内的被拍摄体位置。

例如，如图3A所示，在SAD_Y的增益比SAD_Cr、SAD_Cb的增益大时，可以通过归一化而如图4A所示将各成分的类似度的增益均一化。从而，将归一化后的各成分的类似度相加的结果，如图4B所示，在表示正确的被拍摄体位置的剪切位置4a变得最小，可以正确确定被拍摄体位置。

在本实施方式中，在上述图2的步骤S3中，控制装置104利用式(11)计算模板图像和比较用图像的类似度即可。并且，在对输入图像整体的类似度的计算结束后(步骤S4中为肯定判断后)，将SAD最小的比较用图像的剪切位置确定为被拍摄体位置，从而可以确定输入图像内的被拍摄体位置。控制装置104对多个帧反复进行该处理，从而可以在各帧内确定被拍摄体位置，进行被拍摄体的跟踪。

根据以上说明的第一实施方式，可以获得以下的作用效果。

(1)控制装置104按照各个作为图像特征量的亮度成分(Y成分)和色差成分(Cr成分、Cb成分)来比较取景图像的帧和模板图像，并计算出各个成分的类似度SAD_Y、SAD_Cr、SAD_Cb。并且，控制装置104将计算出的各成分的类似度与类似度归一化值相乘而进行归一化。并且，控制装置104根据归一化后的各成分的类似度，计算帧和模板图像的类似度SAD。从而，可以将各成分的类似度归一化，提高被拍摄体的跟踪性能。

(2)预先计算用于将各成分的类似度值均一化的类似度归一化值，控制装置104利用该类似度归一化值进行归一化，以使各成分的类似度值变得均一。从而，即使在特定成分的类似度具有大的增益时，也可以防止受到该成分的类似度计算结果的影响而错误地确定帧内的被拍摄体位置。

-第二实施方式-

在上述第一实施方式中对以下例子进行了说明：通过将各成分的类似度值、即SAD_Y、SAD_Cr、SAD_Cb与类似度归一化值N_y、N_Cr、N_Cb相乘而将各成分的类似度归一化，并计算帧和模板图像的类似度SAD，从而提高了被拍摄体的跟踪性能。

与此相对，在第二实施方式中对以下方法进行说明：与第一实施方式的情况同样地归一化了各成分的类似度后，进一步对归一化后的亮度成分的类似度(SAD_Y)、或色差成分的类似度(SAD_Cr、SAD_Cb)进行加权，而计算类似度(SAD)，从而提高被拍摄体的跟踪性能。另外，在第二实施方式中，图1～图3的各图与第一实施方式相同，因此省略说明，以与第一实施方式的不同点为中心进行说明。

在本实施方式中，控制装置104根据匹配对象的帧的色度，进行对归一化后的各成分的加权。例如，在匹配对象的帧的色度较高时，与亮度成分相比，以色差成分为评价对象来计算类似度，能够提高跟踪性能，因此以使施加到归一化后的色差成分的类似度(SAD_Cr、SAD_Cb)上的权重较大的方式进行加权来计算SAD。反之，在匹配对象的帧的色度较低时，与色差成分相比，以亮度成分为评价对象来计算类似度，能够提高跟踪性能，因此以使施加到归一化后的亮度成分的类似度(SAD_Y)上的权重较大的方式进行加权来计算SAD。

例如，控制装置104对归一化后的各成分的类似度进行使用了参数α的加权时，通过下式(12)计算SAD。

$\mathrm{SAD}=\frac{1}{3}(2\·(1-\mathrm{\α})\·N_y\·{\mathrm{SAD}}_Y+\mathrm{\α}\·(N_{\mathrm{Cr}}\·{\mathrm{SAD}}_{\mathrm{Cr}}+N_{\mathrm{Cb}}\·{\mathrm{SAD}}_{\mathrm{Cb}}))...\left(12\right)$

另外，本实施方式中的参数α，对应于示出取0＜α＜1的范围的色度的参数，例如，x＝(1/像素数)·∑(|Cr|+|Cb|)时，成为表示为α＝1/(1+e^-ax+b)的函数形式。

从而，通过对归一化了的各成分的类似度进行使用了参数α的加权，可以使类似度的增益固定，并且对与图像的色度对应的成分的类似度进行加权而计算SAD，可以进一步提高被拍摄体的跟踪的性能。

例如，在匹配对象的帧的色度较高时、即该帧为彩色系时，将参数α的值设定得较大。从而，与亮度成分相比可以加重评价色差成分来计算类似度，可以提高跟踪性能。

例如，在匹配对象的帧为彩色系时，通过使α＝0.8，如图5A所示，通过式(12)使亮度成分的SAD_Y乘以0.2×2，使色差成分的SAD_Cr、SAD_Cb乘以0.8。从而在计算类似度SAD时可以降低亮度成分的SAD_Y的影响。从而，如图5B所示，SAD的计算结果降低了SAD_Y的影响，在表示正确的被拍摄体位置的剪切位置5a变得最小，可以正确地确定被拍摄体位置。

与此相对，在匹配对象的帧的色度较低时、即该帧为非彩色系时，将参数α的值设定得较小，例如使α＝0.2。从而，与色差成分相比可以加重评价亮度成分来计算类似度，可以提高跟踪性能。

例如，在匹配对象的帧为非彩色系时，通过使α＝0.2，如图5C所示，通过式(12)使亮度成分的SAD_Y乘以0.8×2，使色差成分的SAD_Cr、SAD_Cb乘以0.2。从而在计算类似度SAD时可以降低色差成分的SAD_Cr、SAD_Cb的影响。从而，如图5D所示，SAD的计算结果降低了SAD_Cr、SAD_Cb的影响，在表示正确的被拍摄体位置的剪切位置5b变得最小，可以正确地确定被拍摄体位置。

根据以上说明的第二实施方式，控制装置104在归一化了各成分的SAD的基础上，进一步对归一化后的亮度成分的类似度(SAD_Y)或色差成分的类似度(SAD_Cr、SAD_Cb)进行基于帧的色度的加权，计算类似度(SAD)。从而可以获得能够提高被拍摄体的跟踪性能的效果。

-变形例-

另外，上述实施方式的被拍摄体跟踪装置可以如下变形。

(1)在上述第一和第二实施方式中，对控制装置104利用类似度的计算方法之一的SAD(Sum of Absolute Difference/差值的绝对值的和)来计算类似度的方法进行了说明。但是，在使用SAD以外的其他方法、例如SSD(Sum of Squared Difference/差值的平方和)、颜色直方图来计算类似度时，也可以应用本发明。

(2)在上述第一和第二实施方式中，以控制装置104将取景图像作为对象而进行被拍摄体跟踪的情况为例进行了说明。但是，在相机100具有动画摄影功能时，控制装置104也可以不对取景图像而是在已摄影的动画的帧之间进行被拍摄体跟踪。

(3)在上述第一和第二实施方式中，以相机100具有的控制装置104作为被拍摄体跟踪装置发挥作用而执行图2所示的处理、进行被拍摄体跟踪的情况为例进行了说明。但是，也可以将用于执行图2所示的处理的程序记录到个人电脑等其他终端上，并在这些终端上执行处理。此时，将由相机拍摄的动态图像数据取入到终端侧，以其为对象进行处理，从而可以在动画的帧之间进行被拍摄体跟踪。此外，也可以将本发明的被拍摄体跟踪装置应用于带相机的移动电话等其他电子设备。

(4)在上述第一和第二实施方式中，作为多个成分的特征量，按照各个亮度成分(Y成分)和色差成分(Cr成分、Cb成分)计算了类似度。但是，多个成分的特征量不限于此。例如，作为输入图像的多个成分的特征量也可以使用R成分、G成分、B成分。此时，按照各个R成分、G成分、B成分，来计算类似度。

另外，只要无损本发明的特征性功能，本发明不限于上述实施方式。此外，也可以是将上述实施方式和多个变形例组合的结构。

根据以上说明的本发明的实施方式，即使在对各个图像成分施加了不同的增益的情况下，也可以进行归一化而高精度地计算类似度。

Claims (5)

1.一种被拍摄体跟踪装置，包括：

第一类似度计算部，对具有多个成分的特征量的输入图像和具有多个成分的特征量的模板图像进行比较，按照各个上述多个成分的特征量计算上述输入图像和上述模板图像的类似度；

归一化部，将由上述第一类似度计算部计算的多个成分的特征量的类似度归一化；以及

第二类似度计算部，根据上述归一化部的归一化结果，计算上述输入图像和上述模板图像的类似度，

上述归一化部通过使上述多个成分的特征量的类似度与用于将各成分的特征量的类似度均一化的归一化值相乘而进行归一化。

2.根据权利要求1所述的被拍摄体跟踪装置，其中，

还具有加权部，对上述多个成分的特征量的类似度进行与上述输入图像的特征对应的加权。

3.根据权利要求1或2所述的被拍摄体跟踪装置，其中，

上述归一化值被预先算出并记录在存储介质中，

上述归一化部从上述存储介质读出上述归一化值而进行归一化。

4.根据权利要求1或2所述的被拍摄体跟踪装置，其中，

上述多个成分的特征量是图像的亮度成分和色差成分，

上述第一类似度计算部计算上述输入图像的亮度成分和上述模板图像的亮度成分的类似度以及上述输入图像的色差成分和上述模板图像的色差成分的类似度。

5.一种相机，具有权利要求1～4中任一项所述的被拍摄体跟踪装置。

Images