CN105744152A - 被摄体追踪设备、摄像设备和被摄体追踪方法 - Google Patents

Abstract

本发明涉及被摄体追踪设备、摄像设备和被摄体追踪方法。该摄像设备用作用于追踪所提供的图像中所包括的被摄体的被摄体追踪设备，将表示被摄体的部分图像登记为模板，并且通过使用该模板来进行用于估计区域的模板匹配，以及进行用于登记表示被摄体的部分图像的直方图并通过使用该直方图估计区域的直方图匹配。在基于直方图匹配的估计区域和基于模板匹配的估计区域之间的距离在预定范围内的情况下，采用基于模板匹配的估计区域作为被摄体区域，并且在基于直方图匹配的估计区域和基于模板匹配的估计区域之间的距离不在预定范围内的情况下，采用基于直方图匹配的估计区域作为被摄体区域。

Description

被摄体追踪设备、摄像设备和被摄体追踪方法

技术领域

本发明涉及用于追踪顺次提供的图像中所包括的被摄体的被摄体追踪设备及其控制方法、摄像设备和显示设备。

背景技术

用于从按时间顺序顺次提供的图像中提取特定被摄体并且追踪所提取出的被摄体的技术非常有用，并且例如用于识别运动图片中的人的面部区域和人的身体区域。例如可以在电话会议、人机接口、安全、用于追踪任意被摄体的监视系统、以及图像压缩的许多领域中使用这种技术。

在数字静态照相机和数字摄像机中，日本特开2005-318554和日本特开2001-60269提出如下技术：提取并追踪通过使用触摸面板等所指定的拍摄图像中所包括的任意被摄体并且使针对该被摄体的焦点状态和曝光状态最优化。例如，日本特开2005-318554讨论了用于检测(提取)并追踪拍摄图像中所包括的面部的位置并且以最佳曝光水平对面部图像进行调焦和拍摄的技术。日本特开2001-60269讨论了用于通过模板匹配来自动追踪特定被摄体的技术。模板匹配是如下方法：将通过剪切包括要追踪的特定被摄体的图像区域而获得的部分图像登记为模板图像，并且估计图像中与模板图像的相似度最高或者与模板图像的差异最低的区域，以追踪特定被摄体。在模板匹配中，通过使用诸如触摸面板等的输入接口来指定图像中所包括的任何给定区域，并且基于这种区域来登记模板图像。

在模板匹配中，使用图像数据作为评价标准。在模板图像和要搜索的图像之间被摄体的外观存在较大变化(诸如姿势的变化等)的情况下，存在无法估计出正确区域的问题。

针对该问题，存在代替图像数据自身而使用直方图作为匹配的评价标准的方法(直方图匹配)。通过将表示被摄体的信息从图像数据转换成直方图，带来了模糊性，并且可以实现相对于被摄体的姿势变化具有鲁棒性的被摄体追踪。另一方面，在将基于直方图的直方图匹配与基于图像数据的模板匹配进行比较时，在被摄体的外观变化较小的情况下存在位置的估计精度劣化的方面。

发明内容

根据本发明的一个方面，一种被摄体追踪设备，用于追踪顺次提供的图像中所包括的被摄体，所述被摄体追踪设备包括：第一登记单元，用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板；第一匹配单元，用于通过将所提供的图像中的其它图像与所述第一登记单元所登记的模板进行匹配，来估计第一被摄体区域；第二登记单元，用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图；第二匹配单元，用于通过将所述其它图像的部分区域的直方图与所述第二登记单元所登记的直方图进行匹配，来估计第二被摄体区域；以及被摄体区域确定单元，用于基于所述第一匹配单元和所述第二匹配单元的估计结果，通过采用所述第一匹配单元和所述第二匹配单元中任一单元的估计结果来确定所估计的被摄体区域，其中，在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下，所述被摄体区域确定单元将所述第一被摄体区域确定为所估计的被摄体区域，以及在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下，所述被摄体区域确定单元将所述第二被摄体区域确定为所估计的被摄体区域。

根据本发明的另一方面，一种摄像设备，包括：上述的被摄体追踪设备；摄像单元，用于向所述被摄体追踪设备顺次提供拍摄图像；以及控制单元，用于根据所述被摄体追踪设备所输出的与被摄体有关的信息来控制所述摄像单元。

根据本发明的又一方面，一种被摄体追踪方法，用于追踪顺次提供的图像中所包括的被摄体，所述被摄体追踪方法包括以下步骤：第一登记步骤，用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板；第一匹配步骤，用于通过将所提供的图像中的其它图像与所述第一登记步骤所登记的模板进行匹配，来估计第一被摄体区域；第二登记步骤，用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图；第二匹配步骤，用于通过将所述其它图像的部分区域的直方图与所述第二登记步骤所登记的直方图进行匹配，来估计第二被摄体区域；以及被摄体区域确定步骤，用于基于所述第一匹配步骤和所述第二匹配步骤的估计结果，通过采用所述第一匹配步骤和所述第二匹配步骤中任一步骤的估计结果来确定所估计的被摄体区域，其中，在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下，所述被摄体区域确定步骤将所述第一被摄体区域确定为所估计的被摄体区域，以及在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下，所述被摄体区域确定步骤将所述第二被摄体区域确定为所估计的被摄体区域。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是例示根据典型实施例的摄像设备的示意性结构的框图。

图2是例示被摄体追踪的帧操作的图。

图3A和3B是用于说明模板匹配的图。

图4A和4B是用于说明直方图匹配的图。

图5是例示根据典型实施例的被摄体追踪处理的流程的流程图。

图6是例示图5的被摄体区域确定处理的流程的流程图。

具体实施方式

以下，将参考附图来说明本发明的典型实施例。

图1是例示根据典型实施例的摄像设备100的示意性结构的框图。在本典型实施例中，摄像设备100被实现为用于拍摄被摄体的图像的数字照相机。摄像设备100还用作用于追踪按时间顺序顺次提供的图像中所包括的被摄体的被摄体追踪设备。

摄像设备100包括：摄像光学系统101、摄像元件102、模拟信号处理单元103、A/D转换单元104、控制单元105、图像处理单元106、显示单元107、记录介质108、被摄体指定单元109和被摄体追踪单元110。

表示被摄体图像的光通过摄像光学系统101来聚光并且入射到包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器的摄像元件102上。摄像元件102以像素为单位来输出与入射光的强度相对应的电气信号(更具体地，摄像元件102对摄像光学系统101所形成的被摄体图像进行光电转换)。从摄像元件102输出的电气信号是表示摄像元件102所拍摄到的被摄体图像的图像信号。

模拟信号处理单元103对从摄像元件102输出的视频信号进行诸如相关双采样(correlateddoublesampling，CDS)等的模拟信号处理。A/D转换单元104将从模拟信号处理单元103输出的视频信号转换成数字数据的格式，并且将该视频信号输入至控制单元105和图像处理单元106。

控制单元105包括中央处理单元(CPU)和微控制器，并且被配置为对摄像设备100的工作进行集中控制。控制单元105控制诸如焦点状况和曝光状况等的摄像元件102拍摄图像所用的摄像条件。更具体地，控制单元105基于从A/D转换单元104输出的视频信号，来控制摄像光学系统101的焦点控制机构和曝光控制机构(均未示出)。例如，焦点控制机构是用于在光轴方向上驱动摄像光学系统101中所包括的透镜的致动器等，并且曝光控制机构是用于驱动光圈和快门的致动器等。另外，控制单元105进行摄像元件102的读取控制(例如，摄像元件102的输出时刻和输出像素)。控制单元105通过将只读存储器(ROM)中所存储的程序代码展开至随机存取存储器(RAM)的工作区域并且顺次执行这些程序代码来控制摄像设备100的各个单元。

图像处理单元106对从A/D转换单元104输出的视频信号进行诸如伽玛校正和白平衡处理等的图像处理。另外，图像处理单元106还具有如下功能：除进行正常图像处理以外，还进行使用与从下述的被摄体追踪单元110所提供的图像中的被摄体区域有关的信息的图像处理。

将从图像处理单元106输出的视频信号发送至显示单元107。显示单元107例如包括液晶显示器(LCD)和有机电致发光(organicelectroluminescent，EL)显示器，并且显示视频信号。将摄像元件102按时间顺次连续拍摄到的图像顺次显示在显示单元107上，以使得显示单元107可以用作电子取景器(EVF)。显示单元107以矩形等来显示包括被摄体追踪单元110所追踪的被摄体的被摄体区域。

将从图像处理单元106输出的视频信号记录至记录介质108(例如，可拆卸的存储卡)。视频信号的记录目的地可以是摄像设备100的内部存储卡或者可以是以摄像设备100可以利用通信接口进行通信的方式而连接的外部设备(均未示出)。

被摄体指定单元109包括例如具有触摸面板和按钮的输入接口。用户(拍摄图像的人)可以利用被摄体指定单元109来将图像中所包括的任意被摄体指定为追踪对象。

被摄体追踪单元110对从图像处理单元106按时间顺序顺次提供的图像(图像信号)(即，在不同的时间点所拍摄到的图像)中所包括的被摄体进行追踪。被摄体追踪单元110基于被摄体的像素图案和直方图来追踪被摄体指定单元109所指定的被摄体。可替代地，被摄体追踪单元110可以被配置为例如包括面部检测所用的特定被摄体检测单元(未示出)以追踪所检测到的被摄体。以下将说明被摄体追踪单元110的细节。

控制单元105可以使用与从被摄体追踪单元110所提供的被摄体区域有关的信息来控制上述的焦点控制机构和曝光控制机构。更具体地，进行使用被摄体区域中的对比度值的焦点控制和使用被摄体区域中的亮度值的曝光控制。因此，摄像设备100可以考虑到拍摄图像中的特定被摄体区域来进行摄像处理。

将说明被摄体追踪单元110的细节。被摄体追踪单元110用作两种类型的匹配单元。其中一种是如下的匹配单元：采用表示对象被摄体的部分图像作为模板并对照所提供的图像的部分区域，并且改变所对照的部分区域，从而估计相似度高或差异低的区域(以下称为模板匹配)。另一种是如下的匹配单元：使用表示对象被摄体的部分图像的直方图并对照所提供的图像的部分区域的直方图，并且改变所对照的部分区域，从而估计相似度高或差异低的区域(以下称为直方图匹配)。基于各个匹配评价值来确定被摄体区域。

图2例示被摄体追踪单元110所进行的被摄体追踪的帧操作。

图像201、202和203是被摄体追踪单元110的输入图像的示例。图像201是由被摄体指定单元109指定了追踪对象的图像，并且是被摄体追踪处理的起始图像。图像202是进行被摄体追踪处理的图像其中之一并且是在最接近当前时间的时间点所拍摄到的图像。图像203是当前时间的图像，并且是进行用于估计被摄体区域的处理的图像。

部分图像204表示追踪的起始图像201中要追踪的被摄体。根据部分图像204生成直方图205，并且登记直方图205。

部分图像206表示紧挨在被摄体追踪处理之前的结果，并且将部分图像206登记为模板。

搜索范围207表示被摄体追踪处理的搜索范围。对搜索范围207执行使用直方图205的直方图匹配和使用模板206的模板匹配。更具体地，进行基于追踪的起始帧(帧1)的直方图匹配和基于紧挨在追踪之前的帧(帧n-1)的模板匹配。

将参考图3A和3B来说明模板匹配的细节。

图3A例示模板匹配中的被摄体模型(模板)的示例。部分图像(模板)301表示要追踪的被摄体，并且将部分图像301的像素图案视为特征量。特征量302表示模板301的特征量，并且采用像素数据的亮度信号作为特征量。通过下式(1)来表示特征量T(i,j)：

T(i，j)＝{T(0，0)，T(1，0)，···，T(W-1，H-1)}···(1)

其中，模板区域中的坐标是(i,j)，水平像素的数量是W，并且垂直像素的数量是H。

图3B例示与搜索追踪对象的图像有关的信息。搜索范围303是进行匹配处理的范围。搜索图像中的坐标由(x,y)表示。部分区域304是获得匹配的评价值的区域。特征量305表示部分区域304的特征量，并且与模板301一样，采用像素数据的亮度信号作为特征量。通过下式(2)来表示特征量S(i,j)：

S(i，j)＝{S(0，0)，S(1，0)，···，S(W-1，H-1)}···(2)

其中，部分区域中的坐标是(i,j)，水平像素的数量是W，并且垂直像素的数量是H。

使用绝对差异和(SAD)的值作为用于评价模板301和部分区域304之间的相似度的计算方法。通过下式(3)来计算SAD值：

$V\left(x,y\right)={\mathrm{\Σ}}_{y=0}^{H-1}{\mathrm{\Σ}}_{x=0}^{W-1}\left|T\left(i,j\right)-S\left(i,j\right)\right|\mathrm{...}\left(3\right)$

按照部分区域304从搜索范围303的左上角起顺次逐像素进行偏移的方式来计算SAD值V(x,y)。所计算出的V(x,y)表示最小值的坐标(x,y)是与模板301最相似的位置。更具体地，表示最小值的位置是搜索图像中所寻找的追踪对象可能存在的位置。

根据本典型实施例，使用与亮度信号有关的一维信息作为特征量。可替代地，可以使用与例如亮度、色相和饱和度的信号有关的三维信息作为特征量。根据本典型实施例，说明了SAD值作为匹配的评价值的计算方法。可替代地，可以使用诸如归一化相关系数(normalizedcorrelationcoefficient，NCC)等的不同的计算方法。

将参考图4A和4B来说明直方图匹配的细节。

图4A例示直方图匹配中的被摄体模型的示例。部分图像401表示要追踪的被摄体的示例，并且将根据部分图像401的像素数据所生成的直方图视为特征量。特征量402表示部分图像401的特征量，并且通过下式(4)来表示该特征量：

p(m)＝{p(0),p(1),···p(M-1)}···(4)

其中，特征量是M阶亮度信号的直方图。

图4B例示与搜索追踪对象的图像有关的信息。搜索范围403是进行匹配处理的范围。搜索图像中的坐标由(x,y)表示。部分区域404是获得匹配的评价值的区域。特征量405表示根据部分区域404所生成的特征量，并且通过下式(5)来表示特征量：

q(m)＝{q(0),q(1),···q(M-1)}···(s)

其中，与部分图像401一样，特征量是M阶亮度信号的直方图。

使用巴氏系数(Bhattacharyyacoefficient)作为用于评价部分图像301的直方图和部分区域404的直方图之间的相似度的计算方法。通过下式(6)来获得巴氏系数。

$D(x,y)={\mathrm{\Σ}}_{m=0}^{M-1}\sqrt{p\left(m\right)\×q\left(m\right)}...\left(6\right)$

按照部分区域404从搜索范围403的左上角起顺次逐像素进行偏移的方式来计算巴氏系数D(x,y)。所计算出的D(x,y)表示最大值的坐标(x,y)是与部分图像401最相似的位置。更具体地，表示最大值的位置是搜索图像中所寻找的追踪对象可能存在的位置。

根据本典型实施例，使用与亮度信号有关的一维信息作为特征量。可替代地，可以使用与例如亮度、色相和饱和度的信号有关的三维信息作为特征量。根据本典型实施例，说明了巴氏系数作为匹配的评价值的计算方法。可替代地，可以使用诸如直方图交叉(histogramintersection)等的不同的计算方法。

根据本典型实施例的摄像设备100根据基于模板匹配和直方图匹配的评价值和估计区域(估计位置)来确定被摄体区域。

从上述的表达式可以理解，直方图匹配与模板匹配相比向特征量提供更多的模糊性。在模板匹配中，采用亮度信号的像素值的图案是否相似作为评价标准。然而，在直方图匹配中，采用亮度信号的像素值的比是否相似作为评价标准。因此，在被摄体模型和搜索图像之间的被摄体的状态中被摄体的姿势变化较大的情况下，直方图匹配中估计的成功几率更高。另一方面，通过向特征量赋予模糊性，直方图匹配与模板匹配相比具有较低的位置估计精度。在被摄体区域的估计中，与模板匹配相比，直方图匹配的被摄体区域的粗略估计的性能较高，但这意味着与模板匹配相比直方图匹配的详细位置调整的性能较低。

与直方图匹配相比较，在外观的变化(例如，被摄体的姿势变化)较大的情况下，模板匹配难以估计出正确的被摄体区域。另一方面，在被摄体的外观变化较小的情况下，模板匹配具有较高的的位置估计精度(位置调整的性能较高)。

有鉴于上述的特性，被摄体追踪单元110被配置为进行用于从追踪的起始帧起登记被摄体模型的直方图匹配、并且进行用于从紧挨在追踪之前的帧起登记被摄体模型的模板匹配。在直方图匹配中，登记基于被摄体指定单元109的信息的被摄体模型，并且在模板匹配中，对基于被摄体追踪单元110的结果的被摄体模型进行顺次更新。因此，从被摄体模型是否正确地包括对象被摄体的观点来看，不进行顺次更新的直方图匹配更佳。模板匹配可能包括被摄体追踪单元110的估计误差和估计误差的影响，并且可能在被摄体模型中包括除对象被摄体以外的信息(例如，背景)。基于各个匹配功能的评价值来进行匹配的可靠度判断，但可靠度判断的精度归因于被摄体模型的可靠度。更具体地，在直方图匹配中，可靠度判断的精度较高，但模板匹配的可靠度判断的精度较低。

上述情况仅是示例，并且根据被摄体的姿势变化和外观变化的程度，被摄体区域的直方图可能发生改变。因此，即使在直方图匹配中也可以从紧挨在追踪之前的帧起登记被摄体模型。然而，为了防止被摄体模型中包括背景，期望仅在顺次进行基于位置估计精度较高的模板匹配的被摄体追踪的情况下更新直方图匹配的被摄体模型。可替代地，在直方图匹配和模板匹配的任何之一中，可以从追踪的起始帧和紧挨在追踪之前的帧两者起登记被摄体模型并且使用从这两个帧所获得的被摄体模型。

将说明用于通过利用上述的特性来根据各个匹配评价值而确定被摄体区域的方法。在基于直方图匹配的估计区域附近存在基于模板匹配的估计区域的情况下，采用基于模板匹配的估计区域作为被摄体区域。在基于直方图匹配的估计区域附近不存在基于模板匹配的任何估计区域的情况下，采用基于直方图匹配的估计区域作为被摄体区域。针对直方图匹配的可靠度较高的情况，受限地进行用于判断采用了哪种匹配方法来获得估计区域的处理，由此可以应对直方图匹配的搜索失败或所找到的被摄体从搜索范围内的图像中消失的情况。

图5是例示根据本典型实施例的被摄体追踪处理的流程图。

在步骤S501中，将图像从图像处理单元106输入至被摄体追踪单元110。在步骤S502中，被摄体追踪单元110基于输入图像和来自被摄体指定单元109的信息来确定表示要追踪的被摄体的部分图像。

在步骤S503中，被摄体追踪单元110基于表示要追踪的被摄体的部分图像来登记作为直方图匹配的被摄体模型的直方图。在步骤S504中，被摄体追踪单元110将表示要追踪的被摄体的部分图像登记为作为模板匹配的被摄体模型的模板。

在步骤S505中，将图像从图像处理单元106输入至被摄体追踪单元110。步骤S505的输入图像表示被摄体追踪单元110的搜索图像，并且步骤S501的输入图像和步骤S505的输入图像是各自在不同的时间点所拍摄到的图像。在步骤S506中，基于步骤S505的输入图像来进行直方图匹配。然后，在步骤S507中，进行模板匹配。

在步骤S508中，被摄体追踪单元110基于直方图匹配和模板匹配的评价值及相关的区域信息来确定被摄体区域。

将参考图6来说明步骤S508的被摄体区域确定处理的流程。

在步骤S601中，被摄体追踪单元110判断直方图匹配的评价值的可靠度是否高。例如，在可靠度判断中，在式(6)的巴氏系数D(x,y)的最大值等于或大于预定阈值的情况下，判断为可靠度高，并且在巴氏系数D(x,y)的最大值小于预定阈值的情况下，判断为可靠度低。

在直方图匹配的评价值的可靠度高的情况下(步骤S601为是)，处理进入步骤S602。在步骤S602中，进行如下判断：直方图匹配的估计区域附近是否存在任何基于模板匹配的估计区域。例如，在该判断中，对式(6)的巴氏系数D(x,y)的最大值的坐标(x,y)和式(3)的SAD值V(x,y)的最小值的坐标(x,y)之间的距离进行计算，并且基于所计算出的距离是否在预定范围内来进行判断。

在基于直方图匹配的估计区域附近不存在任何基于模板匹配的估计区域的情况下(步骤S602中的否)，处理进入步骤S604。然后，在步骤S604中，采用基于直方图匹配的估计区域。更具体地，将通过式(6)而获得的巴氏系数D(x,y)的最大值的坐标(x,y)确定为被摄体位置。与此相对，在直方图匹配的估计区域附近存在基于模板匹配的估计区域的情况下(步骤S602为是)，处理进入步骤S605。然后，在步骤S605中，采用基于模板匹配的估计区域。更具体地，将通过式(3)而获得的SAD值V(x,y)的最小值的坐标(x,y)确定为被摄体位置。

另一方面，在直方图匹配的评价值的可靠度低的情况下(步骤S601为否)，处理进入步骤S603。在步骤S603中，进行如下判断：模版匹配的评价值的可靠度是否高。例如，在可靠度判断中，在通过式(3)所获得的SAD值V(x,y)的最小值小于预定阈值的情况下，判断为可靠度高，并且在SAD值V(x,y)的最小值等于或大于预定阈值的情况下，判断为可靠度低。

在模板匹配的评价值的可靠度高的情况下(步骤S603为是)，处理进入步骤S605。然后，在步骤S605中，采用基于模板匹配的估计区域。与此相对，在模板匹配的评价值的可靠度低的情况下(步骤S603为否)，处理进入步骤S606。然后，在步骤S606中，基于模板匹配的估计区域和基于直方图匹配的估计区域这两者均不被采用。

如上所述，在基于直方图匹配的可靠度判断的可靠度高的情况下，在无需依赖于基于模板匹配的可靠度判断的可靠度的状态下，进行如下判断：是采用基于模板匹配的估计区域还是采用基于直方图匹配的估计区域。

返回至图5的说明，在步骤S508中确定出被摄体区域的情况下，在步骤S509中，被摄体追踪单元110判断是否要基于结果继续进行追踪。例如，在该判断中，如步骤S606中的处理那样，在模板匹配的估计区域和直方图匹配的估计区域两者均不被采用的情况下，判断为不继续进行追踪。另一方面，如步骤S604和步骤S605中那样，在采用模板匹配的估计区域和直方图匹配的估计区域中的任何之一的情况下，继续进行追踪。在判断为不继续进行追踪的情况下(步骤S509为否)，终止被摄体追踪处理。在要追踪的被摄体不再存在于搜索范围内的图像中的情况下预期要执行该过程。在判断为继续进行追踪的情况下(步骤S509为是)，处理进入步骤S510。在步骤S510中，基于所估计出的被摄体区域来更新模板。然后，处理返回至步骤S505，并且基于顺次提供的图像来执行重复处理。

如上所述，使用了直方图匹配和模板匹配两者，并且可以考虑到匹配方法各自的特性来精确地估计被摄体区域，由此被摄体追踪的性能可以得到改善。

已经参考典型实施例说明了本发明，但以上典型实施例只是说明用于实施本发明的典型实施例的示例，并且应当理解，不应以限制性的方式来解释本发明的技术范围。更具体地，可以在没有背离本发明的技术思想或主要特征的情况下，以各种方式来实施本发明。

在上述的典型实施例中，说明了将被摄体追踪设备应用于摄像设备的情况作为示例，但应用被摄体追踪设备的装置不限于摄像设备。例如，被摄体追踪设备还可以应用于用于显示从外部装置或记录介质所提供的图像(再现数据)的显示设备。该显示设备通过采用再现数据作为被摄体追踪处理的数据来进行被摄体追踪处理。该显示设备中的诸如微控制器等的控制单元基于与被摄体追踪处理所提取出的被摄体有关的信息(图像中的被摄体的位置和大小)，来控制用于显示图像的显示条件。更具体地，控制单元控制以重叠的方式对图像的被摄体位置处的表示被摄体的信息(诸如框等)的显示，并且控制与被摄体部分的亮度和颜色信息相对应的显示图像的亮度和色调等。

本发明还可以通过如下处理来实现：将用于实现以上典型实施例的一个或多个功能的程序经由网络或存储介质提供给系统或设备，并且系统或设备的计算机中的一个或多个处理器读取和执行该程序。本发明还可以通过用于实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (7)

1.一种被摄体追踪设备，用于追踪顺次提供的图像中所包括的被摄体，所述被摄体追踪设备包括：

第一登记单元，用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板；

第一匹配单元，用于通过将所提供的图像中的其它图像与所述第一登记单元所登记的模板进行匹配，来估计第一被摄体区域；

第二登记单元，用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图；

第二匹配单元，用于通过将所述其它图像的部分区域的直方图与所述第二登记单元所登记的直方图进行匹配，来估计第二被摄体区域；以及

被摄体区域确定单元，用于基于所述第一匹配单元和所述第二匹配单元的估计结果，通过采用所述第一匹配单元和所述第二匹配单元中任一单元的估计结果来确定所估计的被摄体区域，

其中，在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下，所述被摄体区域确定单元将所述第一被摄体区域确定为所估计的被摄体区域，以及

在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下，所述被摄体区域确定单元将所述第二被摄体区域确定为所估计的被摄体区域。

2.根据权利要求1所述的被摄体追踪设备，其中，

所述第一登记单元基于紧挨在所述被摄体追踪设备所进行的追踪之前的帧内所提供的图像，来更新模板，以及

所述第二登记单元基于所述被摄体追踪设备所进行的追踪的起始帧所提供的图像，来登记直方图。

3.根据权利要求1所述的被摄体追踪设备，其中，还包括判断单元，所述判断单元用于判断所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度，

其中，在所述第二被摄体区域的可靠度大于预定值的情况下，所述被摄体区域确定单元使用所述第一匹配单元的估计结果和所述第二匹配单元的估计结果两者来确定所估计的被摄体区域。

4.根据权利要求1所述的被摄体追踪设备，其中，还包括判断单元，所述判断单元用于判断所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度，

其中，在所述第一被摄体区域的可靠度和所述第二被摄体区域的可靠度均小于预定值的情况下，所述被摄体区域确定单元终止被摄体的追踪。

5.根据权利要求1所述的被摄体追踪设备，其中，所述第一登记单元基于所述部分图像的亮度值来登记模板。

6.一种摄像设备，包括：

根据权利要求1所述的被摄体追踪设备；

摄像单元，用于向所述被摄体追踪设备顺次提供拍摄图像；以及

控制单元，用于根据所述被摄体追踪设备所输出的与被摄体有关的信息来控制所述摄像单元。

7.一种被摄体追踪方法，用于追踪顺次提供的图像中所包括的被摄体，所述被摄体追踪方法包括以下步骤：

第一登记步骤，用于将表示所提供的图像中的预定图像中的被摄体的部分图像登记为模板；

第一匹配步骤，用于通过将所提供的图像中的其它图像与所述第一登记步骤所登记的模板进行匹配，来估计第一被摄体区域；

第二登记步骤，用于登记基于表示所提供的图像中的预定图像中的被摄体的部分图像的像素值所生成的直方图；

第二匹配步骤，用于通过将所述其它图像的部分区域的直方图与所述第二登记步骤所登记的直方图进行匹配，来估计第二被摄体区域；以及

被摄体区域确定步骤，用于基于所述第一匹配步骤和所述第二匹配步骤的估计结果，通过采用所述第一匹配步骤和所述第二匹配步骤中任一步骤的估计结果来确定所估计的被摄体区域，

其中，在所述第二被摄体区域和所述第一被摄体区域之间的距离处于预定范围内的情况下，所述被摄体区域确定步骤将所述第一被摄体区域确定为所估计的被摄体区域，以及

在所述第二被摄体区域和所述第一被摄体区域之间的距离没有处于所述预定范围内的情况下，所述被摄体区域确定步骤将所述第二被摄体区域确定为所估计的被摄体区域。