CN1892702B - 追踪装置 - Google Patents

Abstract

追踪装置。本发明的课题是提供一种即使在运动图像中发生了无法检测追踪对象的脸的情况时，也可以继续进行被摄物体的追踪的装置和方法。作为解决手段，基于过去检测出的人脸的位置，推定当前的人脸的大致位置，取得与该大致位置对应的多个周围信息，基于取得与过去所取得的周围信息最类似的周围信息的位置，推定当前的人脸位置。

Description

追踪装置

技术领域

本发明涉及一种有效技术，其适用于追踪图像内的人物的脸的装置和方法。

背景技术

近年来，实现从静止图像或运动图像中检测/追踪人物的处理(以下，称为[人物追踪处理])的技术正在受到关注。在这样的技术中，一般把人的脸用作为检测/追踪的对象。因为脸兼有众人共通的特征和每个人各不相同的特征。即，通过把脸作为对象，可以利用众人共通的特征来检测出脸，可以利用每个人各不相同的特征来识别个人。

现有的一般的人物追踪处理以下这样执行。首先，利用众人共通的脸的特征，从图像中检测出人的脸，指定脸的区域。接着，从所检测出的脸中选择追踪对象。对于该选择，不仅有通过执行个人辨识处理而对于各张脸自动进行的情况，也有通过人的目视进行的情况。选择了追踪对象后，在前次的处理中检测出脸的位置的周围(以下，称为[次检测区域])，执行人脸检测。然后，对于所检测出的脸执行个人辨识处理，由此实现追踪。而且，也提出了即使在辨识处理失败的情况下，基于语音方向识别或肤色识别等的识别结果，进行人物的位置推定，继续追踪的技术(参照专利文献1)。

但是，在以脸作为检测/追踪对象，从运动图像等中追踪人物的现有技术中存在以下这样的问题。第一，脸被障碍物的阴影遮挡时，或脸朝向侧面或后面时等，存在执行追踪变得困难的问题。例如假设即使执行语音方向识别，在被摄物体不发声的情况下或在噪音环境下，存在得不到有效结果的问题。第二，因为个人的辨识处理需要很长的处理时间，存在不适合于需要反复执行的运动图像中的人物追踪处理的问题。

因此，为了提高鲁棒性并且实现处理的高速化，提出了通过将人的衣服的颜色作为追踪的对象，实现人物的追踪的技术。作为这样的技术的具体例，提出了将测距用框内的被摄物体中面积最大的颜色作为衣服的颜色，进行追踪的技术(参照专利文献2)。一般的，衣服的颜色大多不随朝向变化而固定，因此通过这样对衣服的颜色进行追踪，能够提高鲁棒性。并且，通过把颜色作为追踪的对象，处理变得容易，因此能够实现高速化。

【专利文献1】日本特开2004-283959号公报

【专利文献2】日本特开平06-22195号公报

但是，在上述这样的技术中也存在问题点。例如，当在测距用框内存在面积比应当作为被摄物体的人的衣服更大的其它颜色区域的情况下，会错误地检测追踪对象，将错误的被摄物体作为追踪的对象。并且，在追踪对象的周围存在具有与追踪对象相同的颜色的多个被摄物体的情况下，有追踪错误的被摄物体的可能性。

对于这样的问题，也可以考虑通过预先对衣服进行学习处理，防止误检测/误追踪。但是，通常，衣服是每天变化的，因此不能说执行基于学习的检测/追踪是有效的。

发明内容

因此本发明的目的是提供能够提高运动图像中的人物追踪处理的鲁棒性的装置和方法。换言之，本发明的目的是提供即使在运动图像中产生了无法检测追踪对象的脸的情况下，也能够继续进行被摄物体的追踪的装置和方法。

为了解决上述问题，本发明采用以下这样的结构。本发明是追踪运动图像中的人脸的位置的追踪装置，包括人脸检测单元、存储单元以及推定单元。人脸检测单元从图像中检测人脸。存储单元存储周围信息，该周围信息是从所述图像中与人脸检测单元所检测出的人脸的位置相关联、由与人脸的位置之间的相对位置关系所确定的区域中获取的。推定单元，其不是通过人脸检测单元检测人脸，而是基于之前检测出的人脸的位置，求出多个当前人脸候选位置，取得与这些候选位置分别对应的多个周围信息，基于取得了和与之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置，确定当前的人脸的位置。所谓之前检测出的人脸，可以是在前一图像中所检测出的人脸，也可以是在之前的多张图像中所检测出的人脸。

在这样构成的追踪装置中，在推定当前的人脸的位置时，可以不从图像中检测人脸而进行推定。因此，即使例如追踪对象的脸被物体的阴影遮挡的情况，或人脸朝向后方的情况这样，很难进行人脸的检测的情况下，也不会追丢追踪对象的脸，而能够继续追踪。

本发明也可以构成为，还具有基于之前检测出的人脸的位置，获取人脸的运动信息的运动信息获取单元。该情况下，推定单元也可以构成为基于之前检测出的人脸的位置和运动信息，求得候选位置。

此外，本发明的存储单元可以构成为还关联地存储特征量。此时人脸检测单元可以构成为，基于检测出的人脸的特征量和之前检测出的人脸的特征量，判断检测出的人脸与该之前检测出的人脸是否相同。并且此时推定单元也可以构成为，确定在存储单元中存储了特征量的人脸之未由人脸检测单元检测出的人脸的位置。

这样构成的情况下，仅对未由人脸检测单元检测出人脸的追踪对象执行推定单元的处理。通过推定单元所得到的人脸的位置大多比通过人脸检测单元所得到的人脸的位置精度低。因此，通过这样构成，可以更加高精度地检测/推定人脸的位置。

本发明的推定单元也可以构成为将取得了和与之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置作为当前的人脸的位置。或者，推定单元也可以构成为，从取得了和与之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置及其周围，检测出最象人脸的区域，将该检测出的区域作为当前的人脸位置。

人脸的位置与获取周围信息的区域的相对位置关系可以设定为使人脸的位置与区域的相对速度成为最小。

可以构成为周围信息获取区域的范围相应于人脸的朝向而变化。

根据本发明，即使在运动图像中发生无法检测出追踪对象的脸的情况下，也可以继续被摄物体的追踪。

根据本发明的另一方面的一种追踪方法，追踪运动图像中的人脸的位置，包括以下步骤：从图像中检测人脸的步骤；存储周围信息的步骤，该周围信息是从所述图像中与检测出的人脸的位置相关联、由与所述人脸的位置之间的相对位置关系确定的区域中取得的；基于之前检测出的人脸的位置，求出多个当前人脸候选位置的步骤；取得与该候选位置分别对应的多个周围信息的步骤；以及取代所述检测人脸的步骤，基于取得和与所述之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置，确定当前的人脸位置的步骤。

附图说明

图1是表示追踪装置的功能模块例的图。

图2是表示对象信息的具体例的图。

图3是表示周围信息的具体例的图。

图4是表示追踪装置的动作例的流程图。

图5是表示追踪装置的动作例的流程图。

图6是表示考虑了人脸的倾斜的周围信息获取区域的设定例的图。

图7是表示考虑了与人脸之间的相对速度的周围信息获取区域的设定例的图。

图8是表示考虑了人脸的朝向的周围信息获取区域的设定例的图。

符号说明

1追踪装置；2图像输入部；3图像存储部；4对象信息存储部；5控制部；51人脸检测部；52周围信息收集部；53运动检测部；54位置推定部；6位置输出部；7关联信息存储部

具体实施方式

以下说明的追踪装置构成为把人作为追踪对象，特别是通过检测人的脸来实现追踪。但是，这样的追踪装置只不过是一个具体例。即，追踪对象没有必要限定为人，并且在追踪人的时候也没有必要把检测对象限定为人脸。

[系统结构]

首先，对追踪装置1的结构例进行说明。追踪装置1在硬件上具有经总线连接的CPU(中央运算处理装置)、主存储装置(RAM)以及辅助存储装置等。辅助存储装置采用非易失性存储装置构成。这里言及的非易失性存储装置是指，所谓ROM(Read-Only Memory，只读存储器：包括EPROM(Erasable Programmable Read-Only Memory，可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、掩模ROM(mask ROM)等)、FRAM(Ferroelectric RAM，铁电随机存取存储器)和硬盘等。

图1是表示追踪装置1的功能模块例的图。追踪装置1通过把辅助存储装置中存储的各种程序(OS、应用程序等)加载到主存储装置中、由CPU执行，作为包括图像输入部2、运动图像存储部3、对象信息存储部4、控制部5、位置输出部6以及关联信息存储部7等的装置来工作。控制部5通过CPU执行程序来实现。并且，控制部5也可以作为专用的芯片来构成。接着，对追踪装置1包括的各功能部进行说明。

<图像输入部>

图像输入部2作为用于向追踪装置1输入运动图像数据的界面工作。通过图像输入部2，向追踪装置1输入运动图像数据。可以采用任何用于向追踪装置1输入运动图像数据的现有技术来构成图像输入部2。

<运动图像存储部>

运动图像存储部3采用存储装置构成。对于运动图像存储部3中所采用的存储装置，可以采用易失性存储装置或非易失性存储装置等的任何具体技术。这里言及的易失性存储装置是指，所谓RAM(Random Access Memory，随机存取存储器：DRAM(Dynamic RAM，动态随机存取存储器)、SDRAM(Synchronous DRAM，同步DRAM)、DDR SDRAM(Double Data Rate SDRAM，双数据速率SDRAM)等)。

运动图像存储部3存储经图像输入部2输入的运动图像的数据。通过控制部5读出在运动图像存储部3中存储的运动图像的数据。运动图像存储部3至少在控制部5的处理结束之前，保持作为该处理的对象的运动图像数据。

<对象信息存储部>

对象信息存储部4采用存储装置构成。对象信息存储部4中所采用的存储装置与运动图像存储部3一样，可以采用任何具体技术。对象信息存储部4存储关于各个追踪对象的对象信息。图2是表示对象信息的具体例的图。对象信息存储部4构成为，对于各个追踪对象，关联地存储例如ID、位置信息、运动信息、特征量、周围信息以及检测失败标志。之后与控制部5一起说明位置信息、运动信息、特征量、周围信息以及检测失败标志的详细情况和具体例。以下，对各项目进行简单说明。

ID是表示追踪对象的标识符。位置信息是通过控制部5获取的信息，是表示追踪对象在图像内的位置的信息。运动信息是通过控制部5获取的信息，是表示追踪对象在图像内的移动的信息。特征量是控制部5辨识追踪对象的脸时所使用的信息。周围信息是追踪对象的脸附近的区域中的特征信息。检测失败标志是表示在本次的人脸检测处理中是否检测出追踪对象的脸的信息。出现了检测失败标志时，表示通过人脸检测处理未能成功进行位置检测，对于这样的追踪对象，通过与人脸检测处理不同的处理(具体为位置推定部54的位置推定处理)来进行追踪处理。

<控制部>

控制部5通过CPU等执行程序来实现。控制部5包括人脸检测部51、周围信息收集部52、运动检测部53以及位置推定部54。以下，对各个功能部进行说明。

《人脸检测部》

人脸检测部51从运动图像存储部3读出图像数据，从该图像中检测出人的脸，确定表示所检测出的人脸的位置和大小等的人脸信息。人脸检测部51可以构成为，例如通过采用了与人脸整体的轮廓相对应的基准模板的模板匹配，来检测人脸。此外，人脸检测部51也可以构成为，通过基于人脸的构成要素(眼、鼻、耳等)的模板匹配来检测人脸。此外，人脸检测部51也可以构成为，通过色度键(chroma key)处理检测出头部等的顶点，根据该顶点检测出人脸。此外，人脸检测部51也可以构成为，检测与皮肤颜色相近的区域，检测出该区域作为人脸。此外，人脸检测部51也可以构成为，使用神经网络(neural network)进行基于训练信号的学习，检测出象是人脸的区域作为人脸。此外，人脸检测部51的人脸检测处理也可以通过现有的其它任何技术来实现。

并且，人脸检测部51从检测出的人脸中取得特征量。作为特征量，人脸检测部51取得包括所检测出的人脸在内的特定区域内的亮度分布和颜色直方图等。把取得的特征量存储在对象信息存储部4中。

并且，对于所检测出的各人脸的追踪对象，人脸检测部51判断其是否为已经存储在对象信息存储部4中的追踪对象。人脸检测部51例如从图像中取得如上所述的特征量，通过与存储在对象信息存储部4中的特征量进行比较来进行判断。可以通过作为类似度取得亮度分布的归一化相关度、颜色直方图的直方图相交(histogram intersection)等来进行该比较。即，判断是否类似，判断为类似时，即可判断为同一人物。此时，人脸检测部51也可以构成为仅采用与具有与检测出的人脸的位置接近的位置信息的对象信息相关联的特征量来进行比较。而且，人脸检测部51设置对象信息存储部4中存储的追踪对象中、在本次的检测处理中未检测出的追踪对象的检测失败标志。

《周围信息收集部》

周围信息收集部52基于通过人脸检测部51检测出的人脸的位置，或通过位置推定部54推定的人脸的位置，取得周围信息。图3是表示周围信息的具体例的图。以下，利用图3对周围信息收集部52的处理的具体例进行说明。

首先，周围信息收集部52基于人脸检测部51在本次的检测处理中检测出的人脸的位置(相当于图3的检测位置)，或通过位置推定部54推定的人脸的位置，确定周围信息取得区域。周围信息取得区域的位置由与人脸的位置之间的相对关系确定。同样，周围信息取得区域的大小由与人脸的大小之间的相对关系确定。关联信息存储部7存储确定人脸和周围信息取得区域之间的相对关系的参数。周围信息收集部52参照存储在关联信息存储部7中的参数，将在检测位置的周围存在的预定区域确定为周围信息取得区域。具体的，周围信息收集部52也可以按照如下这样确定周围信息取得区域。

首先，设检测位置的中心为P＝(X，Y)，表示人脸的区域的矩形(表示检测位置的矩形)的一边长度为D，则表示周围信息取得区域的长方形的中心R、宽度W、高度H可以如式1那样表达。在式1的例子中，人脸的区域用正方形表示。由此，用于表示人脸的区域所需的信息量变少，能够实现处理的高速化。但是，人脸的区域的表现方法并不限于正方形。可以使用长方形或多边形来更加准确地表现人脸的位置以及大小。如果人脸的位置和大小更加准确，则能够更加准确地确定周围信息取得区域的位置以及大小。

长方形中心坐标：R＝(X，Y+αD)

长方形宽度：W＝βD                …(式1)

长方形高度：H＝γD

α、β、γ为常数，是在关联信息存储部7中存储的参数。预先确定参数α、β、γ，使得周围信息取得区域配置在人物的身体部分。例如，可以测定各种人的脸与身体之间的相对距离或相对尺寸，求其平均值，来确定参数α、β、γ。

然后，周围信息收集部52在周围信息取得区域中，取得面积最大颜色、颜色直方图、阴影、纹理信息等作为周围信息。

接着，说明周围信息收集部52取得周围信息时的具体的处理。

采用面积最大颜色作为周围信息时，周围信息收集部52进行以下的处理。例如，对RGB空间的各轴进行Q分割(Q为大于等于1的整数)，在周围信息取得区域内对各自区域中的像素数进行计数。这也称为颜色直方图。各区域i的像素数可以如式2这样表示。此时，周围信息取得区域的像素数可以如式3这样表示。另外，面积最大颜色为，由式2、3中M_i(准确地说，是上部有波浪线的M_i)的值为最大的i所表示的区域的颜色。

${\tilde{M}}_i(i=1...N),N=Q^3$ …(式2)

${\mathrm{\&Sigma;}}_i{\tilde{M}}_i$ …(式3)

采用颜色直方图作为周围信息时，如式4所示这样，作成将各直方图的要素的值除以由式3表示的像素数而得到的归一化直方图。

$M_i=\frac{{\tilde{M}}_i}{{\mathrm{\&Sigma;}}_j\widetilde{M_j}}$ …(式4)

采用阴影作为周围信息时，例如通过拉普拉斯滤波器，从周围信息取得区域的图像(亮度值)中求得边缘信息。把这样取得的周围信息与各追踪对象关联起来存储到对象信息存储部4中。

《运动检测部》

运动检测部53基于人脸检测部51的检测结果，对于各追踪对象的脸计算图像内的移动量，生成运动信息。此外，运动检测部53对于未能通过人脸检测部51检测出的追踪对象的脸，也基于通过位置推定部54所推定的位置生成运动信息。把通过运动检测部53生成的运动信息存储在对象信息存储部4中。

运动检测部53例如通过以下这样的处理生成运动信息。设输入图像上的前一帧中的人脸检测坐标(矩形的中心坐标)为P1＝(X1，Y1)，当前帧中的人脸检测坐标为P2＝(X2，Y2)，则运动信息V＝(Vx，Vy)如式5这样表示。其中，前一帧与当前帧之间的时间表示为T。

V＝(P2-P1)/T    …(式5)

《位置推定部》

位置推定部54推定出现了检测失败标志的追踪对象的当前位置。位置推定部54基于作为前一次的检测结果而存储在对象信息存储部4中的位置信息，以及通过运动检测部53生成的运动信息，推定当前人脸的大致位置P’＝(X’，Y’)。这样的推定例如可以采用式6来进行。

P’＝P2+VT    …(式6)

接着，通过对该表示大致位置的X’，Y’加上适当的随机数组(x，y)，生成多个推定位置(位置候选)E1＝(Xe1，Ye1)、E2＝(Xe2，Ye2)、…、EN＝(XeN，YeN)。其中，N表示所生成的随机数的组数。位置推定部54请求周围信息取得部52取得多个的各个推定位置处的周围信息。位置推定部54对根据各推定位置所得到的周围信息和存储在对象信息存储部4中的周围信息进行比较。然后，位置推定部54将得到与对象信息存储部4中存储的周围信息最类似的周围信息的推定位置En推定为当前的人脸位置。位置推定部54也可以构成为，在根据任何一个推定位置、都不能得到与对象信息存储部4中存储的周围信息类似的周围信息的情况下，对于该追踪对象不推定当前位置。

可以通过计算两个周围信息的类似度，判断周围信息是否类似。类似度例如按照以下这样计算。采用面积最大颜色作为周围信息时，例如可以采用RGB空间中的欧几里得距离。

此外，采用颜色直方图作为周围信息时，可以使用直方图相交。设进行比较的两个直方图分别为H、M时，直方图相交表示为式7。该值S_HM取从0至1的值，完全相同的直方图的情况下该值为1。

$S_{\mathrm{HM}}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\min (H_i,M_i)$ (式7)

此外，采用阴影作为周围信息时，可以采用边缘图像之间的归一化相关度。两个图像X，Y的归一化相关度可以通过式8来计算。

$R=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}\left(X\right[k,1]-\stackrel{\&OverBar;}{X})\left(Y\right[k,1]-\stackrel{\&OverBar;}{Y})}{\sqrt{\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}{\left(X\right[k,1]-\stackrel{\&OverBar;}{X})}^2\sqrt{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(Y\right[k,1]-\stackrel{\&OverBar;}{Y})}^2}}}$ …(式8)

<位置输出部>

位置输出部6向追踪装置1的外部输出由控制部5的人脸检测部51所检测出的人脸的位置，或者由位置推定部54所推定的人脸的位置。

[动作例]

图4、5是表示追踪装置1的动作例的流程图。首先，控制部5从图像中检测人脸(S01)。接着，从检测出的人脸中选择追踪对象的脸(S02)，判断对象信息存储部4中是否存储了关于该追踪对象的对象信息(S03)。在没有对象信息的情况下(S03-否)，判断是否向对象信息存储部4中新追加关于该追踪对象的对象信息(S04)。该判断基于是否有必要存储该追踪对象作为对象信息，例如根据检测出的人脸的大小等来进行判断。判断为要追加对象信息的情况下(S04-是)，将关于该新的追踪对象的对象信息存储在对象信息存储部4中(S05)。此外，在S03的处理中，存在相应的对象信息的情况下(S03-是)，对该对象信息进行更新(S05)。对象信息的更新是指重新取得位置信息、运动信息、特征量和周围信息，并存储在对象信息存储部4中的处理。

S05的处理之后，或在S04的处理中判断为不追加的情况下(S04-否)，判断作为处理对象的追踪对象的脸是否为通过人脸检测部51所检测出的最后的人脸。不是最后的情况下(S06-否)，选择未处理的人脸(S02)，对于该人脸执行S03～S05的处理。另一方面，是最后的情况下(S06-是)，人脸检测部51设立对象信息存储部4中所存储的对象信息中、未被更新的对象信息的检测失败标志(S07)。

接着，位置推定部54选择具有检测失败标志的对象信息(S08)，基于该对象信息中的位置信息和运动信息，得到多个推定位置(S09)。位置推定部54对于多个推定位置分别取得周围信息(S10)，基于其结果取得位置推定结果(S11)。然后，基于所推定的位置，更新对象信息存储部4的位置信息、运动信息和周围信息(S12)。此时，对于特征量，因为没有检测出人脸，即无法取得用于检测人脸的特征量，所以不进行更新。

接着，对于具有检测失败标志的所有对象信息，判断S08～S12的处理是否结束，未结束的情况下，根据未处理的对象信息进行S08～S12的处理(S13-否)。另一方面，对于所有的对象信息S08～S12的处理已经结束的情况下，结束本次的追踪处理，如果需要则重复S01以后的处理。

[作用/效果]

追踪装置1通过检测出图像内追踪对象的脸来进行追踪。把各追踪对象的当前位置作为位置信息存储在对象信息存储部4中，通过位置输出部6向外部输出。在追踪装置1中，在追踪对象的脸被物体的阴影遮挡，或人脸朝向后方的情况那样，人脸的检测困难的情况下，不进行人脸的检测，而通过位置推定部54进行推定处理，从而继续追踪。因此，即使是在发生了上述这样人脸的检测困难的情况时，追踪装置1也不会跟丢追踪对象，使继续追踪成为可能。

具体而言，首先通过基于过去的追踪历史所得到的运动信息，推定无法检测人脸的追踪对象的当前大致位置，基于该位置确定多个推定位置。然后，将得到与对象信息存储部4中存储的周围信息最类似的周围信息的推定位置最终推定为追踪对象的当前位置。在周围信息取得区域设定在人脸的位置的正下方时，该周围信息一般表示关于该追踪对象的人的衣服的信息。该情况下，在未能检测出人脸时，通过进行基于周围信息的位置推定，基于追踪对象的衣服颜色或形状等进行位置推定。

这样的追踪装置1，例如通过搭载到摄像机中，能够追踪预定的人，并能够进行对于该人对焦这样的控制。除了对焦控制，还可以例如设定白平衡的控制基准，可以控制摄像机的朝向，使得将该人收在画面内等。

[变形例]

在限制追踪对象的数目的情况下，还可以从人脸检测部51所检测出的多张人脸中选择应作为追踪对象的脸。例如，人脸检测部51可以构成为，对检测出的人脸的大小按照从大至小的顺序选择作为追踪对象，在满足规定的数目时将选择的人脸确定作为追踪对象。此外，也可以构成为仅将最大的人脸确定作为追踪对象。此外，也可以将所有具有规定大小以上的人脸均作为追踪对象。此外，在人脸检测部51构成为可以进行辨识处理的情况下，人脸检测部51也可以通过辨识处理，仅选择已经预先登记的特定的追踪对象。

周围信息取得区域的位置的计算中优选考虑人脸的倾斜度。例如，如图6所示，表示人脸区域的矩形相对于摄像机坐标系(图像坐标系)倾斜角度θ的情况下，周围信息取得区域的中心坐标R可以如式9这样计算。由此，即使人的姿势倾斜，也可以从身体部分取得正确的周围信息。

R＝(X+αDsinθ，Y+αDcosθ)    …(式9)

人脸区域与周围信息取得区域的相对关系随着作为追踪对象的人物的条件、或摄像机的设置条件等变化。例如，儿童和成年人的脸和身体的相对尺寸不同，成年人和老人的脸和身体的相对位置不同。此外，摄像机设置在与人脸高度相同的情况、摄像机设置在比人脸高的位置的情况下，即使是同一个人，人脸和身体的相对位置等也会出现不同。于是，优选不将确定人脸区域和周围信息取得区域的相对关系的参数(上述实施方式中为α、β、γ)设为固定值，而是可以相应于人物的条件或摄像机的设置条件而变更。由此，可以取得更加正确的周围信息。

并且，优选追踪装置通过对图像进行分析，自动地确定最优的参数。图7的例子中，首先，追踪装置在人脸区域F的周围设定多个候选区域A、B，通过分析多帧的图像，调查人脸区域F与各个候选区域A、B之间的相对速度。然后，把与人脸区域F之间的相对速度最小的候选区域A设定为周围信息取得区域。由此，不会在与追踪对象的脸没有关系的区域(例如，背景部分或其他人的身体)中设定周围信息取得区域，可以取得正确的周围信息。

并且，周围信息取得区域的范围(位置以及大小)的计算中，优选考虑人脸的朝向。因为人脸和身体的相对位置以及相对尺寸相应于人脸和身体的朝向而变化。图8的例中，如人脸朝向正面时W＝2×D、人脸朝向斜侧方则W＝1.5×D、人脸朝向横向则W＝1.25×D这样，对应人脸的朝向对参数β的值进行修正，从而改变周围信息取得区域的宽度。此外，图8的例中，周围信息取得区域的中心坐标(x坐标)也根据人脸的朝向而改变。如果这样根据人脸的朝向改变周围信息取得区域的范围，可以取得更加正确的周围信息。此外，图8的例中，仅改变了周围信息取得区域的宽度和位置，但也可以改变高度或形状(纵横比等)。

在上述实施方式中，成功检测出人脸的情况下，一定更新周围信息(参照图4的S05)。但是，追踪中的人如果和其他的人擦肩而过，或者进入物体的阴影中，则正确的周围信息取得区域(身体等)可能暂时离开摄像机的视场。这样的情况下如果用错误的周围信息(其他人的身体的颜色等)来进行更新，有可能对之后的人脸位置推定带来妨碍。于是，在之前的图像与当前图像有很大不同的情况下，最好省略更新所取得的周围信息。由此可以提高追踪处理的可靠性。

在上述实施方式中，位置推定部54将得到与之前的周围信息最类似的周围信息的位置候选视为当前的人脸位置。但是，周围信息取得区域与人脸的相对位置并不总是相同，因此也有可能在所推定的人脸位置与真正的人脸位置之间存在误差。例如，如果人脸偏斜或人脸朝向正面以外的方向，则容易发生这样的误差。因此，位置推定部54也可以是，在确定了得到与存储在对象信息存储部4中的之前的周围信息最类似的周围信息的位置候选之后，进一步从该位置候选和其周边检测出最象人脸的区域，将该检测出的区域作为当前的人脸的位置。通过在这样限定的范围中进行人脸的再次搜索，可以更加正确地推定当前的人脸位置。并且，关于人脸的再次搜索处理，可以利用与人脸检测部51的人脸检测处理相同的方法。

也可以将利用了粒子滤波器(particle filter)的追踪方法、利用了均值漂移(mean shift)的追踪方法以及其它的现有的追踪方法与本发明组合。

Claims (8)

1.一种追踪装置，其追踪运动图像中的人脸的位置，具有：

从图像中检测人脸的人脸检测单元；

存储单元，其存储周围信息，该周围信息是从所述图像中与所述人脸检测单元所检测出的人脸的位置相关联、由与所述人脸的位置之间的相对位置关系确定的区域中取得的；以及

推定单元，其取代由所述人脸检测单元进行的人脸检测，基于之前检测出的人脸的位置，求出多个当前人脸候选位置，取得与该候选位置分别对应的多个周围信息，基于取得和与所述之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置，确定当前的人脸位置。

2.根据权利要求1所述的追踪装置，其中

还包括运动信息取得单元，其基于所述之前检测出的人脸的位置，取得人脸的运动信息，

所述推定单元基于所述之前检测出的人脸的位置以及所述运动信息求出候选位置。

3.根据权利要求1或2所述的追踪装置，其中

所述存储单元还关联地存储特征量；

所述人脸检测单元基于检测出的人脸的特征量和所述之前检测出的人脸的特征量，判断检测出的人脸与所述之前检测出的人脸是否相同；

所述推定单元推定所述之前检测出的人脸之中、未由所述人脸检测单元检测出的人脸的位置。

4.根据权利要求2所述的追踪装置，其中

所述推定单元将取得和与所述之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置作为当前的人脸位置。

5.根据权利要求2所述的追踪装置，其中

所述推定单元从取得和与所述之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置及其周边，检测出最象人脸的区域，将该检测出的区域作为当前的人脸位置。

6.根据权利要求2所述的追踪装置，其中

所述人脸位置与取得所述周围信息的区域之间的相对位置关系被设定为使得所述人脸位置与所述区域之间的相对速度成为最小。

7.根据权利要求2所述的追踪装置，其中

取得所述周围信息的区域的范围相应于所述人脸的朝向而变化。

8.一种追踪方法，追踪运动图像中的人脸的位置，包括以下步骤：

从图像中检测人脸的步骤；

存储周围信息的步骤，该周围信息是从所述图像中与检测出的人脸的位置相关联、由与所述人脸的位置之间的相对位置关系确定的区域中取得的；

基于之前检测出的人脸的位置，求出多个当前人脸候选位置的步骤；

取得与该候选位置分别对应的多个周围信息的步骤；以及

取代所述检测人脸的步骤，基于取得和与所述之前检测出的人脸位置相关联的周围信息最类似的周围信息的候选位置，确定当前的人脸位置的步骤。

Images