CN103003842A - 运动物体检测装置、运动物体检测方法、运动物体检测程序、运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序 - Google Patents

Abstract

采用图像检测运动物体的运动物体检测装置(1)，具备：取得图像帧间的像素的运动度的运动度取得部(11)；取得上述图像帧所包含的像素的颜色的颜色取得部(13)；按上述颜色取得部所取得的颜色根据上述运动度来计算表示颜色的运动程度的评价得分的评价得分计算部(14)；以及根据每一颜色的上述评价得分来检测上述运动物体的运动物体检测部(15)。

Description

运动物体检测装置、运动物体检测方法、运动物体检测程序、运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序

技术领域

本发明涉及运动物体检测装置、运动物体检测方法以及运动物体检测程序和运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序。

背景技术

目前公知有采用图像来检测运动物体的装置或采用图像来跟踪运动物体的装置(例如，参照专利文献1、2)。专利文献1记载的装置将图像帧分割为多个小块，将每个小块的运动矢量的累计值的最小值定义为背景运动矢量，并从原图像帧中减去，由此来分离背景，检测运动物体。专利文献2记载的装置按种类来预先设定运动物体的颜色，在图像的对象区域内求出运动物体颜色的含有率以及方差，在含有率以及方差满足规定条件的情况下，判定为存在与所设定颜色对应的种类的运动物体。另外，专利文献2记载的装置预先估计背景颜色的分布，根据与背景颜色的差异来检测异颜色图像组，采用该异颜色图像组来进行移动体的场所确定。

现有技术文献

专利文献

【专利文献1】日本特开2003-319387号公报

【专利文献2】日本特开2007-213264号公报

发明内容

发明要解决的课题

但是，在专利文献1记载的装置中，当背景杂乱运动时难以区别背景的运动与运动物体的运动。因此，运动物体的检测有可能不稳定。另外，在专利文献2记载的装置中，因为需要预先确定运动物体的颜色，预先估计背景颜色的分布，所以当产生照明变化或服装变化等环境变化时，有可能无法检测运动物体。

因此，本发明是为了解决这样的技术课题而作出的，其目的是提供不用事先设定与运动物体或背景相关的信息就能够稳定地检测运动物体的运动物体检测装置、运动物体检测方法以及运动物体检测程序和运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序。

用于解决课题的手段

即，本发明的运动物体检测装置采用图像来检测运动物体，其构成为具备运动度取得部，其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及运动物体检测部，其根据每一颜色的上述评价得分来检测上述运动物体。

在本发明的运动物体检测装置中，利用运动度取得部来取得图像帧间的像素的运动度，利用颜色取得部来取得图像帧所包含的像素的颜色，利用评价得分计算部根据运动度按颜色来计算表示颜色的运动程度的评价得分，利用运动物体检测部根据每一颜色的评价得分来检测运动物体。这样，可通过评价颜色的运动程度来检测运动物体。因此，不用事先设定与运动物体或背景相关的信息就能够检测运动物体。另外，无需采用运动矢量来分离运动物体和背景就能够检测运动物体，所以可稳定地检测运动物体。

这里，上述评价得分计算部可按颜色来累积上述图像帧内的像素数以及该像素的运动度，并根据上述图像帧内的累积像素数以及累积运动度来计算该颜色的上述评价得分。通过这样的结构，可提高每一颜色的评价得分的精度。

另外，上述评价得分计算部可按颜色累积像素的位置信息，上述运动物体检测部根据每一颜色的上述累积像素数以及累积位置信息来确定上述运动物体的位置。通过这样的结构，可提高运动物体的位置的精度。

另外，本发明的运动物体检测方法，采用图像来检测运动物体，该运动物体检测方法的特征是具有以下的步骤：取得步骤，取得第1图像帧与上述第1图像帧之后输入的第2图像帧之间的像素的运动度以及上述第2图像帧所包含的像素的颜色；评价得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及运动物体检测步骤，根据每一颜色的上述评价得分来检测在上述第2图像帧内描绘出的上述运动物体。

根据本发明的运动物体检测方法，得到与上述本发明的运动物体检测装置同样的效果。

另外，本发明的运动物体检测程序使计算机发挥功能以采用图像来检测运动物体，其特征在于，该运动物体检测程序使计算机发挥以下部件的功能：运动度取得部，其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及运动物体检测部，其根据每一颜色的上述评价得分来检测上述运动物体。

根据本发明的运动物体检测程序，得到与上述本发明的运动物体检测装置同样的效果。

另外，本发明的运动物体跟踪装置采用图像来跟踪运动物体，该运动物体跟踪装置的特征是具备：运动度取得部，其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；运动物体检测部，其根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及运动物体跟踪部，其跟踪所检测的上述运动物体。

在本发明的运动物体跟踪装置中，利用运动度取得部来取得图像帧间的像素的运动度，利用颜色取得部来取得图像帧所包含的像素的颜色，利用评价得分计算部根据运动度按颜色来计算表示颜色的运动程度的评价得分，利用运动物体检测部，根据像素的颜色以及每一颜色的评价得分，生成将评价得分作为像素值的第1似然度图像来检测运动物体，利用运动物体跟踪部跟踪所检测出的上述运动物体。这样，通过评价颜色的运动程度来检测运动物体。并且，根据所检测出的运动物体的颜色来跟踪运动物体。因此，不用事先设定与运动物体或背景相关的信息就能够跟踪运动物体。另外，无需采用运动矢量来分离运动物体和背景就能够跟踪运动物体，所以可稳定地跟踪运动物体。

这里，上述运动度取得部将上述图像帧分割为规定的块，并根据块单位的运动来计算上述图像帧整体的运动，从上述图像帧所包含的像素的运动减去上述图像帧整体的运动来计算运动度。通过这样的结构，可从与整体运动的差分中取得局部的运动。

另外，上述运动物体跟踪部可根据上述运动物体检测部所检测出的上述运动物体的颜色来跟踪上述运动物体。通过这样的结构，可将所检测出的运动物体的颜色作为基准进行跟踪。

另外，上述运动物体跟踪部可根据上述评价得分来确定上述运动物体的代表颜色，根据所确定的代表颜色来跟踪上述运动物体。在此情况下，上述运动物体跟踪部可根据与上述运动物体的代表颜色的颜色类似度按颜色计算似然度，作成将像素的似然度作为像素值的第2似然度图像来跟踪上述运动物体。这样通过采用第2似然度图像，可高精度地区别与运动物体的代表颜色相同或类似的颜色和其它颜色。

另外，上述评价得分计算部可按颜色计算对运动度是规定值以上的像素数进行累积而得到的前景像素数以及对运动度不是规定值以上的像素数进行累积而得到的背景像素数，上述运动物体跟踪部针对上述前景像素数小于上述背景像素数的颜色减小似然度。通过这样的结构，可避免在与运动物体的颜色接近的颜色中将运动少的背景等作为运动物体进行跟踪。

另外，上述运动物体跟踪部在将上次运动物体的位置作为基准的像素的相对位置矢量与像素的运动矢量的内积为负的情况下，可减小该像素中的似然度。通过这样的结构，可避免将以与运动物体的颜色接近的颜色运动的不同的背景等作为运动物体进行跟踪。

另外，上述运动物体跟踪部可将小于上述第2似然度图像的区域作为跟踪矩形，并使该跟踪矩形移动，使得上述第2似然度图像的上述跟踪矩形内的像素值的分布重心为上述跟踪矩形的中心，由此来跟踪上述运动物体。通过这样的结构，可利用简易的结构来适当跟踪运动物体。

另外，上述运动物体跟踪部采用背景似然度图像与上述图像帧的上述第2似然度图像的差分图像来跟踪上述运动物体，上述背景似然度图像根据上次输入的上述图像帧的上述第2似然度图像以及上述跟踪矩形而作成。通过这样的结构，可避免将与运动物体的颜色接近的颜色背景等作为运动物体进行跟踪。

另外，本发明的运动物体跟踪方法采用图像来跟踪运动物体，其特征是具有以下的步骤：取得步骤，取得图像帧间的像素的运动度以及上述图像帧所包含的像素的颜色；评价得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；运动物体检测步骤，根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及运动物体跟踪步骤，跟踪所检测到的上述运动物体。

根据本发明的运动物体跟踪方法，可得到与上述本发明的运动物体跟踪装置同样的效果。

另外，本发明的运动物体跟踪程序使计算机发挥功能以采用图像来检测运动物体，其特征在于，该运动物体跟踪程序使计算机发挥以下部件的功能：运动度取得部，其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；运动物体检测部，其根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及运动物体跟踪部，其跟踪所检测出的上述运动物体。

根据本发明的运动物体跟踪程序，可得到与上述本发明的运动物体跟踪装置同样的效果。

发明效果

根据本发明，不用事先设定与运动物体或背景相关的信息就能够稳定地检测运动物体。

附图说明

图1是搭载有第1实施方式的运动物体检测装置的设备的功能框图。

图2是图1所示的设备的硬件结构图。

图3是说明图1所示的运动物体检测装置的整体动作的流程图。

图4是说明图1所示的运动物体检测装置的检测区域设定动作的流程图。

图5是说明检测区域的一例的概要图。

图6是说明图1所示的运动物体检测装置的手检测动作的流程图。

图7是说明图1所示的运动物体检测装置的手检测动作的流程图。

图8是示出对于检测区域的像素中的颜色ID的度数的直方图的一例。(A)是累积出现数，(B)是累积位置信息(x座标)，(C)是累积位置信息(y座标)，(D)是累积运动量(x方向)，(E)是累积运动量(y方向)。

图9(A)是示出对于本次图像帧中的颜色ID的评价得分的直方图的一例。(B)是示出对于颜色ID的累积评价得分的直方图。

图10是说明评价得分的概要图。

图11是搭载有第2实施方式的运动物体检测装置的设备的功能框图。

图12是说明图11所示的运动物体检测装置的运动物体检测动作的流程图。

图13是说明运动度取得处理的概要图。

图14是说明第1似然度图像的概要图。

图15是说明运动物体检测区域的概要图。

图16是搭载有第3实施方式的运动物体跟踪装置的设备的功能框图。

图17是说明图16所示的运动物体跟踪装置的整体动作的流程图。

图18是说明图16所示的运动物体跟踪装置的初始化动作的流程图。

图19是示出对于颜色ID的度数的跟踪用似然度直方图的一例。(A)示出颜色类似的似然度，(B)示出检测时的评价得分，(C)示出前景度以及背景度，(D)示出最终的似然度。

图20是说明图16所示的运动物体跟踪装置的似然度计算动作的流程图。

图21是说明运动物体跟踪中的已采用光流的似然度计算的概要图。

图22是第2似然度图像的一例。

图23是说明图16所示的运动物体跟踪装置的跟踪动作的流程图。

图24是说明跟踪动作的概要图。

图25是说明图16所示的运动物体跟踪装置的背景似然度计算动作的流程图。

图26是说明背景似然度计算动作的概要图。(A)是上次图像帧的第2似然度图像，(B)是背景似然度图像，(C)是本次图像帧的第2似然度图像，(D)是考虑背景的似然度图像。

具体实施方式

以下，参照附图来说明本发明的实施方式。此外，在各个图中对相同或相当的部分标注同一符号，并省略重复的说明。

(第1实施方式)

本实施方式的运动物体检测装置是采用图像来检测运动物体的装置。本实施方式的运动物体检测装置例如适用于在识别手的运动的手势识别装置或检测侵入者的监视照相机等检测动态物体的装置。以下，考虑说明理解的容易性，作为本发明的运动物体检测装置的一例，说明检测运动的手的手检测装置。

图1是具有本实施方式的手检测装置(运动物体检测装置)1的装置2的功能框图。图1所示的装置2例如是数码相机、便携终端、游戏终端或电视等家庭用电气产品，具有图2所示的硬件结构。图2是装置2的硬件结构图。如图2所示，装置2物理上构成为包含CPU(Central Processing Unit：中央处理器)100、ROM(Read OnlyMemory：只读存储器)101以及RAM(Random Access Memory：随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等的通常计算机系统。通过在CPU100、ROM101、RAM102等硬件上读入规定的计算机软件来根据CPU100的控制使输入设备103以及输出设备104运动，并且进行主存储装置及辅助存储装置105中的数据读出以及写入，由此实现后述的装置2以及手检测装置1的各个功能。此外，上述说明对装置2的硬件结构进行了说明，但手检测装置1可构成为包含CPU100、ROM101以及RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常计算机系统。另外，装置2可具备通信模块等。

如图1所示，装置2具备照相机20、手检测装置1、面部检测部21以及显示部22。照相机20具有对图像或动态图像进行摄像的功能。例如，采用摄像元件等作为照相机20。照相机20具有将所摄像的多个图像或动态图像作为图像帧向手检测装置1输出的功能。

手检测装置1具备图像输入部10、运动度取得部11、检测区域设定部12、颜色取得部13、评价得分计算部14以及手检测部(运动物体检测部)15。

图像输入部10与照相机20连接。图像输入部10例如具有将照相机20所摄像的多个图像或动态图像作为图像帧输入的功能。图像输入部10具有将所输入的图像帧保存在装置2所具备的存储区域的功能。

运动度取得部11构成为可参照由图像输入部10输入并保存的图像帧。并且，运动度取得部11具有按像素来取得图像帧之间的像素(像点)运动度的功能。例如，运动度取得部11采用光流等现有技术按像素来取得运动量作为运动度。或者，运动度取得部11可取得帧间像素的差分作为运动度。运动度取得部11具有将像素的运动度向评价得分计算部14输出的功能。

面部检测部21构成为可参照由图像输入部10输入并保存的图像帧。并且，面部检测部21具有检测人的面部位置的功能。面部检测部21例如利用已采用Haar-Like特征的识别器及图形匹配等来检测面部的位置信息。面部检测部21具有将面部的位置信息向检测区域设定部12输出的功能。

检测区域设定部12构成为可参照由图像输入部10输入并保存的图像帧。并且，检测区域设定部12具有采用面部检测部21的检测结果来设定检测手的对象区域即检测区域的功能。即，检测区域设定部12利用面部的位置信息来设定检测区域。例如，检测区域设定部12具有将与面部左右邻接的规定大小的区域设定为手的检测区域的功能。并且，检测区域设定部12具有将所设定的检测区域向颜色取得部13输出的功能。

颜色取得部13具有取得图像帧所包含的像素的颜色的功能。例如，颜色取得部13具有与像素各自的位置信息(座标)对应着取得检测区域设定部12所设定的检测区域所包含的像素颜色的功能。此外，颜色取得部13具有考虑后述的处理将所取得的像素值变换为唯一的颜色ID的功能。例如，颜色取得部13用YUV颜色空间来表现像素值，在Y、U以及V的分量值分别是0～255(8比特)范围的情况下，输出与所取得的像素值对应的一维的颜色ID。这里，颜色取得部13可根据需要适当变更像素值与颜色ID的对应关系。例如，删除YUV分量(各自是8比特)的下位4比特来进行变换，成为0～4095的12比特。并且，颜色取得部13具有将像素各自的颜色ID向评价得分计算部14输出的功能。

评价得分计算部14具有按颜色取得部13所取得的颜色ID根据运动度来计算评价得分的功能。这里，所谓评价得分就是用于评价是否是运动物体(这里为手)的颜色的指标。例如，评价得分计算部14将运动度取得部11所取得的像素运动度作为该像素的得分。然后，评价得分计算部14根据得分以及颜色取得部13所取得的像素颜色ID，按颜色ID来累积得分以及显示频度(像素数)。并且，评价得分计算部14根据累积得分以及累积像素数来计算评价得分。例如，通过将累积得分除以累积像素数来计算该颜色ID的评价得分。即，所谓评价得分可以说是表示颜色的运动程度的量。此外，评价得分计算部14具有为了取得手的位置而按颜色ID累积0像素的位置信息(例如x座标以及y座标)的功能。并且，评价得分计算部14具有将已计算的按颜色ID的评价得分以及累积位置信息向手检测部15输出的功能。

手检测部15具有根据评价得分计算部14所输出的按颜色ID的评价得分来检测运动的手的功能。如上述那样，因为评价得分表示颜色的运动程度，手检测部15将在图像中评价得分比其它部分高的部分检测为物体。并且，手检测部15针对所确定的的颜色ID，根据评价得分计算部14所输出的累积位置信息以及累积像素数来确定手的位置。例如，手检测部15通过将累积位置信息除以累积像素数来估计手的中心位置。并且，手检测部15具有将与检测到的手相关的信息向显示部22输出并显示的功能。

另外，手检测部15例如可具有根据每个颜色ID的评价得分来确定手的颜色的功能。手检测部15例如以评价得分越大成为代表颜色的可能性越高的方式来选定代表颜色。例如，将评价得分最大的颜色ID确定为是手的颜色(代表颜色)。此外，可选择多个包含评价得分最大值的范围的颜色ID来确定为手的颜色。

显示部22例如具有在显示当前的图像帧时以强调手检测部15所检测出的手的方式进行显示的功能。例如采用液晶显示器等来作为显示部22。

接着，对本实施方式的手检测装置1的动作进行说明。图3是表示本实施方式的手检测装置1的动作的流程图。例如，在开通的定时执行装置2的摄像功能，以规定的周期反复执行图3所示的控制处理。此外，考虑到说明理解的容易性，在图3的执行之前说明手检测装置1输入第1图像帧进行记录的内容。另外，还说明所检测的物体是手。

如图3所示，首先，图像输入部10输入图像帧(第2图像帧)(S10)。当S10的处理结束时，向运动度取得处理转移(S12)。在S12的处理中，运动度取得部11根据光流等来取得在S10的处理中已取得的图像帧的像素的运动度。当S12的处理结束时，向面部检测处理转移(S14)。

在S14中，面部检测部21检测在图像帧内描绘出的面部的位置信息。这里，面部检测部21可检测多个面部。当S14的处理结束时，转移到检测区域设定处理(S16)。

在S16的处理中，检测区域设定部12在图像帧内设定检测区域。检测区域设定部12将与检测区域相关的信息记录到检测区域表中。后面详细叙述该处理。当S16的处理结束时，向检测区域选择处理转移(S18)。

S18的处理是颜色取得部13参照在S16的处理中记录的检测区域表来选择1个检测区域的处理。当S18的处理结束时，向手检测处理转移(S20)。

S20的处理是颜色取得部13、评价得分计算部14以及手检测部15检测在S18的处理中选择出的检测区域内的手的处理。后面叙述此处理。当S20的处理结束时，向结束判定处理转移(S22)。

在S22的处理中，颜色取得部13判定是否对检测区域表所记录的全部检测区域执行手检测处理。在S22的处理中，当判定为没有对全部检测区域执行手检测处理时，再次向S18的处理转移。在S18的处理中，颜色取得部13参照检测区域表来再次选择新的检测区域。这样，反复执行S18～S22的处理，直到在检测区域表所记载的全部检测区域执行手检测处理为止。另一方面，在S22的处理中，当判定为对全部检测区域执行手检测处理时，向显示处理转移(S24)。

在S24的处理中，显示部22显示以矩形等包围手部分的方式来强调的图像帧。此外，在S20的处理中没能检测到手的情况下，显示部22显示通常的图像帧。当S24的处理结束时，结束图3所示的控制处理。

接着，对图3中的各处理进行详细说明。首先，采用图4来详细说明检测区域设定处理(S16)。图4是示出本实施方式的手检测装置1的检测区域设定动作的流程图。此外，考虑到说明理解的容易性，参照图5说明检测区域设定动作。图5是说明检测区域的一例的概要图。

如图4所示，首先，检测区域设定部12从在S14的处理检测到的面部中选择一个面部(S30)。例如图5所示，在S14的处理中在图像帧F₁内检测多个面部K₁、K₂。此时，检测区域设定部12例如选择面部K₁。当S30的处理结束时，向面部判定处理转移(S32)。

在S32的处理中，检测区域设定部12判定在S30的处理中选择出的面部K₁是否是最初选择的面部。在S32的处理中，当判定为在S30的处理中选择出的面部K₁是最初选择的面部时，转移到检测区域表追加处理(S34)。

在S34的处理中，检测区域设定部12根据在S30的处理中选择出的面部位置来设定检测区域。例如图5所示，检测区域设定部12将与面部K₁左右邻接的规定大小的矩形区域设定为检测区域R₁、R₂。检测区域R₁、R₂的位置根据面部K₁的位置和大小来相对地决定。检测区域设定部12在检测区域表中追加设定的检测区域R₁、R₂。当S34的处理结束时向结束判定处理转移(S36)。

另一方面，在S32的处理中，当判定为在S30的处理中选择出的面部K₁不是最初选择的面部时，因为在过去已经设定了检测区域，所以不用追加到检测区域表就向结束判定处理转移(S36)。

在S36的处理中，检测区域设定部12判定是否对在S14的处理中检测出的全部面部执行了检测区域的设定。在S36的处理中，当判定为没有对全部面部执行检测区域的设定时，再次向S30的处理转移。在S30的处理中，检测区域设定部12再次选择新的面部K₂。并且，检测区域设定部12在S32的处理中执行面部判定，在S32的处理中设定检测区域R₃、R₄。这样，反复执行S30～S36的处理，直到对S14的处理中检测出的全部面部执行检测区域的设定处理为止。另一方面，在S36的处理中，当判定为对全部检测区域执行了检测区域的设定处理时，向检测区域的选择处理转移(S38)。在以下的S38～S44的处理中，进行检测区域表的重新观察。

在S38的处理中，检测区域设定部12参照检测区域表，选择一个检测区域。当S38的处理结束时，向对应判定处理转移(S40)。

在S40的处理中，检测区域设定部12判定是否存在与在S38的处理中选择出的检测区域对应的面部。在S40的处理中，当判定为不存在与检测区域对应的面部时，向删除处理转移(S42)。

在S42的处理中，检测区域设定部12从检测区域表中删除在S38的处理选择出的检测区域。当S42的处理结束时，向结束判定处理转移(S44)。

另一方面，在S40的处理中，当判定为存在与检测区域对应的面部时，不用从检测区域表中删除该检测区域就向结束判定处理转移(S44)。

在S44的处理中，检测区域设定部12针对全部检测区域判定重新观察处理是否已结束。在S44的处理中，当针对全部检测区域判定为重新观察处理没有结束时，再次向S38的处理转移。由此，在S38的处理中，检测区域设定部12再次选择新的检测区域。并且，检测区域设定部12在S38的处理中执行对应判定处理。这样，反复执行S38～S44的处理，直到对检测区域表的全部检测区域执行重新观察处理为止。另一方面，在S44的处理中，当针对全部检测区域判定为重新观察处理已结束时，结束图4所示的控制处理。

以上结束图4所示的控制处理。能够通过执行图4所示的控制处理，在所检测的面部两侧设定检测区域，并且从检测区域表中删除与在图像帧内没有描绘的面部对应的检测区域。

接着，对图3中的手检测处理(S20)进行详细说明。图6、7是示出本实施方式的手检测装置1的手检测动作的流程图。此外，考虑到说明理解的容易性，参照图8～10说明检测区域设定动作。图8是示出对于检测区域像素中的颜色ID的度数的直方图的一例，(A)是累积出现数，(B)是累积位置信息(x座标)，(C)是累积位置信息(y座标)，(D)是累积运动量(累积运动度，x方向)，(E)是累积运动量(累积运动度，y方向)。图9(A)是示出对于本次图像帧中颜色ID的权重的直方图的一例。图9(B)是示出对于颜色ID的累积评价得分的直方图的一例。在图8、9中，各直方图的横轴是同一标尺，各直方图中的颜色ID是共用的。图10是说明颜色ID以及评价得分的概念的概要图。

如图6所示，首先，评价得分计算部14选择检测区域内的1个像素(S60)。例如，选择检测区域内左上的像素。当S60的处理结束时，向运动度取得处理转移(S62)。

在S62的处理中，运动度取得部11取得在S60的处理中选择出的像素的运动度。运动度取得部11根据例如在图3的S12的处理中取得的光流来取得像素单位的运动量(dx、dy)。当S62的处理结束时，向层级确定处理转移(S64)。

在S64的处理中，颜色取得部13将在S60的处理中选择出的像素颜色(例如YUV值)向唯一的颜色ID变换。如后所述，评价得分计算部14如图8(A)～(E)所示，准备将颜色ID作为横轴(层级)的直方图进行运算。因此，通过向颜色ID变换，来确定该颜色ID所属的直方图的层级。当S64的处理结束时，向直方图更新处理转移(S66)。

在S66的处理中，评价得分计算部14对在S64的处理中确定的直方图的层级累积该像素的信息。评价得分计算部14在例如图8(A)所示的出现数的直方图中对在S64的处理中确定的层级加1，更新累积出现数X_A。另外，评价得分计算部14在例如图8(B)、(C)所示的位置信息(x、y)的直方图中，对在S64的处理中确定的层级加上该像素的位置信息(x、y)，并更新累积位置信息I_x、I_y。另外，评价得分计算部14例如在图8(D)、(E)所示的运动量(dx、dy)的直方图中，对在S64的处理中确定的层级加上该像素的运动量(dx、dy)，更新累积运动量D_x、D_y。此外，不仅已确定的颜色ID的直方图，还可以在邻接的颜色ID的直方图中累积结果，由此能够使信息平滑化。当S66的处理结束时，向结束判定处理转移(S68)。

在S68的处理中，评价得分计算部14判定是否已选择检测区域内的全部像素。在S68的处理中，当判定为没有选择检测区域内的全部像素时，再次向S60的处理转移。在S60的处理中，评价得分计算部14选择检测区域内的一个其它像素。例如，选择从检测区域内左上的像素向右移动1个位置的像素。这样，反复执行S60～S68的处理，直到选择检测区域内的全部像素为止。另一方面，在S68的处理中，当判定为已选择检测区域内的全部像素时，向层级选择处理转移(S70)。

在S70的处理中，评价得分计算部14从与当前的图像帧对应的直方图中选择一个层级。例如，从图8所示的直方图的层级中选择一个层级。当S70的处理结束时，向权重决定处理转移(S72)。

在S72的处理中，评价得分计算部14计算在S70的处理中选择出的层级的权重。例如，评价得分计算部14计算在S66的处理中计算出的累积运动量D_x、D_y的绝对值平均值，作为在S70的处理中选择出的层级的评价得分(权重)。即，利用下式1来计算某颜色ID中的权重w。

【式1】

$w=\frac{\left|D_x\right|+\left|D_y\right|}{X_A}\·\·\·\left(1\right)$

此外，图9(A)表示采用式1计算的权重w的直方图。当S72的处理结束时，向累积用直方图更新处理转移(S74)。

在S74的处理中，评价得分计算部14根据在S72的处理中计算的权重w来更新累积用的直方图。这里，累积用的直方图是表示与颜色ID对应的评价得分的图，其存储上次之前的计算值(初始值全部是0)。例如，评价得分计算部14通过计算权重w与累积用的直方图的移动平均来更新累积用的直方图。例如，当将某颜色ID中的累积用直方图的评价得分设为H_R、将时间常数设为t时，评价得分计算部14采用下式2进行计算。

【式2】

H_R←t·H_R+(1-t)·w    …(2)

此外，图9(B)示出采用式2更新的累积用的直方图。当S74的处理结束时，向中心位置确定处理转移(S76)。

在S76的处理中，评价得分计算部14估计颜色的中心位置。评价得分计算部1根据在S66的处理中计算的累积位置信息I_x、I_y来估计该颜色的中心位置(C_x、C_y)。例如，采用下式3进行计算。

【式3】

$(C_x,C_y)=(\frac{I_x}{X_A},\frac{I_y}{X_A})\·\·\·\left(3\right)$

当S76的处理结束时，向结束判定处理转移(S78)。

在S78的处理中，评价得分计算部14判定是否针对全部层级来选择并执行了处理。在S78的处理中，当判定为没有针对全部层级选择并执行处理时，再次向S70的处理转移。评价得分计算部14在S70的处理中选择一个其它层级，在S72的处理中确定权重，在S74的处理中采用移动平均进行更新，在S76的处理中确定中心位置。这样，当判断为没有针对全部层级选择并执行处理时，反复执行S70～S78的处理，直到全部层级被选择为止。因此，通过反复上述处理，将图9(A)所示的权重w反映到图9(B)所示的评价得分。另一方面，在S78的处理中，当判定为针对全部层级执行了处理时，向代表颜色确定处理转移(图7的S80)。

在S80的处理中，手检测部15根据评价得分来确定手。评价得分随着颜色的运动而值变高。手检测部15在图像中将评价得分比其它部分高的部分检测为物体。例如，手检测部15生成将评价得分作为亮度值的图像，将高亮度部分检测为是物体。当S80的处理结束时，向颜色确认处理转移(S82)。

在S82的处理中，手检测部15确定运动物体的代表颜色，判定所确定的手的代表颜色是否是与上次图像帧中的代表颜色不同的颜色。手检测部15例如将图9(B)所示的评价得分值最高的颜色ID确定为手的代表颜色。例如图10所示，在检测区域R₂中颜色ID＝3450为得分最高的情况下，将该颜色ID识别为是当前的手的代表颜色。在S82的处理中，当判定为在S80的处理中确定的手的代表颜色不是与上次图像帧中的代表颜色不同的颜色时，向轨跡表更新处理转移(S86)。

在S86的处理中，手检测部15更新手的轨跡表。例如，手检测部15针对在S80的处理中取得的代表颜色取得在S76的处理中计算的中心位置(C_x、C_y)，更新手的轨跡表。当S86的处理结束时，结束图6、7所示的控制处理。

另一方面，在S82的处理中，当判定为在S80的处理中确定的手的代表颜色是与上次图像帧中的代表颜色不同的颜色时，向轨跡表初始化处理转移(S84)。在S84的处理中，手检测部15对轨跡表进行初始化。当S84的处理结束时，向轨跡表更新处理转移(S86)。

以上，结束图6、7所示的控制处理。通过执行图6、7所示的控制处理，将在检测区域内评价得分比其它部分高的部分检测为是运动物体。并且，将在检测区域内运动最多的颜色检测为是手的代表颜色，将代表颜色的中心位置检测为是手的位置。并且，只要颜色不较大地变化就作为同一个手生成轨跡表。这样，可着眼于像素的颜色来检测运动的手。此外，S62的处理对应于取得步骤，S70～S78的处理对应于评价得分计算步骤，S80的单独处理或者使S80以及S86的处理合并后的处理对应于运动物体检测步骤。

接着，说明用于使装置(计算机)2作为上述手检测装置1发挥功能的手检测程序(运动物体检测程序)。

手检测程序具备主模块、输入模块以及运算处理模块。主模块是集中地控制图像处理的部分。输入模块使装置2动作，来取得输入图像。运算处理模块具备运动度取得模块、检测区域设定模块、颜色取得模块、评价得分计算模块以及运动物体检测模块。通过执行主模块、输入模块以及运算处理模块来实现的功能分别与上述手检测装置1的图像输入部10、运动度取得部11、检测区域设定部12、颜色取得部13、评价得分计算部14以及手检测部15的功能相同。

例如，通过ROM等存储介质或半导体存储器来提供手检测程序。另外，手检测程序可作为数据信号经由网络进行提供。

以上，在本实施方式的手检测装置1中，利用运动度取得部11来取得图像帧间的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色，利用评价得分计算部14根据运动度按每一颜色来计算表示颜色的运动程度的评价得分，利用手检测部15，根据每个颜色的评价得分来检测作为运动物体的手。这样，通过评价颜色的运动程度来检测进行动作的手。因此，不用事先设定与手或背景相关的信息就能够检测手。即，不需要预先设定特定颜色来作为背景颜色或手的颜色，所以可与颜色分布灵活地对应，并且即使在变更照明、变更场所或者变更服装的情况下，也能够始终检测手的代表颜色。例如还能够检测戴着手套的手。因此，可针对环境变化来非常稳定地进行手的检测。另外，即使在相同帧中存在手以外的具有同样色彩的静止物体，也可以在同样的色彩以外将手所使用的颜色作为代表颜色，所以能够准确地检测进行动作的手。另外，如现有装置那样，在事先设定手的颜色来检测手的情况下，需要背景与手所差的颜色大到某种程度。与此不同，在本实施方式的手检测装置1中，如果直方图的区间(层级)不同，则即使在背景与手所差的颜色小的情况下原理上也能够进行检测。另外，因为不用分离手和背景就能够利用颜色信息来检测进行动作的手，所以不需要为了背景分离而设定阈值等的处理。另外，因为利用颜色信息以及运动程度来检测手，所以检测精度不依赖于运动的连续性及正确性。因此，还可以适当检测快速动作的手。

另外，在本实施方式的手检测装置1中，利用评价得分计算部14按颜色ID来累积检测区域内的像素数以及该像素的运动度，并根据检测区域内的累积像素数以及累积运动度来计算该颜色ID的评价得分。这样通过使运动度的累积值平均化，能够按每个颜色计算精度高的评价得分。

另外，在本实施方式的手检测装置1中，利用评价得分计算部14按颜色ID来累积像素的位置信息，利用手检测部15根据每个颜色ID的累积像素数以及累积位置信息来确定手的位置。这样通过使位置信息的累积值平均化，能够高精度地确定手的位置。

此外，根据本实施方式的手检测方法(运动物体检测方法)以及手检测程序来起到与上述手检测装置1同样的效果。

(第2实施方式)

第2实施方式的手检测装置(运动物体检测装置)3是检测作为运动物体的手的装置，作为构成要素包含第1实施方式的手检测装置1的一部分。因此，以与手检测装置1的不同点为中心进行说明，省略与第1实施方式重复的说明。另外，本实施方式的运动物体检测装置3与第1实施方式同样不被运动物体的种类所限定。这里，考虑到说明理解的容易性，以运动物体检测装置检测移动的动物(兔子)的情况为例进行说明。

图11是具有第2实施方式的运动物体检测装置3的装置2的功能框图。图11所示的装置2与第1实施方式所说明的内容相同。

如图11所示，装置2具备照相机20、运动物体检测装置3以及显示部22。照相机20以及显示部22与第1实施方式所说明的内容相同。运动物体检测装置3具备图像输入部10、运动度取得部11、颜色取得部13、评价得分计算部14以及运动物体检测部(手检测部)15。图像输入部10、颜色取得部13以及评价得分计算部14的功能与第1实施方式的手检测装置1相同。运动度取得部11以及运动物体检测部15的一部分功能与第1实施方式的手检测装置1的运动度取得部11以及手检测部15一部分不同。

运动度取得部11具有取消照相机20整体的运动仅提取局部运动的功能。运动度取得部11例如进行块单位的运动检测，根据块单位的运动检测结果求出整体图像的运动。并且，运动度取得部11通过从块单位的运动检测结果减去整体图像的运动来计算局部的运动。

运动物体检测部15具有根据各像素中的颜色ID和评价得分计算部14所输出的评价得分，生成将与图像帧所包含的像素各自的颜色对应的评价得分作为该像素值的似然度图像(第1似然度图像)的功能。另外，运动物体检测部15具有根据所生成的似然度图像来检测运动物体的功能。

接着，说明本实施方式的手检测装置3的动作。图12是说明本实施方式的手检测装置3的动作的流程图。图12所示的控制处理例如在开通装置2的摄像功能的定时执行，并以规定的周期反复执行。此外，考虑到说明理解的容易性，说明在图12的执行之前手检测装置1输入第1图像帧进行记录的内容。另外，说明所检测的物体是手。

如图12所示，首先图像输入部10输入图像帧(第2图像帧)(S200)。当S200的处理结束时，向运动度取得处理转移(S202)。

在S202的处理中，运动度取得部11根据第1图像帧以及第2图像帧来取得图像帧的像素的运动度。运动度取得部11取消照相机20整体的运动，仅提取局部的运动。如以下这样具体地说明上述处理。首先，运动度取得部11在各个特征点以块为单位(例如20×15分割、160×120像素区域)匹配所输入的图像帧和上次输入的图像帧。运动度取得部11进行块匹配，并取得块单位的运动。运动度取得部11根据块单位的运动来取得图像帧整体的运动。并且，运动度取得部11从块单位的运动减去图像帧整体的运动，从没有噪音等干扰要素的块单位的运动(局部运动)中取得运动度。例如，图13(a)示出块单位的运动，图13(b)示出减去图像整体运动的局部运动。当S202的处理结束时，向图像变换处理转移(S204)。

在S204中，颜色取得部13将图像帧所包含的像素的颜色与位置信息(座标)对应着取得，并变换为唯一的颜色ID。例如，颜色取得部13与第1实施方式同样地计算将YUV的值(24bit)压缩为12bit后的颜色ID。当S204的处理结束时，向初始处理转移(S206)。

在S206中，评价得分计算部14执行用于按图像帧所包含的颜色ID来计算评价得分的初始处理。评价得分计算部14准备用于记录最终结果的结果直方图和用于累计运算的2个累计用直方图。各个直方图的层级(横轴)是颜色ID。评价得分计算部14在已准备的3个直方图的全部层级的值中代入0来进行初始化。另外，将为了使似然度图像中表示运动物体的区域占整体的比例保持恒定而采用的计数器即X_offset设为0。另外，作为运动物体检测区域的中心位置RC_x、RC_y、宽度RS_w、高度RS_h的初始值代入图像的中心位置、图像的宽度以及高度。当S206的处理结束时，向累计处理转移(S208)。

在S208中，评价得分计算部14累积每个颜色ID的像素数以及权重。评价得分计算部14按每个帧来计算两个将颜色ID作为层级的累计用直方图。评价得分计算部14采用第1累计用直方图将每个颜色ID的频度(同一颜色ID的像素数的累计)作为度数进行计数。另外，评价得分计算部14采用第2累计用直方图将每个颜色ID的权重作为度数进行计数。这里，权重w反映了像素的运动度，根据除去整体图像的运动后的像素本身的运动度w₁和以图像帧中的物理位置关系(基于图像帧的中心位置(C_x、C_y)、图像帧的宽度S_x、高度S_y等的位置)为基准的运动度w₂进行计算。评价得分计算部14利用下式4来计算表示某座标(x、y)的像素中的运动度的权重w(x、y)。

【式4】

w(x，y)＝w₁+w₂       …(4)

w₁＝dx·dx+dy·dy

$w_2=\exp (-\frac{{(x-C_x)}^2}{S_x}-\frac{{(y-C_y)}^2}{S_y})$

评价得分计算部14根据已计算的像素的权重w(x、y)和像素的颜色ID采用第2累计用直方图按颜色ID来累积权重w(x、y)。针对像素帧所包含的全部像素执行此处理。当S208的处理结束时，转移到结果直方图更新处理(S210)。

在S210中，评价得分计算部14采用第1累积用直方图以及第2累计用直方图来更新结果直方图。当将第1累积用直方图设为hist、将第2累计用直方图设为whist时，评价得分计算部14采用下式5来更新结果直方图ahist。

【式5】

$\mathrm{ahist}\left[\mathrm{id}\right]\←\mathrm{\τ}\·\mathrm{ahist}\left[\mathrm{id}\right]+\frac{(1-\mathrm{\τ})\·\mathrm{whist}\left[\mathrm{id}\right]}{\mathrm{hist}\left[\mathrm{id}\right]}\·\·\·\left(5\right)$

这里，id是颜色ID(层级的识别编号)，并采用整数。另外，hist[id]、whist[id]以及ahist[id]是某id中的各直方图的度数。另外，τ是时间常数，这里，采用τ＝1/64作为一例。当S210的处理结束时，向似然度图像生成处理转移(S212)。

在S212中，运动物体检测部15采用在S210的处理中取得的结果直方图ahist来生成似然度图像。首先，运动物体检测部15进行阈值计算，使得在似然度图像中被检测为运动物体的区域(运动物体检测区域)相对于图像整体所占的比例恒定。首先，运动物体检测部15以结果直方图的度数从大到小的顺序对层级进行排序。接着，将从第1名到规定位次s的结果直方图的度数作为偏移量X_offset进行累积。运动物体检测部15采用下式6来计算最终的偏移量SX_offset。

【式6】

SX_offset←τ-SX_offset+(1-τ)·X_offset    …(6)

τ是时间常数，这里采用τ＝0.6作为一例。接着，手检测部采用下式7来计算各像素的像素值。

【式7】

p(x，y)←ahist[id]-SX_offset    …(7)

即，可通过采用式子7，将根据反映运动度的权重与显示频度而评价的得分(评价得分)作为像素值来生成似然度图像。另外，通过减去偏移量SX_offset，使后述被摄体位置的收敛变得容易。图14(a)是减去偏移量SX_offset之前的似然度图像，图14(b)是减去偏移量SX_offset之后的似然度图像。图14(b)与图14(a)相比，清楚地显示黑白分明。当S212的处理结束时，向运动物体位置确定处理转移(S214)。

在S214中，运动物体检测部15采用在S212的处理中生成的似然度图像来确定运动物体的位置。运动物体检测部15通过反复多次以下的动作，来更新并且确定表示运动物体的矩形(运动物体检测区域)的大小以及位置。首先，运动物体检测部15对整体图像采用下式8来计算权重pw。

【式8】

pw＝w₁·w₂      …(8)

$w_2=\exp (-\frac{{(x-{\mathrm{RC}}_x)}^2}{{\mathrm{RS}}_x}-\frac{{(y-{\mathrm{RC}}_y)}^2}{{\mathrm{RS}}_y})$

这里，(x、y)是像素的位置，z₁是位置(x、y)的像素的似然度，RC_x、RC_y是运动物体检测区域的中心位置，RS_w是运动物体检测区域的宽度，RS_h是运动物体检测区域的高度。

接着，运动物体检测部15采用所求出的权重pw来计算似然度图像的规定像素中的加权0次矩m₀₀、加权1次矩m₁₀、m₀₁、加权2次矩m₂₀、m₀₂，对全部像素进行累积。运动物体检测部15采用下式9进行运算。

【式9】

m₀₀←m₀₀+pw

m₁₀←m₁₀+pw·x

m₀₁←m₀₁+pw·y    …(9)

m₂₀←m₂₀+pw·x²

m₀₂←m₀₂+pw·y²

然后，运动物体检测部15采用所求出的矩来更新运动物体检测区域的中心位置RC_x、RC_y、宽度RS_w、高度RS_h。运动物体检测部15采用下式10进行运算。

【式10】

$({\mathrm{RC}}_x,{\mathrm{RC}}_y)=(\frac{m_{10}}{m_{00}},\frac{m_{01}}{m_{00}})$

${\mathrm{RS}}_w=\sqrt{\frac{m_{20}}{m_{00}}-{{\mathrm{RC}}_x}^2}\·\·\·\left(10\right)$

${\mathrm{RS}}_h=\sqrt{\frac{m_{02}}{m_{00}}-{{\mathrm{RC}}_y}^2}$

运动物体检测部15通过反复多次上述处理来确定运动物体位置。当S214的处理结束时，向显示处理转移(S216)。

在S216的处理中，显示部22用矩形等来表现在S214中计算的运动物体检测区域并与图像帧重叠显示。图15示出显示例。图15示出多次显示用白颜色表示的矩形区域、每次缩小大小以收敛至运动物体附近的图像。此外，随着收敛，从暗颜色逐渐向亮颜色显示。此外，在S202的处理中没能检测到运动物体的情况下，显示部22显示通常的图像帧。当S216的处理结束时，结束图12所示的控制处理。

以上，结束图12所示的控制处理。通过执行图12所示的控制处理，来将图像帧内评价得分比其它部分高的部分检测为运动物体。此外，S202的处理对应于取得步骤，S204～S210的处理对应于评价得分计算步骤，S212以及S214的处理对应于运动物体检测步骤。

接着，说明用于将装置(计算机)2作为上述运动物体检测装置3发挥功能的运动物体检测程序。

运动物体检测程序具备主模块、输入模块以及运算处理模块。主模块是集中控制图像处理的部分。输入模块使装置2动作，以取得输入图像。运算处理模块具备运动度取得模块、颜色取得模块、评价得分计算模块以及运动物体检测模块。通过执行主模块、输入模块以及运算处理模块来实现的功能与上述手检测装置1的图像输入部10、运动度取得部11、颜色取得部13、评价得分计算部14以及手检测部15的功能分别相同。

例如，由ROM等存储介质或半导体存储器来提供运动物体检测程序。另外，运动物体检测程序可作为数据信号经由网络进行提供。

以上，在本实施方式的运动物体检测装置3中，可利用运动度取得部11来取得图像帧间的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色，利用评价得分计算部14根据运动度按颜色来计算表示颜色的运动程度的评价得分，利用手检测部15根据每一颜色的评价得分来检测运动物体。这样，通过评价颜色的运动程度来检测运动物体。因此，不用事先设定与运动物体或背景相关的信息就能够检测运动物体。即，不需要预先设定特定颜色来作为背景颜色或运动物体的颜色，所以能够与颜色分布灵活对应，并且即使在变更照明、变更场所或者变更服装的情况下也能够检测运动物体。因此，相对于环境变化能够非常稳定地进行运动物体的检测。另外，如现有装置那样，在事先设定运动物体的颜色来检测手的情况下，需要背景与运动物体所差的颜色大到某种程度。与此不同，在本实施方式的运动物体检测装置3中，只要直方图的区间(层级)不同，即使在背景与运动物体所差的颜色小的情况下原理上也能够进行检测。另外，不用分离运动物体与背景，就能够以颜色信息来检测进行动作的运动物体，因此不需要为了背景分离而设定阈值等的处理。另外，因为利用颜色信息以及运动程度来检测运动物体，所以检测精度不依赖于运动的连续性及正确性。因此，还能够适当检测快速动作的运动物体。此外，即使对象物从帧中脱离，只要将所关注的颜色信息存储一定时间，就能够在对象物再次进入帧时跟踪其运动。

另外，在本实施方式的手检测装置3中，根据块单位的运动来计算图像帧整体的运动，从图像帧所包含的像素的运动减去图像帧整体的运动，计算各像素中的运动度。通过这样构成，可以从与整体运动的差分中取得局部的运动。

此外，根据本实施方式的运动物体检测方法以及运动物体检测程序，能够起到与上述手检测装置3同样的效果。

(第3实施方式)

第3实施方式的手跟踪装置(运动物体跟踪装置)3是跟踪作为运动物体的手的装置，作为构成要素包含第1实施方式的手检测装置1或第2实施方式的运动物体检测装置3。因此，以手检测装置1和运动物体检测装置3的不同点为中心进行说明，省略与第1实施方式以及第2实施方式重复的说明。另外，本实施方式的手跟踪装置4与第1实施方式同样不被运动物体的种类所限定。这里，考虑到说明理解的容易性，以运动物体跟踪装置跟踪进行动作的手的情况为例进行说明。

图16是具备第3实施方式的手跟踪装置4的装置2的功能框图。图16所示的装置2与第1实施方式所说明的内容相同。

如图16所示，装置2具备照相机20、手跟踪装置4、面部检测部21以及显示部22。照相机20、面部检测部21以及显示部22与第1实施方式所说明的内容相同。手跟踪装置4具备图像输入部10、运动度取得部11、检测区域设定部12、颜色取得部13、评价得分计算部14、手检测部15、似然度计算部(运动物体跟踪部)16以及手跟踪部(运动物体跟踪部)17。即，在第1实施方式的手检测装置1中追加似然度计算部16以及手跟踪部17来构成手跟踪装置4。此外，评价得分计算部14的一部分功能与第1实施方式的手检测装置1的评价得分计算部14一部分不同。

评价得分计算部14具有按颜色ID来计数运动像素数以及没有运动的像素数的功能。例如，评价得分计算部14将运动度是规定值以上的像素作为运动像素，将运动度不是规定值以上的像素作为没有运动的像素。评价得分计算部14例如将运动像素数作为前景度进行计数，将没有运动的像素数作为背景度进行计数。此外，评价得分计算部14在图6的S66的处理时执行计数。

似然度计算部16具有根据与手检测部15所确定的手的颜色的颜色类似度按每个颜色ID来计算似然度的功能。似然度是表示接近跟踪对象颜色的程度。例如，对象像素的颜色ID与手的颜色ID越接近，类似度计算得越大。因此，类似度越大的颜色，似然度计算部16计算的似然度越大。另外，评价得分越大的颜色，越是具有运动的颜色。因此，评价得分越大的颜色，似然度计算部16计算的似然度越大。并且，似然度计算部16具有如下的功能：参照评价得分计算部14的输出结果，因为前景像素数小于背景像素数的颜色是背景像素的可能性高，所以减小似然度。或者，似然度计算部16可针对前景像素数小于背景像素数的颜色将似然度设为0。似然度计算部16具有将每个颜色ID的似然度向手跟踪部17输出的功能。

手跟踪部17具有根据似然度计算部16所输出的每个颜色ID的似然度以及图像帧来作成将像素的似然度作为像素值的似然度图像(第2似然度图像)以跟踪手的功能。另外，手跟踪部17具有如下的功能：在以上次手的位置为基准的像素的相对位置矢量与像素的运动矢量的内积为负的情况下，因为是手的可能性极低，所以减小该像素中的似然度。或者，手跟踪部17可将该像素中的似然度设为0。此外，手跟踪部17具有如下的功能：通过将小于似然度图像的区域作为跟踪矩形、并以似然度图像的跟踪矩形内的像素值的分布重心为跟踪矩形中心的方式进行移动，来跟踪手。此外，手跟踪部17还具有如下的功能：根据上次输入的图像帧的似然度图像以及跟踪矩形来作成背景似然度图像，并采用图像帧的似然度图像与背景似然度图像的差分图像来跟踪手。背景似然度图像是表示成为背景的可能性的图像。另外，手跟踪部17具有为了生成背景似然度图像而生成工作用的背景似然度更新用图像的功能。

手跟踪装置4的其它结构与第1实施方式的手检测装置1相同。

接着，说明本实施方式的手跟踪装置4的动作。图17是示出本实施方式的手跟踪装置4的动作的流程图。图17所示的控制处理例如在手检测装置1的动作结束的定时执行，并以规定的周期反复执行。即，在处理开始时，确定运动物体的颜色ID。

如图17所示，首先似然度计算部16执行跟踪初始化处理(S90)。似然度计算部16按颜色ID计算似然度。后面对此处理进行叙述。当S90的处理结束时，向图像帧输入处理转移(S92)。

在S92的处理中，图像输入部10输入新的图像帧。当S92的处理结束时，向对象像素选择处理转移(S94)。

在S94的处理中，似然度计算部16从在S92的处理中输入的图像帧内选择作为计算似然度的对象的像素。当S94的处理结束时，向像素单位的似然度计算处理转移(S96)。

在S96的处理中，似然度计算部16针对在S94的处理中选择出的像素计算似然度。后面详细叙述此处理。当S96的处理结束时，向全部像素结束判定处理转移(S98)。

在S98的处理中，似然度计算部16判定是否已计算在S92的处理中输入的图像帧内的全部像素的似然度。当在S98的处理中判定为没有针对全部像素计算似然度的情况下，向S94的处理再次转移。似然度计算部16在S94的处理中再次选择新的像素，在S96的处理中计算像素单位的似然度。这样，反复执行S94～S98的处理，直到计算图像帧内的全部像素的似然度为止。另一方面，当在S98的处理中判定为已计算图像帧内的全部像素的似然度时，向跟踪处理转移(S100)。

在S100的处理中，手跟踪部17根据在S98的处理中计算的像素的似然度来生成似然度图像，并根据似然度图像来检测运动的手。后面对此处理进行叙述。当S100的处理结束时，向背景似然度计算处理转移(S102)。

在S102的处理中，手跟踪部17根据在S100的处理中计算的似然度图像来计算表示接近背景程度的背景似然度。后面对此处理进行叙述。当S102的处理结束时，向轨跡记录处理转移(S104)。

S104的处理是手跟踪部17将S100的处理中的跟踪结果作为轨跡进行记录的处理。当S104的处理结束时，向显示处理转移(S106)。

在S106的处理中，显示部22将手的轨跡与图像帧重叠显示。当S106的处理结束时向结束判定处理转移(S108)。

在S108的处理中，手跟踪部17判定是否已结束图像帧的输入。当在S108的处理中判定为具有新的图像帧的输入时，向S92的处理转移。由此，反复执行S92～S108的处理，直到图像帧的输入结束为止。另一方面，当在S108的处理中判定为没有新的图像帧输入时，结束图17所示的控制处理。

以上，结束图17所示的控制处理。如图17所示，本实施方式的手跟踪装置4以第1实施方式的手检测装置1所检测出的手的颜色为基准，跟踪在输入图像帧中描绘出的手。此外，S96的处理对应于似然度计算步骤，S100的处理对应于运动物体跟踪步骤。

接着，对图17中的各个处理进行详细说明。首先，采用图18来详细说明跟踪初始化处理(S90)。图18是示出本实施方式的手跟踪装置4的跟踪初始化动作的流程图。此外，考虑到说明理解的容易性，参照图19说明跟踪初始化动作。图19是表示对于颜色ID的度数的跟踪用似然度直方图的一例，(A)表示颜色类似的似然度，(B)表示检测时的评价得分，(C)表示前景度以及背景度，(D)表示最终的似然度。

如图18所示，首先，似然度计算部16利用0使背景似然度图像初始化(S110)。背景似然度图像是在后述的跟踪处理中使用的图像。当S110的处理结束时，向层级选择处理转移(S112)。

在S112的处理中，似然度计算部16从颜色ID的直方图中选择一个层级。采用图19来详细说明此处理。图19是与使用第1实施方式的手检测装置1的直方图相同横轴为颜色ID的直方图。此外，这里作为一例，将颜色ID设为10个(即10个层级)。似然度计算部16从10个颜色ID中选择一个颜色ID。当S112的处理结束时，向背景可能性判定处理转移(S114)。

在S114的处理中，似然度计算部16参照评价得分计算部14所计数的前景度以及背景度，判定在S112的处理中选择出的颜色ID的前景度是否大于背景度。例如，在手检测时，评价得分计算部14如图19(C)所示对前景度以及背景度进行计数。在此情况下，似然度计算部16例如在所选择的颜色ID是图19所示的颜色ID4000的情况下，判定为前景度大于背景度。当在S114的处理中判定为前景度大于背景度时，该颜色ID是背景的可能性低，所以向类似度计算处理转移(S116)。

在S116的处理中，似然度计算部16将在S112的处理中选择出的颜色ID与手的颜色(代表颜色)在视觉上相似到何种程度作为类似度计算。例如图19所示，手的颜色是颜色ID3534，该颜色是跟踪对象颜色。在此情况下，如图19(A)所示，似然度计算部16将跟踪对象颜色的颜色ID作为峰值，计算类似度，使得类似度随着与跟踪对象颜色的颜色ID相远离而变小。在图19(A)中，为了方便而显示全部颜色ID的类似度，但在S116的处理中，仅计算在S112的处理中选择出的颜色ID的类似度。当S116的处理结束时，向评价得分取得处理转移(S118)。

在S118的处理中，似然度计算部16取得手颜色检测时的评价得分。例如，似然度计算部16参照评价得分计算部14所输出的评价得分。由此，例如图19(B)所示，可取得手检测时的评价得分。此外，在图19(B)中为了方便而显示全部颜色ID的评价得分，但在S118的处理中仅取得在S112的处理选择出的颜色ID的评价得分。当S118的处理结束时，向最终似然度设定处理转移(S120)。

在S120的处理中，似然度计算部16根据在S116的处理中计算的类似度以及在S118的处理中取得的评价得分来决定该颜色ID的最终似然度。例如，似然度计算部16将类似度与评价得分的加权平均值作为该颜色ID的最终似然度。由此例如图19(D)所示，可取得最终的似然度。此外，在图19(D)中为了方便而显示出全部颜色ID的最终似然度，但在S120的处理中仅取得在S112的处理中选择出的颜色ID的评价得分。当S120的处理结束时，向最终层级确认处理转移(S122)。

另一方面，在S114的情况下，例如当所选择的颜色ID是图19所示的颜色ID3434时，似然度计算部16判定为前景度不大于背景度。在此情况下，该颜色ID是背景的可能性高。由此，向背景处理转移(S124)。在S124的处理中，似然度计算部16针对该颜色ID的直方图将似然度设定为0。例如图19(D)所示，将颜色ID3434的最终似然度设为0。当S124的处理结束时，向最终层级确认处理转移(S122)。

在S122的处理中，似然度计算部16判定是否针对全部层级进行似然度的计算。当在S122的处理中判定为全部层级的计算没有结束时，向S112的处理转移。由此，反复执行S112～S124的处理，直到针对全部层级的似然度的运算结束为止。另一方面，当在S122的处理中判定为全部层级的计算已结束时，结束图18所示的控制处理。

以上结束图18所示的控制处理。通过执行图18所示的控制处理来生成跟踪用的直方图(例如图19(D))。

接着，对图17中的像素单位的似然度计算处理(S96)进行详细说明。图20是示出本实施方式的手跟踪装置4的似然度计算动作的流程图。此外，考虑到说明理解的容易性，参照图21、17说明似然度计算动作。图21是说明在运动物体跟踪中采用光流的似然度计算的概要图。图22是似然度图像的一例。

如图20所示，手跟踪部17取得输入图像帧中的对象像素的信息(S130)。手跟踪部17取得对象像素的座标(x、y)、对象像素的运动量(dx、dy)、对象像素的运动矢量(光流)、上次手的中心位置(C_x、C_y)以及颜色ID。此外，手跟踪部17评价对象像素的高度方向的位置。因为进行手势的手位于手腕或臂的上侧的可能性高，所以能够采用y座标对作为手的似然度进行加权。例如，当将输入图像帧的y方向的高度作为I_H、将评价值作为yw时，手跟踪部17采用下式11来评价对象像素的高度方向的位置。

【式11】

$\mathrm{yw}=1+\frac{I_H-y}{I_H}\·\·\·\left(11\right)$

y座标小的一方评价值yw高。当S130的处理结束时，向相对位置矢量计算处理转移(S132)。

在S132的处理中，手跟踪部17计算从上次手的中心位置到对象像素的位置的相对位置矢量。手跟踪部17根据在S130的处理中取得的中心位置(C_x、C_y)与对象像素的座标(x、y)来计算相对位置矢量。当S132的处理结束时，向内积判定处理转移(S134)。

在S134的处理中，手跟踪部17计算在S132的处理中计算的相对位置矢量与在S130的处理中取得的运动矢量(光流)的内积。采用图21来详细说明此处理。图21示出上次手的中心位置(C_x、C_y)、对象像素的座标(x₁、y₁)。并且，图中的箭头是光流。在区域E₁、E₃、E₄中检测光流，在区域E₂中没有检测光流。因为基本上在检测出光流的区域检测出运动，所以将似然度相加。另外，在以上次手的中心位置(C_x、C_y)为基准的对象像素的相对位置矢量的方向是光流方向的逆方向时，该像素显示出进行动作的手的可能性低。例如图中所示，当对象像素的座标(x₁、y₁)存在于区域E₄时，以上次手的中心位置(C_x、C_y)为基准的对象像素的相对位置矢量的方向与光流的方向不矛盾。另外，存在于区域E₁的其它像素的情况也是同样的。此外，在存在于区域E₂的其它像素的情况下，虽然没有检测到光流，但也有可能显示出进行动作的手。不过，在存在于区域E₃的其它像素的情况下，相对位置矢量的方向为光流方向的逆方向。在此情况下，该像素显示进行动作的手的可能性低。即，采用相对位置矢量与光流的内积可判定是否是进行动作的手。在S134的处理中，当判定为内积为负时，向似然度变更处理转移(S150)。

在S150的处理中，手跟踪部17将该像素的似然度设定为0。当S150的处理结束时，向背景似然度更新处理转移(S142)。

另一方面，在S134的处理中判定为内积不是负的情况下，向似然度计算处理转移(S136)。在S136的处理中，手跟踪部17采用通过执行图18所示的控制处理而作成的跟踪用似然度直方图来计算对象像素的似然度。例如，参照图19(D)所示的直方图，根据对象像素的颜色ID来确定似然度。当S136的处理结束时，向权重计算处理转移(S138)。

在S138的处理中，手跟踪部17计算运动的权重。手跟踪部17采用在S130的处理中取得的运动量(dx、dy)，采用例如下式12来计算运动的权重mw。

【式12】

mw＝|dx|+|dy|    …(12)

当S138的处理结束时，向似然度决定处理转移(S140)。

在S140的处理中，手跟踪部17采用在S136计算的似然度、在S130的处理中计算的评价值yw以及在S138的处理中计算的运动的权重mw来决定最终的似然度。当将在S136计算的似然度设为w时，手跟踪部17例如采用下式13来决定最终的似然度P。

【式13】

P＝(w+mw)·yw    …(13)

当S140的处理结束时，向背景似然度更新处理转移(S142)。

在S142的处理中，手跟踪部17向背景似然度的更新用图像代入在S140或S150的处理中决定的似然度。所谓背景似然度的更新用图像就是为了从上次背景似然度的图像中获得本次图像帧的背景似然度的图像所需的图像。后面详细叙述背景似然度图像。手跟踪部17例如将似然度作为像素值代入背景似然度的更新用图像中。当S142的处理结束时，向背景似然度取得处理转移(S144)。

S144的处理是手跟踪部17取得与对象像素对应的上次图像帧的背景似然度的处理。例如，可采用后述的背景似然度图像来取得。当S144的处理结束时，向背景似然度减法处理转移(S146)。

在S146的处理中，手跟踪部17从在S140的处理中决定的似然度P减去在S144的处理中取得的背景似然度。当S146的处理结束时，向似然度图像作成处理转移(S148)。

在S148的处理中，手跟踪部17向跟踪用的似然度图像代入在S146的处理中计算的似然度。当S148的处理结束时，结束图20所示的控制处理。

以上结束图20所示的控制处理。可通过在全部像素中执行图20所示的控制处理，来作成将似然度作为像素值的似然度图像。图22示出似然度图像的一例。在图22中，白的部分是运动的区域(似然度高的区域)，黑的部分是静止的区域(似然度低的区域)。

接着，对图17中的跟踪处理(S100)进行详细说明。图23是表示本实施方式的手跟踪装置4的跟踪动作的流程图。此外，考虑到说明理解的容易性，参照图24说明跟踪动作。图24是说明跟踪动作的概要图。

如图23所示，手跟踪部17将上次图像帧中的跟踪对象区域的信息(位置信息等)作为初始值取得(S160)。跟踪对象区域是小于图像帧以及似然度图像的区域，其被设定为包含图22所示的似然度高的区域这样的大小。当S160的处理结束时，向初始值设定处理转移(S162)。

在S162的处理中，手跟踪部17将用于运算中心座标的参数(mx、my)初始化为(0、0)。另外，将累积似然度m初始化为0。当S162的处理结束时，向像素选择处理转移(S164)。

在S164的处理中，手跟踪部17在图20所示的控制处理所作成的似然度图像内从与跟踪对象区域对应的全部像素中选择一个处理对象的像素。当S164的处理结束时，向似然度取得处理转移(S166)。

在S166的处理中，手跟踪部17从图20所示的控制处理所作成的似然度图像中取得在S164的处理中选择出的像素的似然度w。当S166的处理结束时，向位置信息取得处理转移(S168)。

在S168的处理中，手跟踪部17取得在S164的处理中选择出的像素的位置信息(座标信息(x、y))。当S168的处理结束时，向累积处理转移(S170)。

在S170的处理中，手跟踪部17根据在S166的处理中取得的似然度w以及在S168的处理中取得的位置信息(x、y)来更新累积位置信息(mx、my)以及累积似然度m。手跟踪部17例如将似然度w与累积似然度m相加。此时，手跟踪部17可根据像素的位置信息与跟踪矩形的中心座标的距离对似然度进行加权，并将已加权的似然度与累积似然度m相加。例如，可准备将跟踪矩形的中心座标作为1的高斯分布，将与中心座标的距离对应的高斯分布的值和似然度相乘。另外，将位置信息(x、y)乘以似然度w所得的值(w·x、w·y)与累积位置信息(mx、my)相加。当S170的处理结束时，向结束判定处理转移(S172)。

在S172的处理中，手跟踪部17判定针对跟踪对象区域所包含的全部像素处理是否已结束。当在S172的处理中判定为针对全部像素处理没有结束时，再次向S164的处理转移。由此，反复执行S164～S172的处理，直到针对跟踪对象区域所包含的全部像素处理结束为止。另一方面，当在S172的处理中判定为针对全部像素处理已结束时，向重心计算处理转移(S174)。

在S174的处理中，手跟踪部17根据累积位置信息(mx、my)以及累积似然度m来估计像素值的分布重心(即作为运动物体的手的中心位置(C_x、C_y))。例如，手跟踪部17采用下式14来估计中心位置(C_x、C_y)。

【式14】

$(C_x,C_y)=(\frac{\mathrm{mx}}{m},\frac{\mathrm{my}}{m})\·\·\·\left(14\right)$

当S174的处理结束时，向跟踪对象区域的中心变更处理转移(S176)。

在S176的处理中，手跟踪部17将跟踪对象区域的中心设定为在S174的处理中计算的(C_x、C_y)。当S174的处理结束时，向变更判定处理转移(S178)。

在S178的处理中，手跟踪部17判定跟踪对象区域的中心是否与上次的中心相同。当在S178的处理中判定为跟踪对象区域的中心与上次的中心不相同时，再次向S162的处理转移。由此，反复执行S162～S178的处理，直到跟踪矩形内的像素值的重心收敛于矩形中心为止。通过执行该反复处理，例如，可使图24所示的跟踪矩形Z₁(中心C₁)与跟踪矩形Z₂(中心C₂)、跟踪矩形Z₃(中心C₃)以及跟踪矩形Z₄(中心C₄)如箭头所示向左上移动来跟踪作为运动物体的手的位置。另一方面，当在S178的处理中判定为跟踪对象区域的中心与上次的中心相同时，结束图23所示的控制处理。

以上结束图23所示的控制处理。通过执行图23所示的控制处理，能够采用似然度图像以及跟踪矩形来跟踪作为运动物体的手。

接着，对图17中的背景似然度的计算处理(S102)进行详细说明。图25是示出本实施方式的手跟踪装置4的背景似然度的计算动作的流程图。此外，考虑到说明理解的容易性，参照图26说明背景似然度的计算动作。图26是说明背景似然度的计算动作的概要图。

如图25所示，手跟踪部17将上次图像帧中的跟踪对象区域的信息(位置信息等)作为初始值取得(S180)。该处理与图23的S160的处理相同。当S180的处理结束时，向区域扩展处理转移(S182)。

在S182的处理中，手跟踪部17扩展在S180的处理中取得的跟踪对象区域。例如，手跟踪部17未变更在S180的处理中取得的跟踪对象区域的中心位置仅将大小扩大2倍。当S182的处理结束时，向像素选择处理转移(S184)。

在S184的处理中，手跟踪部17从背景似然度图像的全部像素中选择作为处理对象的一个像素。当S184的处理结束时，向位置判定处理转移(S186)。

在S186的处理中，手跟踪部17判定在S184的处理中选择的像素位置是否是在S182的处理中扩展的跟踪对象区域内。当在S186的处理中判定为所选择的像素不是跟踪对象区域内时，向像素值取得处理转移(S188)。

在S188的处理中，手跟踪部17参照在图20的S142的处理中作成的背景似然度更新用图像，从背景似然度更新用图像中取得与在S184的处理中选择出的像素位置对应的像素值。当S188的处理结束时，向像素值设定处理转移(S190)。

在S190的处理中，手跟踪部17根据在S184的处理中选择的像素的像素值与在S188的处理中取得的像素值来设定背景似然度图像的像素值。当将在S184的处理中选择的像素的像素值设为G₁、将在S188的处理中取得的像素值设为G₂时，手跟踪部17通过求出加权平均来设定最终的像素值G_F。具体地说，采用下式15进行计算。

【式15】

$G_F=\frac{G_1+G_2}{2}\·\·\·\left(15\right)$

当S190的处理结束时，向结束判定处理转移(S192)。

另一方面，当在S186的处理中判定为已选择的像素是跟踪对象区域内时，向结束判定处理转移(S192)。

在S192的处理中，手跟踪部17判定针对背景似然度图像内的全部像素是否结束处理。当判定为在S192的处理中针对全部像素没有结束处理时，再次向S184的处理转移。由此，反复执行S184～S192的处理，直到针对背景似然度图像的全部像素处理结束为止。由此，生成背景似然度图像。例如图26(A)所示，在上次图像帧的似然度图像中设定跟踪矩形Z₅。通过反复执行S184～S192的处理，来生成图26(B)所示的背景似然度图像。如图26(B)所示，在背景似然度图像中，将对应于跟踪矩形Z₅的位置且构成跟踪矩形Z₅的2倍大小的区域设定为黑区域Y₁(即是背景的可能性低的区域)。另一方面，当在S192的处理中判定为针对全部像素已结束处理时，结束图25所示的控制处理。

以上结束图25所示的控制处理。通过执行图25所示的控制处理，生成背景似然度图像。由此，如图20的S146的处理所说明的那样，可采用背景似然度图像来进一步适当进行运动物体的检测。当将本次图像帧的似然度图像设为图26(C)、将背景似然度图像设为图26(B)时，可通过图20的S146的处理来生成已考虑图26(D)所示的背景的似然度图像(差分图像)。通过采用差分图像，即使在与运动物体的手类似的颜色作为背景存在时，也不会跟踪背景颜色，能够准确地跟踪手。

接着，说明用于使装置(计算机)2作为上述手跟踪装置4发挥功能的手跟踪程序(运动物体跟踪程序)。

手跟踪程序具备主模块、输入模块以及运算处理模块。主模块是集中控制图像处理的部分。输入模块使装置2动作，以取得输入图像。运算处理模块具备运动度取得模块、检测区域设定模块、颜色取得模块、评价得分计算模块、运动物体检测模块、似然度计算模块以及运动物体跟踪模块。通过执行主模块、输入模块以及运算处理模块来实现的功能与上述手跟踪装置4的图像输入部10、运动度取得部11、检测区域设定部12、颜色取得部13、评价得分计算部14、手检测部15、似然度计算部16以及手跟踪部17的功能分别相同。

例如，可由ROM等存储介质或半导体存储器来提供手跟踪程序。另外，手跟踪程序也可以作为数据信号经由网络来提供。

以上，根据第3实施方式的手跟踪装置4，利用运动度取得部11来取得图像帧间的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色，利用评价得分计算部14根据运动度按颜色来计算表示颜色的运动程度的评价得分，利用手检测部15根据每一颜色的评价得分来确定手的颜色，利用似然度计算部16根据与所确定的手的颜色的颜色类似度按颜色来计算似然度，利用手跟踪部17根据每一颜色的似然度以及图像帧作成将像素的似然度作为像素值的似然度图像来跟踪手。这样，通过评价颜色的运动程度来检测手。并且，根据所检测的手的颜色来跟踪手。因此，与第1实施方式相同，不用事先设定与手或背景相关的信息就能够检测并跟踪手。即，因为不需要预先设定特定颜色作为背景颜色或者手的颜色，所以能够与颜色分布灵活对应，并且即使在变更照明、变更场所或者变更服装的情况下也始终能够检测手的代表颜色。例如，还可以检测并跟踪戴手套的手。因此，相对于环境变化能够非常稳定地进行手的检测。另外，即使在相同帧中存在手以外的具有同样色彩的静止物体，也可以在同样的色彩以外将手所使用的颜色作为代表颜色，所以能够准确地检测进行动作的手。另外，如现有装置那样，在事先设定手的颜色来检测手的情况下，需要背景与手所差的颜色大到某种程度。与此不同，在本实施方式的手检测装置1中，如果直方图的区间(层级)不同，则即使在背景与手所差的颜色小的情况下原理上也能够检测并跟踪。另外，因为不用分离手和背景就能够利用颜色信息来检测并跟踪进行动作的手，所以不需要为了背景分离而设定阈值等的处理。另外，因为利用颜色信息以及运动程度来检测并跟踪手，所以检测精度不依赖于运动的连续性及正确性。因此，还可以适当检测并跟踪快速动作的手。

另外，根据第3实施方式的手跟踪装置4，可根据第1实施方式的手检测装置1检测出的运动物体的颜色或第2实施方式的物体检测装置3检测出的区域内的颜色来跟踪运动物体。

另外，根据第3实施方式的手跟踪装置4，利用评价得分计算部14，按每一颜色来计算对运动度是规定值以上的像素数进行累积的前景像素数以及对运动度不是规定值以上的像素数进行累积的背景像素数，利用似然度计算部16针对前景像素数小于背景像素数的颜色减小似然度。因此，可避免在与手的颜色接近的颜色中将运动少的背景等作为手进行跟踪。

另外，根据第3实施方式的手跟踪装置4，在将上次手的位置作为基准的像素的相对位置矢量与像素的运动矢量的内积为负的情况下，利用手跟踪部17减小该像素中的似然度。因此，可避免在与手的颜色接近的颜色中将运动不同的背景等作为手进行跟踪。

另外，根据第3实施方式的手跟踪装置4，利用手跟踪部17使跟踪矩形以似然度图像的跟踪矩形内的像素值的分布重心为跟踪矩形的中心的方式进行移动，由此来跟踪手。因此，可利用简易的结构来适当跟踪手。

另外，根据第3实施方式的手跟踪装置4，利用手跟踪部17根据上次输入的图像帧的似然度图像以及跟踪矩形来作成背景似然度图像，并采用图像帧的似然度图像与背景似然度图像的差分图像来跟踪手。因此，可避免将与手的颜色接近的颜色的背景等作为手进行跟踪。

此外，根据本实施方式的手跟踪方法(运动物体跟踪方法)以及手跟踪程序，得到与上述手跟踪装置4同样的效果。

此外，上述实施方式示出本发明的运动物体检测装置以及运动物体跟踪装置、它们的方法以及程序的一例，但不仅限于实施方式的装置、方法以及程序，还可以进行变形，或者应用于其它方式。

例如，在上述实施方式中说明了图像输入部10从照相机20输入图像的例子，但也可以是从其它设备经由网络发送的图像。

另外，在上述各个实施方式中说明了手检测装置1具有检测区域设定部12例子，但也可以根据需要而具备检测区域设定部12。

符号说明

1...运动物体检测装置，3...手跟踪装置，10...图像输入部，11...运动度取得部，12...检测区域设定部，13...颜色取得部，14...评价得分计算部，15...手检测部(运动物体检测部)，16...似然度计算部(运动物体跟踪部)，17...手跟踪部(运动物体跟踪部)。

Claims (16)

1.一种运动物体检测装置，采用图像来检测运动物体，其特征在于，具备：

运动度取得部，其取得图像帧之间的像素的运动度；

颜色取得部，其取得上述图像帧所包含的像素的颜色；

评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及

运动物体检测部，其根据每一颜色的上述评价得分来检测上述运动物体。

2.根据权利要求1所述的运动物体检测装置，其中，

上述评价得分计算部按颜色来累积上述图像帧内的像素数以及该像素的运动度，并根据上述图像帧内的累积像素数以及累积运动度来计算该颜色的上述评价得分。

3.根据权利要求2所述的运动物体检测装置，其中，

上述评价得分计算部按颜色来累积像素的位置信息，

上述运动物体检测部根据每一颜色的上述累积像素数以及累积位置信息来确定上述运动物体的位置。

4.一种运动物体检测方法，采用图像来检测运动物体，该运动物体检测方法的特征在于，具有以下的步骤：

取得步骤，取得第1图像帧与上述第1图像帧之后输入的第2图像帧之间的像素的运动度以及上述第2图像帧所包含的像素的颜色；

评价得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及

运动物体检测步骤，根据每一颜色的上述评价得分来检测在上述第2图像帧内描绘出的上述运动物体。

5.一种运动物体检测程序，使计算机发挥功能以采用图像来检测运动物体，其特征在于，该运动物体检测程序使计算机作为如下部件发挥功能：

运动度取得部，其取得图像帧之间的像素的运动度；

颜色取得部，其取得上述图像帧所包含的像素的颜色；

评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；以及

运动物体检测部，其根据每一颜色的上述评价得分来检测上述运动物体。

6.一种运动物体跟踪装置，采用图像来跟踪运动物体，该运动物体跟踪装置的特征在于，具备：

运动度取得部，其取得图像帧之间的像素的运动度；

颜色取得部，其取得上述图像帧所包含的像素的颜色；

评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；

运动物体检测部，其根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及

运动物体跟踪部，其跟踪所检测的上述运动物体。

7.根据权利要求6所述的运动物体跟踪装置，其中，

上述运动度取得部将上述图像帧分割为规定的块，并根据块单位的运动来计算上述图像帧整体的运动，从上述图像帧所包含的像素的运动减去上述图像帧整体的运动来计算运动度。

8.根据权利要求6或7所述的运动物体跟踪装置，其中，

上述运动物体跟踪部根据上述运动物体检测部所检测出的上述运动物体的颜色来跟踪上述运动物体。

9.根据权利要求8所述的运动物体跟踪装置，其特征在于，

上述运动物体跟踪部根据上述评价得分来确定上述运动物体的代表颜色，并根据所确定的代表颜色来跟踪上述运动物体。

10.根据权利要求9所述的运动物体跟踪装置，其中，

上述运动物体跟踪部根据与上述运动物体的代表颜色的颜色类似度按颜色来计算似然度，并作成将像素的似然度作为像素值的第2似然度图像来跟踪上述运动物体。

11.根据权利要求10所述的运动物体跟踪装置，其中，

上述评价得分计算部按颜色计算对运动度是规定值以上的像素数进行累积而得到的前景像素数以及对运动度不是规定值以上的像素数进行累积而得到的背景像素数，

上述运动物体跟踪部针对上述前景像素数小于上述背景像素数的颜色减小似然度。

12.根据权利要求10或11所述的运动物体跟踪装置，其中，

上述运动物体跟踪部在将上次运动物体的位置作为基准的像素的相对位置矢量与像素的运动矢量的内积为负的情况下，减小该像素中的似然度。

13.根据权利要求10～12中任意一项所述的运动物体跟踪装置，其中，

上述运动物体跟踪部将小于上述第2似然度图像的区域作为跟踪矩形，并使该跟踪矩形移动，使得上述第2似然度图像的上述跟踪矩形内的像素值的分布重心为上述跟踪矩形的中心，由此来跟踪上述运动物体。

14.根据权利要求10～13中任意一项所述的运动物体跟踪装置，其中，

上述运动物体跟踪部采用背景似然度图像与上述图像帧的上述第2似然度图像的差分图像来跟踪上述运动物体，上述背景似然度图像根据上次输入的上述图像帧的上述第2似然度图像以及上述跟踪矩形而作成。

15.一种运动物体跟踪方法，采用图像来跟踪运动物体，其特征在于，具有以下的步骤：

取得步骤，取得图像帧间的像素的运动度以及上述图像帧所包含的像素的颜色；

评价得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；

运动物体检测步骤，根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及

运动物体跟踪步骤，跟踪所检测到的上述运动物体。

16.一种运动物体跟踪程序，使计算机发挥功能以采用图像来检测运动物体，其特征在于，该运动物体跟踪程序使计算机作为以下部件发挥功能：

运动度取得部，其取得图像帧之间的像素的运动度；

颜色取得部，其取得上述图像帧所包含的像素的颜色；

评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；

运动物体检测部，其根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以及

运动物体跟踪部，其跟踪所检测出的上述运动物体。

Images