CN1860501A - 特定部分姿势推测装置、特定部分姿势推测方法及特定部分姿势推测程序 - Google Patents

Abstract

不影响输入图像的亮度，且即便利用计算能力低的小规模硬件，也能在短时间内检测姿势。具备：匹配图像生成部3，以基于规定座标范围内的图像值的设定阈值对抽取了特定部分的输入图像的各像素进行二值化，并进一步指定大小是设定范围内的单元而得到二值图像；和图案匹配部4，对照该指定得到的二值图像和规定的模板，检测姿势。

Description

特定部分姿势推测装置、特定部分姿势推测方法 及特定部分姿势推测程序

技术领域

本发明涉及一种姿势推测装置，无论是利用由便携电话或电子手册等识别能力低的硬件得到的图像，还是利用安装在这样的装置中的简易的图像处理电路，都可容易地在短时间内推测姿势。

背景技术

例如，在监视汽车等驾驶的情况下，或者在认证进入房间状况或特定人物等情况下，包含姿势在内地抽取人脸的信息，在进行图像处理后将其用于监视或认证。在进行这样的监视或认证中，在执行后面的图像处理之前，首先必需检测姿势，或将姿势检测当成重要的事情。

这样的情况下，以往有在例如专利文献(特开平7-200774号公报)所示的图14中示出了其结构的姿势抽取用图像处理装置。在图中，图像处理装置21包括如下结构：肤色抽取单元22，从输入图像中抽取肤色；二值化单元23，用于从其结果中抽取成为眼睛或嘴之候选的区域；和眼睛·嘴区域检测追踪单元24，根据二值化单元的结果来检测眼睛及嘴的区域，并根据活动图像来追踪这些区域。

下面说明操作。

首先，为了从动态图像中特定出脸部区域，使用3维彩色直方图等，通过肤色抽取单元22检测肤色像素，在二值化单元23上按肤色像素和除此之外的像素来进行二值化处理。接着，由眼睛·嘴区域检测追踪单元24抽取肤色区域内的孔区域，设定为眼睛及嘴的候选区域。基于对例如眼睛相对于脸区域的位置、嘴相对于脸区域的位置的启示，从抽取的候选区域中检测眼睛及嘴位置。最后，根据检测出的眼睛及嘴的位置抽取头部的姿势信息。

以往的姿势抽取装置如上所述被构成，由于对拍摄了对象的图像进行肤色抽取及区域检测、追踪后，最终进行姿势检测，因此存在如下课题：即首先由摄像机拍摄的图像在拍摄场所变化时，不一定包含照明，也未必得到优质的画质，从而难以良好地检测肤色。并且，由于包含有区域检测，因此处理量大，需要大规模的电路，所以存在利用安装于便携电话中的小规模硬件进行处理时花费时间的课题。

本发明是为解决上述课题而提出的，不受由摄像机等拍摄的输入图像的画质的影响，且即便利用计算能力低的小规模硬件，也可在短时间内抽取姿势。

发明内容

关于本发明的特定部分姿势推测装置具备：

匹配图像生成部，以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素，进而指定大小在设定范围内的单元而得到二值图像；和

图案匹配部，对照上述指定得到的二值图像和规定的模板以检测姿势。

另外，其特征在于：匹配图像生成部将输入的图像变换成灰度图像，以目标像素为座标中心，以规定范围内的像素的亮度平均值或中央值为阈值，对该灰度图像的亮度进行二值化。

另外，其特征在于：图案匹配部利用多个特定输入图像预先生成匹配图像，以该生成的二值图像作为模板的要素。

另外，其特征在于：图案匹配部通过进行像素的逻辑与而得到与模板的各要素的对照。

另外，其特征在于：图案匹配部根据由匹配图像生成部得到的二值图像而求出具有特定值的像素，并根据这些像素在图像中的分布状态来推测作为检测对象的特定部分的倾斜。

关于本发明的特定部分姿势推测方法其特征在于，具备：

以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素；

从通过上述二值化而得到的二值图像中删除设定范围外的部分后，并作为设定范围内的图像单元赋予标注；和

对照由在上述删除之后赋予了标注的单元组构成的二值图像和规定模板中的图像的亮度。

另外，其特征在于：二值化是先将输入图像变换成灰度图像，以目标像素为座标中心，选择规定范围内的像素的亮度平均值和图像中央值中的一个值作为二值化阈值，对该变换后的灰度图像的亮度进行二值化的操作。

另外，其特征在于：对照是通过对二值图像和模板图像的、与座标值相对应的各像素的亮度进行逻辑与而得到对照值的操作。

本发明的特定部分姿势推测程序可由计算机读取后执行，其特征在于，该程序执行以下功能：

以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素；

从通过上述二值化而得到的二值图像中删除设定范围以外的部分后，作为设定范围内的图像单元而赋予标注；

对照由在上述删除之后赋予了标注的单元组构成的二值图像和规定模板中的图像的亮度。

附图说明

图1是表示本发明实施方式1中特定部分姿势推测装置的结构图。

图2是表示实施方式1中特定部分姿势推测装置的动作的流程图。

图3是表示实施方式1中匹配图像生成部执行的二值化动作的流程图。

图4是表示实施方式1中二值图像生成部的硬件内部结构图。

图5是说明实施方式1中得到设定阈值的范围的图。

图6是说明实施方式1中设定阈值的得到方法的图。

图7是说明实施方式1中匹配图像生成部执行的二值化动作的图。

图8是实施方式1中匹配部执行的匹配动作的流程图。

图9是说明实施方式1中图案匹配部执行的匹配动作的图。

图10是表示实施方式1中另一特定部分姿势推测装置的结构图。

图11是说明实施方式1中另一图案匹配部执行的模板形成动作的图。

图12是表示实施方式2中特定部分姿势推测装置的结构图。

图13是说明实施方式2中基于图案匹配部执行的像素分布的姿势抽取图。

图14是表示用于现有图像处理装置执行的姿势抽取的结构图。

具体实施方式

(实施方式1)

图1是表示本发明的本实施方式中的特定部分姿势推测装置的结构图。在图中，特定部分姿势推测装置1包括：视频捕获部2，用于捕获由摄像机等拍摄的视频信号；匹配图像生成部3，对捕获的视频实施滤波处理，生成用于与后述的姿势图案进行对照的图像；图案匹配部4，对照由匹配图像生成部3生成的图像、和预先存储的姿势图案，求出头部等的部分姿势。另外，内部包括：色度空间变换部5，用于将由视频捕获部2捕获的彩色图像变换成灰度图像；二值图像生成部6，用于将变换后的灰度图像变换成二值图像；单元候选抽取部7，通过从由二值图像生成部6进行二值化所得到的图像开始综合相邻像素来求出区域，仅抽取可成为眼睛或嘴的候选区域；匹配部8，用于对照由匹配图像生成部3生成的匹配图像和预先存储的姿势图案图像；和匹配图案DB9，用于存储匹配部8使用的图案。

下面，用图2-图9说明本发明的特定部分姿势推测装置的动作。

图2是用于说明该动作的流程图。另外，图3是用于说明二值图像生成部6的动作的流程图。另外，图4中虽然其他要素都相同，但是是表示二值图像生成部6的硬件内部结构的图。并且，图5和图6是用于说明由匹配图像生成部3执行的处理的流程图。图7是用于说明由图案匹配部4执行的对照处理的图。图8是表示由图案匹配部4执行的对照处理的动作的流程图。图9是用于说明图案匹配部4的动作的图。

如图4所示，二值图像生成部6由处理器61、存储器62、输入输出接口64、和执行图3所示动作的二值化程序63构成。处理器61首先将对经由输入输出接口64得到的捕获图像进行灰度化后得到的灰度图像读入存储器62中。然后，对读入的灰度图像，根据二值化程序63中所写的步骤，如后说明的那样，在图2的S1～3中，对应亮度进行二值化处理。

首先，由视频捕获部2捕获视频信号(步骤S1-1)，利用色度空间变换部5将捕获的彩色图像变换成灰度图像(步骤S1-2)。

使用例如下面的(式1)来执行从彩色图像向灰度图像的变换。

G(x，y)＝0.123*R(x，y)+0.7151*G(x，y)+0.0721*B(x，y)

                                              (式1)

这里，G(x，y)是座标值(x，y)的亮度值，R、G、B(x，y)是座标值(x，y)下彩色图像的像素值。从彩色图像变换成灰度图像时的系数值也可用除上述之外的值。

另外，对色度空间变换部5中的彩色/灰度变换，也可在使用下面的(式2)标准化RGB值以后，再使用上述的(式1)来进行变换。

r(x，y)＝R(x，y)/(R(x，y)+G(x，y)+B(x，y))

g(x，y)＝G(x，y)/(R(x，y)+G(x，y)+B(x，y))          (式2)

b(x，y)＝B(x，y)/(R(x，y)+G(x，y)+B(x，y))

接着，在二值图像生成部6中针对亮度对灰度图像进行二值化(步骤S1-3)。这时，通过执行图3所示的处理，适应于输入的图像地生成二值图像。成为此时的二值化标准的阈值是设定图5所示的规定范围的窗口座标31，针对该座标范围内的全部像素、图5情况下为25个像素求出的亮度平均值或中央值。执行图6所示的处理，并且将成为目标的像素32的亮度与阈值进行比较。

这样，通过扫描输入图像，对全部像素重复执行从步骤S2-1至步骤S2-8的处理来进行图像的二值化处理。

即，将由此进行判定的像素的像素亮度等级值比预先设定的阈值低的像素的像素值，设定为1(步骤S2-2、步骤S2-7)。如果目标像素的像素亮度等级值比阈值大时，设定以关注像素为中心的、大小为K×K(如上述图5的情况设K＝5)的块(步骤S2-3)。接着，求出设定的块内的亮度平均值(步骤S2-4)。然后，判定关注像素的像素值是否满足下面(式3)的条件(步骤S2-5)。

像素的亮度等级＞平均值-C                  (式3)

这里，C是预先设定的规定值。

如果满足(式3)的条件，则设定像素值为0(步骤S2-6)。否则，将像素值设定为1(步骤S2-7)。

如上所述，由于对应于周围像素的状态来执行二值化处理，所以即便对于例如因摄像机的画质恶化而造成对比度低的像素而言，也挤进了规定座标范围，从而可适当地根据该范围内的例如平均值来执行二值化处理。

在步骤S2-4中求出了平均值，但也可用下面(式4)的条件求出例如块内的重新排列像素值时的中央值。

像素值＞中央值-C                 (式4)

另外，也可以在实施直方图平均化法等对比度强调处理之后，利用固定阈值来执行二值化。

若通过以上的处理，将视频捕获部2捕获的彩色图像变换成灰度图像，则变成图7中10那样，若二值化该图像，则变成图7的11那样。

接着，在单元候选抽取部7中，观察二值图像11是否上下左右倾斜地连接有4个或连接有8个相同二值图像，综合关连且有意义的相邻像素来求出区域，并将其作为各个区域，如图7的11-a、11-b等那样进行标注(S1-4)。并且，在各个区域(11-a等)中仅抽取区域的外切矩形大小在预先设定的范围内的区域(步骤S1-5)。即对于图7的区域11-a而言，是除去推测目标以外的大小的区域。

这里，在考虑利用便携电话或电子记事薄中的TV电话功能的情况下，由于用户将自己的脸放在画面视角中且放大拍摄，所以可预先预测眼睛的大小或嘴的大小为何种程度。因此，上述的阈值处理是有效的。

这样一来，在步骤S1-5中抽取的结果变成图7的12那样。

使用上述求出的匹配图像13，由图案匹配部4推测头部姿势(步骤S1-6)。

按照图8中的、图案匹配部4执行的流程图来说明动作。该图案匹配部4的硬件结构也与图4的结构相同，但具有替代二值化程序63来执行图8的动作的匹配程序。

这里，在匹配图案DB9中存储有图9中14所示的模板。如前所述，在便携电话或电子记事薄中利用TV电话功能等时拍摄人物的脸的情况中，由于可预先假定画面视角，所以可预先预测对应脸朝向的眼睛及嘴区域的状态。在匹配图案DB9中，存储有假定的头部姿势中眼睛及嘴区域的二值脸型(mask)图像。

在S3-1中，经由输入输出接口将二值化后的图9的匹配图像13的P读入到存储器中。另外，在S3-2中，从匹配图案DB9的模板14中读入作为标准的第1个脸型图像T1。而且，在S3-3中，在所读入的捕获图像P和脸型图像T1的、y＝0～B、x＝0～A的区域中，按各座标值(x，y)对P(x，y)的二值化值和T1(x，y)的二值化值进行逻辑运算。然后，从座标(0，0)至(A，B)使其逻辑与相加。在S-4中，重复步骤S3-2、S3-3直到在模板14中没有尚未试验的脸型图像为止。在S3-4中，若完成全部脸型图像的逻辑与相加，则在S3-5中，选择在步骤S3-4中表示最大相加值的脸型图像，在本例中选择图像15。

即，通过计算匹配图像13和模板的各脸型图像的逻辑与，然后将作为该结果而得到的图像的像素1(匹配的图像)的数量计算相加，选择数量最多的图像，可得到对照结果15。这样，通过进行二值化处理，图案匹配的检测即便不是模拟比较也可以非常简单地执行。

如上所述，虽然只推测存储于匹配图案DB中的图案的数量的姿势信息，但由于处理非常简单，即便在计算能力低的硬件中也可充分实时处理。

在图1的结构中，在匹配图案DB中存储的是规定的图案，但也可使用最先从摄像机取得的图像，生成用户个人的模板图像。

图10是根据视频捕获部2的输出生成匹配图案时的特定部分姿势抽取结构图。在图中，设置用于根据拍摄的图像生成姿势图案的模板图像的匹配图案生成部16。

下面，用图11说明动作。图11是表示对由视频捕获部2以通常姿势拍摄的图像进行二值化之后，以该图像为基准，生成模板图像的结果图。

这里，把视频捕获部2最先捕获的图像视为通常的姿势(正面朝向照相机的姿势)，或者，委托用户以通常的姿势拍摄，取得通常姿势的图像。

对由匹配图像生成部3将如上述那样取得之图像进行二值化所得的图像17，在匹配模板生成部16中使用仿射变换，生成例如左右歪头的图像、左右摇头的图像、上下点头的图像。

仿射变换可用下式中示出的矩阵来表现。

$\left(\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ 0& 0& 0& 1\end{array}\right)$ (式5)

通过对应于各种姿势准备(式5)中示出的仿射变换矩阵，以下面的(式6)来变换二值图像17的像素值为1的座标，并使变换后的座标中除像素值1之外的都设为像素值0，可生成对应图11的18中示出的各姿势的图像。

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ 0& 0& 0& 1\end{array}\right)\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]$ (式6)

另外，在(式6)中，设原来的座标为X，Y，变换后的座标为x，y。另外，设二值图像17为平面。

如上所述，在生成匹配图案18之后，可在执行与图1的结构相同的处理后推测出姿势。

另外，虽然费事，但也可请用户采取例如图11的18中示出的各种姿势，并二值化该姿势。若这样，则可不用仿射变换而生成模板。

如上所述，通过构成短时间或实时头部姿势推测装置，而生成适合用户脸的特征的模板，所以具有可提高匹配精度的效果。

另外，即使在后面的实施方式中，也只是对将头部或脸的作为特定部分来推测姿势进行了说明，但作为特定部分不限于此，也可是手、腕、足或上半身等其他部分。

实施方式2

在上述的实施方式1中，通过对照匹配图案和匹配图像来推测头部姿势，这里说明变更匹配单元以根据匹配图像中像素值为1的像素的分布来推测头部姿势时的情况。

图12是表示本实施方式中的特定部分姿势推测装置的结构图。在图中，设置像素分布测量部19，该像素分布测量部求出匹配图像的像素分布，根据其分布的状态来推测头部姿势。

下面用图13来说明动作。图13表示依据像素分布来推测头部姿势用的示意图。

匹配图像中像素值为1的像素多分布于示意图20的某个区域，计数进入各区域的像素数，将与该计数数值大的区域相对应的头部姿势当作推测结果。

这样，如果使用像素分布，则可更简化处理，因此，即便利用计算能力低的硬件，也具有可进一步缩短处理的效果。

在上述实施方式中，说明特定部分姿势推测装置由硬件构成，但如图4所示，在实际中可构成为准备程序、由处理器执行该程序的结构。另外，也可构成为由表示图2、图3、图8的流程的步骤构成的方法。

产业上的可利用性

如上所述，根据本发明，由于具备：基于规定范围内的平均图像，二值化输入图像后特定单元的匹配图像生成部；和对照该得到的二值图像和规定的模板来检测姿势的图案匹配部，所以具有可抑制规模、容易地推测部分姿势的效果。

Claims (9)

1、一种特定部分姿势推测装置，其特征在于，具备：

匹配图像生成部，以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素，进而指定大小在设定范围内的单元而得到二值图像；和

图案匹配部，对照上述指定得到的二值图像和规定的模板以检测姿势。

2、根据权利要求1所述的特定部分姿势推测装置，其特征在于：

匹配图像生成部将输入的图像变换成灰度图像，以目标像素为座标中心，以规定范围内的像素的亮度平均值或中央值为阈值，对该灰度图像的亮度进行二值化。

3、根据权利要求1所述的特定部分姿势推测装置，其特征在于：

图案匹配部利用多个特定输入图像预先生成匹配图像，以该生成的二值图像作为模板的要素。

4、根据权利要求1所述的特定部分姿势推测装置，其特征在于：

图案匹配部通过进行像素的逻辑与而得到与模板的各要素的对照。

5、根据权利要求1所述的特定部分姿势推测装置，其特征在于：

图案匹配部根据由匹配图像生成部得到的二值图像而求出具有特定值的像素，并根据这些像素在图像中的分布状态来推测作为检测对象的特定部分的倾斜。

6、一种特定部分姿势推测方法，其特征在于：

以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素；

从通过上述二值化而得到的二值图像中删除设定范围外的部分后，并作为设定范围内的图像单元赋予标注；和

对照由在上述删除之后赋予了标注的单元组构成的二值图像和规定模板中的图像的亮度。

7、根据权利要求6所述的特定部分姿势推测方法，其特征在于：

二值化是先将输入图像变换成灰度图像，以目标像素为座标中心，选择规定范围内的像素的亮度平均值和图像中央值中的一个值作为二值化阈值，对该变换后的灰度图像的亮度进行二值化的操作。

8、根据权利要求6所述的特定部分姿势推测方法，其特征在于：

对照是通过对二值图像和模板图像的、与座标值相对应的各像素的亮度进行逻辑与而得到对照值的操作。

9、一种计算机可读取的特定部分姿势推测程序，其特征在于，该程序执行以下功能：

以基于规定座标范围内的图像值的设定阈值来二值化抽取了特定部分的输入图像的各像素；

从通过上述二值化而得到的二值图像中删除设定范围以外的部分后，作为设定范围内的图像单元而赋予标注；

对照由在上述删除之后赋予了标注的单元组构成的二值图像和规定模板中的图像的亮度。

Images