CN103677251A - 姿势识别装置及其控制方法、显示器 - Google Patents

Abstract

提供一种能够使用户规定识别区域的姿势识别装置及其控制方法、显示器（显示设备）。识别区域规定单元基于用户姿势的种类，规定出识别区域，该识别区域是视频图像的整个区域中用于识别姿势的区域。

Description

姿势识别装置及其控制方法、显示器

技术领域

本发明涉及一种从用户的动作中识别出姿势的姿势识别装置及其控制方法、显示器（显示设备）。

背景技术

近年来，出现了在电视显像器、个人计算机或平板电脑终端等显示装置上组装了姿势识别装置的显示器，该姿势识别装置用于识别由操作者操作的识别对象的姿势。就这种显示器而言，人们希望能够使用如下的姿势识别装置，即：操作者无需穿戴数据手套等特殊用具，另外，利用操作者的手或手指等进行姿势识别，以使操作者能够自然而顺畅地实施对该显示器的操作。

此处，利用图6，对现有的姿势识别装置的姿势识别的流程进行说明。如图6所示，在现有的姿势识别中，首先确定/决定操作者。即，姿势识别装置判断是否将已识别的多个人中的某一人作为操作者，或者，判断已识别的人是否包含在事先登记的操作者名单中。其次，操作者向姿势识别装置传递表示开始做姿势的信息。具体而言，如果操作者进行例如举手等表示开始的开始动作，姿势识别装置就会识别出利用摄像头等拍摄部拍摄到的上述开始动作，从而变为对识别对象（例如操作者的手、指示棒等）进行姿势识别的状态。姿势识别装置在识别出上述开始动作之后，再对操作者的利用识别对象做出的姿势进行识别。

然而，在姿势识别装置中，在执行对识别对象的姿势识别时，出于降低处理负荷等的目的，不在拍摄部拍摄得到的图像的整体区域内进行姿势识别，而是设定图像的一部分区域为识别区域，在该识别区域内进行姿势识别。

例如，在专利文献1中公开了一种姿势识别装置，其从视频图像数据中提取出肤色区域，进一步针对提取出的肤色区域，使用面部形状的模板来计算出面部区域，在该姿势识别装置中，使用计算出的面部区域的横向宽度、纵向长度、面积等来限定能够做出姿势的范围，并且仅在该限定区域内进行姿势识别。

另外，在专利文献2中公开了如下的信息综合识别装置：利用立体摄像机来拍摄用户，由此将室内空间的用户位置设定为三维形式，基于从上述立体摄像机获得的用户的距离信息（x、y、z），提取用户的头部或手等成为识别对象的区域。另外，在该文献中，还公开了如下内容：在提取成为上述识别对象的区域时，在各摄像头的拍摄范围内，针对从地面上突起且在室内不处于固定状态的对象，以64×64像素大小从高处依次提取，并将提取的对象作为上述识别对象。

现有技术文献

专利文献

专利文献1：日本特开2003－216955号公报（2003年7月31日公开）

专利文献2：国际WO2003/025859号公报（2003年3月27日公开）

发明要解决的问题

然而，当用户使用自身的手作为识别对象来做姿势时，每个用户所适合的识别区域范围及位置都不同。例如，用户为大人时，较大的识别区域比较适合，另一方面，当用户为小孩时，较小的识别区域比较适合。另外，每个用户的手臂的长度也各不相同，因此，与用户面部位置对应的识别区域的位置也因每个用户而各不相同。

然而，根据专利文献1及专利文献2中公开的技术，成为识别对象的区域是由姿势识别装置或信息综合识别装置来确定的。即，用户无法设定适合自己的识别区域，无法根据情况对识别区域进行修正。因此，存在用户无法舒适自由地做姿势的问题。

发明内容

本发明鉴于上述课题，其目的在于提供一种能够由用户来规定识别区域的姿势识别装置。

解决问题的手段

为解决上述问题，本发明提供一种姿势识别装置，用于从拍摄用户而得的视频中识别该用户的姿势，其特征在于，具有：判断单元，其用于判断上述姿势的种类；识别区域规定单元，其基于由上述判断单元判断出的姿势种类，规定出识别区域，该识别区域是指，在视频图像的整个区域中用于识别姿势的区域。

另外，为解决上述问题，本发明提供一种姿势识别装置的控制方法，该姿势识别装置从拍摄用户而得的视频中识别该用户的姿势，其特征在于，在判断出上述姿势的种类之后，基于判断出的姿势种类，在视频图像的整个区域中规定出作为识别姿势的区域的识别区域。

根据上述结构，基于用户执行的姿势的种类的判断结果，规定出识别区域。即，用户通过做姿势来规定识别区域。此外，上述姿势的种类也可以根据用户为做姿势而使用的识别对象的形状、朝向及/或位移来规定。由此，用户能够通过姿势，以期望的位置及大小来设定识别区域。另外，用户能够通过使用识别对象做出形状、朝向及/或位移相互不同的姿势，来修正识别区域。这样，用户自己就可以规定识别区域，因此用户能够舒适自由地做姿势。

另外，本发明的姿势识别装置也可以进一步具有存储部，该存储部用于存储有手形表，该手形表含有利用上述用户的手来做姿势时的规定手形；上述判断单元通过参照上述手形表来检测上述规定手形。

根据上述结构，使用手形表来判断用户用手来做出的姿势的种类。而且，基于该判断结果来规定识别区域。用户能够利用由手的形状、朝向及/或位移规定的姿势，以期望的位置及大小来设定识别区域。另外，能够通过做出改变了手的形状、朝向及/或位移之后的姿势，来修正识别区域。

另外，本发明的姿势识别装置也可以进一步具有动作检测单元，在上述判断单元检测出上述规定手形的情况下，该动作检测单元对上述用户挥动已摆出上述规定手形的手的范围进行检测；上述识别区域规定单元基于由上述动作检测单元检测出的上述手的挥动范围，来规定上述识别区域。

根据上述结构，通过用户做出挥手的动作，并基于挥手范围，来设定识别区域。从而，用户能够通过挥手这样的简单动作，来自己设定识别区域。进一步，通过调整挥手范围，用户自己就能够调整识别区域的大小及/或位置。由此，用户能够在以期望的位置及期望的大小设定的识别区域内做出姿势。

另外，本发明的姿势识别装置也可以进一步具有动作范围监视单元，在上述判断单元检测出上述规定手形的情况下，该动作范围监视单元在上述用户使用已摆出上述规定手形的手来做姿势的期间内，对上述手的特定部位的动作进行监视，由此来监视上述特定部位是否越出上述识别区域；当上述动作范围监视单元检测出上述手的上述特定部位已越出上述识别区域时，上述识别区域规定单元以规定比例对上述识别区域进行扩大修正。

根据上述结构，可以在用户使用自身的手来做姿势的期间，监视手的特定部位是否越出识别区域。而且，在手的上述特定部位越出识别区域的情况下，以扩大上述识别区域的方式进行修正。此外，操作者的手的上述特定部位例如是指，仅伸直食指的手的食指顶端。

另外，当用户做姿势的时候，用户无法看到事先定义好的识别区域。因此，在用户使用手来做姿势的期间，有时手会越出识别区域。另外，当事先规定的识别区域对用户而言大小并不恰当或位置并不恰当时，用户无法舒适自由地操作。然而，根据上述结构，当用户做姿势的手的特定部位越出识别区域时，将识别区域以规定比例进行扩大。因此，即使在事先规定识别区域过窄或者位置过远/过近的情况下，用户也无需在意做姿势的手是否越出识别区域，因此能够舒适自由地做姿势。

另外，本发明的姿势识别装置也可以是如下结构：上述存储部中还存储有识别区域修正表，该识别区域修正表将上述手的朝向及位移中的至少一方与上述识别区域的修正内容相对应关联；进一步具有动作检测单元，在上述判断单元检测出上述规定手形的情况下，该动作检测单元通过参照上述识别区域修正表，来检测与上述手的朝向及位移中的至少一方相对应的上述识别区域的修正内容；上述识别区域规定单元以上述修正内容来对上述识别区域进行修正。

根据上述结构，在检测出用于修正识别区域的修正动作的情况下，以与检测出的修正动作相对应的修正内容，来对上述识别区域进行修正。因此，当用户根据情况或喜好欲对识别区域进行修正时，做出与期望的修正内容相对应的修正动作。这样，就会检测出用户所做出的修正动作，从而修正识别区域。在此，识别区域的上述修正内容例如是指识别区域的大小或位置。因此，根据上述结构，在认为当前识别区域不够恰当时，用户通过做出修正动作，来自己修正识别区域的大小或位置。

另外，本发明的姿势识别装置也可以进一步具有设备控制单元，其用于指示外部设备，以使外部设备执行与姿势识别结果相应的处理。

根据上述结构，在外部设备中执行与上述姿势的识别结果相对应的处理。上述外部的设备例如是指具有显示装置的显示器。由此，用户能够通过做出姿势来操作上述显示器等外部设备。

此外，上述姿势识别装置可以用计算机来实现，此时，以如下方式形成的姿势识别装置的控制程序也在本发明的范围内，即：将计算机作为上述各单元来进行工作，从而以计算机形式实现上述姿势识别装置。

另外，以如下方式形成的显示器（显示设备）也在本发明范围内，即：该显示器具有上述姿势识别装置和显示装置，该显示装置向用户显示上述姿势识别装置所保存的各种信息，并且，该显示器通过上述姿势识别装置来进行动作控制。

发明的效果

如上所述，本发明的姿势识别装置具有：判断单元，其用于判断姿势的种类；识别区域规定单元，基于由上述判断单元判断出的姿势种类，规定出识别区域，该识别区域是视频图像整体区域中用于识别姿势的区域。

另外，在本发明的另一姿势识别装置中，在判断出姿势的种类之后，基于判断出的姿势种类，在视频图像整体区域中规定作为识别姿势的区域的识别区域。

由此，能够提供能够使用户规定识别区域的姿势识别装置。

附图说明

图1是表示本发明一实施方式的姿势识别装置的结构的框图。

图2的（a）部分是表示挥手的开始动作的示意图，（b）部分表示对在（a）部分中由Ｚ表示的视频图像区域中拍摄操作者挥手动作而得的视频图像的差分进行累积的累积值。

图3是表示使用手指来做姿势的操作者的示意图。

图4是表示图1姿势识别装置的动作的流程图。

图5是表示使用了图1姿势识别装置的显示器的外观的图。

图6是用于说明一般的姿势识别流程的说明图。

其中，附图标记说明如下：

1    姿势识别装置

2    显示装置

1000 显示器

13   存储部

121  形状识别单元（判断单元）

122  动作范围监视单元

124  识别区域规定单元

具体实施方式

以下，对本发明的实施方式进行详细说明。此外，在以下说明中，“右”或“左”是指从目视视频图像的人所看到的方向。

〔第一实施方式〕

基于图1～图4，对本发明姿势识别装置1的实施方式进行如下说明。

（姿势识别装置1的结构）

首先，使用图1对姿势识别装置1的结构进行说明。该图为表示姿势识别装置1的结构的框图。

如图1所示，姿势识别装置1具有视频拍摄部11、控制单元12及存储部13。以下，对上述各构件分别进行详细说明。

（1.视频拍摄部11）

视频拍摄部11是用于拍摄出含有操作者在内的空间图像的构件。更具体地，视频拍摄部11对成为做姿势的主体的操作者及成为姿势识别对象的操作者的手（识别对象）进行拍摄，生成视频数据。另外，视频拍摄部11将按每规定时间（例如1/15秒）拍摄而得的帧图像输出至控制单元12。

（2.控制单元12）

控制单元12是对姿势识别装置1的各部件进行统一控制的构件，包括：形状识别单元（判断单元）121、动作范围监视单元122、动作检测单元123、识别区域规定单元124、姿势识别单元125及显示器控制单元126。此外，在下文中说明控制单元12所具有的各单元的详细情况。

（3.存储部13）

存储部13是用于存储姿势识别装置1所处理的各种数据的构件，包括以易失性存储方式存储数据的暂时存储部和以非易失性存储的方式存储数据的存储装置。上述暂时存储部是一种在姿势识别装置1所执行的各种处理过程中，用于暂时存储运算中使用的数据及运算结果等的所谓的暂时器，由RAM（Random-access memory：随机存取存储器）等构成。另外，上述存储装置用于存储控制单元12所执行的控制程序及OS程序（Operating system program：操作系统程序），以及当执行姿势识别装置1的各种功能时所读取的各种数据的装置，由ROM（Read-only memory：只读存储器）等构成。

存储部13存储以下三种内容。

1.包括后述的手形1～3的手形表。

2.识别区域修正表，将第二形状的手的指向及/或位移与下述识别区域OE的修正内容相对应关联。

3.姿势－处理内容对应表，针对每种姿势的种类，分别示出在识别出某个姿势时由控制单元12执行的处理内容。

此外，上述识别区域OE是指，基于上述用户使用上述手进行的姿势种类，能够在视频图像整体区域中识别出姿势的区域。

（控制单元12的详细结构）

以下，使用图1～图3对控制单元12的详细结构进行说明。

（1.形状识别单元121）

形状识别单元121用于识别操作者的手形，特别是以下3种第一～第三形状。

第一形状：伸直1～5根手指（即所有手指）的手。

第二形状：伸直2根手指（例如食指和中指）的手。

第三形状：伸直1根手指（例如食指）的手。

（关于手形的识别方法）

作为识别手形的方法，可以举出以下三种方法。

第一种方法：制作针对每种手形的模板，利用模板匹配的方法，识别在视频图像中的手形。

第二种方法：通过统计学的学习方法，针对每种手形分别准备好的多个学习样本进行学习，计算已学到的手形与在视频图像中的手形之间的相似度，根据相似度的高低来确定在视频图像中的手形。

第三种方法：利用多级分类（multiclass classification）（多类识别：multiclass segmentation），学习随机树（Randomized Trees）等的一个决策树（识别器），根据学到的决策树来确定在视频图像中拍摄的手形的类别。

（关于模板匹配）

模板匹配是指，针对拍摄得到的视频图像等样本，计算出与事先准备的模型间的一致（匹配）程度的方法。

以下，简单说明利用模板匹配方法的手形的识别过程。此外，为了模板匹配，事先将第一～第三形状的每个手形的模板存储在存储部13中。

首先，动作检测单元123从识别区域OE中提取出作为具有人类肌肤颜色的区域的肤色区域。由此，提取出位于识别区域OE内的操作者的手。其次，动作检测单元123针对提取出的肤色区域的形状，与事先存储在存储部13中的第一～第三形状的手形模板之间进行模板匹配。作为进行模板匹配的结果，动作检测单元123将与肤色区域的形状间的相似度最高的形状（第一～第三形状中的某一形状）确定为从上述肤色区域的形状中识别出的手形。另外，当上述肤色区域的形状与各模板间的相似度均小于规定值时，动作检测单元123判断为不与第一～第三形状中的任何形状匹配。

（2.动作范围监视单元122）

动作范围监视单元122用于在操作者使用摆出第三形状的手来做姿势的期间，监视其手的顶端部即食指的顶端（指尖）F（参照图3）进行动作的动作范围是否越出识别区域OE。换言之，动作范围监视单元122监视食指的顶端F是否从识别区域OE的内侧向外侧横穿作为识别区域OE边界的四边形的各边。

此外，如本实施方式般，当操作者使用仅伸直食指的手（第三形状）来做姿势的时候，动作范围监视单元122提取出食指的顶端F。但是，本发明并不限于此。例如，当操作者使用摆出第三形状以外的形状的手来做姿势的时候，动作范围监视单元122监视手的特定部位是否越出识别区域OE。

（关于食指顶端F的提取）

提取食指顶端F要经过如下过程，在提取出操作者的手之后，提取手的食指。首先，为了从视频图像中提取操作者的手，只要在识别区域OE中提取视频图像的前景即可。因此，在做姿势的时候，提取的是离视频拍摄部11最近的操作者的手。或者，在识别区域OE内，提取具有肤色的区域也可。另外，为了从操作者的手中提取食指，提取以如下的细长状的区域即可，该细长状的区域的纵向上的肤色以规定以上的长度连续，且横向上的肤色连续的长度小于规定长度。因此，当识别对象为只伸出食指的手的时，食指被提取出来。而且，只要对这样被提取出的细长状区域的顶端部进行提取，就能够提取出食指的顶端F。

（3.动作检测单元123）

动作检测单元123用于检测做出第一形状或第二形状的手形的操作者所要进行的设定动作及修正动作。此处，上述设定动作及上述修正动作是指，为了对整个视频图像区域中作为识别姿势的区域的识别区域OE（参照图3）进行设定或修正，操作者所要进行的动作。以下，示出由利用动作检测单元123检测出的设定动作及修正动作。设定动作：操作者挥动摆出第一形状的手的动作，第一形状为伸直所有手指的形状。修正动作：操作者摆出第二形状，即，摆出伸直食指及中指的手形，并将两个伸直的手指指向规定方向的动作。此处，上述规定方向是指，例如左右方向、上下方向或倾斜方向。

此处，上述设定动作中的挥手动作是指，如图2的（a）部分所示，在将伸直所有手指的形状的手掌朝向姿势识别装置1（视频拍摄部11）的状态下，操作者挥手（朝向上下左右中的任意方向）的动作。

此外，在上述修正动作中，动作检测单元123可以检测手向规定方向是否产生位移，以此来代替检测伸直的手指是否指向规定方向。此时，上述修正动作变为“操作者摆出第二形状，即，摆出伸直食指及中指的手形，并使手朝向规定方向移位的动作”。

此外，上述设定动作及上述修正动作并不限于上述内容，只要是根据手形（例如伸直的手指的个数）、手的朝向（例如，伸直的手指的方向）及手的位移（例如位移量）来规定的动作即可。

（挥手动作的检测方法）

动作检测单元123针对拍摄有操作者而得的视频的帧图像，提取图像间的差分。动作检测单元123例如针对30帧图像进行提取图像间差分的处理，并累积以这种方式提取的各差分。由此，提取出在图像间产生位移的区域，即，提取出移动区域。将针对拍摄图2的（a）部分所示的挥手动作而得的视频，以如上方式累积了图像间差分，在图2的（b）部分中表示差分累积结果。此外，图2的（b）部分是将图2的（a）部分中用Ｚ表示的区域进行放大表示的图。在图2的（b）部分中，颜色越白的区域表示图像间差分的累积值就越高。当存在所提取的图像间差分的累积值大于规定值的区域时，动作检测单元123判断为检测出挥手动作。

（4.识别区域规定单元124）

识别区域规定单元124基于利用动作范围监视单元122得出的动作范围监视结果以及利用动作检测单元123得出的修正动作及设定动作的检测结果，对识别区域OE进行修正。以下，分别详细说明利用动作范围监视单元122及动作检测单元123的检测结果来进行识别区域OE的修正及设定。

（利用设定动作来进行的识别区域OE的设定）

当被形状识别单元121识别出第一形状的手形时，在利用动作检测单元123检测出上述设定动作之后，识别区域规定单元124设定识别区域OE。此时，识别区域规定单元124基于动作检测单元123计算出的上述差分累积结果，设定识别区域OE。具体地，识别区域规定单元124计算出最小四边形区域，该最小四边形区域包含图像间差分的累积值在规定值以上的所有点（像素）且具有与图像的上下及左右方向平行的边。识别区域规定单元124将以这种方式计算出的四边形区域作为识别区域OE来设定（参照图2的（b）部分）。

在专利文献1中所述的现有姿势识别装置中，首先计算出面部区域，并且基于该面部区域设定用于识别姿势的区域。因此，在操作者过于接近视频拍摄部的情况等以及没有将操作者的面部拍进视频图像的情况下，在上述现有的姿势识别装置中，无法设定用于识别姿势的区域。另一方面，在本实施方式的姿势识别装置1中，识别区域规定单元124无需设定上述的操作者的面部位置，也能够进行识别区域OE的设定。因此，即使在没有将操作者的面部拍进视频图像的情况下，也能够进行识别区域OE的设定。

（利用修正动作来进行的识别区域OE的修正）

在利用形状识别单元121识别出第二形状的手形的情况下，识别区域规定单元124基于上述修正动作，进行识别区域OE的修正。

识别区域规定单元124以如下方式，通过参照上述识别区域修正表，利用由动作检测单元123检测出的修正动作所对应的修正内容，对识别区域OE进行修正。

在动作检测单元123检测出修正动作的情况下，即，在检测出操作者用手摆出第二形状并将伸直的手指（食指及中指）指向某个方向的情况下，识别区域规定单元124基于食指及中指伸直的方向，进行识别区域OE的修正。例如，当动作检测单元123检测出食指及中指指向左方向/右方向的修正动作时，将识别区域向右/向左扩大规定比例（例如，识别区域左右方向长度的10%）。另外，当动作检测单元123检测出食指及中指指向上方向/下方向的修正动作时，将识别区域向上/向下扩大规定比例（例如，识别区域上下方向长度的10%）。进一步，当动作检测单元123检测出食指及中指指向倾斜方向的修正动作时，将识别区域分别横向及纵向扩大规定比例（例如，各边长度的10%）。

另外，在上述修正动作中，如上所述，可以在按规定方向上移动手，来代替使伸直的手指指向规定方向。在该结构的情况下，也可设置成根据按规定方向移动手时的手的位移量，使识别区域OE的修正内容不同。例如，当操作者移动手的距离小于规定距离时，识别区域规定单元124将识别区域OE扩大10%的比例，另一方面，当操作者移动手的距离在规定距离以上时，识别区域规定单元124也可以将识别区域OE扩大20%。

此外，除了如上所述的扩大识别区域OE的结构以外，也可以按如下方式进行修正：当操作者摆出伸直食指、中指及无名指的手形，并进行了使伸直的三根手指指向规定方向的动作时，识别区域规定单元124基于手指伸直的方向，在用于规定识别区域OE的四边形的各边中，将手指伸直的那一侧的边的长度缩小10%的比例。在这样的结构中，能够将第二形状的手形定义为伸直两根或三根手指。在存储部13中预先存储有伸直两根或三根手指的手的模板，来作为与第二形状的手形相匹配的模板。

这样，操作者可以根据由手的形状、朝向或位移而规定的修正动作，对识别区域OE进行修正，因此本发明具有以下优点。

当操作者位于远离视频拍摄部11的位置上时，与操作者位于靠近视频拍摄部11的位置时相比，操作者做姿势时的该姿势的分辨率变低。结果，姿势识别的精度降低。因此，当操作者在远离视频拍摄部11的位置做姿势的时候，为确保姿势识别的精度，有必要进行用于扩大识别区域的修正。然而，在专利文献1及2所述的现有姿势识别装置中，操作者无法修正视频图像的识别区域的范围。另一方面，在本实施方式的姿势识别装置1中，操作者能够通过进行上述修正动作或设定动作，来扩大识别区域OE。即，根据本发明，操作者可以根据自身与视频拍摄部11的距离，来进行调整，以使识别区域OE在恰当的范围内。

（利用动作范围的监视结果进行的识别区域OE的修正）

在利用形状识别单元121来识别出第三形状的手形时，识别区域规定单元124以如下方式，基于由动作范围监视单元122得到的动作范围的监视结果，进行识别区域OE的修正。

当动作范围监视单元122检测出操作者的食指顶端F越出识别区域OE时，识别区域规定单元124将识别区域OE的各边扩大规定长度，例如扩大各边的10%的比例。或者，当食指顶端F越出识别区域OE且被横穿的识别区域OE的边为右侧/左侧的边时，识别区域规定单元124将识别区域OE向右/向左扩大10%的比例也可。同样地，当食指顶端F越出识别区域OE且被横穿的识别区域OE的边为上侧/下侧的边时，识别区域规定单元124将识别区域OE向上/向下扩大10%的比例也可。

此外，当动作范围监视单元122检测出食指顶端F越出识别区域OE一次或规定次数时，识别区域规定单元124对识别区域OE进行扩大也可。或者，当动作范围监视单元122检测出食指顶端F越出识别区域OE在规定以上的频度（例如100帧期间5次）时，对识别区域OE进行扩大也可。另外，当动作范围监视单元122检测出食指顶端F以规定以上位移速度越出识别区域OE时，识别区域规定单元124对识别区域OE进行上述扩大的修正也可。此处，上述规定以上的速度是指，例如，食指顶端F在1帧（相当于1/15秒）内位移在识别区域OE边的长度的10%以上时的速度。

（5.姿势识别单元125）

姿势识别单元125在识别区域OE（OE′）内，根据识别操作者的手的位置、形状、朝向及位移来进行姿势识别。此外，作为姿势识别的方法，可以使用HMM（Hidden Markov Model；隐马尔科夫模型）或者连续DP（Continuous Dynamic Programming：动态模型）等。

为进行姿势识别，可以使用采用了HMM的方法。另外，在使用HMM的方法中，事先将姿势识别装置1要识别的每种姿势的模型做成姿势数据库存储在存储部13中。之后，针对输入在姿势识别装置1中的图像，姿势识别单元125计算与上述数据库中包含的各模型间的似然性。其结果，当发现一个或多个针对输入图像的似然值在规定值以上的模型时，姿势识别单元125将与这些模型中的似然性最高的模型相对应的姿势，作为从输入图像中识别出的姿势，发送至显示器控制单元126。

此外，姿势识别单元125除了使用上述HMM进行姿势识别之外，还对食指顶端F进行位移测定。从而，如后述，能够实现使显示器1000中显示的鼠标指针P（参照图5）与食指顶端F的动作联动的结构。

（6.显示器控制单元126）

显示器控制单元126对姿势识别装置1外部的显示器进行控制，以使其执行与姿势识别单元125识别出的姿势识别结果相对应的处理。详细而言，显示器控制单元126参照上述姿势－处理内容对应表，以使上述显示器能够执行与识别出的姿势相对应的处理的方式控制上述显示器。

接下来，参照图1、图5，举例说明显示器控制单元126对显示器1000的控制。首先，显示器控制单元126将表示处理内容的控制信号发送至显示器1000的控制功能部（未图示），该处理内容是基于姿势识别结果而确定的。这样，上述控制功能部接收到显示器控制单元126发送的控制信号，从而执行上述处理内容。上述处理内容是指，例如基于对食指顶端F的位移进行识别的结果，对显示在显示装置2的鼠标指针P进行与食指F联动的处理。或者，上述处理内容也可以是如下的处理：当操作者用手做出规定形状的姿势时，选择与上述鼠标指针P重叠的位置所示出的图标。这样，操作者无需与显示装置2的画面接触，或者使用数据手套等特殊用具，就能够通过利用自己的手这样的简单操作，来进行对显示器1000的操作。

（姿势监视处理的流程）

此处，使用图4流程图来说明利用控制单元12来执行的姿势监视处理的流程。在姿势监视处理中，在操作者用自身的手来做姿势的期间，检测出该手摆出的修正动作及设定动作，并对食指顶端F的动作范围进行监视。基于上述修正动作、上述设定动作及上述动作范围的监视结果，修正或设定识别区域OE。以下，对姿势监视处理进行详细说明。

首先，在操作者用手做姿势的期间，形状识别单元121识别其手形（S101）。

在利用形状识别单元121识别出第一形状的手形的情况下，动作检测单元123基于挥手动作的范围，设定识别区域OE（S102A）。或者，在已经设定好识别区域OE的情况下，动作检测单元123基于挥手动作的范围，再次对识别区域OE′进行设定。

或者，在利用形状识别单元121识别出第二形状手形的情况下，识别区域规定单元124基于上述修正动作，对识别区域OE进行修正（S102B）。

或者，在利用形状识别单元121识别出第三形状的手形的情况下，动作范围监视单元122监视为了在识别区域OE内做姿势而摆动作的手的食指顶端F是否越出识别区域OE（S102C）。换言之，动作范围监视单元122监视食指顶端F的动作范围。此外，此时，姿势识别单元125进行例如测量食指顶端F的位移等的姿势识别。而且，在动作范围监视单元122监视食指顶端F的动作范围期间，识别区域规定单元124判断是否需要进行识别区域OE的修正（S103C）。此时，详细而言，当动作范围监视单元122检测出食指顶端F越出识别区域OE的事件在规定時间内发生1次以上或规定次数以上或者规定频度以上时，识别区域规定单元124确定要修正识别区域OE。当识别区域规定单元124判断为有必要进行识别区域OE的修正时（S103C中的“是”），基于上述修正动作，进行识别区域OE的修正（S104C）。另一方面，当识别区域规定单元124判定为无需进行识别区域OE的修正时（S103C中的“否”），不进行识别区域OE的修正。

或者，在利用形状识别单元121识别出第一～第三形状以外的手形的情况下，利用姿势识别单元125识别由操作者手做出的姿势（S102D）。

在上述步骤S102A、S102B、S104C或S102D结束之后，返回形状识别单元121识别操作者的手形的处理（S101）。

（总结）

如上所述，就本发明的姿势识别装置1而言，当识别出特定的手形（第一形状～第三形状）时，对识别区域OE进行规定（设定或者修正）。然而，本发明并不限于此。即，只要是基于操作者用手做出的姿势种类来使识别区域规定单元124规定识别区域OE的结构，均在本发明的范围内。此外，上述姿势的种类只要是由操作者做姿势的手的形状、朝向及/或位移规定的种类即可。特别是，上述手的位移可为手的位移量、位移方向或位移速度。

〔第二实施方式〕

基于图5对本实施方式的显示器1000进行如下说明。此外，为便于说明，针对与第一实施方式中说明的附图具有相同功能的构件，标上相同的附图标记，省略其说明。

（显示器1000的结构）

在图5中示出外观图的显示器1000具有所述第一实施方式的姿势识别装置1和显示装置2。此外，显示器1000具体为个人计算机。但是，本发明不限于此，显示器1000也可以为电视显像器、网络电视或平板电脑终端等具有控制功能及显示功能的各种显示器。

此外，在图5中，姿势识别装置1设置在显示装置2的上侧，但并不特别限定姿势识别装置1的设置位置，也可以设置在显示装置2的下侧、左侧、右侧，或与显示装置2形成为一体。作为姿势识别装置1与显示装置2形成为一体的结构，例如可以在围绕显示装置2的画面的框架部分嵌入视频拍摄部11。进一步，当显示装置2具有网络摄像头时，可以用该网络摄像头来代替视频拍摄部11。此时，通过在显示器1000的控制功能部（未图示）内设置姿势识别装置1的控制单元12，来软件形式实现整个姿势识别装置1。

（关于显示器1000的控制）

本实施方式的显示器控制单元126基于从姿势识别单元125中获得的姿势识别结果，来控制显示装置2的显示。显示器控制单元126例如通过与上述显示器1000进一步具有的控制功能部协同工作，来控制显示装置2中显示的鼠标指针P的动作。具体地，基于姿势识别装置1对识别对象（仅伸直食指的手）的姿势的识别结果，使该鼠标指针P进行与识别对象的姿势相对应的动作。例如，如果操作者在识别区域OE内移动食指，则在显示装置2的画面内，鼠标指针P与食指所移动的距离、方向相关联地移动。这样，操作者无需与显示装置2的画面接触，或者无需使用遥控器等工具，就能够对显示在画面中的鼠标指针P进行操作。

接下来，举出显示器1000的使用例子，对显示器控制单元126的详细处理进行说明。首先，操作者在识别区域OE内使用识别对象（手）作出姿势。识别对象的姿势被视频拍摄部11拍摄，并由姿势识别单元125识别，之后，被输入至显示器控制单元126。这样，显示器控制单元126将基于姿势识别结果而确定的鼠标指针P的控制内容，发送至显示装置2的上述控制功能部。由此，上述控制功能部通过与显示器控制单元126协同工作，来控制显示在显示装置2中的鼠标指针P的动作。此外，显示器控制单元126也可为如下结构：不仅能够控制鼠标指针P的位移，还能够使上述控制功能部执行与识别对象的形状相对应的处理内容。由此，例如当操作者进行握手动作时，显示器控制单元126能够控制选择与鼠标指针P重叠的位置上显示的图标。

此外，本发明并不限于上述各第一实施方式、第二实施方式及变形例，在本发明的范围内可以进行各种变更，对第一实施方式、第二实施方式及变形例中分别公开的技术手段进行适当组合而得到的实施方式，也在本发明的技术范围之内。

〔利用软件来实现的例子〕

最后，姿势识别装置1的各模块，特别是控制单元12中的各单元也可以利用形成在集成电路（IC芯片）上的逻辑电路以硬件形式来实现，或者使用CPU（Central Processing Unit：中央处理器）以软件形式实现也可。

在后者的情况下，姿势识别装置1具有如下构件等，这些构件包括：CPU，其用于执行可实现各功能的程序的指令；ROM（Read Only Memory：只读存储器），其用于存储上述程序；RAM（Random Access Memory：随机存取存储器），其用于加载上述程序；存储器等的存储装置（存储介质），用于存储上述程序及各种数据。另外，将实现上述功能的软件，即姿势识别装置1的控制程序的程序代码（目标程序（an executable formatprogram）、中间代码程序、源程序），以计算机可读形式存储的存储介质中，供给至上述姿势识别装置1，使该计算机（或CPU或MPU（微处理器））读取存储介质中存储的程序代码并执行该程序代码，由此能够达成本发明的目的。

作为上述存储介质，可以使用非暂时性有形介质（non-transitorytangible medium），例如：磁带或盒式磁带等磁带类；包括软（floppy，注册商标）盘/硬盘等磁盘，或CD－ROM/MO/MD/DVD/CD－R等光盘的盘类；IC卡（包括内存卡）/光卡等卡类；闪速ROM/EPROM/EEPROM（注册商标）/闪存等半导体内存类；或者PLD（Programmable logicdevice：可编程逻辑器件）或FPGA（Field Programmable Gate Array：现场可编程门阵列）等逻辑电路类等。

另外，将姿势识别装置1设成可与通信网连接的结构，并且将上述程序代码经由通信网进行供给也可。该通信网只要能传输程序代码即可，并无特别限定。例如，可以利用因特网、局域网、外部网、LAN、ISDN、VAN、CATV通信网、虚拟专用网（Virtual Private Network）、电话网、移动通信网、卫星通信网等。另外，构成该通信网的传输介质只要是能够传输程序代码的介质即可，不限于特定结构或种类。例如，也可利用IEEE1394、USB、电力线载波通信、TV电缆线路、电话线、ADSL（Asymmetric Digital Subscriber Line：非对称数字用户线路）线路等有线线路；如IrDA或遥控器的红外线、蓝牙（Bluetooth注册商标）、IEEE802.11无线、HDR（High Data Rate：高数据速率）、NFC（Near Field Communication：近距离通讯）、DLNA（Digital Living Network Alliance：数字生活网）、移动电话网、卫星线路、数字电视地面传播网等无线线路。此外，本发明也可以以计算机数据信号的形式实现，该计算机数据信号通过电子传输上述程序代码而得以实现，并承载于载波上。

产业的利用可能性

本发明可以用于具有显示装置的各种显示器上，特别是可以用在电视显像器、个人计算机及平板电脑终端等上。

Claims (8)

1.一种姿势识别装置，用于从拍摄用户而得的视频中识别该用户的姿势，其特征在于，具有：

判断单元，其用于判断上述姿势的种类，

识别区域规定单元，其基于由上述判断单元判断出的姿势种类，规定出识别区域，该识别区域是指，在视频图像的整个区域中用于识别姿势的区域。

2.如权利要求1所述的姿势识别装置，其特征在于，

上述姿势识别装置进一步具有存储部，该存储部中存储有手形表，该手形表含有利用上述用户的手来做姿势时的规定手形；

上述判断单元通过参照上述手形表来检测上述规定手形。

3.如权利要求2所述的姿势识别装置，其特征在于，

上述姿势识别装置进一步具有动作检测单元，在上述判断单元检测出上述规定手形的情况下，该动作检测单元对上述用户挥动已摆出上述规定手形的手的范围进行检测；

上述识别区域规定单元基于由上述动作检测单元检测出的上述手的挥动范围，来规定上述识别区域。

4.如权利要求2所述的姿势识别装置，其特征在于，

上述姿势识别装置进一步具有动作范围监视单元，在上述判断单元检测出上述规定手形的情况下，该动作范围监视单元在上述用户使用已摆出上述规定手形的手来做姿势的期间内，对上述手的特定部位的动作进行监视，由此来监视上述特定部位是否越出上述识别区域；

当上述动作范围监视单元检测出上述手的上述特定部位已越出上述识别区域时，上述识别区域规定单元以规定比例对上述识别区域进行扩大修正。

5.如权利要求2所述的姿势识别装置，其特征在于，

上述存储部中还存储有识别区域修正表，该识别区域修正表用于将上述手的朝向及位移中的至少一个与上述识别区域的修正内容相对应关联；

上述姿势识别装置进一步具有动作检测单元，在上述判断单元检测出上述规定手形的情况下，该动作检测单元通过参照上述识别区域修正表，来检测与上述手的朝向及位移中的至少一个相对应的上述识别区域的修正内容；

上述识别区域规定单元以上述修正内容来对上述识别区域进行修正。

6.如权利要求1～5中任一项所述的姿势识别装置，其特征在于，

上述姿势识别装置进一步具有设备控制单元，该设备控制单元用于指示外部设备，以使该外部设备执行与姿势识别结果相对应的处理。

7.一种显示器，其特征在于，

具有如权利要求6所述的姿势识别装置和利用上述姿势识别装置进行动作控制的显示装置。

8.一种姿势识别装置的控制方法，该姿势识别装置从拍摄用户而得的视频中识别该用户的姿势，其特征在于，

在判断出上述姿势的种类之后，基于判断出的姿势种类，在视频图像的整个区域中规定出作为识别姿势的区域的识别区域。

Images