CN105612473A - 操作输入装置及方法以及程序和记录介质 - Google Patents

Abstract

检测摄像图像(Sa)中的手区域(21)，对于背景区域内的各个部分，根据该部分的亮度或者色彩求出表示光源存在的可能性的光源存在度(PosB)(22)，根据光源存在度(PosB)估计摄像图像受到光源影响的区域(23)，在摄像图像包括被估计为受到光源影响的区域的情况下，进行在摄像图像中的手区域是否产生了缺损的判定(24)，根据判定结果来判定动作(26)。在进行手势操作输入时，即使是摄像图像中的手区域受到了光源影响的情况下，也能够正确地进行手势判定。

Description

操作输入装置及方法以及程序和记录介质

技术领域

本发明涉及操作输入装置及方法，尤其涉及基于手势的操作输入。本发明的操作输入装置及方法例如用于车载用信息设备的操作输入。本发明还涉及用于使计算机执行上述的操作输入装置及方法的处理的程序及记录介质。

背景技术

车辆搭载有车载导航装置、音响装置、空调(空调器)等许多设备，对于驾驶员而言，在操作这些设备时需要进行按钮操作、操作面板的显示内容的确认等，存在增加了视线移动的问题。

作为其改善对策，可以考虑利用手势操作输入。

为了进行手势操作输入，例如提出了如下的装置：从通过摄像单元拍摄的图像中提取手的图像，根据手的形状和移动判定期望的操作，显示根据所判定的操作而选择的菜单并通知给用户(例如，专利文献1)。

在专利文献1中还公开了作为摄像单元具有可见光摄像机和红外线摄像机，在周围比较明亮时使用可见光摄像机，在周围比较暗时使用红外线摄像机。

另外，还公开了如下的方法，在使用红外线摄像机的情况下，考虑到红外线摄像机容易受到外部光的影响，使红外光以较短的间隔周期性地点亮、熄灭，并计算差值图像来得到手的图像(例如，专利文献2)。

在先技术文献

专利文献

专利文献1：日本特开2009－104297号公报

专利文献2：日本特开平10－222285号公报

发明内容

发明要解决的问题

在上述那样的操作输入装置中，存在例如阳光、路灯等外部光直接射入摄像机中而使得手的图像受到影响的问题。虽然如果能够以外部光不能直接射入的方式设置摄像机，就不会产生此问题，但是对于四周有窗并进行移动的汽车而言，以外部光不能射入的方式设置摄像机是极其困难的。在外部光射入时，将因此而不能正确取得手的图像，存在手的形状的检测产生错误的问题。

不限于车载用设备，在家庭用或者办公用设备的操作输入装置中，在来自室内的照明灯的光射入的情况下，也存在同样的问题。

本发明正是为了解决上述问题而提出的，其目的在于，减少手的形状的判定由于太阳、照明灯等光源的影响而产生错误。

用于解决问题的手段

本发明的操作输入装置具有：手区域检测部，其检测通过摄像部的摄像得到的摄像图像中的手区域；光源存在度信息生成部，其对于由所述手区域检测部检测出的手区域以外的区域构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在的可能性的指标的光源存在度；光源估计部，其根据所述光源存在度，估计所述摄像图像中受到光源的影响的区域，并进一步判定被估计为受到所述光源的影响的区域与由所述手区域检测部检测出的所述手区域是否处于预定的距离以内；形状分析评价部，其在判定为根据所述光源存在度而被估计为受到所述光源的影响的区域与所述手区域处于所述预定的距离以内的情况下，根据由所述手区域检测部检测出的所述手区域的形状，进行在所述摄像图像中的手区域中是否产生了缺损的判定；以及动作判断部，其根据所述形状分析评价部的判定的结果和表示由所述手区域检测部检测出的手区域的信息，判定手的动作。

发明效果

根据本发明，在判断为摄像图像中的手区域因光源的影响而产生缺损的情况下，校正手区域，根据校正后的手区域判断手的动作，因而即使是手区域图像因光源的影响而产生缺损时，也能够正确识别手势。

附图说明

图1是示出本发明的实施方式1的操作输入装置的结构的框图。

图2是示出实施方式1的操作输入装置的动作的流程图。

图3是示出实施方式1的操作输入装置的摄像部的设置例的图。

图4的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的示例的图。

图5的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的另一例的图。

图6的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的又一例的图。

图7是示出摄像部11的实际的摄影图像的示例的图。

图8的(a)～(d)是示出摄像部11是红外线摄像机时的摄像图像的示例的图。

图9的(a)及(b)是示出摄像部11是红外线摄像机时的摄像图像的另一例的图。

图10是示出图1的光源存在度信息生成部22的结构例的框图。

图11的(a)～(c)是示出图1的光源存在度信息生成部22的动作的图。

图12是示出图1的光源存在度信息生成部22的动作的图。

图13是示出图1的光源估计部23的动作即图2的步骤S3～S5的详细情况的流程图。

图14的(a)及(b)是示出图1的光源估计部23的动作的图。

图15是示出图1的光源估计部23的动作的图。

图16是示出图1的形状分析评价部24的结构例的框图。

图17是示出通过图1的形状分析评价部24处理的手特征信息DH的一例的图。

图18是示出图16的特征分析部241的结构例的框图。

图19是示出通过图1的形状分析评价部24得到的角度与距离之间的关系的一例的图。

图20是示出图16的形状似然度判定部242的结构例的框图。

图21是示出通过图1的形状分析评价部24处理的手特征信息DH的另一例的图。

图22是示出图16的形状评价部243的结构例的框图。

图23是示出通过图1的形状分析评价部24得到的角度与距离之间的关系的另一例的图。

图24是示出图1的形状校正部262的结构例的框图。

图25的(a)及(b)是示出图1的形状校正部262的动作的图。

图26的(a)及(b)是示出图24的位置修正部262b的动作的图。

图27是示出图1的动作信息生成部264的结构例的框图。

图28的(a)及(b)是示出图1的动作信息生成部264的动作的图。

图29是示出图1的操作内容决定部27的结构例的框图。

图30是示出图1的操作内容决定部27的操作内容的示例的图。

图31是示出本发明的实施方式2的操作输入装置的结构的框图。

图32是示出实施方式2的操作输入装置的动作的流程图。

图33是示出图2的动作判断部26b的结构例的框图。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的操作输入装置的结构的框图。

图示的操作输入装置具有摄像部11、空间手势识别装置2及显示部31，进行对被控制部32的控制。

空间手势识别装置2具有手区域检测部21、光源存在度信息生成部22、光源估计部23、形状分析评价部24、动作判断部26及操作内容决定部27。

以下，随时参照图2的流程图说明各构成要素的功能。

图1的操作输入装置例如是搭载于汽车的装置，是由落座于驾驶员席、副驾驶席等的操作者操作的装置。如图3所示，在汽车4内部的前方附近设有仪表盘41、方向盘42、变速杆43、坐席44a和44b和前窗45等。

操作输入装置的摄像部11以如下方式设置在仪表盘41具有的显示部31的附近：能够拍摄落座于驾驶员席44a及/或副驾驶席44b的人物进行操作输入用的手势的空间或者区域(操作区域)RJ。摄像部11尤其优选朝向能够拍摄包括上述人物进行手势的空间的方向设置。在也受理来自后部坐席的操作的情况下，将后部坐席的操作者进行手势的空间也包含在摄影范围中。空间手势识别装置2可以与搭载于车载设备中的其它运算装置一起或者作为其一部分收纳在仪表盘41的内部。

在图3的示例中，显示部31设于仪表盘，但显示部31的形式、设置场所等不限于此。例如，也可以在前窗45设置HUD(HeadUpDisplay，平视显示器)进行显示，还可以设置多个显示部31，使在后部坐席也能够看到。

对手进行拍摄的摄像部11优选尽量选择不会逆光、不会受到光源的直射的场所及朝向进行设置。这是因为虽然可以说通过本发明能够减轻光源的影响，但不一定完全消除影响。

摄像部11也可以不按照上面所述设于显示部31附近，而是在方向盘42安装摄像部11，还可以配置在仪表盘41的上部。

在将操作输入装置用于家庭用或者办公用的电视机、显示用监视器、投影仪等显示设备的情况下，以拍摄包含视听者在场的可能性较大的位置的方向的方式设置摄像部11。以拍摄如下方向的方式设置摄像部11：即，在电视机和显示用监视器的情况下，该方向是显示部的正面方向，在设想为投影于墙壁等不透光性的面上的投影仪的情况下，该方向是与被投影的一侧相反的方向。

摄像部11取得摄像范围内的图像(摄像图像)Sa，将表示所取得的图像Sa的信息输出给空间手势识别装置2的手区域检测部21。下面，用与该图像相同的标号“Sa”表述表示图像Sa的图像信息。这对于其它的图像信息也同样。

摄像部11例如具有摄像机。摄像机既可以是可见光摄像机，也可以是红外线摄像机。在使用红外线摄像机的情况下，一并使用红外线LED等红外线投光设备。作为红外线摄像机，也可以采用在通常的可见光摄像机设置红外线滤光器来去除可见光成分的结构。并且，摄像机的元件既可以是CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)，也可以是CCD(Charge-coupledDevice，电荷耦合元件)，不受其类型的影响。

摄像部11设想是作为汽车或者显示设备等的一部分而设置的，但也可以利用独立的设备或也能用于其它用途的设备的摄像部。例如，也可以将在智能电话等便携设备中设置的摄像机带入汽车内或者显示设备周围，将其摄像部拍摄的影像经由通信线路传输给空间手势识别装置2，并在操作输入中加以利用。

通过摄像部11得到的图像信息Sa是表示动态图像的信息，由表示各个静态图像的帧的时间序列构成。为了减小运算装置的处理负荷，虽然析像度较低、像素数较少时比较好，但是手势判定所需要的像素数也取决于距被拍摄的对象的距离。为了不发生降低析像度的结果造成不能进行手势判定的情况，按照所使用的设备设定能够检测的距离，并进行优化使得能够得到在该距离时所需要的析像度。

并且，为了手势判定还需要充分跟踪移动，基于此观点，优选动态图像的帧频在30fps(framespersecond，帧每秒)以上。

手区域检测部21接收通过摄像部11的拍摄而得到的图像信息Sa，检测手区域Dht，并生成手区域的图像(手区域图像)Dht及手区域以外的区域(背景区域)的图像(背景图像)Dba。背景图像Dba能够通过从利用图像信息Sa表示的图像中去除手区域图像Dht而得到。将表示所得到的背景图像Dba和手区域图像Dht的信息作为图像信息Sb输出给光源存在度信息生成部22(图2的步骤S1)。另外，以下用与“手区域图像”相同的标号“Dht”表示“手区域”，用与“背景图像”相同的标号Dba表示“背景区域”。

关于手区域检测部21，对其动作进行更详细的说明。

在接收到可见光摄像机拍摄的影像的情况下，能够得到如图4的(a)所示那样的图像信息Sa。根据图像信息Sa检测手区域图像Dht，能够利用公知的方法。例如，可以利用以下方法进行检测：转换至HSV(Hue，Saturation，Value：色相，饱和度，亮度)颜色空间来提取肤色区域的方法，利用运动矢量、光流(OpticalFlow)、或者HOG(HistogramsofOrientedGradients，方向梯度直方图)特征量的方法等任意方法。根据可见光摄像机的影像得到手区域图像Dht的方法不是本发明的特征，能够利用公知的方法实施，因而不详细记述。

通过手区域检测部21提取出的手区域图像Dht例如如图4的(b)所示。并且，背景图像Dba是通过从图像Sa中去除手区域图像Dht而得到的，例如如图4的(c)所示。

当在图像Sa中不存在光源的影响的情况下，按照以上所述能够检测出手的形状。另一方面，在图像Sa中包含光源的情况下，存在即使是在摄像机前面将手张开也不能正确检测出手的情况。

在图像Sa中包含光源B的示例在图5的(a)及图6的(a)中示出。

在图5的(a)所示的示例中，光源B的区域和张开的手的区域分开。在这种情况下，利用上述的方法能够得到在图5的(b)及图5的(c)中示出的手区域Dht及背景图像Dba。

另一方面，在图6的(a)的示例中，图像Sa中包含的光源B的区域与张开的手的区域重合。在这种情况下，来自光源B的光在手指间衍射，本来应该被手指遮挡的光也出现在图像Sa中。在通过手区域检测部21从如图6的(a)那样的图像Sa中检测手区域时，将不能正确检测出与存在光源B的影响的区域(光源区域Br)重合的手的区域，其结果是，手区域图像Dht如图6的(b)所示成为存在光源B的影响的部分缺失的图像，背景图像Dba也成为如图6的(c)所示那样。在光源B存在的情况下，有可能引发这样不能正确检测手的情况。

另外，图像Sa在图6的(a)等中被简化示出，而通过摄像机拍摄到的实际的图像Sa例如如图7所示。

如图6的(a)、(b)和图7所示，在检测手时最受影响的是手指部分。这是因为衍射是光绕过物体的现象。

在根据这样的受到了光源B的影响的手区域图像Dht计算表示手的形状的信息并进行手势的判定时，将产生错误判定，致使识别不出所期望的手势。因此，在本发明中，通过光源存在度信息生成部22求出有无光源B的影响及存在其影响的区域，再通过形状分析评价部24及动作判断部26来减轻光源的影响。

如上所述的光源B的影响不仅在可见光摄像机中产生，在接收红外线摄像机的影像时也会产生。红外线摄像机通常在摄像机周边具有红外线发光部，通过摄像机得到照到被摄体的红外线。但是，由于包括阳光在内的许多光源包含红外光，因而在红外线摄像机的摄影中，图像Sa中有时包含光源B。

从红外线摄像机拍摄的图像中提取背景的方法例如如专利文献2所记载的那样，能够使红外线以较短的间隔周期性地点亮、熄灭来得到差值图像，而得到背景图像Dba和手区域图像Dht。

例如，在红外线点亮时，从接受到红外线的发光的手反射红外线，因而此时得到的图像SaN如图8的(a)所示，手区域比较亮。另一方面，在将红外线熄灭时得到的图像SaF如图8的(b)所示，手区域比较暗，在极端的情况下无法拍摄到(全黑)。

为了提取背景图像Dba，在得到图像SaN与图像SaF的差值来取得图8的(c)的手区域信息Dht后，根据手区域信息Dht和图像SaN或图像SaF得到如图8的(d)所示的背景图像Dba。例如，在根据图像SaN和手区域信息Dht得到背景图像Dba的情况下，将在图像SaN上与手区域信息Dht相应的区域的像素值设为0，由此得到背景图像Dba。与手区域信息Dht相应的区域的像素值也可以是参考手区域信息Dht周边的像素值的值。这在根据图像SaF和Dht得到背景图像Dba时也同样。

在利用红外线摄像机的情况下同样，由于光源B的影响，得到例如图9的(a)所示的图像Sa，其结果是，有时手区域图像Dht也成为图9的(b)所示的图像。这些图像信息(手区域图像Dht和背景图像Dba)具有与通过可见光摄像机取得的图像相同的特征，因此能够通过同样的处理来减轻光源的影响。

如上所述，从手区域检测部21输出表示手区域图像Dht和背景图像Dba的信息作为图像信息Sb。

光源存在度信息生成部22根据从手区域检测部21提供的图像信息Sb，按照背景图像Dba的各部分例如各个像素或者各个块的亮度信息，求出有关该部分的光源存在度PosB，将表示光源存在度PosB的信息和从手区域检测部21提供的表示手区域图像Dht的信息，作为图像信息Sc输出给光源存在度信息生成部22(图2的步骤S2)。光源存在度PosB表示在各部分存在光源B的可能性。“块”由多个位于彼此相邻或者接近的位置处的像素例如呈矩形状排列的像素、例如8×8个像素构成。

如图10所示，光源存在度信息生成部22具有光源存在度检测部22a、孤立点去除部22b、光源存在度存储部22c和光源存在度修正部22d。

光源存在度检测部22a根据各帧的背景图像Dba中的各部分例如各像素或者各块的亮度信息，检测背景图像的各部分或各位置处的光源存在度Pos。例如，光源存在度检测部22a根据各帧的背景图像Dba中的各部分例如各像素或者各块的亮度信息，将背景图像的各部分分割或分类成多个区域，对通过分类而生成的每个区域设定光源存在度Pos。

通过分类而生成的多个区域中的各个区域不限于连续的区域，存在被分成多个小区域的情况。

背景图像Dba被分类成例如暗背景区域Dbl和明背景区域Dbh。

根据亮度信息分类成暗背景区域Dbl和明背景区域Dbh的最简单的方法是，设定关于亮度的阈值Tha，将比阈值Tha低的部分设为暗背景区域Dbl，将阈值以上的部分设为明背景区域Dbh。例如，在根据阈值Tha将图4的(c)所示的背景图像Dba分割成暗背景区域Dbl和明背景区域Dbh的情况下，例如如图11的(a)所示与进入外部光的窗户的部分相当的图像区域成为明背景区域Dbh，与车的内部相当的图像区域成为暗背景区域Dbl。

对暗背景区域Dbl和明背景区域Dbh分别设定表示光源B存在的可能性的光源存在度Pos。在本例中，将暗背景区域Dbl中的光源存在度设为Posl，将明背景区域Dbh中的光源存在度设为Posh。光源存在度Pos可以用如0～100的百分比表示，也可以用0～1的比率表示。由于估计为光源B不存在于暗背景区域Dbl中，因而设定较低的光源存在度Posl。另一方面，由于估计为光源B包含于明背景区域Dbh中，因而设定较高的光源存在度Posh。

由于将光源存在度Pos表述为按照图像的每个部分(例如按照每个像素或者每个块)设定的数值，因而能够将表示图像内的各部分的位置的坐标设为(x，y)，将与其对应的光源存在度Pos(x，y)作为二维平面上的数组进行管理。在这种情况下，能够将光源存在度Pos(x，y)设为第3轴即z轴方向上的变量，而作为三维坐标进行管理。数组的示例在图11的(c)中示出。如图示那样，暗背景区域Dbl的光源存在度Posl较低，明背景区域Dbh的光源存在度Posh较高。

在针对每个块求光源存在度Pos的情况下，计算各个块内的像素的亮度值的平均Yave，根据该平均亮度值Yave求出光源存在度。

各个块的位置用其代表位置的坐标(x，y)表示。块的特定位置例如中心位置或者左上角的位置被用作代表位置。

也可以是，首先通过阈值Tha分类成暗背景区域Dbl和明背景区域Dbh，然后对明背景区域Dbh进行更细致的区域划分，设定光源存在度。在对明背景区域Dbh进行更细致的区域划分的情况下，既可以按照固定的间隔设定关于亮度的多个阈值，也可以按照不同的间隔进行设定。

优选配合摄影部11的特性适当调节阈值及光源存在度Pos的值。

例如，在摄像部11能够取得的亮度信息的最大值是230的情况下，将用于分类成明背景区域Dbh和暗背景区域Dbl的阈值Tha设定为240是不合适的。因为在这种情况下，背景图像Dba全部被判定为暗背景区域Dbl。

也可以将背景图像Dba分类成3个以上的区域。例如，也可以是，除关于亮度的阈值Tha以外，还准备用于设定比阈值(第1阈值)Tha大的值的阈值(第2阈值)Thb，将亮度小于第1阈值Tha的区域设为暗背景区域，将亮度为第2阈值Thb以上的区域设为明背景区域，将亮度为第1阈值Tha以上且小于第2阈值Thb的区域设为中背景区域。

在将图4的(c)的背景图像Dba分割成3个区域时，例如如图11的(b)所示。在本例中也针对每个区域设定光源存在度Pos。在设中背景区域Dbm的光源存在度为Posm时，值的大小关系是Posl<Posm<Posh。

在图11的(b)的示例中，用0～100表示光源存在度，将用于分割成区域Dbl、Dbm、Dbh的阈值Tha、Thb分别设定为200、230，将区域Dbl(亮度的范围是0≤Dbl＜200)的光源存在度Posl设定为0，将区域Dbm(200≤Dbm＜230)的光源存在度Posm设定为50，将区域Dbh的光源存在度Posh设定为70。

在另一例中，Posl＝0、Posm＝50与上述的示例相同，光源存在度Posh能够用以亮度为变量的函数表示。例如，在设背景图像Dba中的像素的亮度为Y时，230≤Y≤255，因而通过设定为

Posh＝{(Y-230)/(255-230)}×25+75

光源存在度Posh能够取75～100的值。上述的式子每当亮度Y增加1时逐次增加固定值(＝1)，因而具有与将明亮区域Dbh分割成26个区域，将光源存在度设定成在区域之间逐次增加1时相同的意思。

也可以进一步增多进行分类的区域的数量。

背景图像Dba是根据亮度信息被分类的，因而在设为亮度信息可取的值的范围是0～255时，可分类的区域的数量最大是256个，在按照每一灰度设定分类的阈值时，也可以将背景图像Dba分割成256个区域Db0～Db255。在这种情况下，也可以将光源存在度设为Pos0～Pos255，将各区域的亮度信息的值直接设定为光源存在度。

如上所述，光源存在度检测部22a针对每帧设定图像内的各部分例如各像素或者各块的光源存在度Pos。

另外，在上述的示例中按照亮度信息将背景区域分类，但也可以不按照亮度信息而仅按照颜色信息进行分类，还可以按照亮度信息和颜色信息的组合进行分类。颜色信息既可以是RGB颜色空间中的各R、G、B的值，也可以是HSV颜色空间的H(色相)或者S(饱和度)。例如，也可以考虑往往得到光源的颜色为白色、黄色或者红色的像素，而将这些颜色成分设为明背景区域Dbh，将这些以外的颜色成分设为暗背景区域Dbl。

光源存在度检测部22a检测出的光源存在度Pos被保存在光源存在度存储部22c中。光源存在度存储部22c具有与图像Sa的像素或者块分别对应的地址，按照每个像素或者每个块保存光源存在度Pos。

也可以取而代之，将表示设定了各值的光源存在度的区域的轮廓(与设定了其它值的光源存在度的区域之间的边界线)的信息，与该光源存在度关联起来保存在光源存在度存储部22c中。

例如，在各个区域的轮廓用折线表示的情况下，也可以将该折线的顶点坐标与该光源存在度关联起来保存在光源存在度存储部22c中。

区域分割的结果如图12所示，在暗背景区域Dbh的内部有时产生极小的明背景区域Dbh2即孤立点。在这种情况下，反复执行规定次数的作为图像处理噪声去除的一般方法的放大和缩小，去除成为孤立点的明背景区域Dbh2。即，可以进行在放大多次后缩小相同次数的封闭(Closing)处理、或者在缩小多次后放大相同次数的开放(Opening)处理，来去除孤立点。为了这样的处理而设有孤立点去除部22b。孤立点去除部22b接收从光源存在度检测部22a输出的表示光源存在度的信息，进行上述的孤立点去除，将去除孤立点后的数据存储在光源存在度存储部22c中。

如上所述，通过光源存在度检测部22a及孤立点去除部22b，根据各帧的亮度信息等决定各个区域的光源存在度Pos。

光源存在度修正部22d对于各帧中的光源存在度Pos，使用在时间上在先的帧的光源存在度进行修正。该处理可以说是根据各帧及在时间上在先的帧的光源存在度，求出关于各帧的修正后的光源存在度的处理。

进行这样的修正的理由如下所述。即，在各帧的处理中，存在被手区域图像Dht遮挡而不能得到背景亮度的部分。如果手区域移动，则这样的部分有时也能够得到背景亮度。因此，通过跨越多个帧的处理，对于这样的部分也取得光源存在度。

为了修正光源存在度，在各帧的处理中，对于被手区域遮挡的部分，暂且设定表示光源存在度不明的值Px。由于手区域图像Dht并非始终占据相同的位置，因而当在其它帧的处理中检测出光源存在度的情况下，使用所检测出的光源存在度进行对值Px的置换。

并且，光源的位置有时也随着时间一起移动，需要考虑该情况来进行光源存在度的修正。

在设置在室内的电视机等显示设备的情况下，摄像部11和光源B的位置关系几乎不变。这是因为室内的显示设备往往设置在不易受到外部光的影响的场所，因此光源在大多数情况下是室内照明。另一方面，在车载设备的情况下，摄像部11和光源B的位置关系随着汽车的移动而不断地变化。这样，光源的位置随着时间一起变化，因而基于该理由，也需要针对每个帧根据需要更新光源存在度Pos。

并且，所拍摄的图像有时产生抖动、有时产生因光的摇晃而引起的暂时性噪声。为了减轻这些影响，利用多个帧的信息比较有效。

因此，在本实施方式中，对于从各帧的图像得到的光源存在度Pos，利用一个或者两个以上的在时间上在先的帧的光源存在度Pos进行修正，并使用修正后的光源存在度PosB。这样的处理能够通过使用根据当前帧的图像得到的光源存在度Pos，来更新对1帧期间前的帧(前一帧)求出的被修正后的光源存在度PosB来实现。

在更新光源存在度时，优先进行具有暂且设定的值Px的位置的处理。例如，某帧(前一帧)的图像Sa(n-1)中光源存在度被设定为值Px的像素或者块、且如果接下来的帧(当前帧)的图像Sa(n)中相同的像素或者块的光源存在度Pos(n)(x，y)不是值Px，则将在该接下来的帧中得到的光源存在度Pos(n)(x，y)设定为关于该像素或者块的被修正后的光源存在度PosB。

对于光源存在度被设定为Px以外的值的像素或者块，也可以使用一个或者两个以上的在时间上在先的帧的光源存在度Pos(n-q)(x，y)、Pos(n-q+1)(x，y)、…Pos(n-1)(x，y)和当前帧的光源存在度Pos(n)(x，y)的简单平均或者加权平均，作为关于该当前帧的被修正后的光源存在度PosB。

在取加权平均的情况下，能够按照每个帧以及/或者每个区域进行加权。

例如，鉴于状况在随着时间一起变化，可以对越新的图像信息赋予更大的权重。

并且，在按照每个区域赋予权重的情况下，可以对亮度高的区域赋予更大的权重。

例如，在图4的(a)～(c)及图11的(a)～(c)所示的例子中，对明区域Dbh赋予比暗区域Dbl更大的权重。这是因为在背景图像Dba(n)中比较明亮的区域基本上是受到外部光的影响的区域，在这样的区域中明亮度比较频繁地变化。另外，也能够存储每个像素或者每个块的光源存在度的变化的频度，根据变化的频度设定权重。

另外，也可以使用对前一帧求出的被修正后的光源存在度PosB(n-1)(x，y)和当前帧的光源存在度Pos(n)(x，y)的简单平均或者加权平均，作为关于该当前帧的被修正后的光源存在度PosB(n)(x，y)。

在这种情况下同样，在进行加权平均时，也可以按照每个区域赋予权重。

另外，也可以取代按照以上所述求出平均，而使用一个或者两个以上的在时间上在先的帧的光源存在度Pos(n-q)(x，y)、Pos(n-q+1)(x，y)、…Pos(n-1)(x，y)和当前帧的光源存在度Pos(n)(x，y)的中间值(按照大小顺序排列时位于中间的值)，作为关于该当前帧的被修正后的光源存在度PosB。

光源存在度信息生成部22将从手区域检测部21提供的手区域图像Dht和光源存在度修正部22d生成的光源存在度PosB，作为图像信息Sc输出给光源估计部23。

如上所述，光源存在度PosB是根据多个帧的信息而生成的。

当在操作输入装置刚刚起动后等不能取得多个帧的情况下，不能得到修正后的信息，因而优选通过例如将起动后的预先设定的时间(约数秒)作为起动准备时间等的处理，在得到多个帧后使光源估计部23进行动作。下面，假设得到了多个帧进行说明。

光源估计部23接收从光源存在度信息生成部22输出的图像信息Sc(手区域图像Dht和光源存在度PosB)，估计光源区域Br(图2的步骤S3)，判断是否存在预定尺寸以上的光源区域Br(图2的步骤S4)，并判断手区域Dht和光源区域Br是否相邻或者接近(图2的步骤S5)，并输出表示该判断的结果的信息(光源影响信息)Be和根据上述的估计及判断的结果而生成的图像信息Sd(步骤S6、S7)。所生成的图像信息Sd包括表示手区域图像Dht的信息和表示光源存在度PosB的信息，在光源影响信息Be是“1”时，还包括表示光源区域Br的信息。

这样，光源估计部23进行图2的步骤S3～S7的处理。

图13是更详细地示出光源估计部23的处理(图2的步骤S3～S7)的图。在图13中，对与图2相同的步骤标注相同的标号。

首先，光源估计部23进行背景区域的各部分(各像素或者各块)的光源存在度PosB是否在阈值Thr以上的判断，将阈值Thr以上的区域估计为光源区域Br(步骤S3)。

然后，在步骤S4中，进行是否存在预定尺寸以上的光源区域Br的判定。其中，“预定尺寸以上的光源区域Br”是指相互连续的区域，即使是一个帧内的光源存在度PosB在阈值Thr以上的区域(光源区域Br)的尺寸的合计为上述的“预定尺寸”以上时，该情况自身并不满足上述的“存在预定尺寸以上的光源区域Br”这一条件。步骤S4的判定处理包括是否存在一个或者两个以上的光源区域Br的判定(步骤S23b)、和在步骤S3检测出的光源区域Br中的任意区域是否在预定尺寸Thsz以上的判定(步骤S23c)。

在不存在预定尺寸以上的光源区域Br的情况下(步骤S4：否)，即不存在光源区域Br的情况下(步骤S23b：否)，或者光源区域Br小于预定尺寸Thsz的情况下(步骤S23c：否)，判断为手区域图像Dht受到光源影响的可能性比较小，进入步骤S6。在步骤S6中，光源估计部23生成表示上述判断结果的信息(光源影响信息)Be(例如表示第1值例如“0”)(步骤S23e)，输出所生成的光源影响信息Be，并且将手区域图像Dht和光源存在度PosB作为图像信息Sd进行输出(步骤S23f)。

以下，为了简单起见，有时将“手区域图像Dht受到光源影响的可能性较小”的判断称为“不受光源影响”的判断。

所输出的信息被提供给形状分析评价部24。

在存在预定尺寸以上的光源区域Br的情况下(步骤S4：是)，即存在光源区域Br(步骤S23b：是)且该光源区域Br具有预定尺寸以上的大小(步骤S23c：是)的情况下，手区域图像Dht有可能由于光源B而受到影响。因此，接着判断光源区域Br和形成有手区域图像Dht的手区域Dht是否相邻或者接近(步骤S5)。

进行这样的判断是因为如图14的(a)所示，在光源区域Br和手区域Dht位置分开的情况下，不存在衍射的影响，估计为能够正确检测手区域Dht，而在光源区域Br和手区域Dht相邻或者接近的情况下，如图14的(b)所示，受到衍射的影响的可能性较大。

在光源区域Br和手区域Dht分开的情况下(步骤S5：否)，与在步骤S4中为否的情况(不存在预定尺寸以上的光源区域Br的情况)一样，通过手区域检测部21得到的手区域图像Dht被判断为不受光源的影响。在这种情况下，光源估计部23将手区域图像Dht和光源存在度PosB作为图像信息Sd输出给形状分析评价部24，并且输出表示手区域图像Dht没有受到光源影响的光源影响信息Be(＝0)(步骤S6)。

例如检查有关手区域图像Dht的各个像素的上下左右及斜着的8个方向上的相邻像素位置，判断这些相邻像素位置中是否有任意位置包含在光源区域Br中，由此进行光源区域Br是否与手区域Dht相邻的判定。

在将手区域Dht内部的某个像素位置的坐标设为(x，y)时，这8个方向的相邻像素位置是以(x-1，y)、(x+1，y)、(x，y-1)、(x，y+1)、(x-1，y-1)、(x+1，y+1)、(x-1，y+1)、(x+1，y-1)为坐标的位置，即在图15用粗线部示出的3×3像素的区域中除中央的像素位置(x，y)以外的位置。并且，如果8个方向的相邻像素位置中有任意位置包含在光源区域Br中，则进行手区域Dht与光源区域Br相邻的判断。

为了判断光源区域Br是否与手区域Dht相邻，可以对手区域Dht内的所有像素进行上述的判定，但也可以替代于此，而从手区域图像Dht中提取手区域的轮廓线Cht，仅对位于手区域的轮廓线Cht上的像素进行上述的判定。如果采取这样的方法，则能够削减计算量。

此外，也可以取代对各像素的上下左右及斜着的8个方向上的相邻像素位置进行是否包含于光源区域Br中的判定，而仅对上下左右这4个方向上的相邻像素位置进行是否包含于光源区域Br中的判定。通过这样判定，能够减少判定用的计算量。

在取代进行光源区域Br是否与手区域Dht相邻的判断，而进行光源区域Br是否与手区域Dht接近的判断的情况下，例如进行从手区域内的各个像素起距离预定距离内的各个像素是否包含于光源区域Br中的检查。将上述的预定距离设为s，例如检查位于左方的用坐标(x-1，y)、(x-2，y)、…(x-s，y)表示的所有位置的像素。

并且，如果预定距离s内的任意像素包含于光源区域Br中，则进行手区域Dht与光源区域Br接近的判断。

在存在预定尺寸以上的光源区域Br(步骤S4：是)且手区域Dht和光源区域Br相邻或者接近(步骤S5：是)的情况下，手区域检测部21的检测结果有可能由于光源Br而受到影响。因此，光源估计部23进行步骤S7的处理。在步骤S7中，光源估计部23生成表示上述判断结果的光源影响信息Be(例如表示第2值例如“1”)(步骤S23g)，将手区域图像Dht、表示光源存在度PosB的信息和表示光源区域Br的信息作为图像信息Sd进行输出，并且输出表示手区域图像Dht受到光源影响的光源影响信息Be(＝1)(步骤S23h)。所输出的信息(Sd，Be)被提供给形状分析评价部24。

形状分析评价部24从光源估计部23接收图像信息Sd(手区域图像Dht、表示光源存在度PosB的信息和表示光源区域Br的信息)及光源影响信息Be。形状分析评价部24例如如图16所示具有特征分析部241、形状似然度判定部242、形状评价部243、特征信息存储部244和分析控制部245。

分析控制部245根据光源影响信息Be进行是否使形状似然度判定部242及形状评价部243分别进行处理的控制。

不论光源影响信息Be是否是表示受到光源影响的信息(Be(＝1))，特征分析部241都进行处理并生成手特征信息DH，将所生成的手特征信息DH与来自光源估计部23的图像信息Sd中包含的表示手区域图像Dht的信息及表示光源区域Br的信息一起，作为图像信息Se进行输出。

在光源影响信息Be是表示受到光源影响的值(Be(＝1))的情况下，分析控制部245使形状似然度判定部242及形状评价部243进行处理，使得向动作判断部26输出通过形状评价部243得到的判定结果RE(表示该结果的信息)。

另一方面，在光源影响信息Be是表示没有受到光源影响的信息(Be(＝0))的情况下，分析控制部245使省略形状似然度判定部242及形状评价部243进行的各自的处理。

形状评价部243在不进行形状评价的处理的情况下，输出第1值例如“0”作为判定结果RE。

特征分析部241如上所述根据各帧的图像信息Sd中包含的手区域图像Dht计算手特征信息DH。手特征信息DH包括表示“手的轮廓”的位置、“特征点”的位置的坐标、以及与这些有关的面积、长度的信息。

其中，“长度”例如指从手掌的中心位置到轮廓或者指尖的距离。“面积”指手区域的面积。

“特征点”是特征点例如指“指尖”或“手掌的中心”。

图17示出手特征信息DH的具体示例。

在图17所示的例子中，分别用Dhp1～Dhp5表示从作为特征点的第一指(拇指)到第五指(小手指)的指尖的位置。并且，用Dhp0表示作为又一特征点的手掌的中心位置，用填于手区域Dht中的最大的圆的半径Dhr表示手掌的大小。将以中心位置Dhp0为中心、半径为Dhr的区域称为手掌区域。

位置Dhp0～Dhp5用图像的坐标系中的坐标表示，半径Dhr用图像中的长度表示。

说明计算手特征信息DH的方法。另外，以下说明的方法是其一例，也可以用其它的方法计算手特征信息DH。

手区域图像Dht是从摄像图像Sa中仅切取出手的区域而得到的图像，没有进行图像处理，包括亮度信息及/或颜色信息。

如图18所示，特征分析部241具有二值化部241a、孤立点去除部241b、轮廓提取部241c、中心位置检测部241d、手掌尺寸检测部241e、距离检测部241f和指尖位置检测部241g。

二值化部241a对手区域图像Dht进行二值化处理，孤立点去除部241b反复各规定次数次进行放大及缩小，而将孤立点去除。这能够采用前述的封闭(Closing)处理或者开放(Opening)处理等图像处理的方法。

轮廓提取部241c对于经受了这些处理的手区域图像(用与处理前的手区域图像相同的标号“Dht”表示)提取手区域的轮廓Cht。

接着，中心位置检测部241d对于二值化处理及孤立点去除后的图像，计算从手区域内部的点到轮廓的最短距离，检测该最短距离为最大的位置，将该位置认定为手掌的中心位置Dhp0。

并且，手掌尺寸检测部241e检测从中心位置Dhp0到轮廓的最短距离，并认定为手掌的尺寸Dhr。

接着，距离检测部241f计算从位置Dhp0到各个方向上的手区域的轮廓为止的距离Rda。

方向例如用摄像图像的上方向相对于基准轴的角度来表示。

距离的计算可以对围绕中心Dhp0的所有方向进行，但为了简单起见，在此假定以手指位于摄像图像的上侧的方式位于操作区域RJ中的情况，并假设仅在中心位置Dhp0上侧(从左90度到右90度)的范围内计算距离进行说明。

在图示横轴为角度(从左90度到右90度)、纵轴为到各角度(各方向)上的轮廓的距离Rda时，例如如图19所示。将图19称为角度距离曲线图。在图19中，极大值出现在手区域图像的指尖的方向(角度)。因此，通过指尖位置检测部241g，将取得极大值的方向的轮廓线上的位置作为指尖位置，得到其坐标。并且，位于多个极大值之间的极小值出现在手指和手指之间的指蹼部分的方向(角度)。

将通过以上的处理得到的数据即通过轮廓提取部241c得到的表示轮廓Cht的信息、通过中心位置检测部241d得到的表示中心位置Dhp0的信息、通过手掌尺寸检测部241e得到的表示手掌半径Dhr的信息、通过距离检测部241f得到的表示距离Rda的信息以及通过指尖位置检测部241g得到的表示指尖位置Dhp1～Dhp5的信息，作为手特征信息DH蓄积在蓄积部244中，在如后面所述的动作判断部26的形状校正部262及动作信息生成部264的处理时，被作为在时间上在先的帧的手特征信息DH(n-1)、DH(n-2)、…DH(n-q)进行参照。所蓄积的手特征信息的帧的数量q既可以是固定值也可以是可变值，根据光源影响信息Be的内容，如后面所述在形状校正部262中有时利用在时间上在先的帧的手特征信息DH，因而优选存储足够的数量，以使得包含没有光源影响的帧的手特征信息DH。

将从存储部244读出的手特征信息DH(n-1)～DH(n-q)和从特征分析部241输出的手特征信息DH(n)，与来自光源估计部23的图像信息Sd中包含的表示手区域图像Dht的信息及表示光源区域Br的信息一起，作为图像信息Se进行输出。

形状似然度判定部242接收特征分析部241生成的手特征信息DH、尤其是表示其距离Rda的信息，评价该手特征信息DH是正确表示手势操作输入用而使用的手的形状的信息的可能性或似然度，即评价操作者进行手势操作输入且手区域图像不会由于光源的影响而产生缺损的可能性或似然度。

形状似然度判定部242例如如图20所示具有形状核对部242a和基准形状存储部242b。

例如，与将手张开的形状、攥拳的形状相比，难以做出图21所示的仅第四指弯曲的手的形状。

因此，在手特征信息DH是表示图21所示的手的形状的信息的情况下，该手特征信息DH是不能正确表示实际的手的形状的信息的可能性较大，判定为需要校正的可能性较大。

形状似然度判定部242确定利用手特征信息DH表示的手的形状，并且评价所确定的形状是为了手势操作输入而做出的形状的可能性。

为了确定手的形状，预先设定表示各种手的形状(标准形状)的信息(标准形状信息)，并存储在标准形状存储部242b中，形状核对部242a将手特征信息DH与存储在标准形状存储部242b中的表示手的形状的标准信息进行核对，如果相似度(匹配度)较高，则判定为操作者做出了存储在标准形状存储部242b中的手的形状。

在标准形状存储部242b中，对于各种标准形状设定了表示是为了手势操作输入而做出(使用)的可能性的信息(可能性指标)rh，并与标准形状关联起来进行存储。这些信息例如以表格形式存储。

作为是为了手势操作输入而做出的可能性指标rh，例如对攥拳的形状(将5根手指弯曲的状态)、手张开的状态(将5根手指伸直的状态)，设定较高的可能性指标rh。接着，对于仅将1根(例如仅第二指)伸直的形状、仅将2根(例如仅第二指和第三指)伸直的形状、仅将3根(例如仅第二指、第三指和第四指)伸直的形状、以及仅将4根(例如仅第二指、第三指、第四指和第五指)伸直的形状，将其可能性指标rh设定为中等程度。最后，对于仅将第二指、第三指和第四指弯曲的形状，设定较低的可能性指标rh。

并且，在进行了与所存储的标准形状一致(相似度为预先设定的值以上)的判断时，输出与该标准形状相关联地存储的可能性指标rh。

并且，在检测出的手区域的形状与哪个标准形状的相似度都较低的情况下，输出较低的值的可能性指标rh。

形状评价部243根据从形状似然度判定部242输出的可能性指标rh、和特征分析部241生成的表示各个角度(各个方向)上的距离Rda的信息，判断手区域检测部21检测出的手区域是否是受到光源的影响而被检测为小于本来区域的区域、即是否在摄像图像中的手区域产生了缺损，将表示判断的结果的信息RE输出给动作判断部26(图2的步骤S8)。

形状评价部243如图22所示具有缺损范围检测部243a、评价指标计算部243b和比较部243c。

光源B是点光源、面光源或者线光源，因此光源区域Br呈圆形或者椭圆形。因此，作为呈现于角度距离曲线图中的影响，存在距离的变化平缓的角度范围(方向范围)，而且在这样的角度范围内出现极小点。

这样的极小点的例子在图23中用标号Lmn1示出。该极小点Lmn1位于距离的变化平缓的角度范围Rm内。并且，在该角度范围Rm内不存在极大点。该角度范围Rm有时也占据从左90度到右90度的范围中的1/5以上的大小。

另一方面，在仅第一指及第二指弯曲的情况下，如图23中虚线所示，角度范围Rm内的距离减小，该虚线向上凸，在2根手指的位置出现极大点Lmx1和Lmx2。

并且，如图23所示，在伸直的手指的位置(图中Dhp3～Dhp5)，在极大点(指尖位置Dhp3～Dhp5)与中心Dhp0的距离Rda和极小点Lmn2、Lmn3与中心Dhp0的距离Rda之间，存在比较大的差异。另一方面，在角度范围Rm中，即使是通过弯曲手指而产生了极大点Lmx1、Lmx2时，在极大点Lmx1、Lmx2和极小点Lmn4、Lmn5之间，距离Rda的差异也较小。这样，对于即使是极大点但与极小点的距离Rda之差较小者，也判定为不是基于伸直的手指的极大点。在此，当在各个极大点的两侧具有与其相邻的极小点的情况下，将距离之差更小者用作该极大点与极小点的距离之差。

根据以上所述，在角度距离曲线图中，当在某个预定尺寸以上的角度范围Rm内只有一个极小点的情况下，受到光源的影响的可能性比较大。

根据该角度范围Rm，生成与手区域是否由于光源的影响而被检测为小于本来区域(有无因光源的影响而导致的缺损)有关的指标rj。该处理通过缺损范围检测部243a进行。例如，将仅检测出一个极小点的角度范围Rm检测为缺损范围，根据缺损范围Rm的大小计算指标rj。该指标rj例如通过rj＝1/Rm求出，在Rm越大时(即，受到光源影响的范围越大时)，rj为越小的值。因此，也可以说是表示未受到光源影响的可能性的指标。

另外，也可以是，将“只有一个极小点”、以及“相对于角度(方向)变化的距离变化的大小在预定值以下(角度距离曲线的斜率的绝对值在预定值以下)”作为条件，将全部满足这些条件的角度范围Rm检测为缺损范围。

评价指标运算部243b根据由形状似然度判定部242计算出的形状的可能性指标rh和由缺损范围检测部243a生成的指标rj，生成评价指标rk。

评价指标rk例如用下式求出。

rk＝ka·rh·rj

在上式中，ka是系数。

另外，也可以不按照上式那样将rh和rj相乘，而是按照下式所示将对两者进行加权相加得到的值作为rk。

rk＝kb·rh+kc·rj

在上式中，kb、kc是权重系数。

总之，只要使用随着rh、rj的增加而增加的值作为rk即可。rk较大意味着能够正确得到与手势操作输入用的手的形状对应的手区域的可能性较大。

如上所述，评价指标rk是根据指标rh和指标rj决定的，而指标rj是根据缺损范围Rm决定的，因而也可以说评价指标rk是根据指标rh和缺损范围Rm决定的。

比较部243c进行由评价指标运算部243b计算出的评价指标rk是否在预定的阈值Thrk以上的判定，将判定结果RE输出给动作判断部26。判定结果RE表示在摄像图像中的手区域Dht是否产生了光源影响导致的缺损。

在评价指标rk为阈值Thrk以上的情况下，即在判定为没有产生光源影响导致的缺损的情况下，判定结果RE为第1值例如示出“0”。

另一方面，在评价指标rk小于阈值Thrk的情况下，即在判定为产生了光源影响导致的缺损的情况下，判定结果RE为第2值例如示出“1”。

并且，在Be为第1值“0”且形状评价部243不进行形状评价的处理的情况下，判定结果RE维持上述的第1值“0”。

判断结果RE与先前叙述的图像信息Se一起被提供给动作判断部26。

另外，在不存在光源B的影响的情况下，不输出表示光源区域Br的信息，因而也可以是光源估计部23不输出光源影响信息Be，形状分析评价部24根据有无光源区域Br判定有无光源的影响。

动作判断部26根据从形状分析评价部24输出的判定结果RE和图像信息Se，判断手的动作。

动作判断部26具有控制部261、形状校正部262、选择部263和动作信息生成部264。

控制部261对应于判定结果RE，控制形状校正部262和选择部263。

即，在判定结果RE表示第1值“0”的情况下，即判定为在摄像图像中的手区域Dht没有产生光源影响导致的缺损的情况下，控制部261使得形状校正部262不进行校正，而使选择部263选择从形状分析评价部24输出的图像信息Se。

另一方面，在判定结果RE表示第2值“1”的情况下，即判定为在摄像图像中的手区域Dht产生了光源影响导致的缺损的情况下，控制部261使形状校正部262进行校正，使选择部263选择从形状校正部262输出的图像信息Sf。

由选择部263选择的图像信息Se或者Sf被提供给动作信息生成部264。

形状校正部262校正表示由手区域检测部21检测出的手区域的形状的手特征信息DH，具体而言，接收由形状分析评价部24的特征分析部241和特征信息存储部244提供的图像信息Se(当前帧及在时间上在先的帧的手特征信息DH(n)～DH(q)、以及表示当前帧的手特征图像Dht的信息和表示光源区域Br的信息)，据此校正当前帧n的手特征信息DH(n)，并生成校正后的手特征信息DHe(n)(图2的步骤S9)。

下面，以对手特征信息DH(n)中手的特征点例如表示指尖位置的信息进行校正的情况为例进行说明。

形状校正部262如图24所示具有位置估计部262a和位置校正部262b。

位置估计部262a估计在各帧中由于光源的影响而未能得到的手形状的特征点的位置例如指尖位置。

设为如图25的(b)所示，当前帧n的手特征信息DH(n)由于光源的影响而具有缺损，未能得到表示第一指及第二指的指尖位置Dhp1(n)及Dhp2(n)的信息，另一方面如图25的(a)所示，在前一帧(n-1)中，能够得到表示第一指及第二指的指尖位置Dhp1(n-1)及Dhp2(n-1)的信息。在这种情况下，利用这些前一帧的手特征信息DH(n-1)估计当前帧n的指尖位置，将当前帧n的手特征信息DH(n)校正为所估计的表示指尖位置的信息。

在手特征信息DH(n)中，在手区域受到光源的影响的情况下也能检测出手掌的中心位置Dhp0(n)的可能性比较大。这是由于衍射是光在手的周边部及手指之间绕射而能观察到的现象，因而如手指那样较细的部分受到的影响最大，而如手掌那样具有较大面积的部分则影响较小。

为了估计手特征信息DH(n)中第一指的指尖位置Dhp1(n)，而利用前一帧的手掌的中心位置Dhp0(n-1)与当前帧的手掌的中心位置Dhp0(n)之差、和前一帧的第一指的指尖位置Dhp1(n-1)。在这种情况下，假定在前一帧和当前帧之间手掌的中心和指尖的位置关系不变，而设为

Dhp0(n-1)＝(xb0，yb0)，

Dhp1(n-1)＝(xb1，yb1)，

Dhp0(n)＝(xn0，yn0)，

能够根据下式进行估计。

Dhp1(n)＝(xb1+(xn0-xb0)，yb1+(yn0-yb0))

其它手指的指尖位置Dhp2(n)～Dhp5(n)根据需要同样能够进行估计。

另外，在需要与形状分析评价部24得到的手特征信息DH进行区分的情况下，将通过估计得到的手特征信息整体表述为DHe，同样将通过估计得到的表示各个手指的指尖位置的信息表述为Dhpe1～Dhpe5。

位置修正部262b判定由位置估计部262a估计出的指尖位置即通过估计得到的手特征信息DHe所示出的位置是否位于与手区域Dht相邻或者接近的光源区域Br的内部，根据判定的结果修正手特征信息DHe。修正后的手特征信息也用相同的标号DHe表示。通过位置估计部262a的估计而得到的手特征信息DHe所示出的位置是否位于与手区域Dht相邻或者接近的光源区域Br的内部的判定，能够根据连接手掌中心Dhp0(n)和所估计出的指尖位置Dhpe1(n)及Dhpe2(n)的线段L1、L2上的各像素是否包含在光源区域Br及手区域Dht任意一方而进行判定。

在通过光源估计部23判定了光源区域Br和手区域Dht是否相邻的情况下，位置修正部262b进行所估计出的指尖位置Dhpe1(n)是否位于与手区域Dht相邻的光源区域Br内的判定。在这种情况下，如图26的(a)及(b)所示，检查连接手掌的中心位置Dhp0(n)和位置Dhpe1(n)的线段L1上的所有像素(在该线段中包含所估计出的指尖位置Dhpe1(n)的像素)。

如图26的(a)所示，在线段L1上的像素全部位于光源区域Br内或者手区域Dht内(即线段L1上的任意像素都不位于光源区域Br以外的背景区域中)的情况下，采用所估计出的指尖位置Dhpe1(n)作为被正确校正后的指尖位置Dhp1(n)。

如图26的(b)所示，在线段L1上的像素中任意像素位于光源区域Br以及手区域Dht以外(位于光源区域以外的背景区域中)的情况下，采用这样的像素中与距中心位置Dhp0(n)最近的像素的位置相邻、且位于中心位置Dhp0(n)侧的像素(位于光源区域Br或者手区域Dht内)的位置，作为被校正后的指尖位置Dhp1(n)。

在通过光源估计部23判定了光源区域Br和手区域Dht是否接近的情况下，位置修正部262b进行所估计出的指尖位置Dhpe1(n)是否位于与手区域Dht接近(距离为s以下)的光源区域Br内的判定。在这种情况下，即使是上述的线段L1上的像素中与手区域Dht接近的像素即距手区域Dht在距离s以内的像素不位于光源区域Br内，也视为位于光源区域Br内。除此以外，与上述的“是否位于与手区域Dht相邻的光源区域Br内的判定”相同。

在位置估计部262a的估计结果或者位置修正部262b的修正结果是能够得到表示校正后的指尖位置的信息时，从形状分析评价部24输出的手特征信息DH的一部分被由位置估计部262a或者位置修正部262b生成的信息置换，形成校正后的特征信息DHe。

通过按照以上所述检查线段L1上的像素，对于被判定为是光源区域Br的一部分(不是手区域的一部分)的区域，能够变更成识别为是手区域的一部分的区域(由此将手区域扩展)，而补足所缺失的手区域。

也可以是，在光源存在度信息生成部22的光源存在度修正部22d利用上述的位置估计部262a及位置修正部262b的处理的结果，进一步修正或者更新光源存在度PosB的数值。

例如，在校正后的指尖位置处，由于判定为在当前帧中存在光源而存在光源的影响，因而自此以后能够将相同位置的光源存在度设定为更大的值。例如，在光源存在度取0～100的范围的值的情况下，将光源存在度设为接近100，由此在从下一帧起的处理中，能够容易识别为相同位置是光源区域Br。

以上对校正手特征信息DH中表示指尖位置的信息的情况进行了说明，但也可以校正指尖以外的特征点或者特征点以外的手特征信息、例如表示手的轮廓的位置的信息、表示手的形状中的长度(例如手掌的半径)或者面积(例如手掌区域的面积)的信息。

将如上所述由位置估计部262a和位置修正部262b生成的手特征信息DHe、与由形状分析评价部24生成的手特征信息DH中未被由位置估计部262a或者位置修正部262b生成的信息置换的部分DHf合并，并将这些信息DHe和DHf、与来自光源估计部23的图像信息Sd中包含的表示手区域图像Dht的信息及表示光源区域Br的信息一起，作为图像信息Sf通过选择部263输出给动作信息生成部264。

考虑到通过校正得到的手特征信息DHe的可靠度比由形状分析评价部24生成的手特征信息(针对与手特征信息DHe相同帧内的不同的图像部分的手特征信息DHf、以及针对与手特征信息DHe不同帧内的图像部分的手特征信息DH)低，对于手特征信息DHe和由形状分析评价部24生成的手特征信息DHf、DH设定不同值的可靠度R(使手特征信息DHe的可靠度比由形状分析评价部24生成的手特征信息DHf、DH的可靠度低)，当在动作信息生成部264中判定手的形状或者移动时，也能够将可靠度R用作权重。

动作信息生成部264获得从形状分析评价部24输出的图像信息Se(手特征信息DH)或者从形状校正部262输出的图像信息Sf(由手特征信息DHe和手特征信息DHf的组合构成的手特征信息DH)，并分析手的动作，生成作为分析结果的结果而得到的表示手的动作Ca的信息，并输出给操作内容决定部27(图2的步骤S10)。手的动作的分析包括手的形状的识别或者判定以及其变化的识别或者判定。变化的判定是通过检测在时间上不同的帧之间的变化(当前帧相对于前一帧的变化)来进行的。手的动作包括将相同的形状维持例如预定时间以上的动作。

在进行手的形状及动作的判定时，当如上所述对于通过形状校正部262的校正而生成的手特征信息DHe、和从形状分析评价部24输出的手特征信息DHf、DH设定了不同值的可靠度R的情况下，能够将该可靠度R用作权重。

在动作信息生成部264中，也可以根据手特征信息DH中包含的手掌的中心位置Dph0及指尖的位置Dhp1～Dhp5等，将各帧的手的形状分类或者进行判别。

例如，也可以根据是否是攥拳的状态(攥拳)、是否是手张开的状态(伸展)、伸直的手指是几根等进行分类或者判别。

动作信息生成部264如图27所示具有检测信息存储部264a、动作模式检测部264b、模式核对部264c和标准模式存储部264d。

为了判定手的动作，检测信息存储部264a蓄积各帧的手特征信息DH(也存在由来自形状校正部262的手特征信息DHe和DHf的组合构成的情况)，动作模式检测部264b对相互连续的多个帧的手特征信息DH进行分析而检测动作模式，如果动作模式检测部264b检测出的动作模式是与预先设定的标准模式一致的模式，则模式核对部264c判定为进行了与该标准模式一致的动作，并输出这样的判定结果(图2的步骤S11)。在与哪个标准模式都不一致的情况下，输出表示此情况的信息。

标准模式表示手势的特征，是预先根据测定结果等决定的，并存储在标准模式存储部264d中。作为手势的特征，包括手的形状、其变化、移动(位置的变化)等。

手的形状的变化例如是指如图28的(a)所示将攥拳的手张开(从帧n-α的“攥拳”向帧n的“伸展”的变化)、如图28的(b)所示从攥拳的状态(帧n-α)将食指伸直(帧n)的动作。这样的动作是根据蓄积在检测信息存储部264a中的多个帧各自的表示指尖的位置Dhp1～Dhp5及手掌的中心位置Dhp0的信息检测出来的。即，在跨越多个帧时，在中心位置Dhp0的指标没有大幅变化而指尖的位置Dhp1～Dhp5中的任意或者全部的坐标变化、或者曾检测出的指尖不再检测到、或者相反未曾检测到的指尖被检测出来的情况下，进行形状有了变化的判定。

作为手的位置的变化，例如存在向上下左右的移动、旋转。在指尖的位置Dhp1～Dhp5和手掌的中心位置Dhp0的位置关系没有较大变化的状态下，在这些位置整体移动或者旋转时能够检测出来。

作为手的位置的变化，也能够检测出手左右倾斜的情况。其中，“倾斜”是指在比较狭小的范围的旋转。“倾斜”动作能够根据手掌的中心位置Dhp0几乎不变而检测出的指尖的位置(Dhp1～Dhp5)沿着圆弧状的轨迹移动(位置的坐标变化)而检测出来的。更简单地讲，也能够根据指尖位置Dhp1～Dhp5的方向(角度)相对于中心位置Dhp0的变化而求出。

也可以检测手的前后方向(进深方向)的移动。在这种情况下，虽然期望能够得到表示进深方向的位置的信息，但是在摄像部是一个时难以得到正确的进深方向的信息。作为根据来自一个摄像部的影像来检测前后方向的移动的方法，可以利用手区域的面积的变化、各特征点相互间的长度的变化等。

由动作信息生成部264生成的动作信息成为动作判断部26的输出。该输出是表示由动作判定部26判定出的手的动作的信息。

操作内容决定部27选择与由动作判断部26判定出的手的动作Ca对应的操作指示Cb，将表示选择出的操作指示Cb的信息输出给显示部31和被控制部32(图2的步骤S12)。

与手的动作Ca对应的操作指示Cb是预先以唯一确定的方式对设备设定的。

操作内容决定部27例如如图29所示具有操作指示选择部27a和操作指示存储部27b。

操作指示存储部27b以例如表格形式与手的动作Ca相关联地存储操作指示Cb，操作指示选择部27a将手的动作Ca作为地址提供给操作指示存储部27b，由此读出存储在该地址的数据而作为对应的操作指示Cb进行输出。

与手的动作Ca对应的操作指示Cb的例子在图30示出。在图示的例子中，在以手张开的状态从中央附近向上移动的情况下，输出表示如下的操作指示Cb的信息，该操作指示Cb指示进行将音响装置的音量提高一个单位的处理的动作。

这样的设定基本上是预先存储在操作指示存储部27b中的，但也可以构成为根据操作者的喜好进行变更。

显示部31接收来自操作内容决定部27的操作指示Cb，按照该操作指示变更显示内容。具体而言，如果操作内容决定部27的操作指示Cb是音响装置的音量调节等，在显示部显示音量的设定值。并且，也能够将同样的操作指示用于在显示部31示出的画面的滚动、放大缩小操作、菜单光标的移动中。另外，也能够将位置自身作为操作内容发送给显示部31而在指向(pointing)中加以利用。

当显示部31进行显示时，存在由于显示的吸引注目性而导致视线朝向显示部31的情况。因此，也能够取代显示部31，而利用语音、效果声音等将由操作内容决定部27指示的内容通知给用户。

被控制部32是根据来自操作内容决定部27的操作指示进行动作的设备、诸功能等的总称。作为其示例，可以举出音响装置、空调器、汽车的运转功能、汽车的附属功能等。汽车的附属功能有侧视镜的朝向的变更、车窗的开闭、车门的上锁等。

并且，显示部31也能够视为是被控制部32中的一个。

也可以将组合了多个设备的组合体作为被控制部32而协调地进行动作。

以上假定用一只手做出手势的情况进行了说明，但本发明也能够适用于两只手做出手势的情况，也能够适用于通过多个人的手做出手势的情况。

作为车载用操作输入装置，在驾驶员进行操作的情况下，期望手势操作输入用的动作是简单的动作，为此期望避免利用多只手的动作进行操作输入。另一方面，也存在期望能够将利用多只手的动作的结构用于娱乐装置的操作输入装置的情况。

以上对进行手势的操作体是手的情况进行了说明，但本发明不限于此，也能够适用于使用人体的其它部位进行姿势操作输入的情况，也能够适用于将与人体不同的其它物体例如叉子状的物体、杖状的物体用作操作体进行姿势操作输入的情况。在这种情况下，使用将实施方式中的手区域检测部一般化而得到的操作体区域检测部。

但是，为了利用手以外的操作体进行手势操作输入，首先需要将该操作体安装在手上，为此需要视线的移动。在驾驶员利用车载用操作输入装置进行操作的情况下，为了得到减少驾驶员的视线移动的效果，期望用手进行手势操作输入。

另一方面，在进行家庭用或者办公用的电视机、显示用监视器、投影仪等的显示设备的操作的情况下，即使是用手以外的操作体进行姿势操作输入，也不会产生上述的问题。

实施方式2

图31是示出本发明的实施方式2的操作输入装置的结构的框图。图31所示的操作输入装置大致与图1所示的操作输入装置相同，与图1相同的标号表示相同或者相当的部分，但不同之处是设置动作判断部26b来取代动作判断部26。

另外，图32是本发明的实施方式2的流程图。图32所示的流程图大致与图2所示的流程图相同，与图2相同的标号表示相同或者相当的部分，但不同之处是去除了步骤S9的处理。

动作判断部26b接收从形状分析评价部24输出的图像信息Se和有无缺损的判定结果RE，据此判定手的动作。动作判断部26b如图33所示具有检测信息记录部264e、动作模式检测部264f、模式核对部264c和标准模式存储部264d。

检测信息记录部264e蓄积各帧的手特征信息DH和判定结果RE，动作模式检测部264f对相互连续的多个帧的手特征信息DH和判定结果RE进行分析，而检测动作模式。

检测信息记录部264e与图27的检测信息存储部264a大致相同，与检测信息存储部264a的不同之处在于，不仅蓄积手特征信息DH，而且也蓄积判定结果RE。并且，动作模式检测部264f与图27的动作模式检测部264b大致相同，与动作模式检测部264b的不同之处在于，根据判定结果RE进行动作分析或不进行动作分析。

动作模式检测部264f在判定结果RE表示“有缺损”的情况下(图32的步骤S8：是)，不分析手的动作，而取得下一个手区域图像(图32的步骤S1)。另一方面，在判定结果RE表示“没有缺损”的情况下(图32的步骤S8：否)，分析手的动作(图32的步骤S10)，将检测出的动作模式输出给模式核对部264c。

模式核对部264c及标准模式存储部264d进行与在图27的示例中说明的动作相同的动作。

在这样构成的本实施方式的操作输入装置中，通过利用光源导致的手区域缺损的判定结果进行动作判定，即使是手区域由于光源而缺损的情况下，也能够降低因缺损而引起的操作输入(手势)的错误识别。

另外，在上述的示例中，在由形状分析评价部24判定为有缺损的情况下(RE＝“1”的情况)，动作判断部26b不进行动作信息的生成，但也可以取代这种处理，而通过动作判断部26bd将前一帧的手特征信息DH用作当前帧的手特征信息DH来进行动作信息的生成。

另外，在本实施方式中，在本实施方式中，在判定为有缺损的情况下(步骤S8：是)，立即返回到取得手区域图像的处理(S1)，但也可以进入步骤S12，进行与“有缺损”对应的操作指示。例如，在从形状评价分析部24输出表示“有缺损”的判定结果RE时，动作判断部26b将判定结果RE传递给操作内容决定部27，操作内容决定部27根据该判定结果进行用于通知操作者有缺损(在摄像图像中的手区域产生缺损)的操作指示。这种情况时的操作指示例如也可以是指示进行用于通知操作者有缺损的显示或者声音输出。

以上将本发明作为操作输入装置进行了说明，上述的操作输入装置执行的方法也构成本发明的一部分。并且，用于使计算机执行操作输入装置或者操作输入方法的各处理的程序、以及记录了该程序的计算机可读取的记录介质也构成本发明的一部分。

标号说明

2空间手势识别装置；11摄像部；21手区域检测部；22光源存在度信息生成部；23光源估计部；24形状分析评价部；26、26b动作判断部；27操作内容决定部；31显示部；32被控制部；241特征分析部；242形状似然度判定部；243形状评价部；261控制部；262形状校正部；263选择部；264动作信息生成部。

Claims (15)

1.一种操作输入装置，其中，该操作输入装置具有：

手区域检测部，其检测通过摄像部的摄像得到的摄像图像中的手区域；

光源存在度信息生成部，其对于由所述手区域检测部检测出的手区域以外的区域构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在的可能性的指标的光源存在度；

光源估计部，其根据所述光源存在度，估计所述摄像图像中受到光源的影响的区域，并进一步判定被估计为受到所述光源的影响的区域与由所述手区域检测部检测出的所述手区域是否处于预定的距离以内；

形状分析评价部，其在判定为根据所述光源存在度而被估计为受到所述光源的影响的区域与所述手区域处于所述预定的距离以内的情况下，根据由所述手区域检测部检测出的所述手区域的形状，进行在所述摄像图像中的手区域中是否产生了缺损的判定；以及

动作判断部，其根据所述形状分析评价部的判定的结果和表示由所述手区域检测部检测出的手区域的信息，判定手的动作。

2.根据权利要求1所述的操作输入装置，其中，

所述动作判断部具有：

形状校正部，其在由所述形状分析评价部判定为在所述摄像图像中的手区域中产生了缺损的情况下，校正由所述手区域检测部检测出的所述手区域的形状；以及

动作信息生成部，其根据由所述形状校正部校正后的所述手区域的形状，生成表示手的动作的动作信息。

3.根据权利要求1或2所述的操作输入装置，其特征在于，

所述形状分析评价部检测手掌的中心的位置，求出从检测出的手掌的中心到手区域在各个方向上的轮廓的距离，根据所述各个方向上的距离和所述方向之间的关系，进行在所述摄像图像中的手区域中是否产生了缺损的判定。

4.根据权利要求3所述的操作输入装置，其特征在于，

所述形状分析评价部估计所述各个方向上的距离和所述方向之间的关系、与进行操作输入用的手势时的手的形状对应的可能性，并根据估计出的所述可能性，进行在所述摄像图像中的手区域中是否产生了缺损的判定。

5.根据权利要求3或4所述的操作输入装置，其特征在于，

所述形状分析评价部根据在表示所述各个方向上的距离和所述方向之间的关系的曲线中只有一个极小点的方向范围的大小，进行在所述摄像图像中的手区域中是否产生了缺损的判定。

6.根据权利要求5所述的操作输入装置，其特征在于，

关于所述方向范围，当在所述方向范围的内部在表示所述各个方向上的距离和所述方向之间的关系的曲线上存在极大点的情况下，所述极大点与所述极小点之差小于预定的阈值。

7.根据权利要求5或6所述的操作输入装置，其特征在于，

关于所述方向范围，在所述方向范围的内部，所述距离的变化相对于所述方向的变化的大小为预定的值以下。

8.根据权利要求2所述的操作输入装置，其特征在于，

所述摄像部得到的图像是由表示各个静态图像的帧的序列构成的动态图像，

所述形状校正部根据表示在当前帧中被估计为受到了所述光源的影响的区域的信息、和在时间上在先的至少一个帧的手区域的特征点的信息，在当前帧中被估计为受到了所述光源的影响的区域内估计当前帧的手区域的特征点的位置，并根据该估计结果进行所述校正。

9.根据权利要求8所述的操作输入装置，其特征在于，

所述形状分析评价部检测手掌的中心位置，

在连接估计出的所述特征点的位置和检测出的手掌的中心位置的线段上的像素中、除距所述手区域的距离在所述预定的距离以内的像素以外的所有像素位于所述光源区域或者所述手区域内的情况下，将估计出的所述特征点的位置认定为校正后的特征点的位置，

在连接估计出的所述特征点的位置和检测出的手掌的中心位置的线段上的像素中、除距所述手区域的距离在所述预定的距离以内的像素以外的所有像素都既不包含在所述光源区域也不包含在所述手区域中的情况下，将所述线段上与既不包含在所述光源区域也不包含在所述手区域中的像素中距所述手掌的中心位置最近的像素相邻且位于所述手掌的中心位置侧的像素的位置，认定为所述校正后的特征点的位置。

10.根据权利要求1～9中任意一项所述的操作输入装置，其特征在于，

所述操作输入装置还具有操作内容决定部，该操作内容决定部根据所述动作判断部的判定结果进行与所判定的手的动作对应的操作指示。

11.根据权利要求10所述的操作输入装置，其特征在于，

当所述形状分析评价部进行了在所述摄像图像中的手区域中产生了缺损的判定时，所述动作判断部将表示该情况的信息传达给所述操作内容决定部，所述操作内容决定部根据该信息进行用于向操作者传达在所述摄像图像中的手区域中产生了缺损的情况的操作指示。

12.根据权利要求1所述的操作输入装置，其特征在于，

当所述形状分析评价部进行了在所述摄像图像中的手区域中产生了缺损的判定时，所述动作判断部不进行基于该摄像图像的手的动作的判定。

13.一种操作输入方法，其中，该操作输入方法包括：

手区域检测步骤，检测通过摄像部的摄像而得到的摄像图像中的手区域；

光源存在度信息生成步骤，对于由在所述手区域检测步骤中检测出的手区域以外的区域构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在的可能性的指标的光源存在度；

光源估计步骤，根据所述光源存在度，估计所述摄像图像中受到光源的影响的区域，并进一步判定被估计为受到所述光源的影响的区域与通过所述手区域检测步骤检测出的所述手区域是否处于预定的距离以内；

形状分析评价步骤，在判定为根据所述光源存在度而被估计为受到所述光源的影响的区域与所述手区域处于所述预定的距离以内的情况下，根据在所述手区域检测步骤中检测出的所述手区域的形状进行在所述摄像图像中的手区域中是否产生了缺损的判定；以及

动作判断步骤，根据所述形状分析评价步骤的判定的结果和表示在所述手区域检测步骤中检测出的手区域的信息，判定手的动作。

14.一种程序，其用于使计算机执行权利要求13所述的操作输入方法的各个步骤的处理。

15.一种记录了权利要求14所述的程序的计算机可读取的记录介质。