CN102981610B - 输入装置 - Google Patents

Abstract

提供一种方便用户使用的输入装置。本发明的输入装置的特征在于，具备输入规定的运动图像信号的输入部；从由上述输入部输入的运动图像信号中检测运动的运动检测部；在由上述运动检测部检测出来的运动是规定的动作的情况下输出规定的影像信号的影像信号处理部；和控制部，上述控制部控制上述运动检测部，在通过上述影像信号处理部输出上述规定的影响信号的情况下使上述运动检测部不进行运动检测。

Description

输入装置

（本申请是2009年5月18日递交的发明名称为“输入装置”，申请号为200910141610.2的发明专利申请的分案申请）

技术领域

本发明涉及一种输入用户指令的输入装置。

背景技术

通过图形用户接口（以下称作GUI：GraphicalUserInterface）接受用户的操作，同时向用户反馈操作结果的电脑和电视正在得以普及。

例如，在专利文献1中公开了一种手势识别装置，首先测量表示人物的手足动作的特征的点的三维座标，利用在所抽出的特征点中手以外的特征点推算人物的三维位置/姿势，将所推算的用户的三维位置作为基准点，根据用户姿势，构成各个坐标轴唯一确定的用户坐标系，将用户的手足的特征点转换到该用户坐标系，抽出不依赖于用户的位置/姿势的特征量，此时，匹配系列变化和手势模式，推算人物所做的手势。

专利文献1：特开2000-149025

发明内容

但是，但在向电视机等设备的输入操作中使用在专利文献1中所述的手势识别装置时，难以区别拍摄用户的运动图像是否表示向该设备进行输入。例如，为了表示向该设备的输入，用户用手指向右边方向，然后使手返回原来位置，在这种情况下，有时使手返回原来的位置的动作被识别作为表示左方向的输入操作。即，当用户打手势时，动作的哪一个部分被接受为向装置的输入，在专利文献1中，并未对其相关的构成进行记载。

在设备和软件的操作中，有时希望进行连续输入。例如，在操作电视机时，连续按下遥控器的音量调整按钮，以及连续按下频道切换按钮。但是，在专利文献1中，并未考虑根据手势指令顺利地实施连续输入的操作。

因此，本发明的目的在于，在考虑上述情况的基础上，提供一种方便用户使用的输入装置，例如向用户提示操作有效的动作，同时给与实时的反馈，并且能够进行连续的输入动作。

本发明的输入装置，其特征在于，具有：输入规定的运动图像信号的输入部；根据输入到所述输入部的运动图像信号进行运动检测的运动检测部；在由所述运动检测部检测出的运动是规定的运动时，输出规定的影像信号的影像信号处理部；和控制部，对所述影像信号处理部进行控制，以使在由所述运动检测部检测的规定的运动之后的运动是重复动作，并以规定速度以上的速度连续运动时，继续所述规定的影像信号的输出。

进一步，其特征在于，所述控制部对所述运动检测部进行控制，以使在所述运动未以规定速度以上的速度连续运动时，在由所述影像信号处理部输出所述规定的影像信号期间，所述运动检测部不进行运动检测。

例如，用户在挥动手的动作之后，进行用户的手返回挥动手之前的位置的动作，但是，由于上述动画处于正在继续并选择项目的途中的状态下，而不识别用户挥动手的运动，由此，不将用户的手返回挥动手之前的位置的动作接受为项目的选择操作。

根据本发明，能够提供一种方便用户使用的输入装置，例如在向用户提示对操作有效的动作的同时，能够进行实时的反馈，进而能够进行连续的输入动作。

附图说明

图1是表示实施例1的输入装置的示意图。

图2是表示实施例1的输入装置的构成的方框图。

图3是表示实施例1的输入装置的用户操作方法的示意图。

图4是说明实施例1的GUI动作与用户的操作的对应关系的示意图。

图5是说明实施例1的输入装置的动作的流程图。

图6是表示实施例1的GUI的构成示意图。

图7是说明实施例2的GUI动作与用户的操作的对应关系的示意图。

图8是说明实施例2的输入装置的动作的流程图。

图9是说明实施例3的GUI的动作与用户的操作的对应关系的示意图。

图10是说明实施例3的输入装置的动作的流程图。

图11是表示实施例4的输入装置的构成的方框图。

图12是实施例4的GUI的动作与指针动作的对应关系的示意图。

符号说明

100、输入装置

101、显示部

102、摄像部

103、用户

104、菜单项目

105、选择项目

200、动作检测（运动检测）部

201、系统控制部

202、影像处理部

301、识别点

302、手的挥动

303、手的返回

701、手的运动

702、手的运动

900、手的运动

1100、输入部

1200、光标

具体实施方式

下面，对应用本发明的各个实施例进行说明。

（实施例1）

本实施例的输入装置100，从拍摄用户的运动图像中检测出用户的手的动作，并且能够根据该动作更改GUI的显示。图1表示用户通过显示部101、摄像部102、用户103、菜单项目104、选择项目105来使用输入装置100时的操作环境的概况。

显示部101是输入装置100的显示装置，例如，由液晶显示器或等离子显示器等显示装置构成。显示部101由显示面板、面板控制回路以及面板控制驱动器构成，在显示面板中显示由从后述的影像处理部202所供给的数据构成的影像。摄像部102是用来向输入装置100中输入运动图像的装置，例如摄像机（Camera）。用户103对输入装置100实施操作。菜单项目104是在显示部101中被显示的GUI，是由若干项目构成的菜单。选择项目105是在该菜单项目104的项目中根据用户的操作而成为选择状态的项目。

如图2所示，输入装置100具备显示部101、摄像部102、动作检测（运动检测）部200、系统控制部201以及影像处理部202。

动作检测（运动检测）部200从摄像部102接收运动图像信号，根据所接收的运动图像信号检测出人物的动作，将所检测的动作作为规定指令并输出。

系统控制部201例如由微型处理器构成，根据从动作检测（运动检测）部200接收的指令控制影像显示部202的动作。

影像处理部202例如由ASIC、FPGA、MPU等处理装置构成。影像处理部202根据系统控制部201的控制，将GUI的影像数据转换成能够在显示部101中处理的方式并将其输出。

图3表示用户操作本发明的输入装置时的用户动作。在本发明中，根据用户左右挥手的操作，并且根据用户挥手的方向和速度，菜单项目104移动，利用用户左右挥手的操作将任意的项目移动至选择项目105的位置，由此能够进行项目的选择。识别点301表示该输入装置所识别的用户的手的位置。挥手302表示用户为了移动该菜单项目104而挥手的运动，成为输入到该输入装置100中的用户的操作。手的返回303表示用户在如挥手302那样挥手后，用户的手返回到手挥动前的位置的动作。

图4表示用户操作输入装置100时用户的手与在显示部101中显示的GUI的状态。

下面，参照图1、图2、图3、图4以及图5的流程图说明上述构成的输入装置100的操作。

输入装置100能够从拍摄用户的运动图像信号中检测出用户手的动作，并根据该动作变更GUI的显示。

首先，参照图2，对输入装置100检测出用户手的运动，根据该动作更改GUI的显示之前的处理流程进行说明。对于输入终端100，用户通过按下未图示的电源按钮等，开始输入终端100的动作。系统控制部201响应上述动作的开始，向影像处理部202发出GUI显示的指令。影像处理部202响应上述指令，输出符合显示部101的输入的影像信号。由此，在显示部101中显示GUI。

此外，系统控制部201响应上述动作的开始，向摄像机102发出开始拍摄运动图像的指令。摄像机102响应上述指令，开始拍摄运动图像，向动作检测（运动检测）部200输出所拍摄的运动图像的数据。动作检测（运动检测）部200利用抽取特征点等方法从所接收的上述运动图像中检测出用户手的位置，向系统控制部201输出该手的位置的数据。系统控制部201根据该手的位置的数据算出用户手的运动的方向和速度，根据预先确定的方向，且如果是预先确定的速度以上的手的运动，则根据该方向和速度向影像处理部202发出变更GUI的显示的指令。影像处理部202响应上述指令，更改构成GUI的数据，根据该数据，输出适合显示部101的输入的影像信号。这样，使显示在显示部101中的GUI更新。

下面，参照图4以及图5的流程图说明输入装置100作为输入接受用户使手动作的操作时的详细动作。首先，用户按照规定的顺序开始输入终端100的操作（步骤500）。图4的显示1表示此时用户的手与显示在显示部101中的GUI的状态的一个例子。接受上述操作的开始，输入终端100开始监视用户手的运动（步骤501）。

在用户的手以规定速度以上的速度向特定的方向运动的情况下（步骤501：Yes），如图4的显示2所示，输入终端100根据用户手动作的方向和速度，开始菜单项目104的动画。相反，在用户的手未以规定速度以上的速度运动的情况下（步骤501：No），输入终端100继续监视用户手的运动。接着，输入装置100监视在步骤502中已开始的动画的持续状态（步骤503：Yes）。

在此，该动画构成为在规定的时间内进行菜单项目104的移动，输入终端100在该动画动作中，不进行上述用户的手的运动的监视。这样，如图4的显示3所示，即使在上述动画动作的过程中用户进行手的返回303的动作，该动作也不会反映在菜单项目104的运动中，而成为反映基于挥手302的操作。

当该动画动作结束时（步骤503：No），输入装置100确认用户是否指示了操作的结束，在操作继续时（步骤504：No），再次监视用户的手的运动。此时用户的手与显示在显示部101中的GUI的状态如图4的显示4所示，用户手的位置成为进行手的挥动302的动作之前的位置，菜单项目104成为根据用户使手运动的方向而使其它项目被选择的状态，因此，用户能够再次开始对菜单项目104的操作。此外，在步骤504中，当用户指示操作的结束时（步骤504：Yes），输入装置100结束对用户的手的运动的监视等的动作（步骤505）。

如上所述，输入装置100对用户使手动作的方向和速度进行确认，根据该方向和该速度使菜单项目104的显示动画，在该动画动作期间，使不识别用户手的运动。由此，能够在用户挥手来指示方向后，无需识别手的返回的动作，而使手返回原来的位置，因此，只要挥手这个简单的操作，就能连续顺利地进行菜单项目的选择等操作。

在本实施例中，在从影像信号处理部输出规定的影像信号的情况下，动作检测（运动检测）部不进行动作检测（运动检测），但是，也可以在开始从影像信号处理部输出规定的影像信号后由控制部计算时间，在该时间超过规定值的情况下，对动作检测（运动检测）部进行控制，以使动作检测（运动检测）部不进行动作检测（运动检测）。

而且，在上述显示部101中显示的GUI，例如如图6所示，也能够构成为，利用用户上下挥动手的运动来操作的菜单构成A和菜单构成B，或利用用户左右挥动手的运动来操作的菜单构成C。

【实施例2】

下面，对实施例2进行说明。在本实施例中，除了在实施例1的输入装置100中所说明的操作方法之外，还对在用户挥动手的运动为规定的速度以下时也能够进行菜单项目的操作进行了说明。输入装置100的构成以及在显示部101中显示的GUI的构成与实施例1相同，识别用户挥动手的运动的方法不同。

下面，根据附图对本实施例进行说明。在以下说明中，对于与之前的实施例相当的部分标注相同的符号，为了避免重复，省略其说明。

图7表示在本实施例中当用户操作输入装置100时，用户的手和显示在显示部101中的GUI的状态。在后述的输入终端100的操作中，用户的手的运动701、702表示用户以规定速度以下的速度缓慢使手运动时的手的运动。

参照图7以及图8的流程图，对本实施例的输入装置100的操作进行说明。

首先，用户按照规定的顺序开始输入终端100的操作（步骤800）。图7的显示1表示此时用户的手以及显示在显示部101中的GUI的状态的一个例子。接受上述操作的开始，输入终端100开始监视用户的手的运动（步骤801）。在用户的手向特定方向运动的情况下（步骤801：Yes），算出用户的手的运动的速度（步骤802）。

此时，在用户的手的运动不是规定速度以上的速度的情况下（步骤802：No），如图7的显示2和显示3所示追随用户手移动的方向，根据用户手移动的方向与动作幅度大小移动菜单项目104。另一方面，在步骤802中，在用户的手以规定速度以上的速度运动的情况下，它变成与上述实施例1相同的操作。

这样，输入装置100识别用户运动手的方向和速度，在用户的手以规定速度以下的速度运动的情况下，根据用户手的运动方向和动作幅度大小移动菜单项目104，在用户的手以规定速度以上的速度移动的情况下，根据手运动的方向和其速度，开始菜单项目104的动画，在该动画运动期间，不识别用户手的运动。

由此，能够使用户通过小的或缓慢的手的运动来掌握用户本身的手的运动正确地被输入装置100识别，而且，用户能够把握以何种速度的手的运动才能更改菜单项目104的选择项目105，因此，能够更加顺利地把握实施例1的输入装置100的操作方法和操作状态，更加直观地进行操作。

【实施例3】

下面，对实施例3进行说明。在本实施例中，除了在实施例1的输入装置100中已经说明的操作方法之外，还对以下操作方法进行说明，即，用户通过挥动手的动作使菜单项目104的动画开始，并在动画运动期间用户继续挥动手时，与用户挥动手的方向无关，而能够继续操作上述动画的运动。输入装置100的构成以及显示在显示部101中的GUI的构成与实施例1相同，用户挥动手的动作的识别方法不同。

下面，根据附图对本实施例进行说明。在以下说明中，对于与之前的实施例相当的部分标注相同的符号，为避免重复，省略其说明。

图9表示在本实施例中用户操作输入装置100时用户的手与在显示部101中显示的GUI的状态。用户的手动作900表示，在根据图9的显示2，通过用户挥动手的运动使菜单项目104的动画开始后，用户继续挥动手时的手的运动。

参照图9及图10的流程图说明本实施例的输入装置100的动作。

首先，用户按照规定的顺序开始输入终端100的操作（步骤1000）。图9的显示1表示此时用户的手与在显示部101中显示的GUI的状态的一个例子。接受上述操作的开始，输入终端100开始监视用户手的运动（步骤1001）。在用户的手以规定速度以上的速度向特定的方向运动的情况下（步骤1001：Yes），如图9的显示2所示，输入终端100根据用户挥手的方向和速度，开始菜单项目104的动画。

输入终端100继续监视用户的手的运动（步骤1003），在用户的手以规定速度以上的速度继续运动的情况下（步骤1003：Yes），与用户手的运动的方向无关，继续上述动画。此时，该动画如图9的显示3所示动作为，菜单项目104的选择项目105，根据开始上述动画时所识别的手初始的动作，连续地选择其后的项目。相反，在步骤1003中，在用户手的运动未以规定速度以上的速度连续运动时，与上述实施例1的动作同样。

如上所述，输入装置100识别用户挥动手的方向和速度，在用户的手以规定速度以上的速度运动时，根据手挥动的方向和该速度，开始菜单项目104的动画，接着，在用户的手以规定速度以上的速度连续运动时，菜单项目104向相同的方向继续动画，选择项目105陆续发生改变。

如上所述，用户在选择连续的菜单项目的情况下，首先，向移动菜单的方向挥动手，然后，不再受挥手的方向的限制，只要继续挥动手，就能选择接下来的项目，因此，能够更加顺利地选择连续的菜单项目。

【实施例4】

下面，对实施例4进行说明。在本实施例中，在实施例1的输入装置100中，在能够通过鼠标或触摸面板等所谓定点设备或加速度传感器等传感器设备输入的情况下，对与实现实施例1相同的操作方法的输入装置进行说明。

下面，根据附图说明本实施例。在以下的说明中，对于与之前的实施例相当的部分标注相同的符号，为避免重复，省略其说明。

实施例4的输入装置200能够通过鼠标和触摸面板等点击设备和加速度传感器等传感器设备输入，如图11所示，从输入部1100向系统控制部202输入运动信息（定点信息或表示方向的信息）。

另外，图12表示在本实施例中用户操作输入装置100时从输入部1100获得的输入结果的状态和显示在显示部101中的GUI的状态。光标1200根据该输入结果表示画面上的特定座标位置。在本实施例中，通过对该光标1200的运动实施与实施例1中用户的手的运动相同的处理，能够使用户进行与实施例1同样的操作。此外，在由加速度传感器等传感器设备构成输入部1100的情况下，在显示部101中不显示光标1200，通过对该传感器设备的输出信息实施与实施例1中的用户的手的运动信息相同的处理，能够使用户进行与实施例1同样的操作。

如上所述，对于本实施例的输入装置100，在输入装置100不具有上述摄像部102等输入手段的情况下，用户能够利用与实施例1同样的方法，无需以往的定点操作那样精细的操作，而仅通过向输入部1100输入朝向特定方向的较大的运动，而顺利地进行选择菜单项目的操作。

Claims (3)

1.一种根据用户的运动对画面内的用户接口进行操作的显示装置中的操作的输入方法，其特征在于，包括：

输入所述用户的规定的运动作为图像信号的输入步骤；

根据输入的图像信号进行运动的检测的检测步骤；和

根据检测到的运动的方向和速度进行使构成所述用户接口的图像移动的显示的显示步骤，其中，

在所述检测步骤中，在构成所述用户接口的图像静止的情况下进行运动的检测，在构成所述用户接口的图像移动的情况下不进行运动的检测。

2.如权利要求1所述的输入方法，其特征在于：

在所述检测步骤中，在构成所述用户接口的图像静止的情况下，当检测到的运动是以规定速度以上的速度在特定方向上运动的手的运动时，在所述显示步骤中，根据所述速度和所述方向进行使构成所述用户接口的图像移动的显示。

3.如权利要求1所述的输入方法，其特征在于：

构成所述用户接口的图像是构成菜单的多个选择项目。