CN102033703A

CN102033703A - 输入装置

Info

Publication number: CN102033703A
Application number: CN2010105022831A
Authority: CN
Inventors: 松原孝志; 黑泽雄一
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2009-10-05
Filing date: 2010-09-29
Publication date: 2011-04-27
Also published as: JP2011081469A; EP2328061A2; US20110083112A1

Abstract

本发明提供对于用户来说易用性良好的输入装置。本发明的输入装置的特征在于，包括：输入部，被输入规定的动态图像信号；动作检测部，根据输入到该输入部的动态图像信号来进行动作检测；影像处理部，输出规定的影像信号；和控制部，该控制部控制上述影像信号处理部进行下述动作：在通过该动作检测部检测到操作者旋转手的动作的情况下，与该旋转手的动作同步地利用上述影像信号处理部输出第一影像信号，该第一影像信号用于对操作者说明旋转动作的检测状况，与该第一影像信号同步地利用上述影像信号处理部输出第二影像信号，该第二影像信号用于对操作者说明确定规定的操作之前的该操作的进行状况。

Description

输入装置

技术领域

本发明涉及输入装置。

背景技术

通过图形用户界面(以下称为GUI)，在接受用户(操作者)的操作的同时对用户给予操作结果的反馈的个人电脑和电视机得到普及。

在专利文献1中，公开了显示有用于辅助用户进行操作的操作向导信息的便携式终端。用户根据该向导，能够通过上下左右移动手指来执行目标功能。

在专利文献2中，公开了进行手势图像显示的界面装置，该手势图像显示用于将作为用户的操作的手势(gesture)的识别对象视觉地加以表示。用户能够边确认手势图像边进行装置的操作。

在专利文献3中，公开了对表示作为用户的操作的手势的图标和能够进行的操作加以显示的车载设备。用户能够易于知道要做的手势。

在专利文献4中，公开了对选择向导信息加以显示的车辆用操作输入装置，该选择向导信息表示方向盘上的手的状态和操作对象设备。用户能够参照该向导来移动手，从而选择目标的操作设备。

专利文献1：日本特开2007-213245号公报

专利文献2：日本特开2008-52590号公报

专利文献3：日本特开2001-216069号公报

专利文献4：日本特开2005-250785号公报

各专利文献均公开了：显示有用于进行操作的动作、姿势，用户依此执行与规定的装置相关的动作。

但是，当用户为了进行操作而要做规定的动作或摆规定的姿势时，在做出规定的动作、规定的姿势之前，偶然无意识地做出的其他动作、其他姿势可能会被识别为用于进行操作的动作、姿势，从而会执行不想做的与装置相关的动作。

例如，当用户为了使所显示的内容向右方移动而想要将手向右方移动时，位于右方的手返回左方的动作可能会被识别为用于使内容向左方移动的操作并被加以执行。

即，各专利文献均没有考虑到在用户进行用于操作的手势时，使用户直观地理解用户的各个动作是否为被识别的状态。

发明内容

对此，本发明在考虑上述状况的基础上，目的在于提供一种易用性良好的输入装置，告知用户在操作时进行的动作被如何识别，使得不想做的操作不会发生。

为了达成上述目的，本发明的输入装置包括：输入部，操作者的动作被作为图像信号输入；动作检测部，根据输入到上述输入部的图像信号检测手的动作；显示部，显示图形用户界面；和控制部，根据上述动作检测部检测到的手的动作，使上述显示部显示的上述图形用户界面加以变更，上述控制部，以与上述动作检测部检测到的手的动作同步的方式移动指针，以显示与指针移动的量对应的动作量的方式变更上述图形用户界面。

根据本发明，例如，当用户要通过手势进行电视等装置的操作时，用户能够得知当前自己进行的手势被如何识别，以只进行想要做出的操作的方式进行手势动作。

附图说明

图1是表示实施例1的输入装置的概观图。

图2是表示实施例1的输入装置的结构的框图。

图3是表示实施例1的输入装置的GUI显示的一部分的概观图。

图4是表示实施例1的输入装置的动作的流程图。

图5是说明实施例2的用户操作与输入装置的动作间的对应的概观图。

图6是表示实施例2的输入装置的GUI显示的一部分的概观图。

图7是表示实施例2的输入装置的GUI显示的一部分的概观图。

图8是表示实施例2的输入装置的GUI显示的一部分的概观图。

图9是说明实施例3的用户操作与输入装置的动作间的对应的概观图。

图10是说明实施例3的输入装置的动作的流程图。

附图标记说明

100……输入装置

101……显示部

102……拍摄部

103……用户

104……指针

200……动作检测(移动检测)部

201……控制部

202……影像信号处理部

203……手位置检测部

204……圆动作检测部

300……图标

500……选择项目

600……图标

800……线

900……指针

901……操作区域

902……圆操作指针

具体实施方式

以下，说明应用本发明的各实施例。

[实施例1]

本实施例的输入装置100是能够根据拍摄用户而得的动态图像检测出用户的手的动作，并依据该动作变更GUI的显示的装置。

图1通过显示部101、拍摄部102、用户103、操作向导104表示用户使用输入装置100时的动作环境的概观。

显示部101是输入装置100的显示装置，例如，由液晶显示器或等离子体显示器等显示装置构成。显示部101由显示面板、面板控制电路和面板控制驱动器构成，将从后述的影像信号处理部202供给的影像数据显示在该显示面板上。拍摄部102是用于对输入装置100输入动态图像的装置，例如为照相机。用户103是对输入装置100进行操作的用户。指针104是在显示部101上显示的GUI，是用于对上述用户103表示上述输入装置100的操作位置和操作状态的图形。

输入装置100，例如图2所示，包括显示部101、拍摄部102、动作检测(移动检测)部200、控制部201、影像信号处理部202、手位置检测部203、圆动作检测部204。

动作检测(移动检测)部200从拍摄部102接收动态图像信号，根据接收到的动态图像信号，在手位置检测部203检测人物的手的位置，在圆动作检测部204检测人物转动手的动作。进而，按照检测到的动作输出与该动作对应的规定的指令。控制部201例如由微处理器构成，根据从动作检测(移动检测)部200接收到的上述指令，控制影像信号处理部202的动作。影像信号处理部202例如由ASIC、FPGA、MPU等处理装置构成。影像信号处理部202根据控制部201的控制，将GUI的影像数据变换为显示部101能够处理的形式加以输出。

图3表示用户103操作本发明的输入装置100时的指针104的显示的变化。图标300是表示用户103操作输入装置100时，在确定特定的操作之前的操作过程的状态的图形。图3的“操作开始状态”的图表示用户103开始输入装置100的操作时的状态。本实施例的输入装置100构成为，识别用户103转动手的动作，与转动手的动作对应地使指针104的显示旋转。此外，与指针104的显示的旋转相应地，图标300的大小发生变化，通过图标300的大小的变化来对用户显示在确定特定的操作之前的操作过程的状态。于是，当用户103开始操作时，显示图3的“操作开始状态”的图，当用户103面向输入装置100进行顺时针转动手的操作时，如图3的“操作开始状态”到“操作确定状态A”的变化所示，在指针104旋转的同时图标300增大。另一方面，当用户103面向输入装置100进行逆时针转动手的操作时，如图3的“操作开始状态”到“操作确定状态B”的变化所示，在指针104旋转的同时图标300变小。像这样，在指针104和图标300成为图3的“操作确定状态A”和“操作确定状态B”所示的状态之前，通过用户103继续转动手的操作，与“操作确定状态A”和“操作确定状态B”对应的操作得以执行。

而后，使用图1至图3以及图4的流程图来说明输入装置100的动作。

输入装置100是能够根据拍摄用户103而得的动态图像信号检测用户103的手的动作，并依据该动作变更GUI的显示的装置。

首先，对输入装置100检测用户103的手的动作并根据该动作显示GUI之前的处理的流程，参照图2进行说明。对于输入装置100，用户103通过未图示的电源按钮的按下等，开始输入装置100的动作。控制部201对上述动作的开始做出响应，向影像信号处理部202发出显示规定的影像的指示。影像信号处理部202对上述指示做出响应，输出与显示部101的输入适合的影像信号。由此，在显示部101显示影像。

此外，控制部201对上述动作的开始做出响应，对拍摄部102指示开始动态图像的拍摄。拍摄部102对上述指示做出响应，开始动态图像的拍摄，将拍摄到的动态图像的数据输出到动作检测(移动检测)部200。动作检测(移动检测)部200使用从接收到的上述动态图像的数据中提取特征点等方法，利用手位置检测部203检测出用户的手的位置，利用圆动作检测部204检测出用户转动手的动作。进而，将与该手的位置和转动手的动作的检测结果相应的指令输出到控制部201。控制部201根据该指令对影像信号处理部202指示GUI的显示和显示的变更。影像信号处理部202对上述指示做出响应，变更输出的影像信号，由此变更显示部101上的GUI的显示。

接着，使用图4和图5说明用户103操作输入装置100时的指针104和图标300的显示方法。

首先，用户103按照规定的顺序开始输入装置100的动作，输入装置100的动作检测(移动检测)部200按照之前所述的顺序开始人物的手的动作(手势)的识别(步骤400)。

接着，设用户103面向输入装置100伸出手(步骤401：是)。输入装置100识别用户103的手的位置，与该手的位置相应地在显示部101显示指针104(步骤402)。此时，若用户103放下手，则输入装置100消除指针104的显示(步骤401：否)。

接着，设用户103面向输入装置100进行转动手的动作(步骤403：是)。输入装置100识别该转动手的动作，如图3所示，使指针104旋转，与指针104的旋转相应地使图标300的大小变化(步骤404)。进而，当用户103通过继续进行转动手的动作来使指针104旋转规定的角度(步骤405：是)，成为图3的“操作确定状态A”或“操作确定状态B”所示的状态时，输入装置100执行与指针104的位置和旋转方向相应的操作(步骤406)。此外，当指针104没有从操作开始状态旋转规定的角度时，重复上述步骤403至步骤405(步骤405：否)。此时，指针104以与用户103转动手的动作同步的方式旋转，并且图标300的大小也与指针104的旋转相应地变化。由此，能够对用户103直观地说明该瞬间处于怎样的操作状态，继续操作至何种程度才能够使操作得以执行，应该以怎样的程度移动手才好。

另一方面，在上述步骤403，设用户103没有进行转动手的动作(步骤403：否)。输入装置100识别未转动手的状态下的用户103的手的动作，例如，在用户的手向上下左右的方向等与旋转的方向无关的方向移动的情况下(步骤407：是)，使指针104和图标300的显示返回图3的“操作开始状态”。并且，根据用户103的手的位置移动显示部101的显示区域内的指针104和图标300的位置。由此，当用户103接着进行转动手的动作，成为图3的“操作确定状态A”和“操作确定状态B”所示的状态，执行操作时，与GUI内的指针104和图标300的位置相应的操作得以执行。

其中，在上述步骤407中，在用户103的手未移动的情况下，返回上述步骤401，继续之后的处理(步骤407：否)。此外，当步骤409之后，用户通过规定的操作指示停止手的动作的识别时(步骤410)，输入装置100结束手的动作的识别。

像这样，输入装置100识别用户103移动手的动作，根据该动作使指针104和图标300的显示发生变化，对用户103提示操作的状态。例如，当用户103对显示在显示部101上的地图进行操作时，能够通过移动手来移动指针104和图标300，变更显示的地图的位置，能够通过转动手来进行在顺时针转动时放大地图，在逆时针转动时缩小地图等操作。由此，用户能够与用户的每个动作对应地确认该瞬间处于怎样的操作状态、应该以怎样的程度移动手才好、操作至何种程度才能够进行所希望的操作，所以用户能够对动作加以修正，以使自己不想做出的操作不会进行，能够流畅地进行GUI的操作。

[实施例2]

接着说明实施例2。本实施例中，与实施例1的输入装置100不同，对于从多个选择项目中选择任意项目的结构的GUI能够在输入装置100中进行操作的情况下的操作方法和GUI的显示方法进行说明。输入装置100的结构和操作方法与实施例1相同，GUI的结构和GUI内的上述指针104的显示方法与实施例1不同。

以下，基于附图说明本实施例。此外，以下说明中对于与之前的实施例相同的部分标记相同的符号，省略其说明。

图5表示本实施例中用户103操作输入装置100时，用户103的手的动作与显示在显示部101上的GUI的动作的对应。选择项目500是显示在显示部101上的GUI，采用从配置在该GUI内的多个选择项目中选择任意的项目的结构。图5的“状态A”表示的是，该GUI内的指针104的位置按照用户103的手的移动而发生变化，用户103能够通过指针104来自由地指示GUI内的任意的位置的状态。另一方面，图5的“状态B”表示在用户103预先移动好的指针104的位置，用户103做出转动手的动作时，指针104与该转动手的动作一致地旋转的状态。

接着，使用图6至图8说明本实施例的输入装置100中的指针104的显示方法。本实施例的输入装置100能够使用与实施例1相同的方法识别用户103的手的动作。

图6表示使用与实施例1相同的方法显示指针104时的指针104和图标600的外观的动作的一例。为了使用户103在上述GUI内指示任意的场所，图标600为箭头型的形状。当用户103对输入装置100伸出手时，如图6的“操作开始状态”的图所示，显示指针104和图标600。此外，当用户103如图5的“状态A”所示地移动指针104时，指针104和图标600也成为图6的“操作开始状态”。

接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例1相同，指针104旋转，指针600的大小与该旋转相应地发生变化。图6的“操作开始状态”到“操作确定状态A”的变化，表示用户顺时针转动手时，图标600的大小与指针104的旋转相应地变小的状态。例如，当用户103顺时针地转动手，成为图6的“操作确定状态A”时，执行在上述选择项目500中选择与指针104和图标600位于相同位置的项目的操作。另一方面，图6的“操作开始状态”到“操作确定状态B”的变化，表示用户逆时针转动手时，图标600的大小与指针104的旋转相应地变大的状态。例如，当用户103逆时针地转动手，成为图6的“操作确定状态B”时，对上述GUI执行返回未图示的上一次显示状态等所谓的“返回”或“取消”的操作。

图7表示使用与实施例1相同的方法显示指针104时，与图6不同的指针104的外观的动作的一例。当用户103对输入装置100伸出手时，如图7的“操作开始状态”的图所示，显示指针104。此外，当用户103如图5的“状态A”所示地移动指针104时，指针104也成为图6的“操作开始状态”。

接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例1相同，指针104旋转。与此同时，指针104的大小与该旋转相应地发生变化。图7的“操作开始状态”到“操作确定状态A”的变化，表示用户顺时针转动手时，指针104边旋转边变小的状态。例如，当用户103顺时针转动手，成为图7的“操作确定状态A”时，执行在上述选择项目500中选择与指针104位于相同位置的项目的操作。另一方面，图7的“操作开始状态”到“操作确定状态B”的变化，表示用户逆时针转动手时，指针104边旋转边变大的状态。例如，当用户103逆时针转动手，成为图7的“操作状态B”时，对上述GUI执行返回未图示的上一次显示状态等所谓的“返回”和“取消”的操作。

图8表示使用与实施例1相同的方法显示指针104时的与图6不同的指针104和线800的外观的动作的一例。线800是为了让用户103在上述GUI内指示任意的场所，与指针104的动作同步地在GUI上描绘的图形。当用户103对输入装置100伸出手时，如图8的“操作开始状态”的图所示，显示指针104。此外，当用户103如图5的“状态A”所示地移动指针104时，指针104也成为图8的“操作开始状态”。

接着，如图5的“状态B”所示，在用户103做出转动手的动作的情况下，与实施例1相同，指针104旋转，与该旋转相应地在指针104的周围描绘线800。图8的“操作开始状态”到“操作确定状态”的变化，表示用户顺时针转动手时，与指针104的旋转相应地描绘线800的状态。例如，当用户103顺时针地转动手，成为图8的“操作确定状态”时，执行在上述选择项目500中选择与指针104和线800所描绘的圆位于相同位置的项目的操作。

像这样，输入装置100识别用户103移动手的动作，根据该动作使指针104和图标以及线的显示发生变化，对用户103提示操作的状态。由此，用户能够与用户的每个动作对应地确认该瞬间处于怎样的操作状态、应该以怎样的程度移动手才好、操作至何种程度才能够进行所希望的操作，所以用户能够对动作加以修正，以使自己不想做出的操作不会进行，能够流畅地进行GUI的操作。

[实施例3]

接着，说明实施例3。本实施例中，与实施例1和实施例2的输入装置100不同，在显示部101显示的GUI中，能够进行特定操作的范围已被预先决定，在能够进行该特定操作的范围的内侧和外侧切换操作方法和指针的显示方法，对于该GUI，说明能够在输入装置100中进行操作的情况下的操作方法和GUI的显示方法。输入装置100的结构与实施例1相同，GUI的结构和GUI内上述指针104的显示方法与实施例1不同。

以下，基于附图说明本实施例。此外，以下的说明中对与之前的实施例相同的部分标记相同的符号，省略其说明。

图9表示本实施例中用户103操作输入装置100时的用户103的手的动作和显示部101所显示的GUI的动作的对应。指针900是能够使用与实施例1相同的方法，根据用户103的手的动作指示该GUI内的位置的指针。操作区域901是表示当指针900移动并位于操作区域901的内侧时特定的操作变得有效的该GUI上的区域。例如，图9中，在显示部101上显示地图，在该地图上的特定区域中显示能够进行放大地图的操作的GUI。于是，当指针900位于操作区域901的内侧时，能够进行放大地图的操作，当指针900位于操作区域901的外侧时，不能进行放大地图的操作。圆操作指针902是当指针900因用户103的操作而进入操作区域901的内侧时，代替指针900在该GUI内显示的指针。

图9的“状态A”表示的是，该GUI内的指针900的位置与用户103的手的移动相应地发生变化，用户103能够用指针900自由地指示GUI内的任意的位置的状态。此外，图9的“状态B”表示用户103使指针900向操作区域900所在的方向移动的状态。另外，图9的“状态C”表示的是，因用户103将指针900移动到操作区域900的内侧而显示圆操作指针902来代替指针900，通过用户103转动手的操作来操作圆操作指针902的状态。

接着，使用图9和图10说明用户103操作输入装置100时的指针900和圆操作指针902的显示方法。

首先，用户103按照规定的顺序开始输入装置100的动作，输入装置100的动作检测部200按照之前所述的顺序开始人物的手的动作(手势)的识别(步骤1000)。

接着设用户103面向输入装置100伸出手(步骤1001：是)。输入装置100识别用户103的手的位置，与该手的位置相应地在显示部101显示指针900(步骤1002)。此时，若用户103放下手，则输入装置100消除指针900的显示(步骤1001：否)。

接着设显示部101所显示的指针900的位置位于操作区域900的内侧(步骤1003：是)。输入装置100显示圆操作指针902来代替指针900。此外，与实施例1和实施例2相同，与用户103的手的动作相应地使圆操作指针902旋转(步骤1004)。其中，与实施例1和实施例2相同，在显示与圆操作指针的动作相关的图标时，输入装置100使该图标的大小伴随圆操作指针的旋转而发生变化。

进而，当用户103通过继续进行转动手的动作来使圆操作指针902旋转规定的角度的情况下(步骤1005：是)，输入装置100执行与圆操作指针902所在的操作区域900、圆操作指针902的旋转方向相应的操作(步骤1006)。另外，在圆操作指针902没有从操作开始状态旋转规定的角度的情况下，重复上述步骤1003至步骤1005(步骤1005：否)。此时，圆操作指针902以与用户103转动手的动作同步的方式旋转。

另一方面，在上述步骤1003，设指针900位于操作区域901的外侧(步骤1003：否)。在某个操作区域901中显示有圆操作指针902时，输入装置100代替圆操作指针902显示指针900(步骤1007)，当用户103移动手时(步骤1008：是)，与用户103的手的位置相应地移动指针900的位置(步骤1009)。其中，在上述步骤1008中，在用户103的手没有移动的情况下，返回上述步骤1001，继续之后的处理(步骤1008：否)。此外，在步骤1009之后，当用户通过规定的操作指示停止手的动作的识别时(步骤1010)，输入装置100结束手的动作的识别。

像这样，输入装置100识别用户103移动手的动作，与该动作相应地使指针900移动，进而按照显示部101的指针900的位置显示圆操作指针902来代替指针900，由此对用户103在指示的位置提示有效的操作。例如，当用户103操作显示在显示部101的地图时，通过移动手来移动指针900，根据指针900变化为圆操作指针902来在地图上确认能够放大的场所，进而通过在显示圆操作指针902的场所做出转动手的动作，能够在顺时针转动时进行放大地图等操作。由此，通过指针900和圆操作指针902的显示，用户能够与用户的每个动作对应地确认该瞬间处于怎样的操作状态、进行怎样的操作才能使操作得以执行、应该以怎样的程度移动手才好，所以用户能够对动作加以修正，以使自己不想做出的操作不会进行，能够流畅地进行GUI的操作。

Claims

1.一种输入装置，其特征在于，包括：

输入部，操作者的动作被作为图像信号输入；

动作检测部，根据输入到所述输入部的图像信号检测手的动作；

显示部，显示图形用户界面；和

控制部，根据所述动作检测部检测到的手的动作，对所述显示部显示的所述图形用户界面进行变更，

所述控制部，移动指针，使之与所述动作检测部检测到的手的动作同步，变更所述图形用户界面，使之显示与指针移动的量对应的动作量。

2.如权利要求1所述的输入装置，其特征在于：

所述动作检测部检测到的手的动作是转动手的动作；

与手的动作同步的指针的动作是使指针旋转的动作。

3.如权利要求1所述的输入装置，其特征在于：

所述动作量是图标的放大量或者缩小量。

4.如权利要求1所述的输入装置，其特征在于：

所述动作量是指针移动的轨迹。

5.如权利要求1所述的输入装置，其特征在于：

所述控制部，在所述动作量达到规定的量时，对所述图形用户界面进行变更，以执行规定的操作。

6.如权利要求5所述的输入装置，其特征在于：

所述规定的操作的执行是对显示有指针的位置进行放大显示或缩小显示。

7.如权利要求5所述的输入装置，其特征在于：

所述规定的操作的执行是从多个选择项目中对显示有指针的任意的选择项目加以选择。

8.如权利要求1所述的输入装置，其特征在于：

所述控制部，移动指针，使之与所述动作检测部检测到的手的动作同步，在指针位于规定的显示区域内时，变更所述图形用户界面，使之显示与指针移动的量对应的动作量。