CN101566914B - 输入装置 - Google Patents

Abstract

本发明提供一种输入装置。在输入装置中，能够对图形用户接口的显示区域进行变更，或对图形用户接口的显示区域的基准进行变更，以使用户能够容易地操作图形用户接口。本发明的输入装置具有：对操作者进行摄像的摄像部；对由上述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；显示区域计算部，以由上述图像识别部识别的操作者的身体的一部分为基准，计算作为用于操作者进行操作的、能够对图形用户接口进行操作的范围的显示区域；和在由上述显示区域计算部计算出的显示区域内，与图形用户接口一起还显示与上述操作者的身体的一部分相当的图像的显示画面。

Description

输入装置

技术领域

本发明涉及用于检测人物的动作，利用检测到的动作和图形用户接口进行直观的操作的输入装置或者图形用户接口的显示方法。

背景技术

经由图形用户接口接受用户的操作的同时，向用户反馈操作结果的个人计算机和电视得以普及。

另一方面，搭载有摄像机的个人计算机也开始普及。

其中，正在研究有关用户无需拿取遥控器等输入设备，利用由摄像机摄像的用户的动作来操作电视和个人计算机等的技术。

例如，专利文献1的发明，其目的在于提供不使用复杂的图像处理就能够进行直观的操作的远距离操作装置，通过将在显示装置显示的图像分割为与操作对应的规定数量的区域，对分割的每个区域算出之前的图像和现在的图像的变化的运动量，由此对显示在显示装置上的图形用户接口进行操作。

专利文献1：日本专利特开2006-235771

发明内容

在专利文献1的图8中，公开了如下技术，在多个视听者中的一个人想要操作时，改变图形用户接口的大小、形状、位置等。

但是，在该专利文献的图8中，随在画面内操作者的显示变小，图形用户接口的显示区域也变得狭窄，因而对于人来说，存在从远处难以看清，操作困难的问题。

此外，如专利文献1所示，当在以显示的操作者为中心的四边形的显示区域的四个角落上显示图形用户接口时，必须将手举到肩的上方，对于操作者来说操作并不是很容易。

本发明考虑到上述问题，其目的在于：在输入装置中，能够使用户尽量容易地操作图形用户接口，能够变更图形用户接口的显示区域、变更图形用户接口的显示区域的基准，同时，能够使用户任意地设定上述变更。

为了达到上述目的，权利要求1的输入装置具有：对操作者进行摄像的摄像部；对由上述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；显示区域计算部，以由上述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；和在由上述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与上述操作者的身体的一部分相当的图像的显示画面。

此外，当在上述显示画面内被显示的显示区域比显示画面小时，对该显示区域进行放大计算，显示画面显示该放大后的显示区域。另外，由上述图像识别部识别的身体的一部分是脸部、双手或单手。

进一步，权利要求6的本发明的输入装置具有：对操作者进行摄像的摄像部；对由上述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；显示区域计算部，以由上述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；在由上述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与上述操作者的身体的一部分相当的图像的显示画面；和改变在上述显示画面内被显示的显示区域的设定部。

具体来说，上上述设定部能够设定对上述显示区域进行放大或者保持原样。

进一步，权利要求8的本发明的输入装置具有：对操作者进行摄像的摄像部；对由上述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；显示区域计算部，以由上述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；在由上述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与上述操作者的身体的一部分相当的图像的显示画面；和对将由上述图像识别部识别的身体的一部分定为哪一部分进行变更的设定部。

具体来说，成为上述变更对象的身体的部分为脸部、双手或单手。

根据本发明，通过对图形用户接口的显示区域进行放大，能够提供用户容易分辨、容易操作的输入装置。

此外，作为一例，通过将图形用户接口的显示区域的基准不设为脸部，而是设为手，能够提供使用户通过简单的动作而容易操作的输入装置。

进一步，通过使用户能够对显示区域的变更和显示区域的基准的变更进行任意地设定，能够提供进行用户所希望的操作的输入装置。

附图说明

图1是表示本发明的输入装置的动作环境的概要图。

图2是表示本发明的输入装置的结构的框图。

图3是说明本发明的第一实施方式的图。

图4是说明本发明的第一实施方式的流程图。

图5是说明本发明的第二实施方式的图。

图6是说明本发明的第二实施方式的流程图。

图7是说明本发明的第二实施方式的流程图。

图8是说明本发明的第三实施方式的图。

图9是说明本发明的第三实施方式的流程图。

图10是说明本发明的第四实施方式的图。

图11是说明本发明的第四实施方式的流程图。

符号说明

1输入装置

2用户

3摄像装置

4显示装置

100图像识别部

101图形用户接口显示区域计算部

102系统控制部

103影像处理部

401识别出的脸部的区域

402图形用户接口显示区域

403、404识别出的双手的区域

405以脸部为中心的分割区域

401～406识别出的手的区域

4a～4d图形用户接口的示例

具体实施方式

下面，对于使用本发明的各实施例进行说明。

(第1实施方式)

图1是说明将本发明应用于电视机(TV)时的动作环境的概要的图。1为输入装置，4为显示画面，3为摄像部，2为要操作输入装置1的用户。显示画面4为输入装置1的显示部，例如，由液晶显示器或等离子体显示器等显示装置构成。显示画面4由显示面板、面板控制电路和面板控制驱动器构成，在显示面板上显示由后述的影像处理部103供给的数据构成的影像。摄像部3为用于向输入装置1输入动画图像的摄像机等设备。此外，摄像部3也可以内置于输入装置1或者通过线缆或无线等其他方法连接。用户2为对于输入装置1进行操作的用户，在摄像部3能够摄像的范围内存在多人也可以。

输入装置1，例如图2所示，至少具有摄像部3、显示部4、图像识别部100、图形用户接口显示区域计算部101、系统控制部102、影像处理部103、操作方式设定部104。

图像识别部100由摄像部3接收动画图像，由接收的动画图像检测人物的动作之外，识别脸部和手等。图形用户接口显示区域计算部101计算出图形用户接口的显示位置、显示的尺寸、显示范围等显示区域。系统控制部102例如由微型处理器构成，根据由图形用户接口显示区域计算部101算出的显示区域显示由图像识别部100接收的数据和与图形用户接口相关的数据，而控制影像处理部103的动作。影像处理部103例如由ASIC、FPGA、MPU等处理装置构成。影像处理部103根据系统控制部102的控制，将影像和与图像用户接口相关的数据，变换为能够由显示画面4处理的形态并输出。操作方式设定部104为用于由用户2对规定操作方式进行任意选择的部位，具体在后面说明。

使用图3、图4对第一实施方式中处理的概要进行说明。

在本方式中，其特征在于，识别用户2的脸部，根据识别的脸部的位置和大小，计算图形用户接口的显示区域。

首先，通过用户2做特定的动作，开始操作(图4的S4001)。特定的动作能够列举，例如在规定期间内挥手的动作，伸展手掌面向摄像机在规定时间内静止的动作，使手成为规定的形状并在规定期间内静止的动作，招手的动作，或者眨眼等使用脸部的动作。通过做特定的动作，用户2对输入装置1指示从此开始进行操作，接收该指示的输入装置1移行至接受用户2的操作的状态。图像识别部100检测到用户的特定的动作时(图4的S4002)，由检测到动作的位置在规定范围内查找是否有用户2的脸部(图4的S4003)。在未发现脸部的情况下，对于用户2通知，以使在脸部的附近做特定的动作(图4的S4005)。通知的方法可以在显示装置4显示，也可以用声音等通知。如果找到了脸部(图4的S4004)，对于显示装置4的显示区域测定检测到的脸部的位置、大小(图4的S4006)。而后，图形用户接口的显示区域计算部101计算与上述检测的脸部的位置、大小相对应的图形用户接口的显示区域(图4的S4007)，显示图形用户接口(图4的S4008)。使用图3-b和图3-c对于上述检测到的脸部的位置、大小相对应的图形用户接口的显示区域的示例进行说明。在图3-b和图3-c中，4a～4d为图形用户接口的示例，401为检测到的脸部的区域，402为与该检测到的脸部的区域相对应地由图形用户接口的显示区域计算部101算出的图形用户接口的显示区域。

在图3-b的示例中，对于脸部的区域401仅在用户2的手能达到的范围内配置图形用户接口4a～4d。但是，该情况下，图形用户接口的显示区域越小，对于人来说，越担心由远处难以看清，操作困难。

对此，图3-c的示例中，进行放大显示，向对于脸部的区域401在显示装置4上能够尽可能大地显示图形用户接口。在该示例中，由于使显示画面为最大，能够放大图形用户接口的显示区域，由远处也容易看清，容易操作。但是，图3-b的情况，还具有显示图形用户接口的计算量较少的优点。

对于上述两个方式也能够利用操作方式设定部104由用户2来进行切换。此外，规定期间用户2的脸部无法识别的情况下，也可以消去图形用户接口。

(第2实施方式)

在本方式中，在第一实施方式说明的输入装置1中，其特征在于，与用户2的双手相对应，计算图形用户接口的显示区域，使用图5、图6、图7对于该方式进行说明。

首先，用户2如图5-a所示，举起双手，挥手(图6的S6001)。而后，图像识别部100检测双手的动作(图6的S6002)。在此，图像识别部100查找双手分别活动的区域。此外，在此由于只检测动作，也可以不检测手，能检测到活动的物体即可。图像识别部100未检测到两处的动作部分的情况下(图6的S6003)，通知用户未检测到(图6的S6004)。如果能够检测到的情况下(图6的S6003)，计算检测到的两处的动作部分的位置(图6的S6005)。根据该计算，能够推定用户2所能操作的范围。接着，图形用户接口的显示区域计算部101计算与上述检测到的两处的动作部分的位置相对应的图形用户接口的显示区域(图6的S6006)，显示图形用户接口(图6的S6007)。使用图5-b和图5-c对与上述检测到的两处动作部分的位置相对应的图形用户接口的显示区域的示例进行说明。在图5-b和图5-c中，403和404为检测到的两处动作部分的区域。显示的方式与图3-b和图3-c相同，能够考虑两种类型。

在图5-b的示例中，对于检测到的两处动作部分的位置403、404仅在用户2的手能达到的范围内配置图形用户接口4a～4d。但是，在此情况下，图形用户接口的显示区域越小，对于人来说，越担心由远处难以看清，操作困难。

对此，图5-c的示例为对于检测到的两处动作部分的位置403、404放大为在显示装置4能够尽量大地显示图形用户接口。在此示例中，由于使显示画面为最大，能够放大图形用户接口的显示区域，由远处也容易看清，容易操作。但是，图5-b的情况，还具有显示图形用户接口的计算量较少的优点。

上述两个方式也能够利用操作方式设定部104由用户2进行切换。此外，规定期间用户2的手无法识别的情况下，也可以消去图形用户接口。

此外，图7是说明伸展双手，通过识别该伸展的双手而检测两处位置的方法的流程图。用户2如图5-a所示，举起双手，伸展双手，朝向摄像装置3进行动作(图7的S7001)。而后，图像识别部100分别识别双手(图7的S7002)。图像识别部100未检测到两处的手的情况下(图7的S7003)，通知用户未检测到(图7的S7004)。如果检测到的情况下(图7的S7003)，计算检测到的两处的手的位置(图7的S7005)。而后，图形用户接口的显示区域计算部101计算出与上述识别出的双手的位置相对应的图形用户接口的显示区域(图7的S7006)，显示图形用户接口(图7的S7007)。与上述识别出的双手的位置相对应的图形用户接口的显示区域的示例，作为结果与图5-b和图5-c相同。

(第3实施方式)

在本方式中，其特征在于，在第一实施方式说明的输入装置1中，与用户2的单手的位置、大小和形状相对应，计算图形用户接口的显示区域，使用图8、图9对于该方式进行说明。

首先，用户2，如图8-a所示，用手做特定的动作(图9的S9001)。用户2在自己容易操作的位置做特定的动作即可，能够考虑实施例1说明那样的动作。接着，图像识别部100对手进行识别(图9的S9002)。在此，图像识别部100可以对手进行图像识别，也可以检测手活动的区域。图像识别部100未检测到手的情况下(图9的S9003)，通知用户未检测到(图9的S9004)。如果检测到的情况下(图9的S9003)，计算手的位置、大小、形状(图9的S9005)。根据该计算，能够推定用户2能够操作的范围。接着，图形用户接口的显示区域计算部101计算出与上述识别出的手的位置、大小、形状相对应的图形用户接口的显示区域(图9的S9006)，显示图形用户接口(图9的S9007)。使用图8-b和图8-c对与上述识别出的手的位置、大小、形状相对应的图形用户接口的显示区域的示例进行说明。在图8-b和图8-c中，405为识别出的手的区域。

根据图8-b和图8-c的实施例，无需如上述的图3和图5的实施例所述地举起双手，能够仅通过手的简单的动作，使用图形用户接口进行操作。

显示的方式与图3-b和图3-c同样能够考虑两种类型。

在图8-b的示例中，对于识别的手的区域405仅在用户2的手能够到达的范围内配置图形用户接口4a～4d。但是，在此情况下，图形用户接口的显示区域越小，对于人来说，越担心由远处难以看清，操作困难。

对此，图8-c的实例中，对于识别的手的区域405放大为在显示装置4能够尽量大地显示图形用户接口。在此示例中，由于使显示画面为最大，能够放大图形用户接口的显示区域，由远处也容易看清，容易操作。但是，图8-b的情况，还具有显示图形用户接口的计算量较少的优点。

上述两个方式也能够利用操作方式设定部104由用户2进行切换。此外，规定期间用户2的手无法识别的情况下，也可以消去图形用户接口。

(第4实施方式)

在第一至第三实施方式中，说明了用户2操作的各方式。在本方式中，使用图10、图11对在操作方式设定部104中对第一至第三实施方式进行选择·设定的方法进行说明。在此，为了便于说明，将上述第一实施方式称为“脸部识别方式”，将上述第二实施方式称为“双手识别方式”，将上述第三实施方式称为“单手识别方式”。

作为在操作方式设定部104中对第一至第三实施方式进行选择·设定的方法，能够考虑各种方法。

作为一例，如图10所示，能够考虑设置设定画面，使用触摸面板和遥控器等选择的方法。在图10中，1001表示操作方式选择方法的设定，1002表示图形用户接口显示设定。在操作方式选择方法的设定1001中，通过选择“脸部识别”、“双手识别”、“单手识别”，能够以需要的方式进行操作。此外，图形用户接口显示的设定1002为在各方式中，选择是否放大显示图形用户接口时的显示区域。

作为另一例，能够考虑通过预先确定的手势进行图10所示的设定画面的各选择的方法。在此情况下，需要预先确定分别决定“脸部识别”、“双手识别”、“单手识别”、“放大”、“不放大”等选项的手势。

图11是说明选择操作方式的流程的图。首先通过用户2做特定的动作，开始操作(图11的S1101)。而后，在操作方式设定部104中，利用基于上述设定画面的选择、或手势的选择，进行操作方式的选择(图11的S1102)。而后，根据相应选择所选择的操作方式而进行操作，因而移行至相应的第一至第三实施方式中的任一处理。

Claims (9)

1.一种输入装置，其特征在于，具有：

对操作者进行摄像的摄像部；

对由所述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；

显示区域计算部，以由所述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；和

在由所述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与所述操作者的身体的一部分相应的图像的显示部，

所述显示区域计算部计算出的所述显示区域是与所述操作者的身体的一部分的位置和大小对应的图形用户接口的显示区域。

2.如权利要求1所述的输入装置，其特征在于：

当在所述显示部的显示画面内被显示的显示区域比显示画面小时，对该显示区域进行放大计算，所述显示部显示该放大后的显示区域。

3.如权利要求1所述的输入装置，其特征在于：

由所述图像识别部识别的身体的一部分为脸部。

4.如权利要求1所述的输入装置，其特征在于：

由所述图像识别部识别的身体的一部分为双手。

5.如权利要求1所述的输入装置，其特征在于：

由所述图像识别部识别的身体的一部分为单手。

6.一种输入装置，其特征在于，具有：

对操作者进行摄像的摄像部；

对由所述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；

显示区域计算部，以由所述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；

在由所述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与所述操作者的身体的一部分相应的图像的显示部；和

改变在所述显示部的显示画面内被显示的显示区域的设定部，

所述显示区域计算部计算出的所述显示区域是与所述操作者的身体的一部分的位置和大小对应的图形用户接口的显示区域。

7.如权利要求6所述的输入装置，其特征在于：

所述设定部能够设定对所述显示区域进行放大或者保持原样。

8.一种输入装置，其特征在于，具有：

对操作者进行摄像的摄像部；

对由所述摄像部摄像的操作者的身体的一部分进行识别的图像识别部；

显示区域计算部，以由所述图像识别部识别的操作者的身体的一部分为基准，计算作为操作者能够对用于进行操作的图形用户接口进行操作的范围的显示区域；

在由所述显示区域计算部计算出的显示区域内，与图形用户接口一起显示与所述操作者的身体的一部分相应的图像的显示部；和

对将由所述图像识别部识别的身体的一部分定为哪一部分进行变更的设定部，

所述显示区域计算部计算出的所述显示区域是与所述操作者的身体的一部分的位置和大小对应的图形用户接口的显示区域。

9.如权利要求8所述的输入装置，其特征在于：

成为所述变更对象的身体的部分为脸部、双手或单手。

Images