CN102812416B - 指示输入装置、指示输入方法、程序、记录介质以及集成电路 - Google Patents

Abstract

用户直观理解以及容易操作的指示输入装置(10)具备：第一方向检测部(102)，检测作为用户看着的方向的第一方向；第二方向检测部(103)，检测作为用户进行定点操作的方向的第二方向；注视位置算出部(106)，根据用户的位置以及第一方向，算出画面上的用户的注视位置；基准坐标群算出部(107)，根据用户的位置以及第一方向，算出基准线，该基准线是与注视位置对应的线，且是连接用户和画面的空间上的线；偏移量算出部(108)，将表示用户的手的位置的输入坐标与基准线之间的在第二方向上的距离，作为相对于注视位置的偏移量来算出；以及指针显示位置算出部(109)，将画面上的在第一画面规定方向上与注视位置之间的距离成为该偏移量的位置，作为指针的显示位置来算出。

Description

指示输入装置、指示输入方法、程序、记录介质以及集成电路

技术领域

本发明涉及根据基于用户手的动作的定点操作，算出在画面上显示的指针的显示位置的指示输入装置以及指示输入方法等。

背景技术

随着显示器和屏幕的大屏幕化，显示器不单单用于视听节目和信息阅览，而且如多个信息的同时使用和大量信息的一览，在显示器上显示广告的电子广告系统等向新的使用方法的可能性正在扩大。

此外，周知的有如下的指示输入装置：针对大屏幕显示器，使用用户把持的坐标输入装置和手指指示动作等，能够在与显示画面分离的位置输入信息。

在这种装置中，为了指示显示画面上的任意的位置，细致地移动把持的坐标输入装置或者指尖，对用户来说并不是容易的操作。此外，在多人同时使用的情况下，很多时候因为其他的用户限制了向任意的位置移动，尤其是对在画面上相互分离的位置进行指示输入，对用户来说是非常困难的操作。因此，希望采用如下操作方式，不在显示画面的前面移动，且根据简单的操作就能够指示显示器上的任意位置的操作方式。

在这样的情况下，针对前段的课题，提出了在从分离的位置也能简单地指示输入任意的位置的操作方式。已知有注视画面的时间为规定时间以上的时候，使指针移动到画面上的注视点，从该位置根据输入装置使指针相对地移动的方式（参考专利文献1）。此外，还有利用能够切换绝对输入和相对输入的坐标输入装置来操作画面整体，且通过估计用户在空间上移动坐标输入装置时的操作面，从而提高操作性的方式（参考专利文献2）。进一步，还有周知的是具备如下单元的装置，该单元是根据显示画面上的指针的移动状态，切换到使相对于坐标输入装置的动作的指针的移动量变小的模式的单元(参考专利文献3)。

现有技术文献

专利文献

专利文献1：日本特开平9－128138号公报

专利文献2：日本专利第3952896号公报

专利文献3∶日本特开2008－171337号公报

然而，上述以往的技术都没有考虑，与用户看着的方向相同的方向伸出的手和与其对应的画面上的指针之间的位置关系不发生变化。换言之，在以往的技术中，用户的手在沿着用户看着的方向(视线方向)上的线上的状态下，用户向该线上的不同的位置伸手，指针有可能被显示在不同的位置上。例如，从所述线上的第一位置，用户将手移动到从该线偏离的第二位置之后，将手移动到该线上的第三位置。这个情况下，尽管手在第一位置上的时候用户看着的方向与手在第三位置的时候用户看着的方向一样，但是在所述线上第一位置与第三位置不同，则指针的显示位置就会不同。例如，从第一位置到第二位置的距离与从第二位置到第三位置的距离不同，则指针的显示位置就会不同。用户估计如果手在沿着视线方向的线上，即使手在线上互不相同的位置上，也会在画面上的相同位置上显示指针。因此，在上述以往技术中存在这样的课题，指针显示在与用户估计的地方不同的位置上，即难以如愿地操作指针的位置。

进一步在对画面上的相互分离的位置进行操作的情况下，用户将身体或者脸斜对着画面进行定点操作，所以身体的朝向，视线的朝向以及画面的朝向存在不同。上述的以往技术都没有顾及到所述的朝向的不同，用户移动手的量与画面上的指针的移动量存在大的偏离，不明白手要移动多少，才能够将指针移动到目标地，存在难以如愿地操作这样的课题。

发明内容

本发明为了解决所述以往的课题，其目的在于，提供一种指示输入装置以及指示输入方法等，以向用户看着的方向伸出的手和与其对应的画面上的指针的位置关系不发生变化，且用户的手的移动量和画面上的指针的移动量的对应关系不发生变化的方式，来算出指针的显示位置，从而用户能够直观理解以及容易操作。

为了达成上述的目的，本发明的一个方案涉及的指示输入装置，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入装置具备：用户位置检测部，检测用户的位置；输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测；第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向；第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向；注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置；基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线；偏移量算出部，将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。

根据该构成，能够根据用户看着的方向和用户进行定点操作的方向，算出指针的显示位置。换言之，将基准线（基准坐标群）与输入坐标之间的在第二方向上的距离，作为相对于注视位置的偏移量来算出，将该画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为该偏移量的位置，作为在指针的显示位置来算出。从而，能够使用户向看着的方向伸出的手和与其对应的画面上的指针的位置关系不发生变化。加之，也能够以使用户的手的移动量与画面上的指针的移动量的对应关系不发生变化的方式，算出指针的显示位置。其结果，能够实现用户能够直观理解以及容易操作的指示输入装置。

此外，优选的是，所述用户的位置是用户的脸部位置或者头部位置。

根据该构成，用户的位置成为脸部或者头部位置，所以能够使用户的注视位置的算出精度提高。

此外，优选的是，所述指示输入装置还具备三维坐标输入装置，该三维坐标输入装置在被用户把持的状态下输出装置本身的位置，所述输入坐标检测部，将由所述三维坐标输入装置输出的位置的坐标，作为所述输入坐标来检测。

根据这个构成，能够使表示用户的手的位置的输入坐标的检测精度提高。

此外，优选的是，所述指示输入装置还具备摄像部，该摄像部拍摄用户，所述输入坐标检测部根据由所述摄像部进行拍摄而获得的图像，检测所述输入坐标，所述输入坐标表示所述用户的手的位置。

根据这个构成，即使是用户的手没有把持三维坐标输入装置的情况下，也能检测输入坐标，所以能够使用户的便利性提高。

此外，优选的是，所述输入坐标检测部还根据由所述摄像部进行拍摄而获得的图像，识别所述用户的右手以及左手，按照被识别的左手和右手分别检测输入坐标。

根据这个构成，能够按照左手与右手检测输入坐标，能够使用户的操作性提高。

此外，优选的是，所述第一方向检测部，根据包含脸部朝向以及视线中的至少一方的所述用户的身体的姿势，检测所述第一方向。

根据这个构成，能够根据脸部朝向以及视线的至少一方来检测第一方向。

此外，优选的是，所述第二方向检测部，根据至少包含身体的朝向的所述用户的身体的姿势，检测所述第二方向。

根据这个构成，能够根据用户的身体的朝向来检测第二方向。

此外，优选的是，所述第二方向检测部，除了根据用户的身体的姿势，还根据相对于所述用户的位置的所述画面的方向，检测所述第二方向。

根据这个构成，将与用户的位置和画面的位置之间的位置关系适应的方向，作为第二方向来检测。

此外，优选的是，所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向，还根据所述第二方向，算出所述基准线。

根据这个构成，在第一方向与第二方向之间的角度比预先规定的角度小的情况下，用户向以头部位置为基准的视线方向的矢量上伸出一只手，存在困难。在这样的情况下，对于该一只手，能够根据第二方向恰当地算出基准线。

此外，优选的是，所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与胸部位置的对应关系的信息，所述基准线算出部，根据所述用户的位置以及所述第一方向，还根据从所述用户信息数据库获得的表示所述对应关系的信息，算出所述基准线。

根据这个构成，能够以用户的胸部位置为基准算出基准线，所以能够算出与用户的自然的姿势的定点操作对应的基准线。

此外，优选的是，所述指示输入装置还具备：用户信息数据库，存储至少表示每个用户的胸部位置的信息；以及用户识别部，识别用户，所述基准线算出部，根据所述用户的位置以及所述第一方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的胸部位置的信息，来算出所述基准线，所述用户识别信息是表示由所述用户识别部识别的用户的信息。

根据这个构成，能够算出与每个用户的身体特征适应的基准线。

此外，优选的是，所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向、和从所述用户信息数据库获得的表示所述对应关系的信息，还根据所述第二方向，算出所述基准线。

根据这个构成，第一方向和第二方向之间的角度比预先规定的角度小的情况下，用户向以胸部位置为基准的视线方向的矢量上伸出一只手，存在困难。在这样的情况下，对于该一只手，能够根据第二方向恰当地算出基准线。

此外，优选的是，所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与手臂的长度的对应关系的信息，所述偏移量算出部，根据所述第二方向、和从所述用户信息数据库获得的表示所述对应关系的信息，算出所述偏移量。

根据这个构成，能够考虑用户的手臂的长度来算出偏移量，所以能够使相对于用户的手的移动量的画面上的指针的移动量，不会因用户的手臂的长度不同而变化。

此外，优选的是，所述指示输入装置还具备：用户信息数据库，存储至少表示每个用户的手臂的长度的信息；以及用户识别部，识别用户，所述偏移量算出部，根据所述第二方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的手臂的长度的信息，来算出所述偏移量，所述用户识别信息是表示由所述用户识别部识别的用户的信息。

根据这个构成，能够算出与每个用户的身体特征适应的偏移量。

此外，优选的是，所述指示输入装置还具备显示部，该显示部，在由所述指针显示位置算出部算出的显示位置上显示指针。

根据这个构成，指示输入装置也能够显示指针。

此外，优选的是，所述偏移量算出部，将所述基准线与所述输入坐标之间的在第三方向上的距离，作为在沿着所述画面上的第二画面规定方向的相对于所述注视位置的其他的偏移量来算出，所述指针显示位置算出部，将所述画面上的在所述第二画面规定方向上与所述注视位置之间的距离成为所述其他的偏移量的位置，作为在所述画面上显示的指针的显示位置来算出，所述第三方向是与第一方向以及第二方向不同的方向，所述第二画面规定方向是与所述第一画面规定方向不同的方向。

这样，将基准线与输入坐标之间的在第二方向上的距离和在第三方向上的距离分别作为偏移量来算出，从注视位置朝着第一画面规定方向以及第二画面规定方向分别隔开所述偏移量的位置，作为指针的显示位置来算出。因此，能够实现用户在二维上直观理解以及容易操作的指示输入装置。

另外，本发明不仅能作为这样的指示输入装置来实现，还能作为将这样的指示输入装置具备的特征性构成部的动作为步骤的指示输入方法来实现。此外，本发明也能够作为使计算机执行指示输入方法中包含的各步骤的程序来实现。而且，这样的程序当然能够经由CD-ROM（Compact Disc ReadOnly Memory）等的记录介质或者互联网等传输介质来分发。

根据本发明，能够根据用户看着的方向和用户进行定点操作的方向，来算出指针的显示位置。从而，能够使向用户看着的方向伸出的手和与其对应的画面上的指针之间的位置关系不发生变化。加之，能够以使用户的手的移动量和画面上的指针的移动量的对应关系不变化的方式，来算出指针的显示位置。其结果，能够实现用户直观理解以及容易操作的指示输入装置以及指示输入方法。

附图说明

图1是说明本发明的实施例1或者实施例2中的指示输入装置的外观和相关设备之间的接口的一个例子的图。

图2是本发明的实施例1的指示输入装置的主要功能方框图。

图3A是说明在本发明的实施例1中的用户位置与其三维位置的检测方法的图。

图3B是说明在本发明的实施例1中的用户位置与其三维位置的检测方法的另一图。

图4A是说明在本发明的实施例1中的基于图像的脸部朝向或者视线的检测方法的图。

图4B是说明在本发明的实施例1中的基于图像的脸部朝向或者视线的检测方法的流程图。

图5A是说明在本发明的实施例1中的基于图像的脸部朝向的检测方法的图。

图5B是说明在本发明的实施例1中的基于图像的黑眼球朝向的检测方法的图。

图5C是说明在本发明的实施例1中的基于图像的黑眼球朝向的检测方法的另一图。

图6A是说明在本发明的实施例1中的基于图像的身体朝向的检测方法的流程图。

图6B是说明在本发明的实施例1中的基于图像的身体朝向的检测方法的图。

图7A是说明在本发明的实施例1中的基于图像的手的检测方法的图。

图7B是说明在本发明的实施例1中的基于图像的手的检测方法的流程图。

图8A是说明在本发明的实施例1中的基于坐标输入遥控器的手的位置的检测方法的图。

图8B是在本发明的实施例1的坐标输入遥控器的外观图。

图9是说明在本发明的实施例1中的画面上的注视位置的算出方法的图。

图10是说明在本发明的实施例1中的基准坐标群的算出方法的图。

图11A是说明在本发明的实施例1中的偏移量的算出方法的图。

图11B是说明在本发明的实施例1中的偏移量的算出方法的另一图。

图11C是用于说明本发明的实施例1中的指示输入装置的效果的图。

图11D是用于说明本发明的实施例1中的指示输入装置的效果的另一图。

图12是本发明的实施例2中的指示输入装置的主要功能方框图。

图13是说明本发明的实施例2中的用户信息数据库的图。

图14A是说明在本发明的实施例2中的根据用户信息数据库算出基准坐标群的算出方法的图。

图14B是说明在本发明的实施例2中的根据用户信息数据库算出基准坐标群的算出方法的另一图。

图15A是说明在本发明的实施例2中的根据用户信息数据库算出偏移量的算出方法的图。

图15B是说明在本发明的实施例2中的根据用户信息数据库算出偏移量的算出方法的另一图。

图16是本发明的实施例2的变形例中的指示输入装置的主要功能方框图。

具体实施方式

下面，参考附图来说明本发明的实施方式。

(实施例1)

<概要>

本发明涉及的指示输入装置适合适用于由1人以上的用户进行操作的大屏幕显示器，根据用户的定点操作进行画面上显示的指针位置的控制。

在这里，定点操作是根据用户的手的手势操作，是用于移动指针的操作。此外，指针是在用户指示的画面上的位置上显示的图像。另外，指针的形态（形状、模样以及颜色），不需要限定为特定的形态，只要是用户能够识别的形态，不管怎样的形态都可以。指针的典型图像是例如白色或者黑色的箭头记号的图像。

<构成>

图1是说明本发明的实施例中的指示输入装置的外形与相关设备之间的接口的一例的图。

影像显示装置112根据由天线所接收的广播信号等在画面111显示图像或者影像，所述天线用于接收广播节目等。

用户检测照相机100设置在影像显示装置112具备的画面111的附近，拍摄位于画面前方的用户。

指示输入装置10，根据对利用用户检测照相机100拍摄的图像信息进行分析而检测出的用户的位置、动作、或者身体的姿态，来控制影像显示装置112。

另外，指示输入装置10也可以根据保持坐标输入遥控器105的用户的手的位置和动作、和按下设置在该遥控器上的按钮等用户的遥控器操作，来控制影像显示装置112。

此外，指示输入装置10也可以根据保持其他的设备例如移动电话的用户的手的位置和动作、和按下设置在该移动电话上的按钮等操作，来控制影像显示装置112。

此外，影像显示装置112经由路由器/集线器等与互联网连接，能够显示从互联网上获得的数字信息。

此外、在图1中未表示，不过，影像显示装置112具有的多个扬声器，可以设置在影像显示装置112的上端和下端或者左端和右端这样的相互分离的位置上。

图2是表示本发明的实施例1的指示输入装置的构成例的图。

用户检测照相机100拍摄位于画面111的前方的用户，并将通过拍摄得到的图像发送到指示输入装置10。

指示输入装置10根据用户的定点操作，算出在画面上显示的指针的显示位置。指示输入装置10具备：用户位置检测部101、第一方向检测部102、第二方向检测部103、以及坐标输入检测部104。还具备：指示输入装置10、注视位置算出部106、基准坐标群算出部107、偏移量算出部108、以及指针显示位置算出部109。

坐标输入遥控器105是三维坐标输入装置的一例。坐标输入遥控器105在被用户把持的状态下输出该坐标输入遥控器105的位置。坐标输入遥控器105具备按钮输入部1051和位置检测部1052。

影像显示装置112具备显示部110和画面111。显示部110将指针显示在由指针显示位置算出部109算出的画面111上的显示位置上。

<工作>

下面说明图2中的各块的功能。

＜用户检测照相机＞

用户检测照相机100设置在影像显示装置112上，具备CCD（ChargeCoupled Device）等图像传感器。用户检测照相机100拍摄位于画面111的前方的用户。

＜用户位置检测部＞

用户位置检测部101从由用户检测照相机100拍摄的多个图像进行用户区域的提取之后，根据多个图像中的用户区域的对应关系，根据立体视的原理，算出相对于画面111的用户的脸或者头的相对位置。

图3A以及图3B是表示本发明的实施例1的用户位置检测部101根据立体视的原理算出用户的位置的方法的图。

如图3A所示，将两台一组的用户检测照相机100设置成相隔间距B，相对于画面111平行地设置。用户位置检测部101基于由各个用户检测照相机100几乎同时拍摄到的两个图像内的对应的用户区域的位置的偏差，算出用户与画面111之间的距离D。由各用户检测照相机100拍摄到的图像内的用户映现的区域(用户区域)的提取，例如，通过预先保存用户不在的状态下由各用户检测照相机100拍摄到的图像，并求出与用户出现时的图像之间的差分来实现。此外，用户位置检测部101也可以通过脸部图像检测求出用户的脸部区域，将所述脸部区域作为用户区域来提取。

图3B是表示了立体视的原理的图，立体视的原理是指基于两个图像上的对应的用户区域，求出用户和照相机设置面(画面111)之间的距离D。若将分别对应由两台用户检测照相机100所拍摄到的图像的用户区域作为位置测定对象时，该用户区域的像如图3B一样地投影在两个摄影面(图像)上。若将对应的像在图像上的偏差作为Z时，根据用户检测照相机100的焦距f和用户检测照相机100的光轴间的距离B，用户和画面111之间的距离D由D=f×B/Z来求出。此外，关于在与画面111平行的方向上的用户位置，能够基于图像中的用户区域的位置和所述的距离D来求出。这样，用户位置检测部101输出如上述求出的针对画面111的用户的相对位置。

另外，作为用户检测照相机100使用根据光波测距（Time of Flight）的原理输出距离信息的距离图像感应器等时，用户位置检测部101，通过使用该距离信息能够容易地算出对于画面111的用户的相对位置。这个情况下，用户检测照相机100也可以是1台。

＜第一方向检测部＞

第一方向检测部102从由用户检测照相机100拍摄的图像中检测视线的方向（以下，简称为“视线方向”）为第一方向，该第一方向表示用户看着的方向。

图4A～图5C是表示本发明的实施例1的第一方向检测部102的视线检测方法的图。

视线方向根据脸部的朝向（以下，简称为“脸部朝向”）和眼睛中的黑眼球部分的方向（以下简称为“黑眼球的朝向”或者“黑眼球方向”）的组合来计算视线方向。于是，第一方向检测部102，首先估计人物的三维脸部朝向，接着进行黑眼球的朝向的估计，结合二者来计算视线方向。

如图4A所示，第一方向检测部102从由用户检测照相机100拍摄的图像中，首先进行脸部朝向的估计。脸部朝向通过利用例如图4B及图5A使用以下说明的方法来进行估计。

图4B是表示视线方向的估计方法的整体流程的流程图。本实施例中，针对几个脸部朝向的每一个朝向分别预先准备在被检测出的脸部区域的眼睛、鼻子以及嘴等的脸部部分特征点的区域。图5A的例子中准备了脸部朝向正面以及左右±20度的脸部部分特征点的区域。此外，预先准备了切出各脸部部分特征点周围区域的模板图像。

首先，用户检测照相机100拍摄位于画面111的前方的用户(S201)。而且，第一方向检测部102，从拍摄的图像进行脸部区域的检测(S202)。接着，第一方向检测部102，针对检测出的脸部区域，适用与各脸部朝向对应的脸部部分特征点的区域（脸部部分区域）(S203)，切出各脸部部分特征点的区域图像（脸部部分区域图像）。第一方向检测部102，计算被切出的区域图像与预先准备的模板图像的相关(S204)，针对各脸部朝向的角度以相关的比进行加权，求出被加权的各脸部朝向的角度的和（加权和），将该和作为检测脸部的脸部朝向(S205)。在图5A的例子中，针对脸部朝向“+20度”的相关是0.85，针对“0度(正面朝向)”的相关为“0.14”，针对“－20度”的相关为“0.01”，因此，将脸部朝向算出为20×0.85+0×0.14－20×0.01=16.8度。

在此，将各脸部部分区域作为相关计算的对象，但是不限于此，例如，也可以将脸部区域全体作为相关计算的对象。并且，作为其他的方法公知的有如下的方法：从脸部图像中检测眼睛、鼻子以及嘴等的脸部部分特征点，根据脸部部分特征点的位置关系来计算脸部朝向。作为根据脸部部分特征点的位置关系来计算脸部朝向的方法，存在如下方法：对预先准备的脸部部分特征点的三维模型进行旋转、放大或者缩小，进行匹配以使其与从一个照相机得到的脸部部分特征点最一致，根据得到的三维模型的旋转量来计算脸部朝向。此外，还存在如下方法：利用使用2台照相机的立体视的原理，根据左右照相机中的脸部部分特征点位置在图像上的偏差来计算各脸部部分特征点的三维位置，根据得到的脸部部分特征点的位置关系来计算脸部朝向。例如存在这样的方法：将以双眼和嘴的三维坐标点展开的平面的法线方向检测为脸部朝向的方法等。

第一方向检测部102，在脸部朝向决定之后估计黑眼球的朝向。黑眼球方向能够通过例如以下的方法来估计。利用图4B、图5B以及图5C说明黑眼球方向的估计方法的概要。

首先，说明关于视线方向基准面的算出。在本方法中的视线方向基准面是算出视线方向时成为基准的面，与脸部的左右对称面相同。在本方法中，内眼角比外眼角和嘴角、眉毛等其他的脸部部分相比，由表情引起的变动少，并且误测少，利用此第一方向检测部102使用内眼角的三维位置来算出脸部的左右对称面。

第一方向检测部102，针对由立体照相机拍摄的2张图像，使用脸部检测模块和脸部部分检测模块来检测内眼角，并将这些进行立体测量，从而测量内眼角的三维位置(S206)。如图5B所示，视线方向基准面作为将检测到的左右内眼角作为端点的线段的垂直等分面来获得。

接着，对黑眼球中心的检测进行说明。人所看到的是，从瞳孔进入的光到达网膜，成为电信号传递到大脑的。因此，在检测视线方向的情况下，看瞳孔的动作就可以。但是，日本人的虹彩为黑色或茶色，所以，在图像上难以判别瞳孔和虹彩。于是在这里，由于瞳孔的中心和黑眼球(虹彩)的中心大致一致，因此第一方向检测部102检测黑眼球中心，以代替检测瞳孔的中心。首先，第一方向检测部102检测外眼角和内眼角，如图5C的(c－1)所示，包含外眼角和内眼角的眼睛区域中，将亮度最小的区域检测为黑眼球区域。接着，第一方向检测部102，如图5C的(c－2)所示，由第一区域和第二区域构成的黑眼球中心检测滤片设定为黑眼球区域，搜索第一区域内的像素亮度和第二区域内的像素亮度的区域间分散最大的圆中心，将此作为黑眼球中心。最后与上述同样，第一方向检测部102通过立体测量来获得黑眼球中心的三维位置(S207)。

加之，对视线方向的检测进行说明。第一方向检测部102使用计算出的视线方向基准面和黑眼球中心的三维位置来检测针对脸部正面的视线方向(黑眼球的朝向)。众所周知，成人的眼球直径几乎没有个人差异，例如日本人的眼球直径大约是24mm。因此，如果知道朝着作为基准的方向(例如正面)时的黑眼球中心的位置，则能够求出从该位置到当前的黑眼球中心位置为止的位移，从而能够计算出针对脸部正面的视线方向(黑眼球的朝向)。以往的方法中，因为朝向作为基准的方向时的黑眼球中心的位置不是已知的，所以需要校准(calibration)。与此相对，本方法中，利用朝向正面时左右黑眼球中心的中点存在于脸部中心，即，在视线方向基准面上的性质，通过测量左右黑眼球中心的中点与视线方向基准面的距离，来计算针对脸部正面的视线方向（黑眼球的朝向）(S208)。

在这个方法中，针对脸部正面的视线方向（黑眼球的朝向），作为针对脸部正面的左右方向的旋转角θ来获得。旋转角θ利用以下的(算式1)来求出。

(算式1)

$\mathrm{\&theta;}={\sin }^{-1}\left(\frac{d}{R}\right)$ …(式1)

R：眼球半径（12mm）

d：视线方向基准面与左右的黑眼球中心的中点之间的距离

第一方向检测部102通过将根据以上的顺序算出的脸部的三维朝向和脸部的黑眼球的朝向和起来，从而检测在实际空间中的视线方向(S209)，将所述视线方向作为第一方向来输出。

另外，第一方向检测部102输出的第一方向不必限定为视线的方向。例如，第一方向检测部102可以将脸部朝向作为表示用户看着的方向的第一方向来输出。换言之，第一方向检测部102根据用户的身体的姿势，来检测作为该用户看着的方向的第一方向。即，第一方向不需要成为严密的用户看着的方向，推定为用户看着的方向就可以。

＜第二方向检测部＞

第二方向检测部103从由用户检测照相机100拍摄的图像，将用户的身体的朝向（以下简称为“身体朝向”），作为表示用户进行定点操作的方向的第二方向来检测。

图6A是说明在本发明的实施例1中的第二方向检测部103的身体朝向检测方法的流程图。另外，本方法的身体朝向是指，在图6B的(b－1)中的黑点线箭头所表示的，连接肩和肩的直线的方向。

身体朝向，以从人物区域整体中除去了脸部区域、手区域以及下半身区域的上半身的区域(身体区域)的朝向为基础，被算出。

首先，如图6A所示，用户检测照相机100拍摄位于画面111的前方的用户(S301)。第二方向检测部103，根据被拍摄的图像进行人物区域的检测(S302)。人物区域的检测，根据利用例如上述的用户不在的状态下的图像和用户出现的状态下的图像之间的差分的方法来实现。接着，第二方向检测部103，对被检测出的人物区域进行脸部区域的检测(S303)和手区域的检测(S304)。而且，第二方向检测部103，从脸部区域的检测结果通过立体测量进行脸部区域的三维位置的计算，根据存储了预先准备的身高和上半身高的对应关系的数据库，从人物区域除去下半身的区域。加之，第二方向检测部103除去脸部区域和手区域的周围区域，检测上半身的区域(S305)。关于手区域的检测的具体的方法，在后述的坐标输入检测部104中说明。

第二方向检测部103，针对2台照相机拍摄的图像的每一个图像检测上半身的区域之后，根据立体测量计算上半身的区域中包含的各像素的三维位置(S306)，从各像素的三维位置进行身体朝向的估计(S307)。身体朝向能够利用例如以下的方法来估计。用图6B来说明估计方法的概要。

首先，将如图6B的(b－1)一样检测出的上半身的区域中包含的各像素的三维位置，分别如图6B的(b－2)一样地投影到与用户站立的地板相同的平面上。接着，针对被投影的平面，如图6B的(b－3)一样地利用最小二乘法计算直线的朝向，将该方向作为身体朝向来检测。而且，第二方向检测部103将身体朝向作为第二方向来输出。

这样，第二方向检测部103根据用户的身体的姿势，检测作为用户进行定点操作的方向的第二方向。在这里，用户进行定点操作的方向是指，作为定点操作，用户在身体正面附近自然地移动手的方向。

另外，在此利用了最小二乘法，不过，不限于此，第二方向检测部103可以利用霍夫（Hough）变换等直线检测方法来计算直线的朝向。此外，第二方向检测部103可以不进行向地板平面的投影，可以通过对各像素的三维位置信息利用三维霍夫变换等方法，来检测身体朝向。

另外，本方法中，第二方向检测部103，根据上半身区域的朝向进行了身体朝向检测，不过，可以根据基于脸部区域检测或手区域检测结果以及身体关节模型的逆运动学算法来检测身体的朝向。

还有，上述的第二方向检测部103，作为第二方向检测出身体朝向，不过，用户对影像显示装置112进行指示输入时的手的动作，也受画面111的方向的影响，成为身体朝向和画面的朝向（与画面平行的方向）的中间的方向的动作。为此，第二方向检测部103，除了用户的身体的姿势之外，还可以根据针对该用户的位置的画面111的方向检测第二方向。例如，第二方向检测部103，将身体朝向和画面111的朝向的平均值作为第二方向来输出(检测)。这样，第二方向检测部103，将与用户的位置和画面的位置之间的位置关系适应的方向，作为第二方向来检测。此外，第二方向检测部103可以保持例如预先学习了根据身体朝向和画面的朝向用户的手移动的方向的结果，利用保持的学习结果，检测第二方向。这样，第二方向检测部103，还可以将与用户的动作适应的方向，作为第二方向来检测。

＜坐标输入检测部＞

坐标输入检测部104根据由用户检测照相机100的拍摄所获得的图像，将表示用户的手的三维位置的坐标作为输入坐标来检测。另外，本实施例中，坐标输入检测部104作为输入坐标检测部来构成。

图7A以及图7B是表示本发明的实施例1的坐标输入检测部104的手检测方法的图。

如图7A所示，坐标输入检测部104，从由用户检测照相机100拍摄的图像，首先是检测脸部区域，在脸部区域的周围检测手的区域。作为手区域检测的方法，有例如以下的方法。下面，利用图7B来说明手区域检测的方法。

首先，作为离线处理，坐标输入检测部104，大量地准备了想要检测的手的学习图像(S401)。对于学习图像中的照明环境、朝向等条件，尽量具备符合实际检测环境的条件。接着，坐标输入检测部104，从准备的学习图像中，使用主成分分析制作构成手的主成分的固有空间(S402)。此外，坐标输入检测部104，准备作为想要检测的手的样品的模板图像。模板图像可以是已准备的手的平均图像，也可以是石头以及布等几个状态下的手的图像，也可以是左手与右手的图像。坐标输入检测部104将制作的向固有空间的投影矩阵(projection matrix)以及手的模板图像存储在手模板数据库中(S403)。

接着，说明进行实际检测的在线处理。

首先，用户检测照相机100拍摄在画面111的前方的用户(S404)。坐标输入检测部104从拍摄的图像中检测脸部区域(S405)。

脸部区域被检测时，坐标输入检测部104，在该脸部区域的周围的搜索区域中进行手的检测。坐标输入检测部104，针对在脸部的周围区域中的与准备的手的模板图像相似的区域，利用手模板数据库中存储的手的模板图像进行扫描(S406)。脸部的周围区域，可以是以脸部位置为基准预先设定的尺寸的范围的区域。或者，通过使用两台照相机的立体测量，在脸部的周围区域中扫描与脸部的纵深距离近的区域，以削减搜索范围。在这里，坐标输入检测部104，从脸部的周围区域检测手，不过，不限于此，可以从人物区域的周围检测手。作为用于进行匹配的相似度的计算，这里首先针对切出的手的候选区域图像和手的模板图像，使用向预先准备的固有空间的投影矩阵，来向固有空间进行投影，在固有空间上比较两者的距离。通过在表示手的主成分的空间上比较距离，从而能够进行减少了背景等噪声的影响的检测。坐标输入检测部104，在搜索区域内，将距离满足预定的阈值且得到了最接近手模板图像的距离的区域作为手区域(S407)。

在搜索区域内没有距离满足阈值的区域的情况下，坐标输入检测部104作为没有伸手而结束检测。

坐标输入检测部104针对2个用户检测照相机100拍摄的图像的各自进行所述的手区域的检测，根据立体测量计算手的三维位置，作为手的输入坐标而输出。此外，在所述离线处理中准备左右手的图像的情况下，坐标输入检测部104可以根据是否与左右任一个手的模板图像匹配，与手的左右识别信息一起输出。此外，坐标输入检测部104还可以根据由用户检测照相机100进行拍摄而获得的图像，识别用户的右手以及左手，按照被识别的左右手分别检测输入坐标。这个情况下，分别针对右手的输入坐标以及左手的输入坐标指针显示在画面111上。

另外，这个例子中在手区域检测时使用了模板匹配的方法，不过，也可以使用其他的手检测方法，例如提升（Boosting）等方法。

此外，用户进行指示输入时，进行向画面111的方向伸出手的动作，根据用2个照相机的立体测量的距离信息，可以使用例如比起脸部区域和身体区域，将画面111侧的区域检测为手的方法。

此外，坐标输入检测部104不仅限于基于从用户检测照相机100获得的图像的手区域检测方法，坐标输入检测部104也可以根据图2的构成例所示的坐标输入遥控器105的位置坐标来检测手的位置。下面，利用图8A以及图8B说明在本发明的实施例1中的基于坐标输入遥控器105的手的位置的检测方法。

如图8A所示，用户能够在手把持着坐标输入遥控器105的状态下进行坐标输入操作。

图8B是表示坐标输入遥控器105的构成的图。该坐标输入遥控器105具备：检测把持遥控器的用户的手的动作等的动作感应器；根据动作感应器的输出来检测坐标输入遥控器105的位置的位置检测部1052。此外，坐标输入遥控器105可以如图8B所示在其表面上具备按钮。

坐标输入遥控器105具备的动作感应器，由加速度感应器、角加速度感应器（速率陀螺仪）、以及地磁感应器（电子磁罗盘）的任一个或者2个以上的组合所构成。例如，加速度感应器是检测对规定的轴的加速度的感应器，针对如图8B所示的X轴、Y轴以及Z轴正交的3个轴各轴检测加速度。而且，在用户把持着坐标输入遥控器105的状态下，移动手腕和手臂使坐标输入遥控器105的位置被变更时，位置检测部1052根据动作感应器的输出值，计算坐标输入遥控器105的位置坐标，并输出到坐标输入检测部104。坐标输入检测部104，将由坐标输入遥控器105输出的位置坐标作为上述的输入坐标来检测。

此外，坐标输入遥控器105可以只在检测出由按钮输入部1051按下按钮的情况下，输出坐标输入遥控器105的位置坐标。

＜注视位置算出部＞

注视位置算出部106，根据由用户位置检测部101检测的用户的位置和由第一方向检测部102检测的第一方向，算出画面上的用户的注视位置。

图9是表示在本发明的实施例1中的由注视位置算出部106算出画面上的用户注视位置的算出方法的图。另外，该图9中，从正面以及上面表示用户与画面111的位置关系。注视位置算出部106通过求出以用户的脸部的位置为基准的视线方向或者脸部朝向的矢量与画面111相交的位置，从而能够算出画面111上的用户注视的注视位置。

＜基准坐标群算出部＞

基准坐标群算出部107根据由用户位置检测部101检测的用户的位置和由第一方向检测部102检测的第一方向，将基准线作为基准坐标群来算出，该基准线是与注视位置对应的线，且连接用户和画面111的空间上的线。换言之，在本实施例中，基准坐标群算出部107作为基准线算出部来构成。此外，基准线是根据多个基准坐标（基准坐标群）的排列来表示的线。

图10是说明在本发明的实施例1中的基准坐标群算出部107算出在空间上的基准坐标群的算出方法的图。另外，图10中与图9同样，从正面以及上面表示用户与画面111之间的位置关系。在本方法中的基准坐标群是与由注视位置算出部106算出的画面111上的用户的注视位置对应的、空间上的坐标群。基准坐标群算出部107，将以用户的脸部的位置为基准的视线方向或者脸部朝向的矢量，如图10的黑实线箭头一样作为基准坐标群来算出。换言之，基准坐标群算出部107，将表示从用户的位置延伸到第一方向的直线上的位置的坐标的集合，作为基准坐标群来算出。

另外，所述方法中，基准坐标群算出部107只算出了一个种类的基准坐标群，不过，与画面上的用户注视位置对应的空间上的坐标群，根据左右的手多少存在差异。为此，可以算出两种以上的基准坐标群。例如，将离用户的脸部位置大约10cm右边的位置为基准的视线方向的矢量，作为右手用的基准坐标群来算出，可以将大约10cm左边的位置为基准的视线方向的矢量，作为左手用的基准坐标群来算出。换言之，基准坐标群算出部107，可以将如下坐标的集合作为基准坐标群来算出，该坐标表示在第二方向上从用户的位置分开预先规定的距离的位置开始，向第一方向延伸的直线上的位置。

＜偏移量算出部＞

偏移量算出部108，根据由基准坐标群算出部107算出的基准坐标群、由第二方向检测部103检测的第二方向、由坐标输入检测部104检测的手的位置坐标(输入坐标)，算出画面111上的从用户的注视位置的偏移量。换言之，偏移量算出部108，将基准线（基准坐标群）与输入坐标之间的第二方向的距离，作为相对于注视位置的沿着画面111上的第一画面规定方向的偏移量来算出。在这里，第一画面规定方向是例如水平方向。加之，偏移量算出部108将基准线（基准坐标群）与输入坐标之间的第三方向的距离，作为相对于注视位置的沿着画面111上的第二画面规定方向的其他的偏移量来算出。在这里，第三方向是与第一方向以及第二方向不同的方向，例如是铅垂方向。此外，第二画面规定方向是与第一画面规定方向不同的方向，例如是与第一画面规定方向垂直的方向(铅垂方向)。

图11A是表示在本发明的实施例1的偏移量算出部108的画面111上的偏移量的算出方法的图。另外，图11A与图9同样，用户与画面111的位置关系从正面以及上面表示。偏移量算出部108，通过将基准坐标群和手的位置坐标的三维空间的位置关系，变换为二维平面上的位置关系，来算出画面111上的从用户的注视位置的偏移量。下面，关于偏移量算出方法的概要利用图11B来说明。

图11B的(b－1)是表示偏移量算出方法的流程图。在用户一边移动手一边通过指示输入来操作在画面111上的指针的情况下，用户主要将手移动到与身体朝向平行的方向上。于是，首先，如图11B的(b－2)所示，偏移量算出部108制作三维坐标空间，该三维坐标空间将由用户位置检测部101检测的用户的头的位置作为原点，由第一方向检测部102检测的视线方向（第一方向）作为第一轴，由第二方向检测部103检测的身体朝向（第二方向）作为第二轴，将铅垂方向作为第三轴(S501)。接着，偏移量算出部108，将由坐标输入检测部104检测的作为手的位置坐标的输入坐标，变换为已制作的三维坐标空间的坐标，生成变换后的坐标。而且，偏移量算出部108从由基准坐标群算出部107算出的基准坐标群中，选择变换后坐标与第一轴涉及的坐标值一致的坐标，以作为基准坐标(S502)。而且，偏移量算出部108将变换后坐标与基准坐标之间的在第二轴方向以及第三轴方向上的距离，分别作为从画面111上的用户的注视位置开始的水平方向上（第一画面规定方向）的偏移量以及铅垂方向上（第二画面规定方向）的偏移量来算出(S503)。

这样，偏移量算出部108从基准坐标群中，选择在第一方向上与输入坐标对应的坐标，以作为基准坐标。而且，偏移量算出部108，根据选择的基准坐标与输入坐标之间的在第二方向以及铅垂方向上的距离，算出相对于画面111上的注视位置的偏移量。即，偏移量算出部108，根据表示输入坐标的位置与用户的位置之间的在第二方向以及铅垂方向上的距离，算出相对于画面111上的注视位置的偏移量。

另外，所述方法中，偏移量算出部108将铅垂方向作为第三轴制作了三维坐标空间，不过，不限于此，可以检测从用户的头部朝向腹部的方向，将该方向作为第三轴来制作三维坐标空间。

＜指针显示位置算出部＞

指针显示位置算出部109，根据由注视位置算出部106算出的用户的画面111上的注视位置和由偏移量算出部108算出的画面111上的偏移量，算出与由坐标输入检测部104检测的用户的手的位置对应的画面111上的指针的显示位置。换言之，指针显示位置算出部109，算出从注视位置只移动了偏移量的画面上的位置，以作为显示位置。具体而言，指针显示位置算出部109在画面111上，与注视位置之间的水平方向上（第一画面规定方向）的距离成为上述的水平方向的偏移量的位置，且与注视位置之间的铅垂方向上（第二画面规定方向）的距离成为上述的铅垂方向的偏移量（其他的偏移量）的位置，作为在画面111上显示的指针的显示位置来算出。

如上所述，本实施例中的指示输入装置10，根据用户看着的方向和用户进行定点操作的方向能够算出指针的显示位置。因此，指示输入装置10，能够使向用户看着的方向伸出的手和与其对应的画面上的指针之间的位置关系不发生变化。加之，指示输入装置10，还可以以相对于用户的手的移动量的画面上的指针的移动量不变化的方式，算出指针的显示位置。其结果，能够实现用户直观理解以及容易操作的指示输入装置。

图11C以及图11D是用于说明本发明的实施例中的指示输入装置10的效果的图。

例如，用户向沿着看着的方向（第一方向）的第一轴上伸出手。这个情况下，在以往的指示输入装置中，按照该第一轴上的手的位置，指针的显示位置会发生变化。于是，本实施例的指示输入装置10，如图11C所示，将基准线与作为手的位置的输入坐标之间的第二方向的距离，作为对水平方向的注视位置的偏移量来算出，将在画面上的与该注视位置之间的水平方向的距离成为该偏移量的位置，作为在画面上显示的指针的显示位置来算出。因此，用户向作为基准线的第一轴上伸出手，不管该基准线上的手的位置，偏移量成为0，能够在画面上的相同位置(注视位置)上显示指针。

此外，例如如图11C所示，用户将向第一轴上的第一位置伸出的手，移动到从第一轴偏离的第二位置，加之，移动到第一轴上的第3位置。这个情况下，因为用户将手返回到沿着看着的方向（第一方向）的第一轴，估计该指针返回到手在第一位置时的指针的显示位置1上。可是，以往的指示输入装置中，指针有时候不回到显示位置1上。换言之，以往的指示输入装置，因为手移动多少距离，指针也移动多少距离，所以第一位置与第二位置之间的距离，比第二位置与第三位置之间的距离短，则画面上的指针，从显示位置1移动到显示位置2之后，超过原来的显示位置1，移动到显示位置3。于是，在本实施例的指示输入装置10，如上述一样，基准线和作为手的位置的输入坐标之间的第二方向的距离，作为针对水平方向的注视位置的偏移量来算出，将画面上的在水平方向上与该注视位置之间的距离成为该偏移量的位置，作为在画面上显示的指针的显示位置来算出。其结果，如上述一样即使用户移动手，也可以使画面上的指针从显示位置1(注视位置)移动到显示位置2a，又回到原来的显示位置1(注视位置)。这样，本实施例中，能够以向用户看着的方向伸出的手和与其对应的画面上的指针的位置关系不发生变化的方式，算出指针的显示位置。

此外，如图11C表示的例子中，作为视线方向的第一方向，与作为身体朝向的第二方向之间的角度成为垂直。可是，在本实施例的指示输入装置10中，如图11D所示，即使第一方向和第二方向之间的角度不是垂直的情况下，也能起到与上述同样的效果。换言之，在本实施例的指示输入装置10中，即使视线朝向相对于身体朝向偏离的情况，或者身体朝向相对于视线朝向偏离的情况下，也考虑这些朝向的偏离，算出指针的显示位置。其结果，使很大地影响身体朝向的用户的手的移动量与画面上的指针的移动量的对应关系不发生变化的方式，换句话说，手的移动量与指针的移动量一致或者大体一致的方式，来算出指针的显示位置。这样，能够实现用户直观理解以及容易操作的指示输入装置。

另外，本实施例的指示输入装置10中，不仅仅是画面上的水平方向的偏移量，还有，铅垂方向的偏移量也与水平方向同样地算出，所以针对铅垂方向的指针的显示，也能够起到与上述一样的水平方向的指针的显示效果同样的效果。

(实施例2)

下面，对本发明的实施例2进行说明。

<构成>

图12是表示本发明的实施例2的指示输入装置60的构成例的图。本实施例涉及的构成与图2表示的实施例1涉及的构成大致相同，不同之处是具备用户信息DB（数据库）612。以下只说明根据用户信息数据库612进行动作的构成要素，与实施例1一样的构成要素（图2和相同符号的构成要素）省略详细说明。

图13是表示用户信息DB（数据库）612的数据构造的概要的图。指示输入装置60具备用户信息数据库612，用户信息数据库612是存储身体特征信息或用户属性信息等的数据库。

用户信息数据库612中存储的身体特征信息，表示人的平均的身体尺寸，具体而言，包含相对于头部高度的胸部高度、肩宽和手臂的长度的信息等。此外，也可以包含相对于坐位时的头部高度的胸部高度的信息。

用户信息数据库612中存储的用户属性信息，表示预先登记的每个用户的身体尺寸，具体而言，包含被登记的每个用户的头部高度、胸部高度、肩宽、手臂的长度的信息等。此外，也可以包含坐位时的头部高度和胸部高度的信息。加之，除了身体尺寸的信息之外，也可以包含用户的惯用眼和视力等信息。这样，用户信息数据库612存储：表示用户的头部位置与胸部位置的对应关系的信息、表示用户的头部位置与手臂的长度的对应关系的信息、表示每个用户的胸部位置的信息、或者表示每个用户的手臂的长度的信息。

<工作>

下面说明图12的基准坐标群算出部607和偏移量算出部608的功能。

＜基准坐标群算出部＞

基准坐标群算出部607，根据由用户位置检测部101检测的用户的位置和由第一方向检测部102检测的第一方向和从用户信息数据库612获得的胸部高度的信息（表示用户的头部位置与胸部位置的对应关系的信息），算出空间上的基准坐标群。

图14A是表示在本发明的实施例2中的基准坐标群算出部607进行的多个基准坐标的算出方法的图。另外，该图14A中，从正面以及上面表示了用户与画面111的位置关系。在用户的视线的方向上显示了指针的情况下，在视线的前面伸出手，则遮住画面上的指针，所以在该稍微下面的位置上伸出手，这对于用户来说是自然的姿势。因此，基准坐标群算出部607根据用户位置检测部101检测的用户的头部位置，从用户信息数据库612存储的身体特征信息获得用户的胸部位置(高度)，将表示以用户的胸部位置为基准的视线方向或者脸部朝向的矢量上的位置的坐标的集合，如图14A的黑实线箭头记号一样，作为基准坐标群(基准线)来算出。

另外，所述方法中基准坐标群算出部607，将表示以用户的胸部位置为基准的视线方向的矢量上的位置的多个坐标的集合，作为基准坐标群来算出，不过，可以将连接用户的胸部位置和画面111上的注视位置的直线，作为基准坐标群来算出等。此外，不局限于直线，可以将曲线作为基准坐标群来算出。

此外，在所述方法中，基准坐标群算出部607根据用户的头部位置，从用户信息数据库612存储的作为人的平均身体尺寸的信息的身体特征信息获得胸部位置，不过，可以不受此限制来获得胸部位置。例如，如图16所示，指示输入装置60具备用户识别部613，该用户识别部613对由用户检测照相机100拍摄的图像与预先被登记的脸部图像进行对照，来识别用户。基准坐标群算出部607，根据表示用户识别部613的识别结果的用户识别信息，在存储在用户信息数据库612中的预先被登记的每个用户的用户属性信息中，获得用户的胸部位置。其结果，基准坐标群算出部607能够算出与每个用户的身体特征适应的基准坐标群。换言之，基准坐标群算出部607，根据用户的位置以及第一方向，还有根据表示用户的用户识别信息由用户信息数据库612获得的至少表示用户的胸部位置的信息，来算出基准坐标群，该用户是由用户识别部613识别的用户。

此外，基准坐标群算出部607，还根据由用户检测照相机100拍摄的图像，判断用户是站立位还是坐位，在判断为是坐位的情况下，可以从用户信息数据库612获得坐位时的用户的胸部位置。

此外，所述方法中基准坐标群算出部607只算出了一种基准坐标群，不过，不限于此，可以算出两种以上的基准坐标群。以下，利用图14B说明算出两种基准坐标群的方法。图14B的(b－1)是表示左手用以及右手用的基准坐标群算出方法的流程图，图14B的(b－2)是表示该两种基准坐标群的算出结果的一例的图。

在用户不改变身体的朝向一边看远方的方向一边做指示输入操作的情况下，向以胸部位置为基准的视线方向的矢量上伸出某一只手，存在困难。于是在这里，基准坐标群算出部607，在第一方向和第二方向之间的角度比预先规定的角度小的情况下，根据用户的位置以及第一方向、从用户信息数据库612获得的至少表示用户的头部位置与胸部位置的对应关系的信息、以及由第二方向检测部103检测的第二方向，算出分别与左手和右手对应的2种基准坐标群。另外，表示上述的对应关系的信息，表示胸部高度以及肩宽。首先，根据与所述相同的方法，基准坐标群算出部607，算出以用户的胸部位置为基准的第一基准坐标群(S701)。接着，基准坐标群算出部607判断算出第二基准坐标群的必要性。视线方向与身体朝向是大致相同的方向的情况下，向视线方向伸出一方的手，存在困难。因此，在例如第一方向与第二方向的角度差为0～30度或者150～180度的情况下，基准坐标群算出部107判断为需要算出第二基准坐标群(S702)。

在判断为需要算出第二基准坐标群的情况下（S702中的“是”），基准坐标群算出部607，在视线方向相对于身体朝着右侧时，判断为第一基准坐标群与右手对应（S703中的“是”）。而且，基准坐标群算出部607，根据从用户信息数据库612获得的用户的肩宽算出左肩的位置，将以该位置为基准的视线方向的矢量，作为左手用的第二基准坐标群来算出(S704)。此外，在判断为视线方向相对于身体朝着左侧的情况下（S703中的“否”），基准坐标群算出部607，将以右肩的位置为基准的视线方向的矢量，作为右手用的第二基准坐标群来算出(S705)。

视线方向相对于身体朝向接近正面的方向，并且判断为不需要算出第二基准坐标群的情况下（S702中的“否”），基准坐标群算出部607结束基准坐标群的算出。

如上所述，基准坐标群算出部607，在用户向以胸部位置为基准的视线方向的矢量上伸出手存在困难等情况下，能够根据第二方向恰当地算出基准坐标群。

此外，在所述两种基准坐标群的算出方法中，基准坐标群算出部607，根据视线的朝向(视线方向)和身体朝向，算出左手用以及右手用的基准坐标群。但是，基准坐标群算出部607也可以根据存储在用户信息数据库612的用户属性信息中的惯用眼的信息，算出基准坐标群。具体而言，基准坐标群算出部607，例如，在识别出的用户的惯用眼是右眼的情况下，可以将以用户的胸部位置为基准的视线方向的矢量作为右手用基准坐标群来算出，将以左肩的位置为基准的视线方向的矢量作为左手用基准坐标群来算出。

＜偏移量算出部＞

偏移量算出部608，根据由基准坐标群算出部607算出的基准坐标群、由第二方向检测部103检测的第二方向、从用户信息数据库612获得的胸部位置以及手臂的长度的信息（表示用户的头部位置与手臂的长度的对应关系的信息）、由坐标输入检测部104检测的手的位置坐标，算出画面111上的从用户的注视位置的偏移量。

图15A是表示在本发明的实施例2中的偏移量算出部608进行的画面上的偏移量的算出方法的图。另外，这个图15A中，从正面以及上面表示用户与画面111的位置关系。偏移量算出部608通过将基准坐标群与手的位置坐标的三维空间的位置关系，变换为画面111上的位置关系，从而算出画面111上的从用户的注视位置的偏移量。下面，用图15B来说明偏移量算出方法的概要。

图15B的(b－1)是表示偏移量算出方法的流程图。此外，图15B的(b－2)以及(b－3)分别表示，从上面看算出偏移量的过程中作成的三维曲面坐标空间的图，以及从侧面看的图。

用户一边移动手一边指示输入的时候，肘绷直的状态下，用户只能将手以圆弧状移动，肘的角度有余量的状态下，用户将手移动到主要与身体朝向平行的方向上。换言之例如，在肘的角度有余量的身体前面附近，用户将手移动到与身体朝向平行的方向上，那样一边慢慢伸展肘一边移动手时，最终地肘会绷直，所以用户以圆弧状移动手。于是，首先，偏移量算出部608，将从存储在用户信息数据库612的身体特征信息中获得的用户的胸部位置作为原点，制作三维曲面坐标空间，该三维曲面坐标空间由沿着由第一方向检测部102检测的视线方向的第一轴、在图15B的(b－2)的黑实线所表示的第二轴、在图15B的(b－3)的黑实线所表示的第三轴所构成(S801)。在此，第二轴是根据由第二方向检测部103检测出的身体朝向、从存储在用户信息数据库612的身体特征信息所获得的用户的手臂的长度的信息所设定的轴。此外，第三轴是根据铅垂方向、存储在用户信息数据库612的身体特征信息中获得的用户的手臂的长度的信息所设定的轴。

接着，偏移量算出部608，将由坐标输入检测部104检测的手的位置坐标变换为三维曲面坐标空间中的坐标，从由基准坐标群算出部607算出的基准坐标群中，选择一处手的位置坐标和第一轴涉及的坐标值相同的基准坐标(S802)。而且，偏移量算出部608，在第二轴以及第三轴的手的位置坐标与被选择的基准坐标之间的差，分别作为画面111上的从用户的注视位置的水平方向以及铅垂方向上的偏移量来算出(S803)。

根据以上的处理，偏移量算出部608能够考虑用户的手臂的长度来算出偏移量，所以能够使相对于用户的手的移动量的画面上的指针的移动量，不会因手臂的长度不同而发生变化。

另外，在所述方法中，偏移量算出部608，根据铅垂方向和用户的手臂的长度设定三维坐标空间的第三轴，不过，不限于此，也可以检测从用户的上半身的头部朝向腹部的方向，根据这个方向和用户的手臂的长度来设定第三轴。

此外，在所述方法中，偏移量算出部608，将用户的胸部位置作为三维曲面坐标空间的原点，不过，不限于此，也可以将用户的脸部位置作为原点。

此外，在所述方法中，偏移量算出部608，根据用户的位置，根据存储在用户信息数据库612的作为人的平均身体尺寸的信息的身体特征信息，获得用户的胸部位置以及手臂的长度的信息。但是，偏移量算出部608，不限于此，可以获得用户的胸部位置以及手臂的长度的信息。例如，如图16所示，指示输入装置60具备用户识别部613，通过对由用户检测照相机100拍摄的图像和预先登记的脸部图像进行对照，从而识别用户。偏移量算出部608根据表示用户识别部613识别的识别结果的用户识别信息，从存储在用户信息数据库612的预先登记的每个用户的用户属性信息中，获得用户的胸部位置以及手臂的长度的信息。其结果，偏移量算出部608，能够算出与每个用户的身体特征相适应的偏移量。换言之，偏移量算出部608，根据第二方向和表示由用户识别部613识别的用户的用户识别信息、由用户信息数据库612获得的至少表示用户的手臂的长度的信息，来算出偏移量。

此外，偏移量算出部608，还根据由用户检测照相机100拍摄的图像，判断用户是站立位还是坐位，在判断为是坐位的情况下，可以根据用户信息数据库612获得坐位时的用户的胸部位置以及手臂的长度的信息。

此外，在所述方法中，偏移量算出部608只根据1种基准坐标群算出了偏移量，不过，在由基准坐标群算出部607算出了右手用和左手用的2种基准坐标群的情况下，也可以根据从坐标输入检测部104得到的手的左右识别信息来算出偏移量。

加之，在所述方法中，偏移量算出部608只算出1种三维曲面坐标空间。但是，用户的左右手的动作中存在肩的宽度的偏差。因此，偏移量算出部608，根据从用户信息数据库612获得的肩宽的信息制作左手用和右手用的2种坐标空间，也可以根据从坐标输入检测部104得到的手的左右识别信息算出偏移量。

如上所述，根据本实施例的指示输入装置60，能够以用户的胸部位置为基准算出基准坐标群，所以能够算出与基于用户的自然的姿势的定点操作相对应的基准坐标群。此外，能够考虑用户的手臂的长度来算出偏移量，所以能够使相对于用户的手的移动量的画面上的指针的移动量不再变化。

以上，针对本发明涉及的指示输入装置，根据实施例来进行了说明，不过，本发明不被这些实施例所限制。只要不脱离本发明的宗旨，则技术者想出的各种变形例实施在本实施例的例子，或者对不同实施例中的构成要素进行组合而构筑的例子也都包括在本发明的范围中。

例如，在所述实施例1以及2中，指示输入装置没有具备用户检测照相机100、坐标输入遥控器105以及影像显示装置112，不过，也可以具备这些。例如，指示输入装置可以将用户检测照相机100作为摄像部来具备。例如，指示输入装置还可以具备坐标输入遥控器105作为三维坐标输入装置。例如，指示输入装置还可以具备影像显示装置112具备的显示部110。

此外，在所述实施例中，以进行定点操作的用户是1人的情况为中心进行了说明，不过，也可以由多个用户进行定点操作。这个情况下，指示输入装置可以按照每个进行定点操作的用户，算出指针的显示位置。

此外，在所述实施例1或者2中的指示输入装置，可以通过具备CPU（Central Processing Unit）、ROM（Read Only Memory）、以及RAM（RandomAccess Memory）等的计算机来实现。

此外，上述的实施例1或者2中的指示输入装置具备的构成要素的一部分或全部可以由1个系统LSI(Large Scale integration:大规模集成电路)构成。例如，指示输入装置，可以由具备用户位置检测部101、第一方向检测部102、第二方向检测部103、坐标输入检测部104、注视位置算出部106、基准坐标群算出部107、偏移量算出部108的系统LSI来构成。

系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中存储有计算机程序。通过所述微处理器按照计算机程序动作，系统LSI实现其功能。

另外，这里的系统LSI按照集成度的不同，被称为IC、LSI、超级LSI、极超LSI。还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。

进一步，随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化的技术时，当然可以使用该技术进行功能块的集成化。有可能适用生物技术等。

此外，本发明不仅能够作为具备这样的特征性处理部的指示输入装置来实现，而且能够作为以指示输入装置中包含的特征性处理部为步骤的图像复原方法来实现。此外，作为使计算机执行图像复原方法中包含的特征性的各步骤的计算机程序来实现。而且，当然能够使那样的计算机程序，经由CD－ROM等计算机可读取的记录介质或者经由互联网等的通信网络来流通。

根据本发明，用户可以不进行移动，能够以自然的动作和姿势的输入操作来对画面上的希望的位置上进行定点，所以有用于指示输入对象区域宽的大屏幕显示器，例如适用于户外电子广告（数字标牌）和大屏幕电视等。

符号说明

10，60指示输入装置

100 用户检测照相机

101 用户位置检测部

102 第一方向检测部

103 第二方向检测部

104 坐标输入检测部

105 坐标输入遥控器

1051 按钮输入部

1052 位置检测部

106 注视位置算出部

107，607 基准坐标群算出部

108，608 偏移量算出部

109 指针显示位置算出部

110 显示部

111 画面

112 影像显示装置

612 用户信息数据库

613 用户识别部

Claims (18)

1.一种指示输入装置，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入装置具备：

用户位置检测部，检测用户的位置；

输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测；

第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向；

第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向、即身体朝向；

注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置；

基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线；

偏移量算出部，将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及

指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。

2.如权利要求1所述的指示输入装置，

所述用户的位置是用户的脸部位置或者头部位置。

3.如权利要求1所述的指示输入装置，

所述指示输入装置还具备三维坐标输入装置，该三维坐标输入装置在被用户把持的状态下输出装置本身的位置，

所述输入坐标检测部，将由所述三维坐标输入装置输出的位置的坐标，作为所述输入坐标来检测。

4.如权利要求1所述的指示输入装置，

所述指示输入装置还具备摄像部，该摄像部拍摄用户，

所述输入坐标检测部根据由所述摄像部进行拍摄而获得的图像，检测所述输入坐标，所述输入坐标表示所述用户的手的位置。

5.如权利要求4所述的指示输入装置，

所述输入坐标检测部还根据由所述摄像部进行拍摄而获得的图像，识别所述用户的右手以及左手，按照被识别的左手和右手分别检测输入坐标。

6.如权利要求1所述的指示输入装置，

所述第一方向检测部，根据包含脸部朝向以及视线中的至少一方的所述用户的身体的姿势，检测所述第一方向。

7.如权利要求1所述的指示输入装置，

所述第二方向检测部，根据至少包含身体的朝向的所述用户的身体的姿势，检测所述第二方向。

8.如权利要求7所述的指示输入装置，

所述第二方向检测部，除了根据用户的身体的姿势，还根据相对于所述用户的位置的所述画面的方向，检测所述第二方向。

9.如权利要求1所述的指示输入装置，

所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向，还根据所述第二方向，算出所述基准线。

10.如权利要求1所述的指示输入装置，

所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与胸部位置的对应关系的信息，

所述基准线算出部，根据所述用户的位置以及所述第一方向，还根据从所述用户信息数据库获得的表示所述对应关系的信息，算出所述基准线。

11.如权利要求1所述的指示输入装置，

所述指示输入装置还具备：

用户信息数据库，存储至少表示每个用户的胸部位置的信息；以及

用户识别部，识别用户，

所述基准线算出部，根据所述用户的位置以及所述第一方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的胸部位置的信息，来算出所述基准线，所述用户识别信息是表示由所述用户识别部识别的用户的信息。

12.如权利要求10所述的指示输入装置，

所述基准线算出部，在所述第一方向与所述第二方向之间的角度比预先规定的角度小的情况下，根据所述用户的位置以及所述第一方向、和从所述用户信息数据库获得的表示所述对应关系的信息，还根据所述第二方向，算出所述基准线。

13.如权利要求1所述的指示输入装置，

所述指示输入装置还具备用户信息数据库，该用户信息数据库，存储至少表示用户的头部位置与手臂的长度的对应关系的信息，

所述偏移量算出部，根据所述第二方向、和从所述用户信息数据库获得的表示所述对应关系的信息，算出所述偏移量。

14.如权利要求1所述的指示输入装置，

所述指示输入装置还具备：

用户信息数据库，存储至少表示每个用户的手臂的长度的信息；以及

用户识别部，识别用户，

所述偏移量算出部，根据所述第二方向、和基于用户识别信息从所述用户信息数据库获得的至少表示所述用户的手臂的长度的信息，来算出所述偏移量，所述用户识别信息是表示由所述用户识别部识别的用户的信息。

15.如权利要求1所述的指示输入装置，

所述指示输入装置还具备显示部，该显示部，在由所述指针显示位置算出部算出的显示位置上显示指针。

16.如权利要求1所述的指示输入装置，

所述偏移量算出部，将所述基准线与所述输入坐标之间的在第三方向上的距离，作为在沿着所述画面上的第二画面规定方向的相对于所述注视位置的其他的偏移量来算出，

所述指针显示位置算出部，将所述画面上的在所述第二画面规定方向上与所述注视位置之间的距离成为所述其他的偏移量的位置，作为在所述画面上显示的指针的显示位置来算出，

所述第三方向是与第一方向以及第二方向不同的方向，所述第二画面规定方向是与所述第一画面规定方向不同的方向。

17.一种指示输入方法，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述指示输入方法包括：

检测用户的位置；

将表示所述用户的手的位置的坐标作为输入坐标来检测；

根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向；

根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向、即身体朝向；

根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置；

根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线；

将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及

将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。

18.一种集成电路，根据基于用户的手的动作的定点操作，算出在画面上显示的指针的显示位置，所述集成电路具备：

用户位置检测部，检测用户的位置；

输入坐标检测部，将表示所述用户的手的位置的坐标作为输入坐标来检测；

第一方向检测部，根据所述用户的身体的姿势，检测第一方向，该第一方向是该用户看着的方向；

第二方向检测部，根据所述用户的身体的姿势，检测第二方向，该第二方向是该用户进行定点操作的方向、即身体朝向；

注视位置算出部，根据所述用户的位置以及所述第一方向，算出画面上的用户的注视位置；

基准线算出部，根据所述用户的位置以及所述第一方向，算出基准线，该基准线是与所述注视位置对应的线，并且是连接所述用户和所述画面的空间上的线；

偏移量算出部，将所述基准线和所述输入坐标之间的在所述第二方向上的距离，作为偏移量来算出，该偏移量是在沿着所述画面上的第一画面规定方向的相对于所述注视位置的偏移量；以及

指针显示位置算出部，将所述画面上的在所述第一画面规定方向上与所述注视位置之间的距离成为所述偏移量的位置，作为在所述画面上显示的指针的显示位置来算出。