CN102609085A

CN102609085A - 信息处理装置及方法、以及程序

Info

Publication number: CN102609085A
Application number: CN2011104431807A
Authority: CN
Inventors: 出岛达也
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-12-27
Filing date: 2011-12-27
Publication date: 2012-07-25
Anticipated expiration: 2031-12-27
Also published as: US8523358B2; JP5387557B2; CN102609085B; JP2012137970A; US20120162603A1

Abstract

一种信息处理装置，其中，显示部(11)具有规定形状的显示区域，在该显示区域中显示图像。摄像部(12)将映入有显示区域的用户眼球(2)摄像，从而生成摄像图像的数据。基准检测部(21)根据由摄像部(12)生成的摄像图像的数据，检测随着用户的视线移动而运动的移动基准点、和即使有用户的视线移动也能够判断为大致静止的不动基准点，生成表示从不动基准点到移动基准点的矢量作为偏差量V(x，y)。视线检测部(22)基于过去生成的基准偏差量Vo(xo，yo)和当前生成的偏差量V(x，y)，作为用户的视线的移动量而检测移动矢量ΔV(Δx，Δy)。

Description

信息处理装置及方法、以及程序

本申请基于2010年12月27日提交的在先日本专利申请2010-290417号并享受其优先权，后者的全部内容以引用的方式并入于此。

技术领域

本发明涉及信息处理装置及方法、以及程序的技术，特别涉及在没有头部的束缚的状态下用户仅通过活动眼睛就能够实现与鼠标操作等价的操作的技术。

背景技术

以往，作为对个人计算机等信息处理装置输入信息的操作，采用使用输入设备的输入操作。特别是，作为这样的使用输入设备的输入操作，广泛地采用使用鼠标的输入操作、即所谓的鼠标操作。作为鼠标操作的代表性的操作，已知有为了选择图标等而使鼠标指针(mouse pointer)移动到该图标等、并进行点击的操作。

近年来，存在如下那样的要求，即：不使用鼠标而仅通过观看包含鼠标指针的画面的用户的眼睛的运动来进行与鼠标操作等价的输入操作(以下称作“鼠标等价操作”)。例如，在日本特开平9-18760号公报、日本特开2001-61785号公报、日本特开平6-347866号公报中，为了应对这样的要求而研究开发了检测人的眼球的视线位置的技术。

但是，这些公报中记载的技术以用户将头部固定来看探测器(finder)、或将头戴式显示器(head mount display)佩戴于头部这样的将头部进行某种束缚为前提。

但是，仅为了进行鼠标等价操作而将头部进行束缚对于用户而言是不愉快的，希望在没有这样的头部的束缚的状态下实现鼠标等价操作。

发明内容

本发明是鉴于这样的状况而做出的，目的在于在没有头部的束缚的状态下、用户仅通过活动眼睛就能够实现鼠标等价操作。

根据本发明的一个技术方案，提供一种信息处理装置，具有：第1图像检测单元，将表示位于从所连接的摄像单元供给的摄像数据内的眼球的特定部位的图像检测为第1图像；第1检测单元，确定上述摄像数据上的上述第1图像的位置；第2图像检测单元，从上述摄像数据内检测表示映入到上述眼球中的特定形状的物体的图像作为第2图像；第2检测单元，确定上述摄像数据上的上述第2图像的位置；以及视线移动量检测单元，基于上述第1图像的位置与上述第2图像的位置的关系，检测由上述摄像单元摄像的眼球的视线移动量。

根据本发明的其他技术方案，提供与上述本发明的一技术方案的信息处理装置对应的信息处理方法及存储介质。

附图说明

构成说明书的一部分的附图是解释本发明的优选实施方式的，并且与上述发明内容及后述具体实施方式一起用来解释本发明的主旨。

图1是表示作为本发明信息处理装置的一实施方式的视线输入装置的外观结构的从背面观察的立体图。

图2是说明图1的视线输入装置的检测视线位置的方法的图，是表示将映入有显示部的眼球摄像的结果的图。

图3是与图2的摄像图像中的瞳孔区域4的部分有关的放大图。

图4是与图2的摄像图像中的显示部像区域5的部分有关的放大图。

图5是说明表示瞳孔中心与像中心的相对位置关系的偏差量的图，是与图2的摄像图像中的瞳孔区域4的部分有关的放大图。

图6是表示图1的视线输入装置的功能性结构的功能框图。

图7是表示图6的视线输入装置执行的信息输入处理的流程的一例的流程图。

图8是表示图7的信息输入处理中的、SW处理的详细流程的一例的流程图。

图9是表示图7的信息输入处理中的、基准检测处理的详细流程的一例的流程图。

图10是表示图7的信息输入处理中的、视线检测处理的详细流程的一例的流程图。

图11A是说明通过图10的视线检测处理决定的、鼠标指针移动的方向的图。

图11B是说明通过图10的视线检测处理决定的、显示部11上的鼠标指针移动的方向的图。

图12是表示图9的基准检测处理中的、像中心检测处理的详细流程的一例的流程图。

图13是图9的基准检测处理中的、像中心检测处理的详细流程的一例，是说明与图12的例子不同的例子的流程图。

图14是图9的基准检测处理中的、像中心检测处理的详细流程的一例，是说明与图12及图13的例子不同的例子的流程图。

图15是表示图6的视线输入装置的硬件结构的框图。

具体实施方式

以下，基于附图说明本发明的一实施方式。

图1是表示作为本发明信息处理装置的一实施方式的视线输入装置1的外观结构例的从背面观察的立体图。

如图1所示，视线输入装置1构成为数码相框(digital photo frame)。在视线输入装置1的正面(在图1中没有图示的面)，设有显示部11和摄像部12。

用户不使头部受任何束缚，仅通过一边用其眼球2观看显示部11一边移动视线，就能够进行鼠标等价操作。

即，视线输入装置1检测用户的眼球2的视线位置，基于该检测结果识别鼠标等价操作，输入由鼠标等价操作指示的信息(鼠标指针的移动指示、通过点击的选择指示等)，能够执行对应的处理。

这里，参照图2至图5，对在本实施方式中采用的、用户的眼球2的视线位置的检测方法的一例具体地说明。

图2是说明视线输入装置1的检测视线位置的方法的图，是表示将映入有显示部11的眼球2摄像的结果的图。

即，在图2中，示出了摄像部12将眼球2摄像而得到的图像(以下称作“摄像图像”)的一例。

在摄像图像中，包含眼球2的像的区域3(以下称作“眼球区域3”)。在眼球区域3中，包含眼球2的瞳孔的像的区域(以下称作“瞳孔区域4”)、和映入在眼球2中的显示部11的像的区域(以下称作“显示部像区域5”)。

另外，摄像部12的摄像对象的眼球2可以是左右眼球中的任一个，在本实施方式中预先采用左眼。但是，作为眼球2也可以预先采用右眼，也可以使得能够事后选择左右的某个。

并且，摄像部12的摄像对象也可以是双眼，在此情况下，视线输入装置1能够将后述的点击等价操作等各种鼠标等价操作作为双眼的动作组合来进行检测。

这里，作为本实施方式的“视线检测”，并不是确定某个时刻的用户眼球2的视线朝向的绝对的方向，而是检测从过去的特定时刻到检测时刻之间眼球2的视线的移动矢量(移动量及移动方向)。

为了检测视线的移动矢量，从连续摄像的多个摄像图像确定以下两个基准点而使用。即，这两个基准点是：与视线一起运动的基准点(以下称作“移动基准点”)，和用来设定该移动基准点的坐标的作为不动的原点的基准点(以下称作“不动基准点”)。

以往，作为移动基准点，一般使用瞳孔区域4的位置(代表它的点)，作为不动基准点，一般使用眼球区域3的位置(代表它的点)。

根据摄像图像的数据正确地检测瞳孔的技术本身是公知的，瞳孔区域4的位置能够由通过该技术检测到的瞳孔的中心点来代表。但是，关于正确地检测眼球区域3整体的位置，只要不设置与眼球2有固定的位置关系的测定装置则是非常困难的。虽然即使不设置这样的测定装置也能够检测内眼角及外眼角等特征部分，但这样的特征部分不像瞳孔那样鲜明，不能用于确定眼球区域3的正确位置。

因此，为了确定眼球区域3的位置，结果成为检测瞳孔作为最重要的特征部分。在此情况下，当然实质上无法区别基于瞳孔而分别确定的眼球区域3的位置和瞳孔区域4的位置。

这样，只要没有能够通过瞳孔区域4以外的特征部分检测眼球区域3的位置的技术，将眼球区域3的位置和瞳孔区域4的位置分离检测就非常困难。

因此，在专利文献1至3那样的现有技术中，需要将眼球的位置按某种程度来固定，以用户头部的某种束缚为前提。

但是，这样的头部的束缚对于用户而言是不愉快的，非常麻烦。

所以，在本实施方式中，采用了以下这样的视线检测的方法，以使得在没有头部的束缚的状态下、用户仅通过运动眼睛就能够实现鼠标等价操作。

即，作为不动基准点，代替以往的眼球区域3的位置，而采用能够与瞳孔区域4的位置独立地检测的显示部像区域5的位置。在此情况下，检测作为移动基准点的瞳孔区域4的位置相对于作为不动基准点的显示部像区域5的位置的相对变化，从而实现视线检测。

进而，以下参照图3至图5，对本实施方式的视线检测的方法详细叙述。

图3是与图2的摄像图像中的瞳孔区域4的部分有关的放大图。

如图3所示，在本实施方式中，代表瞳孔区域4的位置的瞳孔中心M例如可以确定为瞳孔区域4的重心。

这里，在本实施方式中，将摄像图像中的规定区域的重心作为构成该规定区域的全部像素的坐标的平均值来求出。

即，在摄像图像中，将瞳孔区域4的重心的横坐标计算为构成瞳孔区域4的全部像素的各横坐标的平均值。同样，在摄像图像中，将瞳孔区域4的重心的纵坐标计算为构成瞳孔区域4的全部像素的各纵坐标的平均值。

将这样计算出的瞳孔中心M作为本实施方式的移动基准点来使用。

这里，在本实施方式中，作为摄像图像的各像素的坐标，采用以该摄像图像的右下角的像素为原点、将从原点到该像素的距离用横向和纵向的像素数来测量的值。

即，在本实施方式中，摄像图像中的、沿着横向的最下线从右向左的轴是表示横坐标的轴，被采用为X轴。另一方面，摄像图像中的、沿着纵向的最右线从下向上的轴是表示纵坐标的轴，被采用为Y轴。

在本实施方式中采用这样的坐标是因为，由于眼球2与显示部11相对，所以考虑到当从用户来看眼球2的视线从左向右运动时、在连续摄像的多个摄像图像之中瞳孔中心M相反地从右向左运动这样的镜像关系。此外，还因为，使得在后述的视线检测处理中，能够将显示部11的坐标系的X轴方向按照一般的观念从左向右定义。

另外，确定瞳孔中心M的方法并不特别限定于本实施方式的方法，只要是能够将代表瞳孔区域4的位置的一点确定为瞳孔中心M的方法就足够。

如图4所示，显示部像区域5的像中心Z是代表显示部像区域5的位置的点、即是显示部像区域5的大致中心的点，所以作为本实施方式的不动基准点来使用。

像中心Z例如能够如以下那样来确定。

显示部像区域5由于是将作为像而映入眼球2中的显示部11摄像而得到的区域，所以是弯曲的，但可以近似地作为大致长方形来处理。即，显示部像区域5可以近似地作为图4所示的由4个顶点V1至V4构成的大致长方形来处理。通过这样处理，能够从摄像图像中检测4个顶点V1至V4，容易地计算这4个顶点V1至V4的重心来作为像中心Z。

即，在摄像图像中，将像中心Z的横坐标计算为4个顶点V1至V4的横坐标的平均值。同样，将像中心Z的纵坐标计算为4个顶点V1至V4的纵坐标的平均值。

这样计算出的像中心Z被用作本实施方式的不动基准点。

另外，确定像中心Z的方法并不特别限定于本实施方式的方法，只要是能够将代表显示部像区域5的位置的一点确定为像中心Z的方法就足够。

此外，从计算像中心Z的观点看，并不特别需要将显示部像区域作为弯曲的形状从摄像图像中忠实地切出而进行使用。例如，也可以将内接于显示部像区域5的边界部分的准确的长方形切出，使用该长方形计算像中心Z。即，也可以如这样的长方形的形状那样，以容易作为数据来处理的形状将显示部像区域5切出。

接着，对基于瞳孔中心M(移动基准点)与像中心Z(不动基准点)的相对位置关系的视线检测的方法进行说明。

只要用户注视着显示部11，则在用户的眼球2的视线运动的情况下，在眼球区域3中瞳孔区域4就与视线一起运动，但显示部像区域5大致静止(参照图2)。

这里应关注的点是，若用户移动脸则眼球区域3整体就在摄像图像中运动，但只要用户注视着显示部11，显示部像区域5就相对于眼球区域3相对大致静止。

此外，还应关注的点是，虽然如上述那样难以相对于瞳孔区域4的位置独立地确定眼球区域3的位置，但能够容易地独立确定显示部区域5的位置。

如果考虑到这些应关注的点，则通过采用相对于眼球区域3相对大致静止的显示部区域5的像中心Z作为代替眼球区域3的位置的不动基准点、导入表示瞳孔中心M(移动基准点)与像中心Z(不动基准点)的相对位置关系的偏差量，能够容易地进行视线检测。

图5是对表示瞳孔中心M与像中心Z的相对位置关系的偏差量进行说明的图，是与图2的摄像图像中的瞳孔区域4的部分有关的放大图。

如图5所示，在摄像图像的坐标系中，如果将从像中心Z朝向瞳孔中心M的矢量V(x，y)定义为偏差量，则能够掌握到，该偏差量的变化与用户的眼球2的视线位置的变化成比例。由此，通过检测该偏差量的变化，能够容易地进行视线检测。

这里，为了检测偏差量的变化，需要作为变化的基准的偏差量(以下称作“基准偏差量”)，所以在本实施方式中，进行用于该基准偏差量的初始设定的校准。

即，用户一边注视显示部11的中央位置一边对视线输入装置1进行规定的操作，由此来进行校准。

这里，对视线输入装置1的规定的操作没有被特别限定，但在本实施方式中，虽然没有图示，但采用了设于视线输入装置1的专用物理开关(以下称作“校准开关(calibration switch)”)的按下操作。

即，本实施方式的校准以校准开关的按下操作为契机而被执行，将此时检测到的从像中心Z朝向瞳孔中心Mo的偏差量Vo(xo，yo)设定为基准偏差量的初始值。

另外，记述为初始值是因为，基准偏差量Vo(xo，yo)如后述那样被依次更新。但是，如果在本阶段中提出基准偏差量Vo(xo，yo)的更新的概念则有可能产生混乱，所以关于基准偏差量Vo(xo，yo)的更新，在这里不考虑而继续进行说明。

在此情况下，用户的视线的移动矢量能够表示为，在校准以后检测到的偏差量V(x，y)与基准偏差量Vo(xo，yo)的差矢量ΔV(Δx，Δy)的比例矢量。

这里，视线的移动矢量的单位是什么都可以，所以在本实施方式中，设比例常数为1，将差矢量ΔV(Δx，Δy)直接采用为视线的移动矢量。

这样，在本实施方式中，通过检测视线的移动矢量ΔV(Δx，Δy)来实现视线检测。

这里，在校准时，通过将显示部11的中央位置设定为鼠标指针的初始位置，能够基于视线的移动矢量ΔV(Δx，Δy)容易地计算鼠标指针相对于初始值的偏差量。并且，按照该鼠标指针相对于初始值的偏差量，还能够容易地进行鼠标指针的移动处理。

另外，在用户闭眼或使视线从显示部11离开的情况下，无法检测视线的移动矢量ΔV(Δx，Δy)，但在这样的情况下，视线输入装置1只要使鼠标指针的移动处理停止、待机直到能够再检测视线的移动矢量ΔV(Δx，Δy)的定时就足够。

视线输入装置1当再次检测到视线的移动矢量ΔV(Δx，Δy)时，如果用户的姿势没怎么变化，则上次的校准依然是有效的，所以能够再开始使鼠标指针追随用户的视线而移动的处理。

当然，如果用户使视线激烈地运动、或较大地改变姿势，则也有用户的视线位置与鼠标指针的位置变得不一致的情况。但是，即使是这样的情况，视线输入装置1通过再次进行校准，也能够容易地使用户的视线位置与鼠标指针的位置一致。

以上，对基于瞳孔中心M与像中心Z的相对位置关系的视线检测方法进行了说明。

接着，对用来发挥图1的视线输入装置1具有的功能中的、按照这样的视线检测方法的输入处理的执行功能的功能性结构进行说明。

图6是表示图1的视线输入装置1的功能性结构的功能框图。

视线输入装置1除了上述显示部11及摄像部12以外，还具备操作部13、主控制部14和声音输出部15。

操作部13由上述的校准开关等各种物理开关构成。

例如、视线输入装置1的动作模式具有：受理灵活运用视线运动的鼠标等价操作而进行动作的模式(以下称作“视线模式”)、和以往存在的受理通常的鼠标操作而进行动作的模式(以下称作“通常模式”)。

因此，虽未图示，但作为操作部13的一部分而设有用来选择及指示视线模式的开关(以下称作“视线模式开关”)、用来选择及指示通常模式的开关(以下称作“通常模式开关”)。

这里，在对视线模式开关进行了按下操作后、即切换为视线模式后，在进行最初的视线检测之前的期间中，需要进行上述校准。

因此，通过设计成每当对视线模式开关进行按下操作时进行校准的规格，从而等价为，对视线模式开关除了视线模式的选择指示功能以外还分配了校准的开始指示功能。由此，作为操作部13的构成要素，校准开关并不一定是必须的。

但是，如果从使用容易度的观点看，则将视线模式的选择指示功能和校准的开始指示功能分配给不同的开关对于用户而言容易理解，是优选的，所以在本实施方式中将校准开关与视线模式开关独立设置。

另外，鼠标等输入设备也能够与视线输入装置1连接，以应对通常模式。但是，即使没有鼠标等输入设备，视线输入装置1也能够以视线模式动作。因此，鼠标等输入设备并不是作为操作部13的构成要素而必须的。因而，设为操作部13的构成要素不包含鼠标等输入设备而进行处理。

在对操作部13的视线模式开关进行按下操作、视线输入装置1以视线模式动作的情况下，在主控制部14中，如图6所示，基准检测部21、视线检测部22、操作内容输入部23、显示控制部24和声音输出控制部25发挥功能。

基准检测部21从摄像部12取得将用户的眼球2摄像而得到的摄像图像的数据，根据该摄像图像的数据，检测成为用来进行视线检测的基准的信息(以下称作“基准信息”)。

例如，基准检测部21根据摄像图像的数据确定瞳孔区域4的位置，进而检测作为移动基准点的瞳孔中心M的坐标，作为基准信息之一。

此外，例如，基准检测部21根据摄像图像的数据确定显示部像区域5的位置，进而检测作为不动基准点的像中心Z的坐标，作为基准信息之一。

具体而言，例如，基准检测部21从摄像图像中的以瞳孔中心M为中心的规定的范围之中，将平均亮度为规定阈值以上的长方形的区域、且宽度和高度满足规定的条件的区域确定为显示部像区域5。

这里，作为规定的条件，在本实施方式中，采用宽度和高度落在规定的范围内、同时宽度与高度的比落在规定的范围内这样的条件。

采用这样的条件是为了排除有可能误认为显示部区域5的像、例如映入在眼球2中的明亮的长方形的像、具体而言例如荧光灯或远方的窗户的像。

然后，基准检测部21根据这样确定的显示部像区域5，如上述那样计算像中心Z的坐标。

另外，基准检测部21可以将这样检测到的瞳孔中心M及像中心Z的各坐标作为基准信息向视线检测部22供给，但在本实施方式中，还求出上述的偏差量V(x，y)，将其作为基准信息向视线检测部22供给。

具体而言，例如，基准检测部21若在校准时检测瞳孔中心Mo及像中心Z的各坐标，则进行上述的基准偏差量Vo(xo，yo)的初始设定，将其作为基准信息之一向视线检测部22供给。

此外，此后基准检测部21每当对基准偏差量Vo(xo，yo)进行更新(关于更新的详细情况在后面叙述)，就将其作为基准信息之一向视线检测部22供给。

此外，基准检测部21按照每个规定的时间间隔，检测瞳孔中心M及像中心Z的各坐标，基于该检测结果检测上述偏差量V(x，y)，将其作为基准信息之一向视线检测部22供给。

视线检测部22基于这些基准信息，检测用户的眼球2的视线。

即，视线检测部22每当被供给偏差量V(x，y)，则通过利用该偏差量V(x，y)、和在该阶段中保持的基准偏差量Vo(xo，yo)，计算视线的移动矢量ΔV(Δx，Δy)，由此进行视线检测。

视线检测部22基于视线检测的结果、即视线的移动矢量ΔV(Δx，Δy)，识别出进行了鼠标等价操作的1个、即进行了与鼠标指针的移动指示等价的操作，将该识别结果向操作内容输入部23通知。

换言之，视线检测部22如以下这样地识别与视线的移动矢量ΔV(Δx，Δy)对应的鼠标指针的移动量(移动该移动量的指示)。

即，在视线的横向(X轴方向)的移动量Δx超过规定的阈值的情况下，视线检测部22将对移动量Δx乘以了规定的比例常数后的量识别为鼠标指针的横向的移动量。

同样，视线检测部22操作内容在视线的纵向(Y轴方向)的移动量Δy超过了规定的阈值的情况下，将对移动量Δy乘以了规定的比例常数后的量识别为鼠标指针的纵向的移动量。

将这些识别结果作为鼠标等价操作的内容从视线检测部22向操作内容输入部23供给。

操作内容输入部23输入从视线检测部22供给的鼠标等价操作的内容，执行与该内容相应的处理。

例如，在被从视线检测部22供给了鼠标指针的移动量的情况下，操作内容输入部23输入该移动量，执行使鼠标指针移动且移动量为输入的移动量的处理。即，操作内容输入部23对显示控制部64通知鼠标指针的移动量。

显示控制部64执行以下控制，即：使显示部11对包含鼠标指针的GUI(Graphical User Interface：图形用户界面)用的画面进行显示。

即，显示控制部64基于被从操作内容输入部23通知的移动量，将显示部11的坐标系中的鼠标指针的位置更新。由此，在显示于显示部11上的GUI用的画面内，鼠标指针实际发生移动(显示这样的运动图像)。

这里，假设在显示部11的坐标系中采用了朝右的X轴和朝上的Y轴。

由此，如上所述，能够满足当瞳孔中心M在摄像图像的坐标系中向左运动时、鼠标指针在显示部11的坐标系中向右运动这样的镜像关系。另外，参照图11对该详细情况在后面叙述。

然后，视线检测部22将基准偏差量Vo(xo，yo)也对照于鼠标指针的移动而更新。

即，在使鼠标指针沿横向移动了与Δx成比例的移动量的情况下，视线检测部22以对基准偏差量Vo的横向的成分xo加上移动量Δx(即，使xo＝x)的方式将基准偏差量Vo(xo，yo)更新。同样，在使鼠标指针沿纵向移动了与Δy成比例的移动量的情况下，视线检测部22以对基准偏差量Vo的纵向的成分yo加上移动量Δy(即，使yo＝y)的方式将基准偏差量Vo(xo，yo)更新。

若像这样将基准偏差量Vo(xo，yo)更新、将该更新结果保持在视线检测部22中，则从下次起能够检测相对于新的鼠标指针位置的视线移动。

另外，如上所述，仅在超过规定的阈值的情况下将鼠标指针的位置更新是为了避免以下现象：由于人的视线总是摇摆的这样的性质，所以鼠标指针也不必要地摇摆的现象。

此外，视线检测部22还能够基于根据摄像图像的数据而检测到的眼球的状态来识别鼠标等价操作中的、与点击操作等价的操作。

即，视线检测部22按照检测眨眼的公知方法，根据摄像图像的数据检测眨眼动作。在此情况下，视线检测部22在规定的时间内连续两次检测到眨眼动作的情况下，识别为进行了与点击操作等价的操作，将该识别结果向操作内容输入部23供给。

操作内容输入部23如果被供给这样的识别结果，则输入与点击操作建立了对应的指示内容、例如图标的选择的指示等内容，执行与输入的内容对应的处理(图标的选择等处理)。

另外，在鼠标操作中，作为点击操作而存在所谓的左点击和右点击。在需要区别为这样的左点击和右点击的情况下，例如只要对左眼的两次连续的眨眼动作分配与左点击等价的操作、对右眼的两次连续的眨眼动作分配与右点击等价的操作即可。

并且，操作内容输入部23在输入了鼠标等价操作的内容的情况下，将表示与该内容对应的声音的输出指示的信息向声音输出控制部25供给。

声音输出控制部25执行控制，以使由从操作内容输入部23供给的信息而确定的声音、例如在进行了与点击等价的操作的情况下的所谓的点击音从声音输出部15输出。

另外，在对操作部13的通常模式开关进行按下操作、视线输入装置1以通常模式动作的情况下，在主控制部14中，操作内容输入部23、显示控制部24和声音输出控制部25发挥功能。其中，关于通常模式下的动作，与以往没有任何变化，所以这里省略其说明。

以上，参照图6，对视线输入装置1的功能性结构进行了说明。

但是，上述图6的功能性结构只不过是例示，只要作为装置整体能够发挥上述各种功能，则视线输入装置1可以采取任意的功能性结构。

接着，参照图7至图14，对具有图6的功能性结构的视线输入装置1执行的处理中的、将鼠标等价操作或通常的鼠标操作的内容输入的处理(以下称作“信息输入处理”)的流程进行说明。

图7是说明图6的视线输入装置1执行的信息输入处理的流程的一例的流程图。

信息输入处理例如以将视线输入装置1的电源投入、由用户进行了规定的操作为契机而开始，执行以下这样的步骤S1至S12的处理。

在步骤S1中，主控制部14执行用来对视线输入装置1整体进行初始设定的初始化处理。

具体而言，例如，主控制部14设定通常模式作为通过后述的步骤S2的SW处理而设定的动作模式的初始设定。

另外，在本实施方式中，假设作为动作模式的初始设定而禁止设定视线模式。由于在视线模式的开始时伴随着校准的执行，所以需要用户开始视线模式这样的明示的指示。

在步骤S2中，主控制部14执行SW(开关)处理。

所谓SW处理，是指对存在多个选择项的模式选择规定的选择项、或对存在多个状态的标志选择初始状态、从而进行设定的处理。

例如在本实施方式的SW处理中，作为动作模式而设定通常模式和视线模式中的由用户选择的模式。

另外，对于SW处理的更详细的情况，参照图8在后面叙述。

在步骤S3中，主控制部14判断是否设定了视线模式。

在步骤S2的SW处理中设定了通常模式的情况下，在步骤S3中判断为“否”，处理前进到步骤S4。在此情况下，如上所述，用户进行通常的鼠标操作，所以在图6的主控制部14中，操作内容输入部23、显示控制部24及声音输出控制部25发挥功能。

在步骤S4中，操作内容输入部23识别通常的鼠标操作。

然后，处理前进到步骤S9。其中，关于步骤S9以后的处理在后面叙述。

相对于此，在步骤S2的SW处理中设定了视线模式的情况下，在步骤S3中判断为“是”，处理前进到步骤S5。

在步骤S5中，基准检测部21执行基准检测处理。

所谓基准检测处理，参照上述图2至图5已说明了主要的处理，是指从将眼球2摄像的结果得到的摄像图像的数据中检测基准信息的处理，即检测瞳孔中心M(移动基准点)和像中心Z(不动基准点)、基于这些检测结果来计算偏差量V(x，y)、计算(包括更新)基准偏差量Vo(xo，yo)的处理。另外，关于基准检测处理的更详细的情况，参照图9在后面叙述。

在步骤S6中，主控制部14判断在步骤S5的基准检测处理中、成为不动基准点的像中心Z的检测是否成功。

在步骤S5的基准检测处理中像中心Z的检测失败的情况下，由于不能执行后续的视线检测处理(后述的步骤S8的处理)，所以在步骤S6中判断为“否”，处理前进到步骤S7。

在步骤S7中，主控制部14执行规定的错误处理。

然后，使处理回到步骤S5的基准检测处理。即，直到在步骤S5的基准检测处理中像中心Z的检测成功为止的期间中，重复步骤S5至S7的循环处理。

若包括初次在内的规定次的步骤S5的基准检测处理中像中心Z的检测成功，则在接着的步骤S6中判断为“是”，处理前进到步骤S8。

在步骤S8中，视线检测部22执行视线检测处理。

所谓视线检测处理，是指基于在步骤S5的基准检测处理中检测到的偏差量V(x，y)及基准偏差量(xo，yo)求出视线的移动矢量ΔV(Δx，Δy)来进行视线检测、基于该视线检测结果识别鼠标指针的移动指示(决定鼠标指针的移动量)等的处理。此外，作为视线检测处理的一部分也包括检测用户的眨眼、识别与点击操作等价的操作的处理。总之，所谓视线检测处理，是指进行视线检测、基于其检测结果等来识别鼠标等价操作的内容的处理。

另外，关于视线检测处理的更详细的情况，参照图10在后面叙述。

在步骤S9中，操作内容输入部23执行将步骤S8的视线检测处理中识别出的鼠标等价操作的内容输入的输入处理，适当执行与输入的内容相应的处理。

在步骤S10中，显示控制部64执行使与步骤S9的处理中输入的鼠标等价操作的内容相应的GUI用的画面、例如使鼠标指针移动的画面显示在显示部11上的显示处理。

在步骤S11中，声音输出部15执行使与步骤S9的处理中输入的鼠标等价操作的内容相应的声音、例如所谓的点击音从声音输出部15发声的发声处理。

在步骤S12中，主控制部14判断是否指示了处理的结束。

处理结束的指示并没有特别限定，例如可以采用将视线输入装置1的电源切断的指示等各种各样的指示作为处理结束的指示。

在还没有指示处理结束的情况下，在步骤S12中判断为“否”，使处理回到步骤S2，重复其以后的处理。

即，在到指示处理结束为止的期间中，反复执行步骤S2至S12的处理，每当用户进行鼠标等价操作或通常的鼠标操作，则输入该操作的内容，执行与输入的内容相应的处理。

然后，若指示处理的结束，则在步骤S12中判断为“是”，视线输入处理的整体结束。

以上，参照图7，对视线输入处理的流程进行了说明。

接着，对这样的视线输入处理中的步骤S2的SW处理的详细流程进行说明。

图8是说明SW处理的详细流程的流程图。

在步骤S21中，主控制部14从操作部13取得全部的开关状态。

这里，所谓开关状态，是指ON状态或OFF状态。此外，被取得开关状态的开关在本实施方式中是通常模式开关、视线模式开关及校准开关。

在步骤S22中，主控制部14判断校准开关是否是ON状态。在校准开关是OFF状态的情况下，在步骤S22中判断为“否”，处理前进到步骤S23。

在步骤S23中，主控制部14将CF标志设定为“0”。

这里，所谓CF标志，是表示是否需要校准处理的标志。即，在CF标志被设定为“1”的情况下，意味着需要校准处理。另一方面，在如本步骤S23的处理后那样将CF标志设定为“0”的情况下，意味着不需要校准处理。

然后，处理前进到步骤S25。关于步骤S25以后的处理在后面叙述。

相对于此，在校准开关是ON状态的情况下，在步骤S22中判断为“是”，处理前进到步骤S24。

在步骤S24中，主控制部14将CF标志设定为“1”。即，在此情况下，设定了需要校准处理。

在步骤S25中，主控制部14判断视线模式开关是否是ON状态。

在视线模式开关是OFF状态的情况下，在步骤S25中判断为“否”，处理前进到步骤S28。关于步骤S28以后的处理在后面叙述。

相对于此，在视线模式开关是ON状态的情况下，在步骤S25中判断为“是”，处理前进到步骤S26。

在步骤S26中，主控制部14设定视线模式作为视线输入装置1的动作模式。

在步骤S27中，主控制部14将CF标志设定为“1”。

在此情况下，即使在步骤S23的处理中设定为CF＝0，也使视线模式开关的按下操作优先，设定为CF＝1，表示需要校准处理。

这样，在步骤S27的处理已结束的情况下，或在步骤S25中判断为“否”(视线模式开关是OFF状态)的情况下，处理前进到步骤S28。

在步骤S28中，主控制部14判断通常模式开关是否是ON状态。在通常模式开关是OFF状态的情况下，在步骤S28中判断为“否”，SW处理结束。

相对于此，在通常模式开关是ON状态的情况下，在步骤S28中判断为“是”，处理前进到步骤S29。

在步骤S29中，主控制部14设定通常模式作为视线输入装置1的动作模式。

由此，SW处理结束。

若SW处理结束、即图7的步骤S2的处理结束，则处理前进到步骤S3。

于是，如上所述，在步骤S3的处理中，判断视线输入装置1的动作模式是否是视线模式，如果是视线模式，则执行步骤S5的基准检测处理。

所以，以下接着说明步骤S5的基准检测处理的详细流程。

图9是说明基准检测处理的详细流程的流程图。

在步骤S41中，基准检测部21从摄像部12取得将用户的眼球2摄像而得到的摄像图像的数据。

在步骤S42中，基准检测部21根据在步骤S41的处理中作为数据而取得的摄像图像来检测瞳孔区域4。

在步骤S43中，基准检测部21根据在步骤S42的处理中检测到的瞳孔区域4，将其重心确定为作为移动基准点的瞳孔中心M。

在步骤S44中，基准检测部21执行像中心检测处理。

所谓像中心检测处理，是指检测上述作为不动基准点的像中心Z的处理。

另外，关于像中心检测处理的更详细的情况，参照图12至图14在后面叙述。

在步骤S45中，基准检测部21判断像中心检测处理是否成功。

在像中心检测处理失败的情况下，在步骤S45中判断为“否”，处理前进到步骤S46。

在步骤S46中，基准检测部21设立基准检测处理失败的标志。

由此，基准检测处理结束。即，图7的步骤S5的处理结束，在下个步骤S6的处理中判断为“否”，执行步骤S7的错误处理。

相对于此，在像中心检测处理成功的情况下，在步骤S45中判断为“是”，处理前进到步骤S47。

在步骤S47中，基准检测部21基于在步骤S43的处理中确定的瞳孔中心M、和在步骤S44的像中心检测处理中确定的像中心Z，求出偏差量V(x，y)，向视线检测部22供给。

在步骤S48中，基准检测部21判断是否是CF＝1。

在CF＝0的情况下、即在不需要校准的情况下，在步骤S48中判断为“否”，基准检测处理结束。即，结束图7的步骤S5的处理，处理前进到步骤S6。

相对于此，在CF＝1的情况下、即在需要校准的情况下，在步骤S48中判断为“是”，处理前进到步骤S49。

在步骤S49中，基准检测部21执行校准处理，作为基准偏差量Vo(xo，yo)，初始设定或更新为在步骤S47的处理中求出的偏差量V(x，y)(Vo(xo，yo)＝V(x，y))。

在步骤S50中，基准检测部21设定为CF＝0。即，表示由于已执行了校准所以在当前阶段不需要校准。

由此，基准检测处理结束，即图7的步骤S5的处理结束，处理前进到步骤S6。

在此情况下，在步骤S6中判断为“是”，执行步骤S8的视线检测处理。

所以，以下接着说明步骤S8的视线检测处理的详细流程。

图10是说明视线检测处理的详细流程的流程图。

在步骤S61中，视线检测部22将视线的移动矢量ΔV(Δx，Δy)计算为从基准检测部21通知的偏差量V(x，y)与基准偏差量Vo(xo，yo)之间的差矢量(ΔV(Δx，Δy)＝V(x，y)-Vo(xo，yo))。

在步骤S62中，视线检测部22判断在步骤S61的处理中计算出的视线的移动矢量ΔV的横向(X轴方向)成分Δx的绝对值是否超过10pix(|Δx|＞10pix)。

这里，将可以可靠地认为用户为了鼠标指针的横向的移动指示而对视线进行了移动的视线的横向移动量换算为摄像图像的像素并设定为11像素(pix)的量。

因此，在视线的移动矢量ΔV的横向(X轴方向)的成分Δx的绝对值是10pix以下的情况下，有可能用户不想使鼠标指针移动、但却因视线的摇摆等而导致视线有若干移动，从而不识别鼠标指针的移动的指示操作。

因而，这样的情况下，在步骤S62中判断为“否”，不执行用来识别鼠标指针的移动的指示操作的处理即步骤S63及S64的处理，处理前进到步骤S65。关于步骤S65以后的处理在后面叙述。

相对于此，在视线的移动矢量ΔV的横向(X轴方向)的成分Δx的绝对值超过了10pix的情况下，识别为用户为了鼠标指针的横向的移动指示而移动了视线，结果，在步骤S62中判断为“是”，处理前进到步骤S63。

在步骤S63中，视线检测部22将与视线的移动矢量ΔV的横向(X轴方向)的成分Δx相应的鼠标指针移动的发生向操作内容输入部23通知。

在步骤S64中，视线检测部22对应于鼠标指针的移动，将基准偏差量Vo的横向(X轴方向)的成分xo更新为当前的偏差量V的横向(X轴方向)的成分x(xo＝x)。

由此，在下次的视线检测处理的步骤S61的处理中，本次的当前的偏差量V的横向(X轴方向)的成分x成为基准，求出视线的移动矢量ΔV(Δx，Δy)。

这样，在步骤S64的处理结束的情况下，或在步骤S62的处理中判断为“否”的情况下，处理前进到步骤S65。

在步骤S65中，视线检测部22判断在步骤S61的处理中计算出的视线的移动矢量ΔV的纵向(Y轴方向)的成分Δy的绝对值是否超过了10pix(|Δy|＞10pix)。

这里，将可以可靠地认为用户为了鼠标指针的纵向的移动指示而对视线进行了移动的视线的纵向的移动量换算为摄像图像的像素，并设定为11像素(pix)的量。

因此，在视线的移动矢量ΔV的纵向(Y轴方向)的成分Δy的绝对值是10pix以下的情况下，有可能用户不想使鼠标指针移动、但却因视线的摇摆等而导致视线有若干移动，从而不识别鼠标指针的移动的指示操作。

因而，这样的情况下，在步骤S65中判断为“否”，不执行用来识别鼠标指针的移动的指示操作的处理即步骤S66及S67的处理，处理前进到步骤S68。关于步骤S68以后的处理在后面叙述。

相对于此，在视线的移动矢量ΔV的纵向(Y轴方向)的成分Δy的绝对值超过了10pix的情况下，识别为用户为了鼠标指针的纵向的移动指示而移动了视线，结果，在步骤S65中判断为“是”，处理前进到步骤S66。

在步骤S66中，视线检测部22将与视线的移动矢量ΔV的纵向(Y轴方向)的成分Δy相应的鼠标指针移动的发生向操作内容输入部23通知。

在步骤S67中，视线检测部22对应于鼠标指针的移动，将基准偏差量Vo的纵向(Y轴方向)的成分yo更新为当前的偏差量V的纵向(Y轴方向)的成分y(yo＝y)。

由此，在下次的视线检测处理的步骤S61的处理中，本次的当前的偏差量V的纵向(Y轴方向)的成分y成为基准，求出视线的移动矢量ΔV(Δx，Δy)。

这样，在步骤S67的处理结束的情况下，或在步骤S65的处理中判断为“否”的情况下，处理前进到步骤S68。

在步骤S68中，视线检测部22判断是否根据摄像图像的数据检测到了用户的眨眼。

在未检测到用户的眨眼的情况下，在步骤S68中判断为“否”，视线检测处理结束。

即，图7的步骤S8的处理结束，处理前进到步骤S9。在此情况下，如果执行了步骤S63和S66中的至少一个处理，则在步骤S9的处理中，输入鼠标指针的移动的指示，在下个步骤S10的处理中鼠标指针移动(显示这样的GUI用的图像)。

相对于此，在检测到了用户的眨眼的情况下，在步骤S68中判断为“是”，处理前进到步骤S69。

在步骤S69中，视线检测部22判断此次检测到的眨眼是否是在距上次检测到的眨眼200mS以内发生的。

在此次与上次的眨眼的间隔不是200mS以内的情况下，识别为不是用户为了进行与点击操作等价的操作而两次眨眼，结果，在步骤S69中判断为“否”，视线检测处理结束。

即，图7的步骤S8的处理结束，处理前进到步骤S9。在此情况下，如果执行了步骤S63和S66中的至少一个处理，则在步骤S9的处理中输入鼠标指针的移动的指示，在下个步骤S10的处理中鼠标指针移动(显示这样的GUI用的图像)。

相对于此，在此次与上次的眨眼的间隔是200mS以内的情况下，识别为用户为了进行与点击操作等价的操作而两次眨眼，结果，在步骤S69中判断为“是”，处理前进到步骤S70。

在步骤S70中，视线检测部22将鼠标点击的发生向操作内容输入部23通知。

由此，视线检测处理结束，即图7的步骤S8的处理结束，处理前进到步骤S9。

在此情况下，在步骤S9的处理中，输入与点击操作建立了对应的指示(例如图标的选择等的指示)，适当地执行按照指示的处理。

以上，参照图10，对图7的视线输入处理中的步骤S8的视线检测处理的流程进行了说明。

另外，在步骤S62及S65中采用的10pix、在步骤S69中采用的200ms等值只不过是例示，是在不脱离其主旨(防止误检测)的范围内能够自由地变更的值。

这里，参照图11，对通过视线检测处理而决定的鼠标指针移动的方向进行说明。

图11是说明通过视线检测处理决定的鼠标指针移动的方向的图。

图11A是表示在将摄像图像的坐标系的原点取为像中心Z的坐标系中瞳孔中心M运动的方向的图。如果将像中心Z取为原点，则瞳孔中心M的坐标用与偏差量V(x，y)一致的坐标(x，y)表示。

此外，图11B是表示在显示部11的坐标系中将中央位置取为原点的情况下鼠标指针对应于图11A的视线位置的移动而运动的方向的图。

在图11A中，当瞳孔中心M从初始偏差量Vo的坐标(xo，yo)向左上方向运动到当前的偏差量V(x，y)时，如图11B所示，鼠标指针向右上运动。

这如上所述，是因为图11A中的摄像到的瞳孔中心M的移动方向与图11B中的从用户来看的视线位置的移动方向为镜像关系。

这里，改变话题，对图9的基准检测处理(图7的步骤S5的处理)中的步骤S34的像中心检测处理的3个例子分别说明。

图12是说明像中心检测处理的详细流程的一例的流程图。

在步骤S81中，基准检测部21，在摄像图像的瞳孔区域4的附近、具体而言在以瞳孔中心M为中心的一定范围内的区域中，在纵横的尺寸和纵横比为规定的范围内，尝试平均较明亮的长方形的区域的检测。

在步骤S82中，基准检测部21判断通过步骤S81的处理的尝试是否检测到了区域。

在通过步骤S81的处理的尝试未检测到区域的情况下，在步骤S82中判断为“否”，处理前进到步骤S83。

在步骤S83中，基准检测部21设立表示像中心检测失败的标志。由此，像中心检测处理结束。即，图9的步骤S44的处理结束，处理前进到步骤S45。在此情况下，在步骤S45的处理中判断为“否”，设立基准检测失败的标志，基准检测处理结束，即图7的步骤S5的处理结束，在步骤S6的处理中判断为“否”后，执行步骤S7的错误处理。

相对于此，在通过步骤S81的处理的尝试检测到了区域的情况下，在步骤S82中判断为“是”，处理前进到步骤S84。

在步骤S84中，基准检测部21将检测到的区域作为显示部像区域5，计算其重心作为像中心Z的坐标。

由此，像中心检测处理结束。即，图9的步骤S44的处理结束，处理前进到步骤S45。在此情况下，在步骤S45的处理中判断为“是”，求出偏差量V(x，y)等后，基准检测处理结束。即，图7的步骤S5的处理结束，在步骤S6的处理中判断为“是”后，执行步骤S8的视线检测处理。

图13是像中心检测处理的详细流程的一例，是说明与图12的例子不同的例子的流程图。

在步骤S101中，基准检测部21，在摄像图像的瞳孔区域4的附近，具体而言在以瞳孔中心M为中心的一定范围内的区域，使用适当的公知技术等，进行从显示部11的中心点发出的识别信号(摄像部12将表示该识别信号映到眼球2中的样子的像摄像而得到的摄像图像内的区域)的检测的尝试。

即，将在这样的尝试中检测成功的区域确定为显示部像区域5。

另外，在该例中，假设显示控制部64具有控制显示部11、发出由识别信号调制后的光的功能。

步骤S102至S104的各个处理及这些处理的流程与图12的例子的步骤S82至S84基本上是同样的，所以这里其说明省略。

图14是像中心检测处理的详细流程的一例，是说明与图12及图13的例子不同的例子的流程图。

在步骤S121中，基准检测部21，在摄像图像的瞳孔区域4的附近，具体而言在以瞳孔中心M为中心的一定范围内的区域，在包括最亮像素的明亮的像素连续的区域，尝试在规定时间的期间中没有运动的区域的检测。

另外，“规定时间”没有特别限定，优选的是200ms左右以下。这是因为，如果超过200ms，则视线检测的反应有可能变慢。

步骤S122至S124的各个处理及这些处理的流程与图12的例子的步骤S82至S84基本上是同样的，所以这里其说明省略。

如以上说明那样，有关本实施方式的视线输入装置1具备显示部11、摄像部12、基准检测部21和视线检测部22。

显示部11具有规定形状的显示区域，在该显示区域中显示图像。

摄像部12通过将映入有显示区域的用户的眼球2摄像，生成摄像图像的数据。

基准检测部21根据由摄像部12生成的摄像图像的数据，检测随着用户的视线移动而运动的移动基准点和即使有用户的视线移动也能够判断为大致静止的不动基准点，将表示从不动基准点到移动基准点的矢量生成为偏差量V(x，y)。

视线检测部22基于过去生成的基准偏差量Vo(xo，yo)和本次生成的偏差量V(x，y)，检测移动矢量ΔV(Δx，Δy)作为用户的视线的移动量。

由此，视线输入装置1能够不将用户的头部进行任何束缚、而通过视线检测受理鼠标等价操作，所以用户能够在头部及两手都自由的状态下进行鼠标等价操作。

这里，很多用户讨厌触摸面板的面板表面沾上手指的油、触摸板擦碰手指的感触。此外，遥控器在操作中花费工夫。视线输入装置1能够消除这些用户界面所有的缺点而实现舒适的用户界面。

此外，用户只要注视着显示部11就能可靠地进行视线检测，所以能够实现稳定的鼠标等价操作。即使用户将视线移开，也能够仅通过以相同的姿势重新注视而再开始鼠标等价操作。

另外，本发明并不限定于上述实施方式，能够实现本发明的目的的范围内的变形、改良等包含在本发明中。

例如，在上述实施方式中，对视线模式开关和校准开关分配了相同的校准功能，但也可以分别分配不同种类的校准功能。

即，由于认为用户在对视线模式开关进行按下操作时注视着到此为止以通常模式移动的鼠标指针的情况较多，所以也可以进行将鼠标指针的当前位置设为初始位置的校准。

相对于此，由于认为用户在按下校准开关时重新进行校准的意愿较强，所以可以如上述实施方式那样执行将显示部11的中央位置设为鼠标指针的初始位置的校准。

此外，例如在上述实施方式中，设采用本发明的信息处理装置是构成为数码相框的视线输入装置1而进行了说明。

但是，本发明并不特别限定于此，而能够普遍用于能够执行上述视线检测的电子设备。具体而言，例如，本发明能够广泛地用于个人计算机、便携型导航装置、便携游戏机、移动电话、便携信息终端等。

上述一系列的处理既可以由硬件执行，也可以由软件执行。

图15是表示通过软件执行上述一系列的处理的情况下的视线输入装置1的硬件结构的框图。

视线输入装置1除了上述显示部11、摄像部12、操作部13、及声音输出部15以外，还具备CPU(Central Processing Unit)101、ROM(Read OnlyMemory)102、RAM(Random Access Memory)103、总线104、输入输出接口105、存储部106、通信部107和驱动器(drive)108。

CPU101按照记录在ROM102中的程序、或从存储部106装载到RAM103中的程序，执行各种处理。

在RAM103中，还适当存储有CPU101为执行各种处理而需要的数据等。

例如，上述图6的功能结构中的主控制部14可以作为CPU101这样的硬件与存储在ROM102等中的程序(软件)的组合而构成。

CPU101、ROM102及RAM103经由总线104相互连接。在该总线104上还连接着输入输出接口105。在输入输出接口105上连接着显示部11、摄像部12、操作部13、声音输出部15、存储部106、通信部107、及驱动器108。

存储部106由硬盘等构成，将从摄像部12输出的摄像图像的数据暂时存储。此外，存储部106还存储各种图像处理所需要的各种数据、例如图像的数据、各种标志的值、阈值等。

通信部107控制经由因特网等在与其他装置之间进行的通信。

在驱动器108中，适当安装由磁盘、光盘、磁光盘、或半导体存储器等构成的可移动介质(removable media)111。将由驱动器108读出的计算机程序根据需要而安装到存储部106等中。

在通过软件执行一系列的处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等中。计算机可以是装入在专用的硬件中的计算机。此外，计算机也可以是通过安装各种程序而能够执行各种功能的计算机、例如通用的个人计算机。

包含这样的程序的记录介质不仅由为了对用户提供程序而与装置主体分别配置的可移动介质111构成，也可以由以预先装入在装置主体中的状态向用户提供的记录介质等构成。

可移动介质111例如由磁盘(包括软盘)、光盘、或磁光盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(DigitalVersatile Disk)等构成。磁光盘由MD(Mini-Disk)等构成。此外，以预先装入在装置主体中的状态向用户提供的记录介质例如由记录有程序的ROM102、包含在存储部106中的硬盘等构成。

另外，在本说明书中，将记录在记录介质中的程序进行记述的步骤是沿着其顺序以时间序列进行的处理，当然不一定是以时间序列进行处理，还包括并行或单独执行的处理。

Claims

1.一种信息处理装置，其特征在于，具有：

第1图像检测单元，将表示位于从所连接的摄像单元供给的摄像数据内的眼球的特定部位的图像检测为第1图像；

第1检测单元，确定上述摄像数据上的上述第1图像的位置；

第2图像检测单元，从上述摄像数据内检测表示映入到上述眼球中的特定形状的物体的图像作为第2图像；

第2检测单元，确定上述摄像数据上的上述第2图像的位置；以及

视线移动量检测单元，基于上述第1图像的位置与上述第2图像的位置之间的关系，检测由上述摄像单元摄像的眼球的视线移动量。

2.如权利要求1所述的信息处理装置，其特征在于，

上述第2图像检测单元将纵横尺寸和纵横比在规定范围内的图像检测为上述第2图像。

3.如权利要求1所述的信息处理装置，其特征在于，

上述信息处理装置还具备显示部。

4.如权利要求3所述的信息处理装置，其特征在于，

上述显示部显示第2图像；

映入在上述眼球中的图像是显示在上述显示部上的上述第2图像。

5.如权利要求3所述的信息处理装置，其特征在于，

在上述显示部上显示在该显示部内移动的鼠标指针；

上述信息处理装置还具备鼠标指针控制单元，该鼠标指针控制单元基于由上述信息处理装置检测到的上述视线移动量使上述鼠标指针移动。

6.如权利要求5所述的信息处理装置，其特征在于，

上述信息处理装置还具有：

眨眼检测单元，检测是否在规定时间内进行了规定次数的眨眼的动作；以及

通知单元，在检测到上述动作的情况下产生通知信号，该通知信号表示进行了鼠标的点击操作。

7.一种信息处理方法，根据从所连接的摄像单元供给的摄像数据内的图像来检测视线的移动量，其特征在于，包含以下步骤：

第1图像检测步骤，将表示位于从上述摄像单元供给的摄像数据内的眼球的特定部位的图像检测为第1图像；

第1检测步骤，确定上述摄像数据上的上述第1图像的位置；

第2图像检测步骤，从上述摄像数据内检测表示映入到上述眼球中的特定形状的物体的图像作为第2图像；

第2检测步骤，确定上述摄像数据上的上述第2图像的位置；以及

视线移动量检测步骤，基于上述第1图像的位置与上述第2图像的位置之间的关系，检测由上述摄像单元摄像的眼球的视线移动量。