CN104793842A - 图形用户界面系统、显示处理装置及输入处理装置 - Google Patents

Abstract

一种图形用户界面系统，包括显示处理装置和输入处理装置，所述显示处理装置具有：显示部；第一处理部，使所述显示部显示包含图标的画面；以及视线方向检测部，检测用户的视线方向，所述输入处理装置具有：第二处理部，确定操作，并能够与所述第一处理部进行通信；以及操作发送部，将由所述第二处理部确定的操作发送给所述第一处理部，所述第一处理部根据由所述视线方向检测部确定的位置和由所述操作发送部发送的所述操作，控制所述显示处理装置。

Description

图形用户界面系统、显示处理装置及输入处理装置

技术领域

本发明涉及图形用户界面(GUI)系统、显示处理装置及输入处理装置。

背景技术

已经研发出了能够佩戴在用户的身体上的可穿戴式计算机。特别是在将头戴式显示器应用于可穿戴式计算机时，由于计算机图形画面作为虚像形成在用户的眼前，所以可提供如眼镜那样能够佩戴在用户的头部的可穿戴式计算机。

另外，在专利文献1、2中公开了能够根据视线输入进行操作的头戴式的可穿戴式计算机。如日本特开2004－180208号公报以及日本特开2010－199789号公报记载的那样，在这种头戴式的可穿戴式计算机中设有视线方向检测装置，该视线方向检测装置被用作指示装置(pointing device)。即，通过利用视线方向检测装置检测视线方向来确定计算机画面与视线相交的位置，在计算机画面内的图标等与视线重叠的情况下，该图标即被选择。

可是，仅依靠基于视线输入的操作，在使用性及操作性方面较差。

发明内容

本发明要解决的课题是通过辅助基于视线输入的操作，提高计算机的使用性及操作性。

本发明的一种方式的图形用户界面系统，包括显示处理装置和输入处理装置，所述显示处理装置具有：显示部；第一处理部，使所述显示部显示包含图标的画面；以及视线方向检测部，检测用户的视线方向，所述输入处理装置具有：第二处理部，确定操作，并能够与所述第一处理部进行通信；以及操作发送部，将由所述第二处理部确定的操作发送给所述第一处理部，所述第一处理部根据由所述视线方向检测部确定的位置和由所述操作发送部发送的所述操作，控制所述显示处理装置。

本发明的一种方式的显示处理装置，该显示处理装置具有：显示部；处理部，使显示部显示包含图标的画面；视线方向检测部，通过检测用户的视线方向，确定在所述显示部显示的画面内的位置；以及接收部，从能够与所述第一处理部进行无线通信的输入处理装置接收操作内容，所述处理部根据由所述视线方向检测部确定的位置和由所述接收部接收到的操作内容，控制所述显示处理装置。

本发明的一种方式的输入处理装置具有：触摸屏；连接部，通过无线通信与显示处理装置连接；确定部，根据所述触摸屏的输出信号确定对所述触摸屏的操作；操作发送部，将由所述确定部确定的对所述触摸屏的操作，发送给通过所述连接部而连接的所述显示处理装置；以及切换部，切换输入模式和除此以外的模式，该输入模式用于确定对所述触摸屏进行的针对所述显示处理装置的操作，当在所述输入模式时进行了对所述触摸屏的操作的情况下，所述确定部根据所述触摸屏的输出信号确定对所述触摸屏的操作。

附图说明

图1是表示本发明的实施方式1的图形用户界面系统的使用状态的图。

图2是该图形用户界面系统的块图。

图3是表示在该图形用户界面系统具备的显示处理装置的显示部显示的图形用户界面画面的一例的图。

图4是表示在该显示处理装置的显示部显示的图形用户界面画面的一例的图。

图5是表示通过该显示处理装置的处理部进行的处理的流程的流程图。

图6是表示通过该显示处理装置的处理部进行的处理的流程的流程图。

图7是表示在该显示处理装置的显示部显示的图形用户界面画面的一例的图。

图8是表示在该显示处理装置的显示部显示的图形用户界面画面的一例的图。

图9是表示用于判定由该显示处理装置的视线方向检测部检测的视线方向朝向画面内的何处的基准的图。

图10是表示在该显示处理装置的显示部显示的图形用户界面画面的一例的图。

具体实施方式

下面，使用附图说明用于实施本发明的方式。另外，在以下叙述的实施方式中，附加了用于实施本发明的技术上的各种优选的限定。因此，不能将本发明的技术范围限定为以下的实施方式及图示例。

图1是表示图形用户界面系统(以下称为图形用户界面系统)1的使用状态的图。该图形用户界面系统1具有显示处理装置10和输入处理装置50。

显示处理装置10是所谓可穿戴式计算机，尤其指头戴式计算机系统(头戴显示器)。更具体地讲，该显示处理装置10能够如眼镜那样佩戴于头部。即，显示处理装置10具有能够佩戴于用户(佩戴者)99的头部的眼镜框(头部佩戴部)，该眼镜框由鼻梁架11、左右一对的支圈12、和左右一对的镜腿13等构成。左右的支圈12通过鼻梁架11连接起来，镜腿13通过铰链分别与支圈12的端部连接，耳托分别设于镜腿13，左右一对的鼻托设于鼻梁架11。有度数或者没有度数的透镜14分别安装于支圈12。

显示处理装置10具有主体部15和光学元件16。主体部15安装于镜腿13的下方，光学元件16设于主体部15的前端，该光学元件16配置在透镜14的前方。光学元件16例如是全息光学元件。用户99前面的外界的像的光通过光学元件16到达用户99的瞳孔，由主体部15生成的影像的光通过光学元件16被向用户99的瞳孔引导(折射反射)。因此，外界像的光和影像的光重叠，外界像和影像被合成并映入用户99的瞳孔。

输入处理装置50是便携式计算机系统，尤其指可穿戴式计算机系统。更具体地讲，输入处理装置50是多功能、高功能手表(所谓智能手表)，能够将该输入处理装置50如腕表那样佩戴在手腕上。即，输入处理装置50具有表带51和主体部52，表带51安装在主体部52上，能够将该表带51戴在手腕上。另外，输入处理装置50也可以是多功能、高功能移动电话机(所谓智能电话)。

在显示处理装置10的主体部15的内部设有电子电路基板等。在输入处理装置50的主体部52的内部也一样。

输入处理装置50的主体部52通过无线通信与显示处理装置10的主体部15连接，通过操作输入处理装置50的主体部52能够远程操作显示处理装置10的主体部15。输入处理装置50的主体部52和显示处理装置10的主体部15的无线通信规格是Bluetooth(注册商标)的规格，但也可以是其它的规格或者方式。

图2是显示处理装置10和输入处理装置50的块图。

显示处理装置10具有处理单元(第一处理部)21、数据存储器(辅助存储部)22、收发单元(便携式无线单元)23、无线LAN单元24、无线通信单元(近距离无线单元)25、投影式显示器单元(显示部)26、视线方向检测单元(视线方向检测部)27、RAM(主存储部)28、系统总线29和光学系统30等。处理单元21、数据存储器22、收发单元23、无线LAN单元24、无线通信单元25、投影式显示器单元26、视线方向检测单元27、RAM28以及系统总线29设于主体部15内部的电子电路基板中。光学元件16(参照图1)是光学系统30的构成要素，此外投影透镜和摄影透镜等也是光学系统30的构成要素。投影透镜被用于投影式显示器单元26中，摄影透镜被用于视线方向检测单元中。

显示处理装置10的计算机主要由处理单元21、数据存储器22、RAM28及系统总线29构成。作为该计算机的周边设备有收发单元23、无线LAN单元24、无线通信单元25、投影式显示器单元26、及视线方向检测单元27。该计算机及其周边设备内置于主体部15中。

在显示处理装置10的计算机中安装了用于进行该计算机及其周边设备的操作和管理的操作系统(以下称为OS)。

输入处理装置50具有处理单元(第二处理部)61、数据存储器(辅助存储部)62、无线通信单元(近距离通信单元)63、显示器64、触摸屏65、RAM(辅助存储部)66、计时电路67和系统总线68等。处理单元61、数据存储器62、无线通信单元63、显示器64、触摸屏65、RAM66、计时电路67和系统总线68设于主体部52内部的电子电路基板中。

显示处理装置50的计算机主要由处理单元61、RAM66、数据存储器62、及系统总线68构成。作为该计算机的周边设备有无线通信单元63、显示器64、触摸屏65及计时电路67。该计算机及其周边设备内置于主体部52中。另外，触摸屏65与显示器64重叠，该触摸屏65被设于主体部52的前表面52a(参照图1)。

在输入处理装置50的计算机中安装了用于进行该计算机及其周边设备的操作和管理的OS(固件)。

下面，详细说明显示处理装置10的各个部分。

系统总线29用于在处理单元21、数据存储器22、收发单元23、无线LAN单元24、无线通信单元25、投影式显示器单元26、视线方向检测单元27以及RAM28之间进行数据传输。

处理单元21由CPU、GPU及缓冲存储器等构成。

RAM28是作为处理单元21的作业区域的存储器，在通过处理单元21进行处理时生成的数据被临时记录在RAM28中。

数据存储器22是非易失性半导体存储器或者小型磁存储装置。

收发单元23用于与移动电话的通信基站进行数据通信。即，收发单元23进行通过处理单元21传输的数据的各种处理，将处理后的数据发送给移动电话的通信基站。并且，收发单元23从通信基站接收通信数据，并进行该通信数据的各种处理，将该通信数据传输给处理单元21、RAM28、数据存储器22等。

无线LAN单元24与母机或者子机进行基于无线LAN(IEEE802.11)的数据通信。即，无线LAN单元24进行通过处理单元21传输的数据的各种处理，将处理后的数据发送给母机或者子机。并且，无线LAN单元24从母机或者子机接收通信数据，并进行该通信数据的各种处理，将该通信数据传输给处理单元21、RAM28、数据存储器22等。

无线通信单元25根据Bluetooth的规格进行数据通信。即，无线通信单元25进行通过处理单元21传输的数据的各种处理，将处理后的数据发送给输入处理装置50的无线通信单元63。并且，无线通信单元25从输入处理装置50的无线通信单元63接收通信数据，并进行该通信数据的各种处理，将该通信数据传输给处理单元21、RAM28、数据存储器22等。

投影式显示器单元26输入由处理单元21生成的影像信号，并生成(显示)基于该影像信号的影像。列举投影式显示器单元26的结构的一例，如，投影式显示器单元26具有显示控制器、显示元件(例如液晶显示元件、数字微镜器件(device)等空间光调制元件)和光源装置等。显示控制器根据影像信号控制光源装置和显示元件，光源装置向显示元件照射原色光(例如红色光、蓝色光和绿色光)，通过利用显示控制器驱动显示元件，按照显示元件的每个像素调制控制照射显示元件的光。由此，通过显示元件生成影像。另外，投影式显示器单元26的显示元件如果是自发光型显示元件，在投影式显示器单元26中不设置光源装置。

由投影式显示器单元26(尤其是显示元件)生成的影像通过光学系统30的光学元件16和投影透镜被投影于用户99的瞳孔。

视线方向检测单元27被用作输入位置信息的指示装置。即，视线方向检测单元27通过检测窥视光学元件16的用户99的视线的方向(瞳孔朝向的方向)，确定在投影式显示器单元26显示的画面内的位置。视线方向检测单元27将表示所检测出的视线方向(在画面内的位置)的信号、通过系统总线29输出给处理单元21。

例如，视线方向检测单元27具有摄像元件和图像处理单元等，瞳孔及其周边的像通过光学系统30的光学元件16和摄影透镜在摄像元件上成像，成像后的像通过被摄像元件拍摄而被变换为电子图像，该电子图像通过图像处理单元被进行图像处理，由此检测出该电子图像中的瞳孔的位置，图像处理单元计算基于该检测出的瞳孔的位置的视线方向。由该图像处理单元计算出的视线方向与通过投影式显示器单元26显示的画面内的位置相当。另外，由摄像元件拍摄的图像可以是基于可见光的图像，也可以是基于红外线的图像。

在数据存储器22中存储有软件(基本程序)22a、应用程序22b和应用程序22c。

软件22a用于实现OS及该OS的图形用户界面。通过由处理单元21起动并执行该软件22a，数据存储器22、收发单元23、无线LAN单元24、无线通信单元25、投影式显示器单元26、视线方向检测单元27、RAM28及系统总线29被处理单元21控制，并且在它们之间进行数据传输。

另外，软件22a使处理单元21实现通信控制功能。实现了通信控制功能的处理单元21控制无线通信单元25，通过规定的验证处理将无线通信单元25与无线通信单元63连接(配对)。由此，处理单元21和处理单元61处于能够通过无线通信单元25、63进行无线通信的状态。

应用程序22b被安装在OS中。该应用程序22b是能够在OS中由处理单元21执行的程序。应用程序22b是用于通过视线方向检测单元27和输入处理装置50来操作图形用户界面的程序。因此，应用程序22b是OS中的输入处理装置50的装置驱动器。

在利用软件22a实现处理单元21的通信控制功能、处理单元21和处理单元61处于能够通过无线通信单元25、63进行无线通信的状态的情况下，能够通过处理单元21执行应用程序22b。

应用程序22c被安装在OS中。该应用程序22c例如是地图显示软件、电子邮件软件、因特网浏览器、短信、游戏软件、电子字典软件、文字处理器、表格计算软件、演示软件、图像编辑软件、作图软件、向量图形编辑器或者数字相机控制软件等的应用程序。

应用程序22b、22c是通过收发单元23或者无线LAN单元24被下载到数据存储器22中，并被安装在OS中的程序。另外，应用程序22b、22c也可以预先存储在数据存储器22中，并被安装在OS中。

图3是通过软件22a使处理单元21实现图形用户界面而显示的桌面画面的一例。图3所示的桌面画面70是通过处理单元21按照软件22a控制投影式显示器单元26而显示于投影式显示器单元26的画面。即，处理单元21生成桌面画面70，在处理单元21将依据于该桌面画面70的影像信号输出给投影式显示器单元26时，图3所示的桌面画面70被显示于投影式显示器单元26。被显示于投影式显示器单元26的桌面画面70如上所述通过光学系统30的光学元件16和投影透镜被投影于用户99的瞳孔。

在处理单元21生成桌面画面70时，处理单元21在该桌面画面70内配置图标71，处理单元21将该图标71合成在桌面画面70上。因此，在被显示于投影式显示器单元26的桌面画面70中显示图标71。

另外，在处理单元21生成桌面画面70时，处理单元21根据由视线方向检测单元27检测的视线方向的数据计算桌面画面70中的光标72的位置，处理单元21在桌面画面70内的该位置配置光标72，处理单元21将光标72合成在该位置。因此，如果用户99移动瞳孔及视线，与该移动对应的视线方向的数据被从视线方向检测单元27传输给处理单元21，因而对于用户99而言光标72看起来在桌面画面内移动。另外，光标72的透射率超过零％且在100％以下，光标72也可以是透明或者半透明状。如果光标72是透明的，在所投影的桌面画面70上不显示光标72。

被显示于投影式显示器单元26的桌面画面内的图标71中任意一个图标与应用程序22c链接，根据与应用程序22c链接的图标71的选择和决定，处理单元21在软件22a中执行应用程序22c。图4所示的应用画面80被显示于投影式显示器单元26。

图4是通过软件22a及应用程序22c使处理单元21实现图形用户界面而显示的应用画面的一例。处理单元21通过执行应用软件22c而生成应用画面80，在处理单元21根据软件22a将依据于该应用画面80的影像信号输出给投影式显示器单元26时，如图4所示的应用画面80被显示于投影式显示器单元26。被显示于投影式显示器单元26的应用画面80如上所述通过光学系统30的光学元件16和投影透镜被投影于用户99的瞳孔。

处理单元21根据由视线方向检测单元27检测的视线方向的数据计算应用画面80中的光标81的位置，处理单元21在应用画面80内的该位置配置光标81，处理单元21将光标81合成在该位置。

下面，详细说明输入处理装置50的各个部分。

系统总线68用于在处理单元61、数据存储器62、无线通信单元63、显示器64、触摸屏65、RAM66以及计时电路67之间进行数据传输。

处理单元61由CPU及缓冲存储器等构成，根据需要也具有GPU。

RAM66是作为处理单元61的作业区域的存储器，在通过处理单元61进行处理时生成的数据被临时记录在RAM66中。

数据存储器62是非易失性半导体存储器或者小型磁存储装置。

无线通信单元63根据Bluetooth的规格进行数据通信。即，无线通信单元63进行通过处理单元61传输的数据的各种处理，将处理后的数据发送给显示处理装置10的无线通信单元25。并且，无线通信单元63从显示处理装置10的无线通信单元25接收通信数据，并进行该通信数据的各种处理，将该通信数据传输给处理单元61、RAM66、数据存储器62等。

计时电路67是计数器，计数从振荡电路输入的规定的频率信号，并通过与初始时刻数据相加来保存当前时刻。另外，也可以构成为，将按照处理单元21的控制通过软件而计数的当前时刻存储在计时电路67中。

显示器64具有点矩阵方式的液晶显示屏或者有机电致显示屏、和驱动液晶显示屏或者有机电致显示屏的驱动电路。显示器64根据由处理单元61生成的影像信号显示影像。另外，显示器64也可以是分段方式的显示器。

触摸屏65被叠加在显示器64的显示面上。触摸屏65检测针对触摸屏65的接触物(例如用户99的手指)的接触位置，并生成表示该接触位置的信号。触摸屏65的输出信号被传输给处理单元61。

在数据存储器62中存储有程序62a。程序62a是实现OS(固件)的程序。通过由处理单元61起动并执行程序62a，数据存储器62、无线通信单元63、显示器64、触摸屏65、计时电路67及系统总线68被处理单元61控制，并且在它们之间进行数据传输。

另外，程序62a使处理单元61实现时间显示功能、通信控制功能和远程操作功能。

实现了时间显示功能的处理单元61读取由计时电路67计数的当前时刻，以用字符或者记号等表示该当前时刻的方式，将该当前时刻显示在显示器64上。

实现了通信控制功能的处理单元61控制无线通信单元63，通过规定的验证处理将无线通信单元63与无线通信单元25连接(配对)。由此，处理单元61和处理单元21处于能够通过无线通信单元63、25进行无线通信的状态。

处理单元61具有判别基于接触物对触摸屏65的操作的类别的操作输入模式，例如在显示处理装置10处于受理远程操作的状态时，进入操作输入模式。在该操作输入模式中，处理单元61的时间显示功能可以设为无效，也可以设为有效。在时间显示功能被设为无效的情况下，可以利用程序62a使处理单元61实现格栅显示功能。实现了格栅显示功能的处理单元61使显示器64显示格栅。

处理单元61在进入对显示处理装置10的操作输入模式时，实现处理单元61的远程操作功能。实现了远程操作功能的处理单元61根据触摸屏65的输出信号，判别基于接触物对触摸屏65的操作的类别。并且，处理单元61将基于判别结果的命令(命令是表示对显示处理装置10的命令的数据)传输给无线通信单元63，通过无线通信单元63将该命令发送给无线通信单元25。

下面，详细说明对触摸屏65的操作的类别及命令。

在对触摸屏65的操作是触摸(触摸是指接触物短时间接触触摸屏65)的情况下，处理单元61根据触摸屏65的输出信号，将触摸屏65的操作的类别确定为触摸操作，该处理单元61将表示是触摸的命令(以下称为触摸命令)通过无线通信单元63发送给无线通信单元25。

在对触摸屏65的操作是轻拂(flick)(轻拂是指在接触物接触触摸屏65的状态下该接触物沿着触摸屏65滑动)的情况下，处理单元61根据触摸屏65的输出信号，将触摸屏65的操作的类别确定为轻拂操作，在截止到接触物从触摸屏65离开的期间中，处理单元61将表示轻拂的向量(轻拂的方向和每单位时间的移动距离)的命令(以下称为向量命令)通过无线通信单元63发送给无线通信单元25。并且，在轻拂操作开始后，在接触物从触摸屏65离开后，处理单元61根据触摸屏65的输出信号检测出轻拂操作的结束，处理单元61将表示轻拂操作结束的命令(以下称为轻拂结束命令)通过无线通信单元63发送给无线通信单元25。另外，在轻拂操作开始后，如果接触物不从触摸屏65离开而是停止，则向量命令的向量(移动距离)为零。

在接触物接触了触摸屏65的情况下，处理单元61根据触摸屏65的输出信号确定接触物对触摸屏65的接触，在截止到接触物从触摸屏65离开的期间中，处理单元61将表示接触的命令(以下称为接触命令)通过无线通信单元63发送给无线通信单元25。另一方面，在接触物未接触触摸屏65的情况下，处理单元61根据触摸屏65的输出信号确定接触物对触摸屏65的不接触，不发送接触命令。

下面，参照图5和图6说明应用程序22b使处理单元21进行的处理的流程。在此，图5是表示在桌面画面70被显示于投影式显示器单元26时根据应用程序22b进行的处理的流程的图。图6是表示在应用画面80被显示于投影式显示器单元26时根据应用程序22b进行的处理的流程的图。

在通过图形用户界面显示出桌面画面70的情况下，处理单元21根据应用程序22b执行图5所示的处理，但是在应用程序22b以外的应用程序(例如应用程序22c)被执行、并显示出其应用画面(对于应用程序22c是应用画面80)的情况下，图5所示的处理被中断。然后，在该应用程序结束或者被中断、并再次显示出桌面画面70的情况下，处理单元21继续执行图5所示的处理。

说明图5所示的处理。

首先，处理单元21判定桌面画面70内的光标72是否重叠在图标71上(步骤S1)。即，处理单元21判定由视线方向检测单元27检测出的视线方向的数据(光标72的位置)是否包含在桌面画面70中的图标71的显示区域中(步骤S1)。在此，处理单元21对桌面画面70内的所有图标71进行这样的判定处理。

在由视线方向检测单元27检测出的视线方向的数据不包含在桌面画面70中的图标71的显示区域中的情况下(步骤S1：否)，处理单元21反复进行步骤S1的处理。即，反复进行步骤S1的处理，除非用户99的视线朝向桌面画面70内的图标71。

另一方面，在由视线方向检测单元27检测出的视线方向的数据包含在桌面画面70中的图标71的显示区域中的情况下(步骤S1：是)，处理单元21的处理进入步骤S2。在步骤S2，处理单元21选择光标72所重叠的图标71。因此，在步骤S1时，如果用户99的视线朝向桌面画面70内的图标71，则该图标71被选择。

在后面的步骤S3，处理单元21不变更光标72所重叠的图标71的显示位置，而是变更该图标71的显示方式(参照图7)。因此，在步骤S1时，如果用户99的视线朝向桌面画面70内的图标71，则该图标71的显示方式被变更。显示方式的变更例如包括强调显示图标71、增加图标71的透射率使图标71成为更透明的显示、用特定的颜色涂满图标71的背景、放大显示图标71、将图标71从彩色变更灰度色标、将图标71的彩色反转等。

在光标72所重叠的图标71的显示方式被变更后，处理单元21判定是否通过无线通信单元25接收到触摸命令(步骤S4)，并且判定是否通过无线通信单元25接收到向量命令(步骤S5)。在处理单元21没有接收到触摸命令和向量命令任意一方的情况下(步骤S4：否，步骤S5：否)，处理单元21的处理进入步骤S1。

因此，在用户99的视线朝向桌面画面内的图标71后，如果用户99不触摸输入处理装置50的触摸屏65，并且用户99不移动视线地持续观看图标71，则按顺序反复进行步骤S1(是)、步骤S2、步骤S3、步骤S4(否)和步骤S5(否)的处理，因而将持续图标71的选择状态和显示方式的变更状态。在图标71的选择状态和显示方式的变更状态被持续时，如果用户99将视线从桌面画面70内的图标71移开，则处理单元21的处理不从步骤S1进入步骤S2(参照步骤S1：否)，因而图标71的选择状态和显示方式的变更状态被解除，图标71未被选择，并且图标71的显示方式也恢复原状。

另外，这里，在光标72所重叠的图标71的显示方式被变更后，通过无线通信单元25将表示该情况的信息发送给输入装置50的无线通信单元63，输入装置50在通过无线通信单元63接收到表示图标71的显示方式被变更的信息时，进入用于远程操作显示处理装置10的操作输入模式。

在用户99的视线朝向桌面画面70内的图标71的状态下，在用户99触摸输入处理装置50的触摸屏65时，处理单元61根据触摸屏65的输出信号将触摸屏65的操作的类别确定为触摸操作，通过无线通信单元63向无线通信单元25发送触摸命令。由此，处理单元21的处理从步骤S4进入步骤S6(步骤S4：是)。在步骤S6，处理单元21决定在步骤S2被选择的图标71的选择。如果所选择及决定的图标71与应用程序22c建立有链接，处理单元21执行应用程序22c。

在用户99的视线朝向桌面画面内的图标71的状态下，在用户99轻拂输入处理装置50的触摸屏65时，处理单元61根据触摸屏65的输出信号将触摸屏65的操作的类别确定为轻拂操作，通过无线通信单元63向无线通信单元25发送向量命令。由此，处理单元21的处理从步骤S5进入步骤S7(步骤S5：是)。在步骤S7，处理单元21按照向量命令的向量使在步骤S2被选择的图标71在桌面画面70内移动。移动的图标71的显示方式可以是变更后的状态，也可以恢复原状，还可以变更为其它的方式。

在步骤S7以后，处理单元21判定是否通过无线通信单元25接收到轻拂结束命令(步骤S8)。在处理单元21未接收到轻拂结束命令的情况下(步骤S8：否)，处理单元21的处理进入步骤S7，在处理单元21接收到轻拂结束命令的情况下(步骤S8：是)，处理单元21的处理进入步骤S9。

因此，在用户99的视线朝向桌面画面70内的图标71后，如果用户99未结束对输入处理装置50的触摸屏65的轻拂，则反复进行步骤S7和步骤S8(否)的处理，因而如图8所示图标71在桌面画面70内持续移动(步骤S7)，该图标71的选择状态被持续。

假设在对输入处理装置50的触摸屏65的轻拂操作中例如即使用户99的视线从桌面画面70内的图标71移开，也反复进行步骤S7和步骤S8(否)的处理，因而图标71在桌面画面70内持续移动(步骤S7)，该图标71的选择状态被持续。

如果用户99在暂且停止轻拂后未将手指等轻拂物从触摸屏65离开，处理单元61不发送轻拂结束命令(步骤S8：否)，之后的步骤S7的向量命令的向量是零，因而桌面画面70内的图标71看起来是暂且停止，该图标71的选择状态被持续。并且，如果用户99在暂且停止轻拂后再次开始轻拂操作，则之后的步骤S7的向量命令的向量不是零，因而图标71再次开始在桌面画面70内移动(参照步骤S7)。

另一方面，如果用户99结束轻拂后并将手指等轻拂物从触摸屏65离开，处理单元61根据触摸屏65的输出信号识别到对触摸屏65的轻拂操作的结束，通过无线通信单元63向无线通信单元25发送轻拂结束命令。因此，处理单元21的处理从步骤S8进入步骤S9(步骤S8：是)。

在步骤S9，处理单元21解除对移动的图标71的选择。然后，处理单元21解除对移动的图标71的显示方式的变更，将图标71的显示方式恢复原状(步骤S10)。然后，处理单元21的处理返回到步骤S1。

说明图6所示的处理。

在通过图形用户界面显示出应用画面80的情况下，处理单元21判定是否通过无线通信单元25接收到接触命令(步骤S21)。在处理单元21接收到接触命令数据的情况下，处理单元21的处理进入步骤S22，在处理单元21未接收到接触命令数据的情况下，处理单元21的处理返回到步骤S21。

在处理单元21的处理从步骤S21进入步骤S22时，处理单元21进行基于应用画面80内的光标81的位置的处理(步骤S22～S30)。具体而言，如图9所示，处理单元21判别由视线方向检测单元27检测出的视线方向的数据位于应用画面80内的中央区域82的右侧区域83和左侧区域84和上侧区域85和下侧区域86的哪个区域中(步骤S22、S24、S26、S28)，并且判定是否位于中央区域82内的特定部位87(步骤S30)。在此，图9是表示用于判定视线方向朝向应用画面80的何处的基准的图。中央区域82是比应用画面80小的区域，是被设定在应用画面90的中央的区域。右侧区域83是被设定在中央区域82的右侧的区域，左侧区域84是被设定在中央区域82的左侧的区域，上侧区域85是被设定在中央区域82的上侧的区域，下侧区域86是被设定在中央区域82的下侧的区域。特定部位87是通过处理单元21执行应用程序22c而在应用画面80中设定的位置。

在由视线方向检测单元27检测出的视线方向的数据包含在右侧区域83中的情况下(步骤S22：是)，处理单元21使应用画面80向右滚动(步骤S23)，在由视线方向检测单元27检测出的视线方向的数据包含在左侧区域84中的情况下(步骤S24：是)，处理单元21使应用画面80向左滚动(步骤S25)，在由视线方向检测单元27检测出的视线方向的数据包含在上侧区域85中的情况下(步骤S26：是)，处理单元21使应用画面80向上滚动(步骤S27)，在由视线方向检测单元27检测出的视线方向的数据包含在下侧区域86中的情况下(步骤S28：是)，处理单元21使应用画面80向下滚动，在由视线方向检测单元27检测出的视线方向的数据位于特定部位的位置的情况下(步骤S30：是)，处理单元21按照图10所示在应用画面80中显示特定信息(利用文本、图形、记号等显示与特定部位相关联及链接的信息)(步骤S31)。特定信息88是通过处理单元21执行应用程序22c而得到的信息。

在此，只要用户99将手指等持续接触输入处理装置50的触摸屏65，处理单元61就根据触摸屏65的输出信号持续检测对触摸屏65的接触，并通过无线通信单元63向无线通信单元25持续发送接触命令数据。因此，在用户99将手指等接触输入处理装置50的触摸屏65的状态下，如果视线朝向右侧区域83，应用画面80向右滚动，如果视线朝向左侧区域84，应用画面80向左滚动，如果视线朝向上侧区域85，应用画面80向上滚动，如果视线朝向下侧区域86，应用画面80向下滚动，如果视线朝向特定部位87，在应用画面80显示特定信息88。

在进行这些滚动显示或者特定信息显示时，在用户99将手指等从触摸屏65离开、或者用户99将视线朝向中央区域82(但是特定部位87除外)时，这样的滚动显示或者特定信息显示结束(参照步骤S21：否，或者，参照步骤S22、S24、S26、S28、S30：否)。

根据以上的实施方式具有如下所述的优点或者效果。

(1)如果用户99将视线朝向桌面画面70内的图标71，该图标71的显示方式被变更，因而用户99能够从视觉上识别该图标71的选择。

(2)如果用户99在将视线朝向桌面画面70内的图标71的状态下触摸触摸屏65，该图标71的选择被决定，因而容易进行图标71的决定操作。例如，用户99能够在注视图标71的状态下进行图标71的选择。

(3)如果用户99在将视线朝向桌面画面70内的图标71的状态下轻拂触摸屏65，该图标71按照轻拂方向移动，因而能够将图标71从视线方向移开。即，图标71和视线的连带被解除，因而能够在移动着图标71的同时注视桌面画面70内的图标71以外的东西。在此，对于用户99而言，桌面画面70和外界像看起来被合成，因而用户99能够在图标71的移动过程中注视外界像等。

(4)如果用户99在触摸触摸屏65的状态下将视线朝向应用画面80的周缘部，应用画面80向该方向滚动，因而用户99能够直观地进行画面滚动的操作。另一方面，如果在应用画面80的滚动过程中用户解除对触摸屏65的触摸或将视线朝向画面中央部，该滚动停止。因此，用户99能够直观地进行画面滚动的停止操作。

(5)如果用户99在触摸触摸屏65的状态下将视线朝向特定部位87，则显示与该特定部位87相关联及链接的特定信息88，因而能够容易进行特定部位87的选择和基于该选择的特定信息88的显示。

以上说明了本发明的实施方式，但能够在不变更本发明的主要部分的范围内对上述实施方式进行变更及改进。并且，本发明的技术范围不限于上述的实施方式，是根据权利要求书的记载而确定的。另外，对权利要求书的记载实施与本发明的本质无关的变更后的均等范围也包含在发明的技术范围中。

Claims (15)

1.一种图形用户界面系统，包括显示处理装置和输入处理装置，

所述显示处理装置具有：

显示部；

第一处理部，使所述显示部显示包含图标的画面；以及

视线方向检测部，检测用户的视线方向，

所述输入处理装置具有：

第二处理部，确定操作，并能够与所述第一处理部进行通信；以及

操作发送部，将由所述第二处理部确定的操作发送给所述第一处理部，

所述第一处理部根据由所述视线方向检测部确定的位置和由所述操作发送部发送的所述操作，控制所述显示处理装置。

2.根据权利要求1所述的图形用户界面系统，

在由所述视线方向检测部确定的位置是所述画面内的所述图标的位置的情况下，所述第一处理部选择所述图标，并根据由所述操作发送部发送的所述操作，决定对由所述选择部选择的所述图标的选择。

3.根据权利要求2所述的图形用户界面系统，

所述第一处理部具有显示方式变更部，在由所述视线方向检测部确定的位置是所述图标的位置的情况下，所述显示方式变更部变更所述图标的显示方式。

4.根据权利要求2所述的图形用户界面系统，

所述第一处理部根据由所述操作发送部发送的所述操作，使所述选择的所述图标在所述画面内移动。

5.根据权利要求1所述的图形用户界面系统，

所述第一处理部还具有滚动部，在由所述视线方向检测部确定的位置是所述画面内的中央区域的外侧的区域、而且接收到由所述操作发送部发送的所述操作的情况下，所述滚动部使所述画面朝向由所述视线方向检测部确定的位置从所述画面内的所述中央区域离开的方向滚动。

6.根据权利要求1所述的图形用户界面系统，

在由所述视线方向检测部确定的位置是所述画面内的特定部位、而且接收到由所述操作发送部发送的所述接触命令的情况下，所述第一处理部将与所述特定部位对应的信息显示在所述画面上。

7.根据权利要求1所述的图形用户界面系统，

所述第二处理部具有切换输入模式和除此以外的模式的切换部，该输入模式用于确定对所述触摸屏进行的针对所述显示处理装置的操作，

当在所述输入模式时进行了对所述触摸屏的操作的情况下，所述第二处理部根据所述触摸屏的输出信号确定对所述触摸屏的操作。

8.根据权利要求1所述的图形用户界面系统，

所述输入装置具有触摸屏，

所述第二处理部根据所述触摸屏的输出信号确定对所述触摸屏的操作，

所述操作发送部将由所述第二处理部确定的对所述触摸屏的操作发送给所述第一处理部。

9.一种显示处理装置，该显示处理装置具有：

显示部；

处理部，使显示部显示包含图标的画面；

视线方向检测部，通过检测用户的视线方向，确定在所述显示部显示的画面内的位置；以及

接收部，从能够与所述处理部进行无线通信的输入处理装置接收操作内容，

所述处理部根据由所述视线方向检测部确定的位置和由所述接收部接收到的操作内容，控制所述显示处理装置。

10.根据权利要求9所述的显示处理装置，

在由所述视线方向检测部确定的位置是所述画面内的所述图标的位置的情况下，所述处理部选择所述图标，并根据由所述接收部接收到的操作内容，决定对所述选择的所述图标的选择。

11.根据权利要求10所述的显示处理装置，

在由所述视线方向检测部确定的位置是所述画面内的所述图标的位置的情况下，所述处理部变更所述图标的显示方式。

12.根据权利要求9所述的显示处理装置，

所述处理部根据由所述接收部接收到的操作内容，使所述选择的所述图标在所述画面内移动。

13.根据权利要求9所述的显示处理装置，

在由所述视线方向检测部确定的位置是所述画面内的中央区域的外侧的区域、而且由所述接收部接收到所述操作内容的情况下，所述处理部使所述画面朝向由所述视线方向检测部确定的位置从所述画面内的所述中央区域离开的方向滚动。

14.根据权利要求9所述的显示处理装置，

在由所述视线方向检测部确定的位置是所述画面内的特定部位、而且由所述接收部接收到接触命令的情况下，所述处理部将与所述特定部位对应的信息显示在所述画面上。

15.一种输入处理装置，该输入处理装置具有：

触摸屏；

连接部，通过无线通信与显示处理装置连接；

确定部，根据所述触摸屏的输出信号确定对所述触摸屏的操作；

操作发送部，将由所述确定部确定的对所述触摸屏的操作，发送给通过所述连接部而连接的所述显示处理装置；以及

切换部，切换输入模式和除此以外的模式，该输入模式用于确定对所述触摸屏进行的针对所述显示处理装置的操作，

当在所述输入模式时进行了对所述触摸屏的操作的情况下，所述确定部根据所述触摸屏的输出信号确定对所述触摸屏的操作。