CN105324733A - 信息处理装置以及程序 - Google Patents

信息处理装置以及程序 Download PDF

Info

Publication number
CN105324733A
CN105324733A CN201380077592.0A CN201380077592A CN105324733A CN 105324733 A CN105324733 A CN 105324733A CN 201380077592 A CN201380077592 A CN 201380077592A CN 105324733 A CN105324733 A CN 105324733A
Authority
CN
China
Prior art keywords
input
region
display
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380077592.0A
Other languages
English (en)
Inventor
田口哲典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN105324733A publication Critical patent/CN105324733A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及信息处理装置以及程序。视线检测部检测使用者的视线。第1区域决定部基于检测出的视线的显示画面上的视线位置,决定显示第1信息的显示画面上的第1区域,第1信息表示基于使用者的动作的输入方法。第1显示控制部在第1区域显示第1信息。输入检测部检测由使用者进行的输入。第2区域决定部决定第2区域,该第2区域在第1区域外,并且包括与第1区域相比更远离视线位置的点,并且显示第2信息,第2信息表示与所检测出的输入中的上述使用者的动作对应的轨迹。第2显示控制部在第2区域显示第2信息。由此,使用者能够不移动视线地一边参照输入引导以及输入经过一边进行输入。

Description

信息处理装置以及程序
技术领域
本发明涉及信息处理装置以及程序。
背景技术
因便携式终端等信息处理装置的高性能、功能化,例如在各种场面、用途下利用便携式终端的机会增加。由此,想要用把持搭载有触摸面板的便携式终端的手直接进行输入这种要求增加。这种要求假定例如在电车上握住吊环时、持有包或伞时、躺着时等场面中存在。因此,希望一种在把持便携式终端时直接能够进行输入的界面。
例如,已知有如下技术:检测使用者的注视位置并生成为注视信息,基于注视信息来求出提示用于辅助使用者的输入的引导信息的位置,在所求出的位置对引导信息进行提示控制。根据该技术,在使用者的注视位置附近提示引导信息(例如参照专利文献1)。
专利文献1:日本特开2000-250677号公报
另外,存在如下情况:例如在使用基于触摸面板中的手指的动作的输入等、有时间变化的输入方法的情况下,为了使用者能够识别正进行什么样的输入,而在画面上进行手指的动作等的显示。然而,例如,在能够输入的选项有多个且表示用于选择选项的输入方法的输入引导被显示的情况下,若在输入引导上进行与所输入的动作有关的显示,则变得难以观察输入引导。也考虑到在未记住输入操作的情况下,中途观察输入引导变得困难,不清楚用于想要进行的输入的手指的动作等。反之,在输入引导和与所输入的动作有关的显示过于远离的情况下,使用者需要移动视线来确认各个。这样存在不能以能够同时确认输入引导和与输入中的动作有关的信息的方式布局显示这样的问题。
发明内容
根据一个方面,本发明的目的在于能够不移动视线地同时识别显示于基于视线位置的位置处的输入引导和基于动作的输入经过。
作为一个方式的信息处理装置,具有:视线检测部、第1区域决定部、第1显示控制部、输入检测部、第2区域决定部以及第2显示控制部。视线检测部检测使用者的视线。第1区域决定部基于所检测出的视线的显示画面上的视线位置,决定显示第1信息的显示画面上的第1区域,第1信息表示基于使用者的动作的输入方法。第1显示控制部在第1区域显示第1信息。输入检测部检测由使用者进行的输入。第2区域决定部决定第2区域,该第2区域在第1区域外,并且包括与第1区域相比更远离视线位置的点,并且显示第2信息,第2信息表示与所检测出的输入中的上述使用者的动作对应的轨迹。第2显示控制部在第2区域显示第2信息。
根据实施方式的信息处理装置,能够不移动视线地同时识别显示于基于视线位置的位置处的输入引导和基于动作的输入经过。
附图说明
图1是表示便携式终端装置的硬件构成的一个例子的框图。
图2是表示便携式终端装置的功能的一个例子的框图。
图3是概念性地说明本实施方式的输入方法的一个例子的图。
图4是概念性地说明本实施方式的输入方法的一个例子的图。
图5是表示显示区域的一个例子的图。
图6是表示显示位置决定信息的一个例子的图。
图7是表示便携式终端装置中的输入处理的流程图。
图8是表示变形例1的输入显示例子的图。
图9是表示引导显示区域和输入显示区域的变形例的图。
图10是表示引导显示区域和输入显示区域的变形例的图。
图11是表示引导显示区域和输入显示区域的变形例的图。
图12是表示标准的计算机的硬件构成的一个例子的框图。
具体实施方式
以下,参照附图,对一实施方式的便携式终端装置1进行说明。图1是表示便携式终端装置1的硬件构成的一个例子的框图,图2是表示便携式终端装置1的功能的一个例子的框图。
便携式终端装置1具有:运算处理装置3、存储部5、通信部11、天线13、声音输入输出部15、扬声器17、话筒19、视线检测装置21、触摸面板23、显示部25等。便携式终端装置1例如是多功能便携式电话、平板型计算机等。
运算处理装置3是进行便携式终端装置1中的伴随着动作的数据的处理的运算处理装置。存储部5是存储信息的存储装置,具有ReadOnlyMemory(只读存储器)(ROM)7、RandomAccessMemory(随机存取存储器)(RAM)9。ROM7是能够随时读出的存储装置,可以存储用于使便携式终端装置1执行规定的处理的程序。RAM9是能够随时读出及写入的存储装置,可以存储运算结果等信息。
无线部11是对向外部通信的信息进行转换来生成用于经由天线13通过无线通信而发送的信号、或对通过天线13接收到的信号进行转换并输出给运算处理装置3的装置。天线13是发送以及接收电波的装置。无线通信例如是3rdGeneration(3G)线路、WiFi(商标)通信。
声音输入输出部15是对通过声音输出的信息进行转换并输出给扬声器17,并且对来自话筒19的输入信号进行转换并输出给运算处理装置3的装置。扬声器17是对电信号进行转换并输出声音的装置。话筒19是收集声音并转换为电信号的装置。
视线检测装置21例如能够具有相机和光源等。视线检测装置21例如通过拍摄使用者的眼睛来检测视线。触摸面板23是通过接触来进行信息的输入的装置。显示部25是显示信息的例如液晶显示装置。
如图2所示,便携式终端装置1具有:视线检测部31、操作对象检测部33、引导创建部35、显示位置决定部37、引导显示部39、输入检测部41、输入显示区域决定部43、输入显示部45以及显示位置决定信息47。这些功能例如通过运算处理装置3读入存储在RAM9中的程序并执行而实现。
视线检测部31通过对由视线检测装置21获取到的例如使用者的眼睛的图像进行解析来检测视线。例如若经由触摸面板23等输入视线检测的开始,则开始视线的检测。操作对象检测部33基于由视线检测部31检测出的视线,检测显示部25上的视线位置,并将显示在视线的位置处的对象作为操作对象进行检测。
引导创建部35创建输入引导,输入引导表示与能够对所检测出的操作对象进行的处理对应的选项和与该选项对应的输入方法。显示位置决定部37决定显示所创建的输入引导的位置。显示位置决定部37例如可以以引导创建部35制成的输入引导的中心在视线检测部31检测出的视线位置处的方式决定显示位置。优选显示位置决定部37基于视线检测部31检测出的视线位置来设定进行显示的某个范围。
引导显示部39在显示位置决定部37决定出的位置显示所创建的输入引导。此时引导显示部39也可以以落入由显示位置决定部37设定的范围的方式显示输入引导。优选输入引导包括与用于选择选项的、例如触摸面板23上的手指的动作等用于输入的动作对应的轨迹。
输入检测部41检测用于选择输入引导所显示的选项中的任意一个的输入。输入显示区域决定部43决定进行与所检测出的输入对应的轨迹的显示的区域。优选输入显示区域决定部43以不与显示在由显示位置决定部37决定的位置或者范围的输入引导重叠的方式决定显示区域。此外,已知在显示动作的情况下,即使在与需要识别文字的信息相比更远离视线的位置也能够识别。因此,能够使显示输入引导的位置更靠近视线位置,使进行与动作对应的显示的位置为与显示输入引导的位置相比更远离视线位置的位置。输入显示部45在由显示位置决定部37决定的位置进行与输入对应的显示。
显示位置决定信息47是用于决定引导显示区域和输入显示区域的形状的信息。显示位置决定信息47例如可以按照每个显示规则具有引导显示区域的半径r1、输入显示区域的半径r2、或者各自的长径r3、短径r4、长径r5、短径r6等。例如,在显示位置决定信息47的例子中,区域以圆或者椭圆表示。规则可以设置多个,根据所选择的操作对象来变更。显示位置决定信息47供显示位置决定部37、输入显示区域决定部43参照。
图3、图4是概念性地说明本实施方式的输入方法的一个例子的图。如图3所示,输入例71示出使用者的手53把持便携式终端装置1并进行输入的情况下的显示例。在画面上显示输入的一个例子。
输入引导57是包括选项和用于选择的输入方法的信息。优选在输入引导57中,将能够选择的处理与有时间变化的、例如基于与输入装置、利用环境对应的使用者的身体的动作的输入方法建立对应。在输入引导57中,例如可以与使操作对象上下移动的处理对应地指定向下的动作的输入。在图3、图4的输入引导57中,利用箭头显示输入所需的动作,但也可以同与各个动作对应的、针对操作对象的特定的处理建立对应地进行显示。
引导显示区域59是根据预先检测出的视线的位置55而决定的区域,是显示输入引导57的区域。引导显示区域59例如可以为能够识别颜色、物体的形状的、例如能够中央视觉的区域。此时,优选通过输入引导57所提示的输入例如是上下的动作、左右的动作等伴随着动作的提示。
输入显示区域61是进行与在基于输入引导57所选择出的选择方法中输入的例如因触摸操作等而被检测的动作、或者动作的经过对应的显示的区域。输入显示区域61例如可以为能够进行物体的动作的识别的、能够周边视觉的区域。
输入63表示使用者在用手53把持便携式终端装置1的状态下,一边观察输入引导57,一边利用手53进行与想要选择的选项对应的动作的输入的状态。例如如输入63那样输入描绘圆那样的动作。输入显示65是利用箭头显示与检测出的输入63同样的动作的轨迹的显示,在输入显示区域61中显示。优选例如若检测输入63则依次显示输入显示65。优选在输入中连续依次显示输入显示65。
如图4所示,输入例73示出使用者的手75在把持便携式终端装置1的状态下进行输入的情况下的其它例子。输入例73是使用者一边观察输入引导57,一边利用手75如输入77那样输入直线的动作的例子。输入77示出用于利用手75进行的输入的动作。输入显示79是显示输入77的动作的显示,在输入显示区域61中显示。
图5是表示显示区域的一个例子的图。如图5所示,在该例子中,示出引导显示区域83、输入显示区域85。引导显示区域83是显示包括选项和用于选择的输入方法的输入引导的区域。输入显示区域85是显示进行与输入引导对应的选择时的动作的区域。引导显示区域83是以视线位置81为中心的半径为距离87的圆。输入显示区域85是以视线位置81为中心的半径为距离89的圆、且是引导显示区域83以外的部分。在该例子中,输入显示区域85是与引导显示区域83的外侧相接的区域,包括与引导显示区域83相比距视线位置81的距离较远的点。
图7是表示本实施方式的便携式终端装置1中的输入处理的流程图。图7所示的各处理例如通过运算处理装置3读入规定的程序并执行来进行,但此处,作为利用图2的各功能来执行的处理进行说明。
如图7所示,视线检测部31开始使用者的视线的检测(S101)。视线的检测如上述那样,可以利用通过图像解析进行检测的方法、其他的以往的任何方法来进行。操作对象检测部33反复进行检测例如直至检测出触摸面板23的规定位置等成为操作对象检测的开始的触发的触摸(S102:否)。此时,在一定时间内未检测出输入的情况下,可以结束处理。
操作对象检测部33若检测出触摸(S102:是),则例如如图3、图4所示,检测在检测出触摸的时刻的视线的显示部25上的视线位置55,并基于检测出的视线位置55来检测操作对象(S103)。例如,操作对象检测部33将显示于视线位置55的图像检测为操作对象。
显示位置决定部37参照显示位置决定信息47的引导显示区域的项目,例如如图5所示那样决定引导显示区域83,并且决定引导显示区域83内的例如图3、图4所示的输入引导57的显示位置(S104)。
输入显示区域决定部43参照显示位置决定信息47的输入显示区域的项目,例如决定图5所示的输入显示区域85,并且决定输入显示区域85内的显示输入的位置(S105)。
引导创建部35生成与所检测出的操作对象对应的输入引导。引导显示部39在所决定的位置显示所生成的输入引导(S106)。此时,例如,引导显示部39在所决定的引导显示区域83的规定位置配置输入引导的中心。另外,引导显示部39可以调整显示倍率,以使输入引导落入引导显示区域83内。
输入检测部41判别是否检测出伴随着向触摸面板23等的动作的输入(S107)。例如如在图3、图4所说明的那样,若输入检测部41检测出输入63、输入77等(S107:是),则输入显示部45在由输入显示区域决定部43决定的例如输入显示区域85的规定位置依次显示输入(S108),使处理返回到S107。此外,例如也可以在从显示输入引导57起到输入的显示结束为止的期间不进行视线检测。
在S107中,直至检测出触摸为止反复进行处理(S107:否)。在S107中,也可以输入检测部41例如反复进行S107的处理,直到经过一定时间为止,在经过一定时间后结束处理。另外,通过反复进行S107、S108的处理,从而一边目视确认依次输入的状况,一边进行输入。此时,进行与由输入检测部41检测出的输入对应的处理。
如以上详细说明的那样,根据本实施方式的便携式终端装置1,若检测出成为触发的输入,则视线检测部31例如检测视线的显示部25上的视线位置55。操作对象检测部33基于所检测出的视线位置55来检测操作对象。引导创建部35例如生成与操作对象对应的输入引导57。另外,例如显示位置决定部37基于视线位置55,参照显示位置决定信息47来决定引导显示区域83。若输入检测部41检测出基于输入引导的伴随着动作的输入,则输入显示区域决定部43例如决定输入显示区域85。输入显示部45显示基于输入的动作。此时,输入显示区域85被决定为是引导显示区域83以外的区域且包括与引导显示区域83的任意一个点相比更远离视线位置55的点。
如以上那样,根据本实施方式的便携式终端装置1,能够根据视线位置检测操作对象。用于选择针对操作对象的处理的输入例如能够边视觉确认触摸面板23上的手指的动作边实现。由此,能够不将使用者看见的全部始终作为操作对象,而仅在使用者想要进行输入而投向了视线时,决定操作对象。因此,能够在必要的情况下之外不在视线位置周边显示输入引导,能够防止妨碍观察显示的行为。
在本实施方式中,以视线检测为先,或者时常起动,若检测出成为触发的触摸等,则根据触摸检测时的视线信息检测画面上的视线位置。由此,也能够使用过去的视线信息来推断视线位置,在触发检测时因眨眼等重要原因而不能够检测出视线的情况下也能够应对。
例如基于视线位置55在引导显示区域83显示输入引导57,所以能够不移动视线地参照说明输入的输入引导57。输入显示区域85是引导显示区域83以外的区域,并包括与引导显示区域83的全部的点相比更远离视线位置55的点。这样,例如在能够识别颜色、形状的视野内显示输入引导57,所以能够在一边参照输入引导57,一边不移动视线地同时例如也能够确认手指的动作的状态下进行输入。
在能够进行动作的识别的视野内显示表示输入的动作的输入显示,所以能够视觉确认输入的动作。此时,输入引导57、输入显示65、输入显示79等不重叠,所以能够防止因输入而妨碍输入引导57的参照。引导显示区域83、输入显示区域85的设定方法能够根据显示位置决定信息47等预先定义。因此,能够使与操作对象相配合的输入引导57、输入显示65、输入显示79等显示。
这样,本实施方式的输入方法能够为利用了在视野的特性上,与能够识别文字等的视野相比能够识别动作的视野较宽这样的、例如中心视野与周边视野的关系的输入方法。即,是存在在某位置上有视线的情况下,即使不能够识别文字,也能够识别动作的区域这种关系。因此,以在显示输入引导57的区域的外侧的区域显示基于动作的输入状态的方式,分开引导显示区域和输入状态的显示区域,从而能够不移动视线地同时识别输入引导、输入经过。
因此,即使在未记住输入操作的情况下,也能够在中途观察输入,防止不清楚用于想要进行的输入的手指的动作等。反之,也不会如输入引导和与输入的动作有关的显示过于远离的情况那样,产生使用者移动视线来确认各个的需要。
这样,在与所检测出的视线位置对应的位置显示输入引导时,能够以不降低输入引导的可视性且不移动视线的方式将基于动作的输入经过的显示自动地布局在能够识别的位置。
(变形例1)
以下,参照图8,对输入显示的变形例进行说明。图8是表示变形例1的输入显示例的图。如图8所示,针对视线位置81设定引导显示区域83、输入显示区域85。在输入显示区域85显示辅助线91。跨越辅助线91来显示输入显示93。在图8的例子中,例如在输入显示93跨越辅助线91时,判断为所输入的输入表示从上至下的输入。另外,使用者以进行跨越辅助线91的输入的方式使视觉确认变得容易。
根据本变形例,能够示出使用者通过触摸面板23输入动作时的基准,进行所希望的输入变得容易。另外,在便携式终端装置1中检测出的输入的种类的判断变得更容易。
(变形例2)
以下,参照图9~图11,对引导显示区域和输入显示区域的变形例进行说明。图9~图11是表示引导显示区域和输入显示区域的变形例的图。在图9所示的例子中,使引导显示区域95例如为以视线位置81为中心的规定的第1半径的图的左侧的半圆的区域。能够使输入显示区域97为比第1半径大的第2半径的图的右侧的半圆的区域。
在图10所示的例子中,能够使输入显示区域99为比以视线位置81为中心的第1半径大的第2半径的图的左侧的半圆的区域、且为引导显示区域95以外的区域。
在图11所示的例子中,能够使输入显示区域85为比以视线位置81为中心的第1半径大的第2半径的圆的区域、且为引导显示区域95以外的区域。
在图9~图11中的任意的情况下,输入显示区域85、97、99都包括与引导显示区域95的全部的点相比更远离视线位置81的点。便携式终端装置1在引导显示区域95例如显示输入引导57,在输入显示区域85、97、99中的任意一个显示输入,由此实现能够在视线位置81固定视线不变,一边参照输入引导57一边确认动作的输入方法。
在上述实施方式以及变形例1、2中,引导显示区域59、83、95是第1区域的一个例子,输入显示区域61、85、97、99是第2区域的一个例子。引导57是第1信息的一个例子,输入显示65、79、93是第2信息的一个例子。显示位置决定部37是第1区域决定部的一个例子,输入显示区域决定部43是第2区域决定部的一个例子。
此外,本发明并不限于以上所述的实施方式,在不脱离本发明的要旨的范围内能够采用各种构成或者实施方式。例如视线检测装置21并不限于包括相机的装置,例如也可以是检测脸的肌肉的动作来检测视线等的其它装置。
作为视线位置检测的触发,能够使用如注视或眨眼这样的与视线相关的信息、点击或滑动这样的与手指的动作相关的信息、声音、数据手套等这样输入其它信息的输入方法。另外,通过以若进行成为触发的输入则开始的方式设定视线检测,从而能够减少时常启动视线检测的量的消耗电力。
用于选择选项的输入方法并不限于触摸面板23,也可以是利用其它的能够检测动作的装置、例如数据手套等能够检测动作的其它装置的方法。可以根据时间变化进行用于选择选项的输入。作为此时使用的装置,为能够检测时间变化的装置。例如也能够根据按钮的按下的强弱、例如与终端的深度方向的距离的变化等进行输入。此时,可以利用颜色的变化等在周边视觉时更容易知觉这一情况,使第2区域整体的颜色变化来通知输入状态。
显示位置决定信息47是一个例子,也可以是基于其它参数的信息等其它方式。例如可以是基于视野角度的指定等。作为一个例子,可以将引导显示区域作为视野角度2度的区域、将输入显示区域作为视野角度5度的区域等。
在上述实施方式中,显示输入引导57,如果在变为接受输入的状态且一定时间以上没有输入,则取消输入引导,但在判断为正注视操作对象的情况下,也能够固定输入引导。据此,容易识别输入引导。此外,例如也可以在视线止于包括操作对象的一定的范围内的时间比规定时间长的情况下,判断为正注视操作对象。
在操作对象的检测中,也可以根据视线位置附近的光标的位置检测操作对象。此时,进行将该光标视为视线位置的处理。由此,能够进行与视线位置相比精度高的操作对象检测。
输入引导可以使至少一部分透过显示。据此,能够防止在输入显示区域与输入引导57的至少一部分重叠的情况下,妨碍重叠的部分的识别,能够同时识别两方。
也可以在显示输入引导的情况下,在规定时间以上没有操作时,判断为使用者没有操作的意思,消除输入引导的显示。另外,也可以在视线位置与所检测出的操作对象分离一定距离以上的情况下,判断为没有操作的意思。据此,能够容易进行下一个操作,并且能够抑制电力消耗。输入引导所示的输入方法并不限于一个输入手段的输入方法。优选利用多个输入手段能够进行同一操作。
输入引导57可以是各种例子。例如如果是层次型的菜单等基于多个动作的组合的输入方法,则也能够按照每个动作分开显示。作为图9的变形例,通过在与由触摸面板23检测出输入的位置较近的侧显示输入显示区域97,能够容易确认动作。引导显示区域、输入显示区域的形状并不限于上述形状,能够采用各种形状、位置关系。
此处,对为了使计算机进行上述实施方式以及变形例1、2的输入方法的动作而共同应用的计算机的例子进行说明。图12是表示标准的计算机的硬件构成的一个例子的框图。如图12所示,在计算机300中,CentralProcessingUnit(中央处理单元)(CPU)302、存储器304、输入装置306、输出装置308、外部存储装置312、介质驱动装置314、网络连接装置等经由总线310连接。
CPU302是控制计算机300整体的动作的运算处理装置。存储器304是用于预先存储控制计算机300的动作的程序或在执行程序时根据需要作为作业区域来使用的存储部。存储器304例如是RandomAccessMemory(RAM)、ReadOnlyMemory(ROM)等。输入装置306是若由计算机的使用者输入,则获取与该输入内容建立对应的来自使用者的各种信息的输入,并将获取到的输入信息发送给CPU302的装置,例如是键盘装置、鼠标装置等。输出装置308是输出计算机300的处理结果的装置,包括显示装置等。例如显示装置根据由CPU302发送的显示数据来显示文本、图像。
外部存储装置312例如是硬盘等存储装置,是存储由CPU302执行的各种控制程序、获取到的数据等的装置。介质驱动装置314是用于对可移动记录介质316进行写入以及读出的装置。CPU302也能够通过经由记录介质驱动装置314读出记录在可移动记录介质316中的规定控制程序并执行,来进行各种控制处理。可移动记录介质316例如是CompactDisc(压缩碟片)(CD)-ROM、DigitalVersatileDisc(数字通用盘)(DVD)、UniversalSerialBus(通用串行总线)(USB)存储器等。网络连接装置318是进行通过有线或者无线与外部之间进行的各种数据的授受的管理的接口装置。总线310是将上述各装置等相互连接并进行数据的交换的通信路径。
使计算机执行上述实施方式以及变形例1、2的输入方法的程序例如存储于外部存储装置312。CPU302从外部存储装置312读出程序,并使计算机300进行输入的动作。此时,首先,创建用于使CPU302进行输入的处理的控制程序并使外部存储装置312进行存储。然后,从输入装置306对CPU302给予规定的指示,使其从外部存储装置312读出该控制程序并执行。另外,该程序也可以存储于可移动记录介质316。
附图标记说明:1…便携式终端装置;3…运算处理装置;5…存储部;7…ROM;9…RAM;11…通信部;13…天线;15…声音输入输出部;17…扬声器;19…话筒;21…视线检测装置;23…触摸面板;25…显示部;31…视线检测部;33…操作对象检测部;35…引导创建部;37…显示位置决定部;39…引导显示部;41…输入检测部;43…输入显示区域决定部;45…输入显示部;47…显示位置决定信息;51…显示例;53…手;55…视线位置;57…输入引导;59…引导显示区域;61…输入显示区域。

Claims (10)

1.一种信息处理装置,具有:
视线检测部,其检测使用者的视线;
第1区域决定部,其基于所检测出的视线的显示画面上的视线位置,决定显示第1信息的所述显示画面上的第1区域,所述第1信息表示基于所述使用者的动作的输入方法;
第1显示控制部,其在所述第1区域显示所述第1信息;
输入检测部,其检测由所述使用者进行的输入;
第2区域决定部,其决定第2区域,所述第2区域在所述第1区域外,并且包括与所述第1区域相比更远离所述视线位置的点,并且显示第2信息,所述第2信息表示与所检测出的所述输入中的所述使用者的动作对应的轨迹;以及
第2显示控制部,其在所述第2区域显示所述第2信息。
2.根据权利要求1所述的信息处理装置,其特征在于,
所述第2区域是与所述第1区域的外侧相接的区域。
3.根据权利要求1所述的信息处理装置,其特征在于,
所述输入检测部检测所述显示画面上的输入,
所述第2区域包括所述输入被检测出的所述显示画面上的位置与所述第1区域之间的区域。
4.根据权利要求1~3中任意一项所述的信息处理装置,其特征在于,
在所述第2区域显示成为所述输入的基准的辅助线,所述输入检测部检测相对于所述辅助线的相对动作。
5.根据权利要求1~4中任意一项所述的信息处理装置,其特征在于,
所述第1区域与能够中央视觉的区域对应,所述第2区域与能够周边视觉的区域对应。
6.一种程序,使计算机执行如下的处理:
检测使用者的视线;
基于所检测出的视线的显示画面上的视线位置,决定显示第1信息的所述显示画面上的第1区域,所述第1信息表示基于所述使用者的动作的输入方法;
决定第2区域,所述第2区域在所述第1区域外,并且包括与所述第1区域相比更远离所述视线位置的点,并且显示第2信息,所述第2信息表示与由所述使用者进行的输入中的所述使用者的动作对应的轨迹;
在所述第1区域显示所述第1信息;
检测由所述使用者进行的输入;以及
在所述第2区域显示所述第2信息。
7.根据权利要求6所述的程序,其特征在于,
所述第2区域是与所述第1区域的外侧相接的区域。
8.根据权利要求6所述的程序,其特征在于,
在检测所述输入的处理中,检测所述显示画面上的输入,
所述第2区域包括所述输入被检测出的所述显示画面上的位置与所述第1区域之间的区域。
9.根据权利要求6~8中任意一项所述的程序,其特征在于,
在所述第2区域显示成为所述输入的基准的辅助线,并且检测相对于所述辅助线的相对动作。
10.根据权利要求6~9中任意一项所述的程序,其特征在于,
所述第1区域与能够中央视觉的区域对应,所述第2区域与能够周边视觉的区域对应。
CN201380077592.0A 2013-06-25 2013-06-25 信息处理装置以及程序 Pending CN105324733A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/067423 WO2014207828A1 (ja) 2013-06-25 2013-06-25 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
CN105324733A true CN105324733A (zh) 2016-02-10

Family

ID=52141235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380077592.0A Pending CN105324733A (zh) 2013-06-25 2013-06-25 信息处理装置以及程序

Country Status (6)

Country Link
US (1) US20160077586A1 (zh)
EP (1) EP3015963A4 (zh)
JP (1) JP6004103B2 (zh)
KR (2) KR20170109077A (zh)
CN (1) CN105324733A (zh)
WO (1) WO2014207828A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527725A (zh) * 2016-11-16 2017-03-22 上海楼顶网络科技有限公司 一种vr/ar环境下的利用视野中心轨迹给设备输入信息或指令的方法
CN114579225A (zh) * 2020-12-02 2022-06-03 横河电机株式会社 装置、方法以及记录介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
JP6348191B2 (ja) * 2015-01-29 2018-06-27 京セラ株式会社 電子機器
WO2019189403A1 (en) * 2018-03-28 2019-10-03 Ricoh Company, Ltd. Information processing apparatus, information processing system, information processing method, and program
JP7338184B2 (ja) * 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
JP7215254B2 (ja) * 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250677A (ja) * 1999-03-02 2000-09-14 Toshiba Corp マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
CN101901050A (zh) * 2009-04-23 2010-12-01 日立民用电子株式会社 输入装置
JP2011040008A (ja) * 2009-08-18 2011-02-24 Canon Inc 表示制御装置及び表示制御方法、プログラム、記憶媒体
CN102460353A (zh) * 2009-06-10 2012-05-16 日本电气株式会社 电子设备、手势处理方法及手势处理程序
JP2013122529A (ja) * 2011-12-12 2013-06-20 Sharp Corp 表示装置およびosd表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499033B2 (en) * 2002-06-07 2009-03-03 Smart Technologies Ulc System and method for injecting ink into an application
US8181122B2 (en) * 2007-07-30 2012-05-15 Perceptive Pixel Inc. Graphical user interface for large-scale, multi-user, multi-touch systems
JP2012231249A (ja) * 2011-04-25 2012-11-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250677A (ja) * 1999-03-02 2000-09-14 Toshiba Corp マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
CN101901050A (zh) * 2009-04-23 2010-12-01 日立民用电子株式会社 输入装置
CN102460353A (zh) * 2009-06-10 2012-05-16 日本电气株式会社 电子设备、手势处理方法及手势处理程序
JP2011040008A (ja) * 2009-08-18 2011-02-24 Canon Inc 表示制御装置及び表示制御方法、プログラム、記憶媒体
JP2013122529A (ja) * 2011-12-12 2013-06-20 Sharp Corp 表示装置およびosd表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI NAGAMATSU: "MobiGaze:Development of a Gaze Interface for Handheld Mobile Devices", 《PROCEEDINGS OF THE 28TH OF THE INTERNATIONAL CONFERENCE EXTENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527725A (zh) * 2016-11-16 2017-03-22 上海楼顶网络科技有限公司 一种vr/ar环境下的利用视野中心轨迹给设备输入信息或指令的方法
CN114579225A (zh) * 2020-12-02 2022-06-03 横河电机株式会社 装置、方法以及记录介质
US11983454B2 (en) 2020-12-02 2024-05-14 Yokogawa Electric Corporation Apparatus, method and storage medium

Also Published As

Publication number Publication date
US20160077586A1 (en) 2016-03-17
JP6004103B2 (ja) 2016-10-05
WO2014207828A1 (ja) 2014-12-31
JPWO2014207828A1 (ja) 2017-02-23
KR20170109077A (ko) 2017-09-27
EP3015963A4 (en) 2016-07-13
KR101795204B1 (ko) 2017-11-07
KR20160010540A (ko) 2016-01-27
EP3015963A1 (en) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105324733A (zh) 信息处理装置以及程序
US10921907B2 (en) Multipurpose stylus with exchangeable modules
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
US9285840B2 (en) Detachable sensory-interface device for a wireless personal communication device and method
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US9239620B2 (en) Wearable device to control external device and method thereof
KR102337682B1 (ko) 디스플레이 장치 및 그의 제어 방법
US9535499B2 (en) Method and display apparatus for providing content
JP5974928B2 (ja) 表示制御装置、表示装置、表示制御方法、およびプログラム
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
CN105518543A (zh) 智能手表及其控制方法
TW200937256A (en) Tactile feedback in an electronic device
JP2017537368A (ja) 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
CN105824422B (zh) 一种信息处理方法及电子设备
US20190294652A1 (en) Electronic device and operation method thereof
CN103677259A (zh) 用于引导控制器的方法、多媒体装置及其目标跟踪装置
WO2013163233A1 (en) Detachable sensory-interface device for a wireless personal communication device and method
JPWO2017104272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108509127A (zh) 启动录屏任务的方法、装置及计算机设备
US20220027033A1 (en) Information processing device, information processing method, and program
WO2020170986A1 (ja) 情報処理装置、方法及びプログラム
CN110238854A (zh) 一种机器人控制方法、装置、电子设备及存储介质
CN103823608A (zh) 显示装置和用于传递其消息的方法
JPWO2018042811A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR20200067501A (ko) 모션인식을 갖는 웨어러블 디바이스 및 이의 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160210

WD01 Invention patent application deemed withdrawn after publication