CN109426351A - 信息处理装置以及存储介质 - Google Patents

信息处理装置以及存储介质 Download PDF

Info

Publication number
CN109426351A
CN109426351A CN201811024784.6A CN201811024784A CN109426351A CN 109426351 A CN109426351 A CN 109426351A CN 201811024784 A CN201811024784 A CN 201811024784A CN 109426351 A CN109426351 A CN 109426351A
Authority
CN
China
Prior art keywords
unit
sight
processing unit
selection
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811024784.6A
Other languages
English (en)
Inventor
山崎英树
河田祐
河田祐一
斋藤玲子
坂东义文
冈本健资
西田知世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN109426351A publication Critical patent/CN109426351A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供信息处理装置以及存储介质。解决在用单手选择显示单元所显示的要素并用另一只手进行使选择出的要素移动的操作的情况下会占用两只手这一问题。信息处理装置具备：显示单元；选择受理单元，其通过使用者的使用手的操作，受理如下选择：选择所述显示单元所显示的要素中的至少一个来作为选择要素；视线检测单元，其检测所述使用者的视线所朝向的区域；以及处理单元，其针对由所述选择受理单元所选择出的所述选择要素或者由所述选择要素所确定的处理对象，进行如下处理：该处理是在使由所述选择受理单元选择出的所述选择要素移动到与由所述视线检测单元检测到的区域对应的区域的情况下进行的处理。

Description

信息处理装置以及存储介质
技术领域
本发明涉及信息处理装置以及存储介质。
背景技术
近年来，提出有更加准确地对调整由利用者进行输入的输入位置的终端装置(例如参照专利文献1。)。
专利文献1所记载的终端装置具有：显示部；接触位置检测部，其检测与所述显示部对应的接触位置；视线位置检测部，其检测相对于所述显示部的视线位置；以及控制部，在同所述显示部接触的接触位置与进行了该接触位置的检测时的相对于所述显示部的视线位置之间产生了差分的情况下，该控制部基于进行了该接触位置的检测时的相对于所述显示部的视线位置来修正与所述显示部接触的接触位置。
当在用手选择了显示单元所显示的要素并进行使所选择的要素移动的动作的情况下等的、利用与用于选择操作的手相同的手(或手指)来对显示单元所显示的要素进行移动操作时，有时会发生例如进行了选择操作的手或手指在移动的中途离开等的操作失败。
另外，在对显示单元所显示的要素以单手进行选择操作并用另一只手进行移动操作的情况下，会占用两只手。
专利文献1：日本特开2016-92440号公报
发明内容
本发明的目的在于，解决在用单手选择显示单元所显示的要素并用另一只手进行使选择出的要素移动的操作的情况下会占用两只手这一问题。
[1]一种信息处理装置，其具有：显示单元；选择受理单元，其通过使用者使用手的操作，受理如下选择：选择所述显示单元所显示的要素中的至少一个来作为选择要素；视线检测单元，其检测所述使用者的视线所朝向的区域；以及处理单元，其针对由所述选择受理单元选择出的所述选择要素或者由所述选择要素确定的处理对象，进行如下处理：该处理是，在使由所述选择受理单元选择出的所述选择要素向与由所述视线检测单元检测到的区域对应的区域进行移动的情况下进行的处理。
[2]根据所述[1]所记载的信息处理装置，其中，由所述处理单元进行的处理是如下处理：使所述显示单元所显示的显示区域变化，以使在所述显示单元上没有被显示的区域显示出来。
[3]根据所述[2]所记载的信息处理装置，其中，所述处理单元在所述视线检测单元检测到朝向显示画面的外侧区域的视线时，使显示区域变化。
[4]根据所述[2]所记载的信息处理装置，其中，所述处理单元在所述视线检测单元检测到朝向所述显示单元所显示的显示对象的视线时，使存放在所述显示对象中的对象物显示出来。
[5]根据所述[3]或[4]所记载的信息处理装置，其中，所述处理单元在使所述选择要素显示的状态下进行所述显示画面的切换。
[6]根据所述[5]所记载的信息处理装置，其中，所述处理单元以不使所述选择要素移动的方式进行所述显示画面的切换。
[7]根据所述[4]至[6]中任意一项所记载的信息处理装置，其中，所述处理单元在所述视线检测单元检测到朝向如下区域的视线时，将所述区域放大显示，所述区域包含多个所述显示对象中的至少一个所述显示对象。
[8]根据所述[1]至[7]中任意一项所记载的信息处理装置，其中，在使所述选择要素向与由所述视线检测单元检测到的区域对应的区域进行移动的情况下进行的处理是，在连续操作的中途所进行的处理的性质发生变化的处理。
[9]根据所述[1]至[8]中任意一项所记载的信息处理装置，其中，所述视线检测单元在所述选择受理单元选择了所述选择要素之后，开始检测朝向所述选择要素的移动目的地的位置的视线。
[10]根据所述[1]至[8]中任意一项所记载的信息处理装置，其中，所述视线检测单元在所述选择受理单元选择所述选择要素之前，开始检测朝向所述选择要素的移动目的地的位置的视线。
[11]根据所述[1]至[10]中任意一项所记载的信息处理装置，其中，所述处理单元在所述视线检测单元检测到视线的位置时，虚拟地使所述选择对象移动到该视线的位置并显示所述选择对象。
[12]根据所述[11]所记载的信息处理装置，其中，所述处理单元在虚拟地使所述选择对象移动时，变更所述选择对象的显示方式而进行显示。
[13]根据所述[11]或[12]所记载的信息处理装置，其中，所述处理单元在所述视线检测单元检测到视线从被虚拟地进行了移动后的所述选择对象离开时，确定移动所述选择对象。
[14]根据所述[1]至[13]中任意一项所记载的信息处理装置，其中，所述处理单元在所述视线检测单元于预先规定的时间内持续检测到视线时，使所述选择对象移动到该视线的位置并显示所述选择对象。
[15]一种非暂时性的有形的存储介质，其使计算机作为如下单元发挥功能：选择受理单元，其通过使用者使用手的操作，受理如下选择：选择显示单元所显示的要素中的至少一个来作为选择要素；视线检测单元，其检测所述使用者的视线所朝向的区域；以及处理单元，其针对由所述选择受理单元所选择出的所述选择要素或者由所述选择要素所确定的处理对象进行如下处理：该处理是，在使由所述选择受理单元所选择出的所述选择要素移动到由所述视线检测单元所检测到的区域对应的区域的情况下进行的处理。
发明效果
根据第1、15方面的发明，能够不占用两只手，而用单手选择显示单元所显示的要素，用另一只手进行使选择出的要素移动的操作。
根据第2、3、5、6、8、9方面的发明，使用者能够不占用两只手而使显示区域变化。
根据第4方面的发明，能够不进行用手指使选择要素移动的操作而显示存放在显示对象中的对象物。
根据第7方面的发明，使用者能够不占用两只手而使选择要素显示得比原来的大小大。
根据第10方面的发明，与在选择了选择要素之后开始视线检测的情况相比，能够提高视线检测的精度。
根据第11、12、13、14方面的发明，能够抑制使用者不需要的要素的移动。
附图说明
图1是示出本发明的第1实施方式的信息处理装置的结构例的图。
图2是示出画面的一例的图。
图3是示出画面变更区域的一例的图。
图4是示出切换画面的操作的一例的图，(a)是示出画面变更区域中的视线位置的检测的一例的图，(b)是示出切换后的画面的一例的图。
图5是示出第1实施方式的信息处理装置的动作的一例的流程图。
图6是示出本发明的第2实施方式的信息处理装置的控制系统的一例的框图。
图7是示出图标的移动的一例的图，(a)是示出对作为移动对象的图标进行选择的操作的一例的图，(b)是示出图标的移动的一例的图。
图8是示出图标的移动的一例的图，(a)是示出对作为移动对象的图标进行选择的操作以及切换画面的操作的一例的图，(b)是示出切换后的画面的一例的图。
图9是示出图标的移动的一例的图，(a)是示出视线位置的检测的一例的图，(b)是示出图标移动后的画面的一例的图。
图10是示出将图标放大显示的一例的图，(a)是示出对作为放大对象的图标进行选择的操作的一例的图，(b)是示出图标的放大显示的一例的图。
图11是示出放大显示文件夹的内容并对图标进行移动的处理的一例的图，(a)是示出选择图标的操作以及显示文件夹的内容的操作的一例的图，(b)是示出图标的移动的一例的图。
图12是示出将存放在文件夹内的图标移动到该文件夹外的处理的一例的图，(a)是示出扩展显示的文件夹的一例的图，(b)是示出向文件夹外移动图标的一例的图。
图13是示出生成文件夹并存放图标的处理的一例的图，(a)是示出选择图标的操作的一例的图，(b)是示出文件夹的生成以及图标的存放的一例的图。
图14是示出第4实施方式的信息处理装置的控制系统的一例的图。
图15是示出印刷处理的一例的图，(a)是示出显示了对印刷处理的执行进行指示的图标的画面的一例的图，(b)是示出确认画面的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。另外，各图中，针对具有实质上相同的功能的构成要素标注相同的标号，并省略其重复说明。
[第1实施方式]
图1是示出本发明的第1实施方式的信息处理装置的控制系统的一例的框图。信息处理装置1例如对应于个人计算机、平板终端、多功能便携电话机(智能手机)等。
信息处理装置1具备；对信息处理装置1的各部进行控制的控制部10；存储各种数据的存储部11；为了检测使用者U的视线E的位置e(参照图2)而对位于前方的使用者U进行拍摄的照相机120；以及具有进行信息的输入和显示的操作显示部121的操作部12。照相机120是用于拍摄的单元的一例。
控制部10由CPU(Central Processing Unit)、接口等构成。CPU根据记录于存储部11的程序110进行动作，由此作为预备操作检测单元100、拍摄控制单元101、视线检测单元102、显示控制单元103等发挥功能。预备操作检测单元100是选择受理单元的一例。显示控制单元103是处理单元的一例。之后对各单元100～103详细进行叙述。
存储部11由ROM(Read Only Memory)、RAM(Random Access Memory)、硬盘等构成，对程序110、画面信息111等各种数据进行存储。
接着，对操作部12的结构进行说明。照相机120只要能够检测使用者U的视线E即可，也可以使用可见光照相机、红外照相机等公知的照相机。照相机120优选设置在操作部12的缘部(未图示)。
操作显示部121例如是触摸面板显示器，具有在液晶显示器等显示器上重合地配置触摸面板而成的结构。另外，操作显示部121具备显示各种画面的显示画面121a(参照图2等)。操作显示部121是显示单元的一例。
接着，参照图2～图5对控制部10的各单元100～103进行说明。图2是示出画面的一例的图。如图2所示，在画面2上显示有与各处理对应的多个图标20。图标20是以图形示出功能的标记，但也可以包含文字、记号，还可以仅以字符或记号显示出。
预备操作检测单元100检测由使用者U对图标20进行的预备操作。预备操作是指，用于使后述的照相机120所进行的视线检测开始的动作。预备操作例如包含如下操作：如图2所示那样在预先规定的时间(例如3秒钟)内持续用手指(食指)50等与图标20接触的操作(以下也称为“长触摸”。)、或者以预先规定的次数(例如、2～5次)接连点击图标20的操作等。预备操作是使用手5的操作的一例。图标20是显示单元所显示的要素的一例。另外，图标20是处理对象的一例。
拍摄控制单元101在预备操作检测单元100检测到预备操作时，控制照相机120而开始摄像。
视线检测单元102检测使用者U的视线E所朝向的区域。具体而言，视线检测单元102根据照相机120拍摄到的图像来检测使用者U的视线E的方向，并基于检测到的视线E的方向，确定使用者U在对操作显示部121的哪个位置e进行视觉确认。视线检测单元102将与所确定的位置e相关的信息输出至显示控制单元103。另外，操作显示部121上的位置不仅包括操作显示部121的显示画面121a，还包括从显示画面121a离开的位置。
作为在检测视线E的动作中使用的技术，例如，可以使用可见光照相机，基于虹膜相对于内眼角的位置而言的位置来检测视线E，还可以使用红外线照相机和红外线LED，基于瞳孔相对于角膜反射的位置而言的位置来检测视线E。
图3是示出画面变更区域的一例的图。画面变更区域21是指，用于进行切换画面2的处理的、视线的位置e被检测到的区域。显示控制单元103在预备操作检测单元100检测到预备操作时，如图3所示，控制为在显示画面121a的缘部显示画面变更区域21。画面变更区域21的显示位置不局限于特定的位置，可以如图3所示那样为左右的两端部，也可以为上下的两端部。另外，在图3以后的图中，省略使用者U的记载。另外，画面变更区域21也可以不必显示在显示画面121a上。
图4是示出切换画面2的操作的一例的图，(a)是示出对画面变更区域21中的视线的位置e进行检测的一例的图，(b)是示出切换后的画面2的一例的图。
显示控制单元103判定视线检测单元102所确定出的视线的位置e是否处于画面变更区域21。显示控制单元103在预备操作检测单元100检测到预备操作的状态下，如图4的(a)所示，在判定为视线检测单元102所确定出的视线的位置e处于画面变更区域21的情况下，如图4的(b)所示，控制为将当前显示的画面2切换成相邻的画面并进行显示。在图4的(b)所示的画面2中，显示了在图4的(a)所示的画面2中没有被显示出来的多个图标20。切换该画面的处理是在使图标20移动到由视线检测单元102所检测到的区域的情况下进行的处理的一例。
另外，“在使图标20向由视线检测单元102所检测到的区域移动的情况下进行的处理”除了包括画面的切换之外，例如还包括文件的移动、文件夹的存放物的放大显示、文件向文件夹的存放、印刷、邮件发送、传真发送等。之后对这些处理详细进行叙述。另外，“在使图标20向由视线检测单元102所检测到的区域进行了移动的情况下进行的处理”包括虽然是相同的操作、但处理的性质在中途改变的情况。该“操作的性质改变”例如符合如下情况：在选择了图标20并进行拖动操作的情况下，在该拖动操作的中途该图标20被移动到画面2的端部时，将拖动操作的处理更换为对画面2进行滚动的滚动处理。
(第1实施方式的动作)
接着，参照图5对信息处理装置1的动作的一例进行说明。图5是示出信息处理装置1的动作的一例的流程图。
如图2所示，当使用者U对显示画面121a所显示的多个图标20中的一个图标20进行长触摸时，预备操作检测单元100检测该长触摸(S1)。
接着，拍摄控制单元101控制照相机120开始摄像(S2)。另外，如图3所示，显示控制单元103控制为在显示画面121a的缘部显示画面变更区域21(S3)。
接着，显示控制单元103判定视线检测单元102所确定出的视线的位置e是否处于画面变更区域21(S4)。
如图4的(a)所示，在显示控制单元103判定为视线的位置e处于画面变更区域21的情况下(S4：是)，如图4的(b)所示，显示控制单元103控制为将目前显示的画面2切换成相邻的画面2并进行显示(S5)。
根据以上方式，能够在不使进行了长触摸的手指移动的前提下切换画面的显示。由此，能够抑制在用单手进行了长触摸的情况下用另一只手进行切换画面的操作而会占用两只手的情况。
[第2实施方式]
图6是示出本发明的第2实施方式的信息处理装置1的控制系统的一例的框图。在第2实施方式中，在具有对选择图标20的操作进行检测的选择操作检测单元104这一点上与第1实施方式不同。以下，以与第1实施方式不同的方面为中心进行说明。
信息处理装置1的控制部10还具备选择操作检测单元104。即，CPU按照存储于存储部11的程序110进行动作，由此还作为选择操作检测单元104等发挥功能。选择操作检测单元104是选择受理单元的一例。
参照图7，对选择操作检测单元104和显示控制单元103进行说明。图7是示出图标20的移动的一例的图，(a)是示出选择作为移动对象的图标20的操作的一例的图，(b)是示出图标20的移动的一例的图。
如图7的(a)所示，选择操作检测单元104检测如下操作：由使用者U进行的、从操作显示部121的显示画面121a所显示的多个图标20中选择至少一个图标20(参照方框)的操作。
如图7的(b)所示，显示控制单元103控制为将所选择出的图标20(参照方框)移动到视线检测单元102所确定出的视线的位置e并进行显示。移动并显示该图标20的处理是在使图标20移动到由视线检测单元102所检测到的区域的情况下进行的处理的一例。
＜变形例1＞
图8是示出图标20的移动的一例的图，(a)是示出选择作为移动对象的图标20的操作以及切换画面2的操作的一例的图，(b)是示出向切换后的画面2内移动图标20的一例的图。
显示控制单元103也可以控制为，切换画面2而进行显示，并且，将由选择操作检测单元104选择出的图标20(参照图8的(a)的方框)移动到切换后的画面2内的视线的位置e并进行显示。
具体进行说明。如图8的(a)所示，选择操作检测单元104检测由使用者U进行的、从操作显示部121的显示画面121a所显示的多个图标20中选择一个图标20的操作。
接着，如图8的(b)所示，显示控制单元103在判定为视线检测单元102确定出的视线的位置e处于画面变更区域21的情况下，控制为将目前显示的画面2切换成相邻的画面2并进行显示。
接着，显示控制单元103控制为，将所选择出的切换前的画面2内的图标20移动到在切换后的画面2内由视线检测单元102所确定出的视线的位置e并进行显示。
＜变形例2＞
图9是示出图标20的移动的一例的图，(a)是示出视线的位置e的检测的一例的图，(b)是示出图标20移动后的画面的一例的图。如图9的(a)所示，显示控制单元103也可以控制为，在视线检测单元102所确定出的视线的位置e处于特定的图标20的位置的情况下，当长触摸等预备操作结束时，如图9的(b)所示，将被进行了长触摸的图标20(参照方框)移动到该特定的图标20的旁边(右边)的位置并进行显示。
在该情况下，预备操作检测单元100也可以检测由使用者U进行的预备操作结束的情况，即，手从图标20离开的情况。
另外，在本变形例2中，显示控制单元103控制为，将被进行了长触摸的图标20移动到图标20的右侧附近并进行显示，视线的位置e在该图标20上被检测到，但不局限于此，也可以移动到被检测到视线的位置e的图标20的左侧附近、上侧附近、下侧附近。
＜变形例3＞
图10是示出将图标20放大显示的一例的图，(a)是示出选择作为放大对象的图标20的操作的一例的图，(b)是示出图标20的放大显示的一例的图。
如图10的(a)所示，在视线检测单元102所确定出的视线的位置e处于多个图标20之间的位置的情况下，显示控制单元103也可以控制为，如图10的(b)所示，将处于视线的位置e的附近的多个图标20(例如图10的(a)的由圆框包围的区域内的图标20)放大显示。
另外，显示控制单元103也可以控制为，将由使用者U预先选择出的图标20(参照图10的(a)的方框)移动到视线检测单元102确定出的被放大显示的多个图标20内的视线的位置e处并进行显示。
＜变形例4＞
显示控制单元103也可以控制为，将由使用者U预先选择出的图标20虚拟地移动到视线检测单元102所检测到的视线的位置并进行显示。“虚拟地移动”是指，图标20向视线检测单元102所检测到的视线的位置的移动没有确定性地完成，图标20暂定移动到视线检测单元102所检测到的视线的位置。
显示控制单元103也可以控制为在虚拟地移动图标20并显示该图标20时，改变图标20的显示方式来进行显示。“改变显示方式”例如包括变更图标20的透明度、变更图标20的大小、形状、颜色。
另外，显示控制单元103也可以控制为，在视线检测单元102检测到视线从虚拟地进行了移动的图标20的位置离开时，确定图标20的移动。另外，显示控制单元103也可以控制为，在视线检测单元102检测到视线持续预先决定的时间朝向移动目的地的位置时，移动图标20并对其进行显示。
另外，显示控制单元103也可以控制为在移动图标20并对其进行显示时，显示供使用者U确认是否要进行移动的确认画面。
根据以上方式，能够在不使进行了选择操作的手指移动的前提下使图标20移动。由此，能够抑制在用单手进行了选择操作的情况下用另一只手进行移动图标20的操作从而会占用两只手的情况。
[第3实施方式]
接着，参照图11以及图12对本发明的第3实施方式进行说明。图11是示出将文件夹的内容放大显示并移动图标20的处理的一例的图，(a)是示出选择图标20的操作以及显示文件夹的内容的操作的一例的图，(b)是示出图标20的移动的一例的图。如图11的(a)所示，在画面2(例如桌面)上显示有多个图标20和一个以上的文件夹22。
如图11的(a)所示，在视线检测单元102确定出的视线的位置e处于特定的文件夹22的位置的情况下，显示控制单元103也可以控制为，如图11的(b)所示，将视线的位置e所处的文件夹22的内容放大显示。“将内容放大显示”是指，例如以缩略图或图标等形式显示存放在该文件夹22中的文档、图像、动作、声音等各种文件、应用程序的一览。另外，对于“将文件夹22的内容放大显示”，也可以使用“打开文件夹22进行显示”这样的表达方式作为其他表达方式。
另外，在视线检测单元102确定出的视线的位置e处于打开的文件夹22内的位置的情况下，显示控制单元103也可以控制为，如图11的(b)所示，将由使用者U预先选择出的图标20(参照图11的(a)的方框)移动到该文件夹22内并进行显示。
图12是示出将存放在文件夹22内的图标20移动到该文件夹22外的处理的一例的图，(a)是示出被扩展显示的文件夹22的一例的图，(b)是示出向文件夹22外移动图标20的一例的图。
如图12的(a)所示，在特定的文件夹22被打开时视线检测单元102所确定出的视线的位置e处于打开的文件夹22的外侧的区域23的情况下，显示控制单元103控制为，如图12的(b)所示，将由使用者U预先选择出的图标20(参照方框)移动到该文件夹22外并进行显示。
＜变形例＞
图13是示出生成文件夹22并存放图标20的处理的一例的图，(a)是示出选择图标20的操作的一例的图，(b)是示出文件夹22的生成以及图标20的存放的一例的图。
如图13的(a)所示，显示控制单元103在使用者U预先选择了图标20、且视线检测单元102确定出的视线的位置e处于特定的图标20(但是，除了表示文件夹22的图标20之外)的位置的情况下，如图13的(b)所示，生成新的文件夹22并显示该文件夹。另外，显示控制单元103在生成的文件夹22中存放该选择出的图标20和视线的位置e所处的图标20。
另外，显示控制单元103也可以控制为，显示用于输入新显示出的文件夹22的名称的输入栏24。
由使用者U选择的图标20的个数不限于一个，也可以为多个。
[第4实施方式]
接着，参照图14对本发明的第4实施方式进行说明。图14是示出第4实施方式的信息处理装置1的控制系统的一例的图。在第4实施方式中，作为信息处理装置1，以图像形成装置为例进行说明。
如图14所示，信息处理装置1除了第1实施方式所说明的结构之外，还具备扫描仪部13、打印机部14、传真通信部15、以及网络通信部16。
扫描仪部13从配置于原稿台(未图示)的原稿、或者由自动供纸装置(未图示)供给的原稿以光学方式读取图像数据。打印机部14通过电子照相方式、喷墨方式等将图像数据印刷在纸张等记录介质上。传真通信部15按照G3、G4等传真协议进行数据的调制解调，并经由公共线路网3进行传真收发。网络通信部16通过NIC(Network Interface Card)等来实现，经由网络4而与外部装置之间收发信号。
信息处理装置1的控制部10还具备执行单元105。即，CPU按照存储于存储部11的程序110进行动作，由此还作为执行单元105等发挥功能。执行单元105是处理单元的一例。
执行单元105执行扫描、印刷、传真收发等各种处理。具体而言，执行单元105对扫描仪部13进行控制来执行扫描处理。另外，执行单元105对打印机部14进行控制来执行印刷处理。另外，执行单元105对传真通信部15进行控制来执行传真发送或接收。另外，执行单元105对网络通信部16进行控制来执行电子邮件收发。
图15是示出印刷处理的一例的图，(a)是显示有图标20的画面2的一例的图，该图标20指示执行印刷处理，(b)是示出确认画面的一例的图。在图15的(a)所示的画面2中，除了显示有指示印刷处理的执行的图标20(以下也称为“图标20A”。)之外，还显示有表示作为印刷对象的文档的图标20(以下也称为“图标20B”。)、指示执行传真发送的图标20(以下也称为“图标20C”。)、指示执行邮件发送的图标20(以下也称为“图标20D”。)、指示执行向云端存放对象物的处理的图标20(以下也称为“图标20E”。)等。
如图15的(a)所示，在视线检测单元102所确定出的视线的位置e处于显示于画面2的指示执行印刷处理的图标20A的位置上的情况下，显示控制单元103控制为，如图15的(b)所示，显示供使用者U确认是否要执行印刷处理的确认画面2A。
执行单元105在由使用者U操作了确认画面2A所包含的执行按键25的情况下，执行与由使用者U预先选择出的图标20B关联的文档的印刷。
在第4实施方式中，以印刷处理为例进行了说明，但通过上述方法执行的处理不限于印刷处理，还包括邮件发送、传真发送、向云端服务器存放文件等各种处理。
这些处理是在使图标20向由视线检测单元102所检测到的区域进行了移动的情况下进行的处理的一例。
＜变形例＞
显示控制单元103也可以不必控制为显示确认画面2A，也可以在视线检测单元102检测到视线时，由执行单元105执行与由使用者U预先选择出的图标20B关联的文档的印刷。另外，也可以在从视线检测单元102检测到视线起经过了预先规定的时间后，由执行单元105执行与预先选择出的图标20B关联的文档的印刷。另外，关于输出纸的处理，可以采用如下方式：与其他的处理相比，增长从检测到视线起到执行处理为止的时间。
以上，说明了本发明的实施方式，但本发明的实施方式不局限于上述实施方式，能够在不变更本发明的主旨的范围内进行各种变形、实施。例如，在上述实施方式中，将照相机120设置在操作部12上，但也可以设置于信息处理装置1的其他部位，还可以与信息处理装置1分开而设置于顶棚或壁部。另外，也可以在外部或照相机上具备视线检测功能。
控制部10的各单元各自的一部分或全部也可以由可重构电路(FPGA：FieldProgrammable Gate Array)、面向特定用途的集成电路(ASIC：Application SpecificIntegrated Circuit)等硬件电路构成。
另外，在不变更本发明的主旨的范围内能够省略或变更上述实施方式的构成要素的一部分。另外，在不变更本发明的主旨的范围内能够在上述实施方式的流程中进行步骤的追加、删除、变更、替换等。另外，能够将上述实施方式中所使用的程序记录于CD-ROM等可由计算机读取的记录介质而提供，还能够将上述实施方式中所使用的程序预先存放于云端服务器等外部服务器，并经由网络来利用。

Claims (15)

1.一种信息处理装置，其具有：
显示单元；
选择受理单元，其通过使用者用手进行的操作，受理所述显示单元所显示的要素中的至少一个的选择来作为选择要素；
视线检测单元，其检测所述使用者的视线所朝向的区域；以及
处理单元，其针对由所述选择受理单元选择出的所述选择要素或者由所述选择要素确定的处理对象，进行在使由所述选择受理单元选择出的所述选择要素移动到与由所述视线检测单元检测到的区域对应的区域的情况下进行的处理。
2.根据权利要求1所述的信息处理装置，其中，
由所述处理单元进行的处理是如下处理：使所述显示单元所显示的显示区域变化，以使未显示在所述显示单元上的区域显示出来。
3.根据权利要求2所述的信息处理装置，其中，
所述处理单元在所述视线检测单元检测到朝向显示画面的外侧区域的视线时，使显示区域变化。
4.根据权利要求2所述的信息处理装置，其中，
所述处理单元在所述视线检测单元检测到朝向所述显示单元所显示的显示对象的视线时，使存放在所述显示对象中的对象物显示出来。
5.根据权利要求3或4所述的信息处理装置，其中，
所述处理单元在显示了所述选择要素的状态下进行所述显示画面的切换。
6.根据权利要求5所述的信息处理装置，其中，
所述处理单元以不使所述选择要素移动的方式进行所述显示画面的切换。
7.根据权利要求4至6中的任意一项所述的信息处理装置，其中，
所述处理单元在所述视线检测单元检测到朝向如下区域的视线时，将所述区域放大显示，所述区域包含多个所述显示对象中的至少一个所述显示对象。
8.根据权利要求1至7中的任意一项所述的信息处理装置，其中，
在使所述选择要素移动到与由所述视线检测单元检测到的区域对应的区域的情况下进行的处理是，在连续操作的中途所进行的处理的性质发生变化的处理。
9.根据权利要求1至8中的任意一项所述的信息处理装置，其中，
所述视线检测单元在所述选择受理单元选择了所述选择要素之后，开始检测朝向所述选择要素的移动目的地的位置的视线。
10.根据权利要求1至8中的任意一项所述的信息处理装置，其中，
所述视线检测单元在所述选择受理单元选择所述选择要素之前，开始检测朝向所述选择要素的移动目的地的位置的视线。
11.根据权利要求1至10中的任意一项所述的信息处理装置，其中，
所述处理单元在所述视线检测单元检测到视线的位置时，虚拟地使所述选择对象移动到该视线的位置并显示所述选择对象。
12.根据权利要求11所述的信息处理装置，其中，
所述处理单元在虚拟地使所述选择对象移动时，变更所述选择对象的显示方式而进行显示。
13.根据权利要求11或12所述的信息处理装置，其中，
所述处理单元在所述视线检测单元检测到视线从虚拟地移动后的所述选择对象离开时，确立所述选择对象的移动。
14.根据权利要求1至13中的任意一项所述的信息处理装置，其中，
所述处理单元在所述视线检测单元于预先规定的时间内持续检测到视线时，使所述选择对象移动到该视线的位置并显示所述选择对象。
15.一种非一时性的有形的存储介质，其使计算机作为如下单元发挥功能：
选择受理单元，其通过使用者用手进行的操作，受理显示单元所显示的要素中的至少一个的选择来作为选择要素；
视线检测单元，其检测所述使用者的视线所朝向的区域；以及
处理单元，其针对由所述选择受理单元选择出的所述选择要素或者由所述选择要素确定的处理对象，进行在使由所述选择受理单元选择出的所述选择要素移动到与由所述视线检测单元检测到的区域对应的区域的情况下进行的处理。
CN201811024784.6A 2017-09-04 2018-09-04 信息处理装置以及存储介质 Pending CN109426351A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-169617 2017-09-04
JP2017169617A JP2019046252A (ja) 2017-09-04 2017-09-04 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN109426351A true CN109426351A (zh) 2019-03-05

Family

ID=65514816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811024784.6A Pending CN109426351A (zh) 2017-09-04 2018-09-04 信息处理装置以及存储介质

Country Status (3)

Country Link
US (1) US20190073027A1 (zh)
JP (1) JP2019046252A (zh)
CN (1) CN109426351A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387493B2 (ja) 2020-03-06 2023-11-28 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099386A (ja) * 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN104076930A (zh) * 2014-07-22 2014-10-01 北京智谷睿拓技术服务有限公司 盲操作控制方法、装置和系统
US20150261295A1 (en) * 2014-03-17 2015-09-17 Samsung Electronics Co., Ltd. Method for processing input and electronic device thereof
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Ｎｔｔドコモ 端末及び制御方法
WO2016136837A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN106515583A (zh) * 2009-10-23 2017-03-22 宝马股份公司 驾驶者信息方法
CN107076999A (zh) * 2015-02-23 2017-08-18 国际商业机器公司 使用目光接触经由平视显示器进行对接

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545665B1 (ko) * 2016-07-20 2023-06-21 삼성전자주식회사 알림 정보 표시 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099386A (ja) * 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN106515583A (zh) * 2009-10-23 2017-03-22 宝马股份公司 驾驶者信息方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Ｎｔｔドコモ 端末及び制御方法
US20150261295A1 (en) * 2014-03-17 2015-09-17 Samsung Electronics Co., Ltd. Method for processing input and electronic device thereof
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN104076930A (zh) * 2014-07-22 2014-10-01 北京智谷睿拓技术服务有限公司 盲操作控制方法、装置和系统
CN107076999A (zh) * 2015-02-23 2017-08-18 国际商业机器公司 使用目光接触经由平视显示器进行对接
WO2016136837A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Also Published As

Publication number Publication date
JP2019046252A (ja) 2019-03-22
US20190073027A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
US10579246B2 (en) Information device and computer-readable storage medium for computer program
US20090315847A1 (en) Input apparatus having touch panel operation accepting method, and operation accepting program embodied on computer readable medium
US20120032988A1 (en) Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor
CN102689528B (zh) 图像形成装置、印刷设定装置以及印刷设定方法
JP2001209487A (ja) 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
CN104076974B (zh) 手势判别装置、手势判别方法
EP2799978B1 (en) Image processing system, image processing apparatus, portable information terminal, program
CN103631490B (zh) 进行对应于姿势操作的数据处理的数据处理装置以及方法
JP6115256B2 (ja) 画像表示制御装置、画像表示制御方法および画像表示制御プログラム
US9661165B2 (en) Image forming apparatus with playback mode, display method for an operation screen, and computer program
CN109756638B (zh) 信息处理装置和信息处理系统
CN102625015A (zh) 具有触摸面板的图像形成装置以及终端装置
JP2008259143A (ja) 画像送信装置
JP2018097580A (ja) 情報処理装置およびプログラム
CN105450892B (zh) 图像形成装置及画面操作方法
CN109426351A (zh) 信息处理装置以及存储介质
CN107066169A (zh) 图像处理装置及用于图像处理装置中的目的地设定方法
JP2014216846A (ja) 情報処理装置及びプログラム
JP6399371B1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN107370903A (zh) 电子仪器以及图像形成装置
CN105391888B (zh) 图像处理装置
CN103428396B (zh) 显示输入装置、显示输入方法以及图像形成装置
JP7163682B2 (ja) 情報処理装置及びプログラム
US10645250B2 (en) Image forming system, original document arrangement setting method and non transitory recording medium that records an original document arrangement setting program
JP5949418B2 (ja) 画像処理装置、設定方法および設定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305

WD01 Invention patent application deemed withdrawn after publication