CN108139813A - 视线输入装置、视线输入方法以及视线输入程序 - Google Patents

视线输入装置、视线输入方法以及视线输入程序 Download PDF

Info

Publication number
CN108139813A
CN108139813A CN201680061319.2A CN201680061319A CN108139813A CN 108139813 A CN108139813 A CN 108139813A CN 201680061319 A CN201680061319 A CN 201680061319A CN 108139813 A CN108139813 A CN 108139813A
Authority
CN
China
Prior art keywords
input
blinkpunkt
sight
specified position
input element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680061319.2A
Other languages
English (en)
Inventor
吉藤健太朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Limited By Share Ltd Of Gull Research Institute
Original Assignee
Limited By Share Ltd Of Gull Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Limited By Share Ltd Of Gull Research Institute filed Critical Limited By Share Ltd Of Gull Research Institute
Publication of CN108139813A publication Critical patent/CN108139813A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

为了辅助使用者对表现在显示图像或者声像中的输入要素的视线输入，检测使用者的注视点或者眼球转动运动，使输入要素向从检测出的注视点朝向显示画面或者声像中的规定位置的方向移动，或者，根据检测出的眼球转动运动来使输入要素移动，注视点离规定位置越远或者眼球转动运动的旋转角越大则使输入要素的移动速度越大，注视点越接近规定位置或者旋转角越小则使移动速度越接近零。

Description

视线输入装置、视线输入方法以及视线输入程序
技术领域
本发明涉及一种视线输入装置、视线输入方法以及视线输入程序。
背景技术
以往，针对由于肢体不便等原因而无法操作键盘、鼠标、触摸面板的人等，开发了利用视线来进行输入的视线输入方法。
例如，专利文献1公开了如下方法：获取输入操作者的眼球周边图像，检测输入操作者的视线方向，根据视线方向使光标指示在多个输入要素间移动，以检测到输入操作者的眨眼为触发来决定光标位置的输入要素。
另外，在专利文献2中，作为画面滚动法公开了如下方法：根据视线方向使画面整体向画面中央移动，在图表等到达画面中央附近的选择区域上的情况下，以检测到三秒以上的有意的眨眼为触发来进行应用程序的启动。
专利文献1：日本专利第5077879号公报
专利文献2：日本特开2005-100366号公报
发明内容
发明要解决的问题
然而，以往的视线输入方法存在难以按照使用者的意图来快速准确地进行定位这样的问题。
例如，在专利文献1的视线输入方法中，读取视线方向是右还是左，来在排列于画面上的输入要素中一个个依次地移动光标，从而与必须移动光标的输入要素的数量成比例地耗费时间。该专利文献1还记载了通过眨眼的次数、视线朝向同一方向的情况来加快光标的移动速度的方法，但是存在当要将已加速的光标定位到目标输入要素时容易导致误操作这样的问题。
同样地，专利文献2的视线输入方法也存在关于通过将视线朝向同一方向三秒以上来提高画面滚动速度的描述，但是存在如下问题：使用者必须在较低速的滚动下将视线维持固定时间，并且当要以已提高的滚动速度来定位到目标位置时容易导致误操作。
本发明是鉴于上述的问题而完成的，提供一种能够按照使用者的意图来快速准确地进行定位的视线输入装置、视线输入方法以及视线输入程序。
用于解决问题的方案
为了达成这种目的，本发明的视线输入装置辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入装置的特征在于，具备：检测单元，其检测所述使用者的注视点或者眼球转动运动；以及移动控制单元，其使所述输入要素向从由所述检测单元检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者，根据由所述检测单元检测出的眼球转动运动来使所述输入要素移动，其中，所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则所述移动控制单元使所述输入要素的移动速度越大，所述注视点越接近所述规定位置或者所述旋转角越小，则所述移动控制单元使所述移动速度越接近零。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，还具备输入决定单元，在满足规定的条件的情况下，该输入决定单元决定与所述规定位置附近的所述输入要素对应的输入。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，作为所述规定的条件，在处于以下状态中的至少一个状态的情况下，所述输入决定单元开始计数，在该状态持续了固定时间的情况下决定与该输入要素对应的输入：1)所述输入要素的代表点进入到包含所述规定位置的规定区域内的状态；2)所述输入要素的区域重叠于所述规定位置的状态；以及3)所述规定区域与所述输入要素的区域重叠的状态。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，所述移动控制单元，作为所述规定的条件，在包括手或手指、脚的动作、或者眼睑的开闭动作在内的身体的一部分有规定的动作的情况下，所述输入决定单元判定为满足所述规定的条件，决定与所述输入要素对应的输入。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，所述移动控制单元按以下方式中的任一种方式进行移动控制：1)使所述移动速度与所述注视点离所述规定位置的距离或者所述旋转角成比例地变大的方式；2)在所述1)的方式中，当所述距离或者所述旋转角超过规定的阈值时使比例常数变大的方式；以及3)使所述移动速度与所述距离或者所述旋转角的平方成比例地变大的方式。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，所述输入要素是与文字对应的要素，在所述显示画面中显示虚拟键盘。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，所述输入要素是与所述移动速度的设定、显示尺寸的设定、输入切换以及所述固定时间的设定中的至少一个有关的要素。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，具备输入决定单元，在满足规定的条件的情况下，该输入决定单元进行所述显示画面或者所述声像中的放大或者缩小。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，具备输入决定单元，在满足规定的条件的情况下，该输入决定单元执行规定的远程操作。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，即使在处于所述状态的情况下，如果所述注视点的速度为规定的阈值以上，或者所述注视点离所述规定位置的距离为规定的阈值以上，则所述输入决定单元也不开始计数。
另外，本发明的视线输入装置的特征在于，在上述的视线输入装置中，所述移动控制单元使所述输入要素向从根据由所述检测单元检测出的眼球转动运动来估计出的注视点朝向所述规定位置的方向移动。
另外，本发明的在计算机中执行的视线输入方法用于辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入方法包括以下步骤：检测步骤，检测所述使用者的注视点或者眼球转动运动；以及移动控制步骤，使所述输入要素向从在所述检测步骤中检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者根据在所述检测步骤中检测出的眼球转动运动来使所述输入要素移动，该视线输入方法的特征在于，在所述移动控制步骤中，所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则使所述输入要素的移动速度越大，所述注视点越接近所述规定位置或者所述旋转角越小，则使所述移动速度越接近零。
另外，本发明的视线输入程序用于使计算机执行视线输入方法，该视线输入方法用于辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入程序用于使计算机执行以下的视线输入方法，该视线输入方法的特征在于，包括以下步骤：检测步骤，检测所述使用者的注视点或者眼球转动运动；以及移动控制步骤，使所述输入要素向从在所述检测步骤中检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者根据在所述检测步骤中检测出的眼球转动运动来使所述输入要素移动，在所述移动控制步骤中，所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则使所述输入要素的移动速度越大，所述注视点越接近所述规定位置或者所述旋转角越小，则使所述移动速度越接近零。
发明的效果
根据本发明，起到能够按照使用者的意图来快速准确地进行定位这样的效果。特别是，注视点离规定位置越远则使输入要素的移动速度越大，当注视点接近规定位置时使移动速度接近零，因此在远离的情况下能够快速地接近定位点，在已接近的情况下能够降低速度来准确地进行定位，从而能够防止误操作且高速地进行定位。
附图说明
图1是表示本实施方式所涉及的视线输入装置100的结构的一个例子的框图。
图2是表示由显示控制部102a来显示的虚拟键盘的一个例子的图。
图3是示意性地表示显示部114的显示画面、注视点以及规定位置的位置关系和命令板的移动方向的图。
图4是横轴表示注视点离规定位置的距离、纵轴表示移动速度的曲线图。
图5是表示本实施方式中的视线输入处理的一个例子的流程图。
图6是在字符盘中表示原点坐标(图中的十字)和检测出的注视点坐标(图中的圆圈)的图。
图7是表示从计数开始起附近状态持续一段时间的情况下的显示画面例的图。
图8是表示计数达到固定时间的情况下的显示画面例的图。
图9是表示本实施方式中的视线输入处理的实施例的流程图。
具体实施方式
下面，基于附图来详细地说明本发明的本实施方式所涉及的视线输入装置、视线输入方法、视线输入程序以及记录介质的实施方式。此外，并非通过本实施方式来限定本发明。
[视线输入装置100的结构]
首先，以下说明本发明所涉及的本实施方式的视线输入装置的结构，然后详细地说明本实施方式的处理等。在此，图1是表示本实施方式所涉及的视线输入装置100的结构的一个例子的框图，概念性地只表示该结构中的与本实施方式有关的部分。
在图1中，视线输入装置100构成为概要地具备：CPU等控制部102，其总体地控制视线输入装置100的整体；通信控制接口部104，其与连接于通信线路等的路由器等通信装置(未图示)连接；输入输出控制接口部108，其与用于视线检测等的检测部112、显示部114连接；以及存储部106，其用于保存各种数据库、表等，这些各部经由任意的通信路径以能够通信的方式连接。
保存于存储部106的各种数据库、表(输入文件106a、设定文件106b等)是固定盘等存储单元，用于保存各种处理中使用的各种程序、表、文件、数据库、网页等。
其中，输入文件106a是用于存储所输入的文字等数据的输入数据存储单元。例如，输入文件106a也可以存储与通过视线输入进行了输入决定的文字输入要素对应的文字数据(文本数据等)。
另外，设定文件106b是用于存储所设定的各种设定信息的设定信息存储单元。例如，设定文件106b也可以存储移动速度的设定信息、显示尺寸的设定信息、输入切换信息(例如，是平假名输入还是字母输入的设定状态等)以及用于进行输入决定的计数时间(固定时间等)的设定信息等。
另外，在图1中，输入输出控制接口部108进行对视线检测等的检测部112、显示部114的控制。作为检测部112，能够使用通常的可见光用照相机、红外线照相机等摄像装置、公知的视线检测装置或注视点测量装置、公知的眼球运动检测装置或眼球运动测量装置、发光聚光装置等。作为一个例子，也可以将Tobii Technology公司产的眼动仪(EYETRACKER)、株式会社JIN公司产的MEME用作检测部112。另外，作为显示部114，能够使用监视器(包括家庭用电视机、PC用屏幕监视器等)等。在此，检测部112不限于进行视线检测、眼球运动检测，也可以检测手、手指、脚的动作、眼睑的开闭动作等身体的一部分的动作。例如，检测部112也可以通过照相机、红外线传感器等任意的检测单元来识别人物的动作。作为一个例子，检测部112也可以使用公知的姿势识别技术、公知的运动传感器等来检测使用者的动作。能够根据使用者在物理空间中的位置以及动作来获得姿势，姿势能够包括如手指、腕、脚的动作、或者静止姿势那样的使用者的动态或者静态的任意动作。作为本实施方式的一个例子，也可以在检测部112中由照相机那样的捕捉设备取入用户图像数据，根据该用户图像数据来识别使用者的姿势(一个或者多个)。更具体地说，检测部112也可以使用计算机环境来识别和分析在使用者的三维物理空间内由使用者进行的姿势，将解释出的使用者的动作数据、属性数据等或者解析前原始数据发送到视线输入装置100。作为一个例子，检测部112也可以识别指某个方向的动作、将手向某个方向推出的动作、向某个方向踢脚的动作、眼睑开闭的动作。
作为公知的运动识别单元的一个例子，也可以使用微软公司产Xbox One用运动传感器的Kinect传感器。根据Kinect技术，能够获得全身骨骼的骨骼动作数据、属性数据。此外，在公知的运动传感器中，使用传感器内置的控制单元来分析人物的动作、属性，或者由所连接的计算机的控制单元来分析人物的动作、属性，而本实施方式可以是任意方式，例如这些分析功能既可以由检测部112的控制单元(处理器等)来实现，也可以由空间音响生成装置100的控制单元(后述的声源计算部102b等)来实现，或者也可以由两者的控制单元来实现分析功能。除此之外，检测部112也可以还具备触摸板、触摸面板、麦克风等检测单元。另外，检测部112不限于直接检测人的身体，也可以如Facebook公司产Oculus Rift的Oculus Touch控制器那样通过检测使用者所穿戴的控制器、标识(例如二维码标签)等的动作来间接地检测身体的动作。此外，也可以对显示部114附加扬声器。在此，本发明也可以通过多个扬声器等的多通道输出进行声像输出，来取代显示部114的显示输出。此外，为了对输入决定的触发时间、缩放比例、成为规定位置的原点坐标、命令区域等进行初始设定，视线输入装置100也可以具备键盘、鼠标等输入单元，输入输出控制接口部108也可以进行输入单元的控制。
另外，在图1中，控制部102具有用于保存OS(Operating System：操作系统)等控制程序、规定了各种处理过程等的程序以及所需数据的内部存储器，根据这些程序等来进行用于执行各种处理的信息处理。控制部102功能概念上构成为具备显示控制部102a、注视点检测部102c以及输入决定部102d。
其中，显示控制部102a是进行显示部114的显示控制的显示控制单元。例如，显示控制部102a进行在显示部114的显示画面中显示输入要素的控制。作为一个例子，显示控制部102a也可以将与各文字对应的键显示为输入要素，并进行控制使得虚拟键盘显示在显示部114。在此，图2是表示通过显示控制部102a来显示的虚拟键盘的一个例子的图。
如图2所示，作为一个例子，显示控制部102a也可以显示由列和行构成的能够定制的字符盘来作为虚拟键盘。此外，斜线示出文字“9”的命令区域，表示能够通过后述的输入决定部102d的控制来进行文字选择的范围。此外，如图2所示，也可以通过在各文字键的中心显示红色等的点，对使用者而言容易引导视点。
在此，输入要素除了文字以外还可以是各种可选择要素。例如，也可以对图2的字符盘上的键分配用于设定后述的移动控制部102b中的移动速度、显示尺寸(缩放比例)、输入切换(字母输入/假名输入的切换等)、输入决定部102d中的输入决定的时间等的输入要素。除此之外，显示控制部102a也可以将快捷键、应用程序启动用图标、网站上的链接、图像显示用的缩略图等作为输入要素来显示。此外，这种输入要素、决定输入要素时的数据(图像数据、链接目的地数据等)也可以预先存储在存储部106的输入文件106a中，也可以经由网络300从外部系统200下载。此外，在本实施方式中，说明显示控制部102a进行显示输出的例子，但是本发明不限于此。例如，控制部102也可以控制来自扬声器等的声像输出来代替进行显示输出。例如，控制部102也可以控制扬声器来输出具有声音定向性的输入要素的声音(例如，“A”这样的声音)。
在此，如图1所示，显示控制部102a还具备移动控制部102b。移动控制部102b是基于由注视点检测部102c检测出的注视点、眼球转动运动来使输入要素等移动的移动控制单元。例如，移动控制部102b也可以使输入要素等向从由注视点检测部102c检测出的注视点朝向显示画面上的规定位置的方向移动。另外，作为其它例子，移动控制部102b也可以使输入要素向从根据由注视点检测部102c检测出的眼球转动运动来估计出的注视点朝向规定位置的方向移动。此外，被移动的对象不限于显示要素，也可以使与声音从哪个方向来这样的识别有关的声像移动。在此，移动控制部102b也可以进行如下移动控制：注视点离规定位置越远则使输入要素等的移动速度越大，注视点越接近规定位置则使移动速度越接近零。同样地，移动控制部102b也可以如下：眼球转动运动的旋转角越大则使输入要素的移动速度越大，旋转角越小则使移动速度越接近零。此外，移动控制部102b除了使输入要素移动以外也可以使输入要素的背景图像、包含输入要素的小画面、或者显示画面整体与输入要素一起移动。
在此，图3是示意性地表示显示部114的显示画面、注视点以及规定位置的位置关系和命令板的移动方向的图。图中的十字标记表示规定位置，在本例子中配置于显示画面的中央。另外，图中的圆圈表示由注视点检测部102c检测出的注视点的位置。此外，表示规定位置、注视点的标记既可以由显示控制部102a来显示出，也可以不显示。
如图3的箭头所示，移动控制部102b进行如下移动控制：使输入要素等向从由注视点检测部102c检测出的注视点朝向显示画面上的规定位置的方向移动。在此，图中的箭头向量的朝向表示从注视点朝向规定位置的方向。此外，该箭头是为了方便说明移动方向而表示的，通常不显示在显示画面上。另外，图中的方格图案示出包含多个命令区域的命令板。即，该命令板与上述的图2的虚拟键盘的一部分对应。在该图中，示出与16个文字的键相当的字符盘。而且，通过移动控制部102b的控制来进行该命令板的移动控制，这与进行上述的虚拟键盘整体的移动控制相当。在该图中，在移动控制部102b的控制下向箭头的方向移动，由此出现未被显示的命令区域。
图3的箭头的长度表示从由注视点检测部102c检测出的注视点至规定位置的距离，如上所述，移动控制部102b进行如下移动控制：该距离越大则使输入要素等的移动速度越大，该距离越小则使移动速度越接近零。在此，图4是横轴表示注视点离规定位置的距离、纵轴表示移动速度的曲线图。
作为一个例子，如图4的曲线A(比例直线)所示，移动控制部102b也可以进行如下移动控制：移动速度与注视点离规定位置(显示画面的中心点、原点等)的距离成比例地变大。另外，作为其它例子，如曲线B(多段比例直线)所示，移动控制部102b也可以进行如下移动控制：对距离设置阈值(图中的虚线)，当距离超过规定的阈值时比例常数变大。另外，如曲线C(二次函数)所示，移动控制部102b也可以进行如下移动控制：移动速度与距离的平方成比例地变大。
以上，如作为一例示出曲线A～C那样，移动控制部102b使得当距离变短时根据该距离来降低使字符盘等命令板滑动的移动速度。由此，在远离规定位置的情况下能够快速地接近定位点(规定位置)，并且在接近规定位置的情况下能够降低移动速度来准确地进行定位，因此能够实现高速且误操作少的定位。此外，只要距离与移动速度的函数是当注视点接近规定位置时移动速度接近零的函数即可，不限于上述A～C的一次函数、二次函数。例如也可以是指数函数、四次函数、三角函数等。另外，上述说明了距离与移动速度的关系，而关于眼球的旋转角度与移动速度，通过将“距离”替换为“旋转角”也能够同样地适用。此外，旋转角也可以是将规定位置的方向设为0°而与视线方向之间的角度。
再次返回到图1，注视点检测部102c是借助检测部112来检测使用者的注视点或者眼球转动运动的注视点检测单元。在此，注视点检测部102c不限于利用检测部112的功能来直接地检测注视点或者眼球的旋转角，也可以控制照相机等摄像单元等检测部112并以公知的方法根据使用者的眼球附近的图像来计算注视点、旋转角。此外，也可以是控制部102c的一部分功能与检测部112一体化来构成注视点检测单元，也可以是控制部102c或者检测部112单独地构成为注视点检测单元。注视点的检测也可以使用公知的注视点检测单元、公知的注视点计算方法。另外，注视点检测部102c也可以控制检测部112来检测视线并计算检测出的视线与显示部114的显示画面平面的交点来作为注视点。
并且，注视点检测部102c也可以控制检测部112来检测眼球运动、眼球位置或者眼球状态并根据检测出的眼球运动、眼球位置、眼球状态来导出视线、注视点、旋转角。另外，在此，注视点检测部102c也可以控制检测部112来拍摄人物的眼球并根据拍摄到的眼球与瞳孔的位置来导出视线、旋转角。例如，也可以是，以图像中的不动的部分为基准点，以移动的部分为移动点，注视点检测部102c基于移动点相对于基准点的位置来检测视线。在此，作为公知的视线检测方法，存在将基准点设为内眼角、将移动点设为虹膜并根据位置关系来判别视线的方法、将基准点设为角膜反射、将移动点设为瞳孔并根据通过红外线照射的角膜反射所得到的位置关系来判别视线的方法等。
另外，如图1所示，输入决定部102d是在规定的条件下决定输入的输入决定单元。例如，也可以是，在输入要素处于规定位置附近固定时间的情况下，输入决定部102d决定与该输入要素对应的输入。在此，作为输入要素处于规定位置的附近的例子，也可以是以下状态中的任一个：1)输入要素的代表点进入到包含规定位置的规定区域内的状态；2)输入要素的区域重叠于规定位置的状态；以及3)规定区域与输入要素的区域重叠的状态。即，也可以是，在成为上述的任一个附近状态的情况下，输入决定部102d开始计数，只要该附近状态持续就持续计数，当达到规定的固定时间时，输入决定部102d决定该输入要素所涉及的输入。这样，输入决定部102d也可以将以下情况中的任一个情况作为输入决定的触发：1)输入要素的代表点进入到包含规定位置的规定区域内固定时间的情况；2)输入要素的区域重叠于规定位置固定时间的情况；以及3)规定区域与输入要素的区域重叠固定时间的情况。在此，也可以是，即使在处于规定的状态的情况下，如果注视点的速度为规定的阈值以上、注视点离规定位置的距离为规定的阈值以上，则输入决定部102d也不开始计数。由此，能够避免意图之外的输入开始动作。
在此，输入的决定不限于决定文字等的输入，也包括决定地图等的放大/缩小、滚动等的输入。例如，输入决定部102d也可以进行如下输入的决定：在满足规定的条件的情况下进行显示画面或者声像中的放大或缩小。并且，不限于上述，输入决定部102d也可以进行远程操作的输入决定。例如，输入决定部102d也可以在满足规定的条件的情况下，经由网络300来决定机器人等外部装置200的远程操作。
另外，在图1中，通信控制接口部104进行视线输入装置100与网络300(或者路由器等通信装置)之间的通信控制。即，通信控制接口部104具有经由通信线路(不论有线或无线)来与其它终端(外部装置200等)进行数据通信的功能。
即，视线输入装置100也可以构成为经由网络300来与外部系统200以能够通信的方式连接，该外部系统200提供与网页、图像数据等输入要素、输入数据有关的外部数据库、视线输入处理程序等外部程序等。该视线输入装置100也可以经由路由器等通信装置以及专用线路等有线或者无线的通信线路与网络300以能够通信的方式连接。
在此，在图1中，网络300具有将视线输入装置100与外部系统200相互连接的功能，例如是因特网等。
另外，在图1中，外部系统200经由网络300与视线输入装置100相互连接，具有向使用者提供与图像数据有关的外部数据库、用于执行视线输入程序等外部程序等的网站的功能。
在此，外部系统200也可以构成为WEB服务器、ASP服务器等，关于其硬件结构，也可以由一般市售的工作站、个人计算机等信息处理装置及其附属装置来构成。另外，外部系统200的各功能由外部系统200的硬件结构中的CPU、硬盘装置、存储器装置、输入装置、输出装置、通信控制装置等以及用于控制它们的程序等来实现。
[视线输入处理]
接着，下面参照图5来详细地说明由这样构成的本实施方式中的视线输入装置100执行的视线输入处理的一个例子。图5是表示本实施方式中的视线输入处理的一个例子的流程图。此外，以如下情况为前提：预先通过显示控制部102a的处理而在显示部114的显示画面中显示有输入要素等。
如图5所示，首先，注视点检测部102c借助检测部112来检测使用者的注视点(步骤SA-1)。更具体地说，注视点检测部102c经由输入输出控制接口部108来控制检测部112，由此检测正在观看显示部114的显示画面的使用者的视线、注视点。例如，注视点检测部102c也可以基于借助照相机等检测部112来获取到的眼球周边图像，来导出眼球上的基准点和移动点并计算视线，根据视线与显示画面的位置关系来检测注视点。除此之外，注视点检测部102c也可以使用公知的注视点检测单元、视线检测单元来检测注视点。
接着，移动控制部102b基于由注视点检测部102c检测出的注视点与显示画面上的规定位置(画面中心等原点坐标等)的位置关系来决定包含多个输入要素的字符盘(命令板的一个例子)的移动方向和移动速度(步骤SA-2)。在此，图6是表示在字符盘中原点坐标(图中的十字标记)和检测出的注视点坐标(图中的大的圆圈)的图。
如图6所示，希望的是，作为规定位置的原点坐标设定于显示部114的画面的中心等使用者的视线容易配置的位置、容易放置注视点的位置等。此外，也可以在图的上部设置用于显示已被输入决定的文字的区域。在图6中，移动控制部102b将从注视点朝向原点坐标的方向(朝向图的大致左方)决定为移动方向。另外，移动控制部102b决定与注视点离原点坐标的距离相应的移动速度。例如，移动控制部102b也可以将距离带入使用图4来上述那样的规定的函数(一时函数、二次函数)，由此计算移动速度。
再次返回到图5，移动控制部102b使包含多个输入要素的命令板(例如字符盘)以基于注视点来决定的移动方向和移动速度进行移动(步骤SA-3)。
然后，输入决定部102d判定是否有任意的输入要素处于原点坐标的附近(步骤SA-4)。例如，也可以是，在以下的任一个情况下，输入决定部102d判定为处于附近状态。
1)输入要素的代表点进入到包含原点坐标的矩形区域内的状态；
2)输入要素的命令区域重叠于原点坐标的状态；以及
3)包含原点坐标的矩形区域与输入要素的命令区域重叠的状态。
在没有输入要素处于原点坐标的附近的情况下(步骤SA-4：“否”)，输入决定部102d将计数复位(步骤SA-6)，并使处理返回到步骤SA-1。即，视线输入装置100重复进行上述的步骤SA-1～SA-6的处理。
另一方面，在任意的输入要素处于原点坐标的附近的情况下(步骤SA-4：“是”)，输入决定部102d开始进行输入决定触发的计数(步骤SA-5)。此外，在已经开始计数的情况下，输入决定部102d使计数持续。在上述的图6中，原点坐标进入到文字“Y”的命令区域内，因此计数变为激活(图中灰色)。在此，图7是表示原点坐标进入到文字“R”的命令区域内从而开始计数起附近状态持续一段时间的情况下的显示画面例的图。
在该例子中，在处于上述状态2)的输入要素的命令区域重叠于原点坐标的状态、且注视点也处于相同的命令区域内的情况下，持续进行计数。如图7所示，当开始计数时，显示控制部102a显示圆弧沿着圆周延伸的计时器，来向使用者以视觉方式反馈是输入要素的选择状态。此外，在该例子中，使圆弧转一圈后连接的时间与输入决定触发的固定时间一致。因此，使用者能够根据计时器显示来掌握到输入决定(命令执行等)为止的剩余时间。
再次返回到图5，输入决定部102d判定计数是否达到输入决定触发的固定时间(步骤SA-7)。在没有达到固定时间的情况下(步骤SA-7：“否”)，处理返回到步骤SA-1，视线输入装置100重复进行上述的步骤SA-1～SA-7的处理。
另一方面，在计数达到输入决定触发的固定时间的情况下(步骤SA-7：“是”)，输入决定部102d决定该输入要素所涉及的输入，将输入数据保存到输入文件106a(步骤SA-8)。在此，图8是表示计数达到固定时间的情况下的显示画面例的图。如图8所示，原点坐标和注视点在文字“F”的输入要素的命令区域内停留了固定时间，因此执行“F”的输入命令，在上部的输入文字显示区域输入了“F”的文字。此外，显示控制部102a也可以将该输入要素的命令区域从选择状态的颜色(例如红色)变更为输入决定状态的颜色(例如蓝色)，以表示输入要素从选择状态变为输入决定状态。显示控制部102a也可以不限于颜色、而是通过斜线等强调显示、声音等的差异来将选择状态和输入决定状态容易理解地反馈给使用者。
以上是本实施方式所涉及的视线输入处理的一个例子。此外，也可以是，在进行了一个输入要素的输入决定之后，视线输入装置100使处理返回到步骤SA-1来重复进行上述的处理，由此控制为能够连续地对输入要素进行视线输入。
[视线输入处理的实施例]
接着，作为其它具体例，下面参照图9来详细地说明由视线输入装置100执行的视线输入处理的实施例。图9是表示本实施方式中的视线输入处理的实施例的流程图。
如图9所示，首先，控制部102对用于输入决定的鼠标悬停时间、显示的缩放比例、原点坐标、命令区域等的设定进行初始定义(步骤SB-1)。此外，控制部102不限于借助检测部112令使用者进行初始设定，也可以借助键盘、鼠标等输入单元令使用者进行初始设定。此外，控制部102也可以执行注视点检测部102c的注视点检测的校准(校正)。控制部102将这些设定信息保存到设定文件106b，并用于各种处理。
然后，控制部102开始执行以下的SB-2～SB-12的循环处理(步骤SB-2)。
在循环处理中，首先，注视点检测部102c基于借助检测部112检测出的使用者的视线来计算位于该视线的前端的注视点的坐标(步骤SB-3)。
然后，移动控制部102b基于由注视点检测部102c计算出的注视点坐标与原点坐标的距离和角度来计算使字符盘命令板滑动的方向和速度(步骤SB-4)。
然后，移动控制部102b基于计算出的滑动方向和速度来更新字符盘命令板的坐标(步骤SB-5)。
然后，输入决定部102d判定原点坐标和注视点坐标这两方是否进入到任意的命令区域内(步骤SB-6)。
在原点坐标和注视点坐标这两方没有进入到任何命令区域的情况下(步骤SB-6：“否”)，控制部102将计时复位(步骤SB-7)，开始新的循环处理(步骤SB-12)。
另一方面，在原点坐标和注视点坐标这两方进入到任一个命令区域的情况下(步骤SB-6：“是”)，输入决定部102d进行计时(步骤SB-8)。
然后，输入决定部102d判定计时是否超过初始定义的鼠标悬停时间(步骤SB-9)。在没有超过鼠标悬停时间的情况下(步骤SB-9：“否”)，开始新的循环处理(步骤SB-12)。
另一方面，在计时超过了初始定义的鼠标悬停时间的情况下(步骤SB-9：“是”)，输入决定部102d执行与命令区域对应的相应命令(步骤SB-10)。
然后，输入决定部102d将计时复位(步骤SB-11)，开始新的循环处理(步骤SB-12)。在此，输入决定部102d也可以代替将计时复位，而是对相应命令设定标志并将标志信息记录到设定文件106b，以避免连续地输入相同的命令。
以上是本实施方式所涉及的视线输入处理的实施例。通过以上，结束本实施方式的说明。
[其它实施方式]
那么，目前为止说明了本发明的实施方式，但是本发明除了上述的实施方式以外也可以在权利要求书所记载的技术思想范围内以各种不同的实施方式来实施。
例如，说明了视线输入装置100以独立的方式进行处理的情况，但是视线输入装置100也可以构成为根据来自客户端终端(外部装置200等)的请求进行处理并将其处理结果返回给该客户端终端。
另外，检测处理不限于以上的说明，也可以使用公知的视点检测单元来执行。例如也可以如下地控制：根据双眼的会聚角信息和视线位置信息来计算与对象的距离和方向，由此获取相对位置，更准确地测量注视点。另外，也可以使用对人的脸部的图像施以各种图像处理来检测眼球部分和眼白部分等的位置从而计算视线方向的公知方法，还可以使用通过给操作者穿戴护目镜、头盔之类的专用器具来更准确地检测眼球的动作的公知方法。
另外，也可以利用眼球内部的反射来通过检测装置直接测量视线方向。即，当光等电磁波从视线方向入射时，被眼球的视网膜反射并向视线方向(入射方向的反方向)反射后到达检测装置等。但是，由于即使光等从视线方向以外的方向入射也不会通过眼球的直径，因此光等也不会向入射方向的反方向反射。也可以利用该性质，将电磁波等发生装置与检测装置进行组合来检测反射到与电磁波等发生位置同位置的电磁波等，由此检测视线或者视点。另外，也可以任意地组合上述这些处理、装置来构成注视点检测部102c。
另外，在实施方式中说明过的各处理中，作为自动进行的处理来进行了说明的处理的全部或者一部分也能够手动地进行，或者作为手动进行的处理来进行了说明的处理的全部或者一部分也能够用公知的方法来自动地进行。
除此之外，关于上述文献中、附图中示出的处理过程、控制过程、具体名称、各处理的登记数据、检索条件等包含参数的信息、画面例、数据库结构，除了特别提到的情况以外能够任意地变更。
另外，关于视线输入装置100，图示的各结构要素是功能概念上的，物理上未必需要如图所示地构成。
例如，关于视线输入装置100的各装置所具备的处理功能、特别是由控制部102进行的各处理功能，其全部或者任意的一部分既可以通过CPU(Central Processing Unit：中央处理单元)和被该CPU解释执行的程序来实现，另外也可以作为基于布线逻辑的硬件来实现。此外，程序包含后述的、用于使计算机执行本发明所涉及的方法的程序化的命令，被记录于非暂时性的计算机可读取的记录介质中，根据需要以机械方式读取到视线输入装置100。即，在ROM或者HDD(Hard Disk Drive：硬盘驱动器)等存储部106等中记录有用于与OS(Operating System：操作系统)协同地向CPU提供命令来进行各种处理的计算机程序。该计算机程序通过被加载到RAM来执行，与CPU协同来构成控制部。
另外，该计算机程序也可以存储在经由任意的网络300来与视线输入装置100等连接的应用程序服务器中，也能够根据需要来下载其全部或者一部分。
另外，本发明所涉及的程序也可以保存在计算机可读取的记录介质中，另外也能够构成为程序产品。在此，设该“记录介质”包括存储卡、USB存储器、SD卡、软盘、磁光盘、ROM、EPROM、EEPROM、CD-ROM、MO、DVD以及Blu-ray(注册商标)Disc等任意的“可移动的物理介质”。
另外，“程序”是以任意的语言、描述方法来描述的数据处理方法，不限定源代码、二进制代码等形式。此外，“程序”不限于必须单一地构成，也包括分布式地构成为多个模块或库、与以OS(Operating System：操作系统)为代表的其它程序协同地达成其功能。此外，关于在实施方式所示的各装置中用于读取记录介质的具体结构、读取过程、或者读取后的安装过程等，能够使用众所周知的结构、过程。也可以将程序作为记录于非暂时性的计算机可读取的记录介质中的程序产品来构成本发明。
保存于存储部106的各种数据库等(输入文件106a、设定文件106b等)是RAM、ROM等存储器装置、硬盘等固定盘装置、软盘以及光盘等存储单元，保存用于提供各种处理、网站的各种程序、表、数据库以及网页用文件等。
另外，视线输入装置100既可以构成为已知的个人计算机、工作站等信息处理装置，另外也可以构成为对该信息处理装置连接任意的周边装置。另外，视线输入装置100也可以通过在该信息处理装置中安装用于实现本发明的方法的软件(包括程序、数据等)来实现。
并且，装置的分布/集中的具体方式不限于图示的方式，能够构成为将其全部或者一部分根据各种附加等或者功能负荷以任意单位来功能性地或者物理性地进行分布/集中。即，也可以任意地组合上述实施方式来实施，还可以选择性地实施上述实施方式。
产业上的可利用性
如以上详细说明的那样，根据本发明，能够提供一种能够按照使用者的意图来快速准确地进行定位的视线输入装置、视线输入方法以及视线输入程序。
附图标记说明
100：视线输入装置；102：控制部；102a：显示控制部；102b：移动控制部；102c：注视点检测部；102d：输入决定部；104：通信控制接口部；106：存储部；106a：输入文件；106b：设定文件；108：输入输出控制接口部；112：检测部；114：显示部；200：外部装置；300：网络。

Claims (13)

1.一种视线输入装置，辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入装置的特征在于，具备：
检测单元，其检测所述使用者的注视点或者眼球转动运动；以及
移动控制单元，其使所述输入要素向从由所述检测单元检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者，根据由所述检测单元检测出的眼球转动运动来使所述输入要素移动，
其中，所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则所述移动控制单元使所述输入要素的移动速度越大，
所述注视点越接近所述规定位置或者所述旋转角越小，则所述移动控制单元使所述移动速度越接近零。
2.根据权利要求1所述的视线输入装置，其特征在于，
还具备输入决定单元，在满足规定的条件的情况下，该输入决定单元决定与所述规定位置附近的所述输入要素对应的输入。
3.根据权利要求2所述的视线输入装置，其特征在于，
作为所述规定的条件，在处于以下状态中的至少一个状态的情况下，所述输入决定单元开始计数，在该状态持续了固定时间的情况下决定与该输入要素对应的输入：
1)所述输入要素的代表点进入到包含所述规定位置的规定区域内的状态；
2)所述输入要素的区域重叠于所述规定位置的状态；以及
3)所述规定区域与所述输入要素的区域重叠的状态。
4.根据权利要求2或3所述的视线输入装置，其特征在于，
所述移动控制单元，
作为所述规定的条件，在包括手或手指、脚的动作、或者眼睑的开闭动作在内的身体的一部分有规定的动作的情况下，所述输入决定单元判定为满足所述规定的条件，决定与所述输入要素对应的输入。
5.根据权利要求1～4中的任一项所述的视线输入装置，其特征在于，
所述移动控制单元按以下方式中的任一种方式进行移动控制：
1)使所述移动速度与所述注视点离所述规定位置的距离或者所述旋转角成比例地变大的方式；
2)在所述1)的方式中，当所述距离或者所述旋转角超过规定的阈值时使比例常数变大的方式；以及
3)使所述移动速度与所述距离或者所述旋转角的平方成比例地变大的方式。
6.根据权利要求1～5中的任一项所述的视线输入装置，其特征在于，
所述输入要素是与文字对应的要素，在所述显示画面中显示虚拟键盘。
7.根据权利要求1～6中的任一项所述的视线输入装置，其特征在于，
所述输入要素是与所述移动速度的设定、显示尺寸的设定、输入切换以及所述固定时间的设定中的至少一个有关的要素。
8.根据权利要求1～7中的任一项所述的视线输入装置，其特征在于，
具备输入决定单元，在满足规定的条件的情况下，该输入决定单元进行所述显示画面或者所述声像中的放大或者缩小。
9.根据权利要求1～8中的任一项所述的视线输入装置，其特征在于，
具备输入决定单元，在满足规定的条件的情况下，该输入决定单元执行规定的远程操作。
10.根据权利要求3所述的视线输入装置，其特征在于，
即使在处于所述状态的情况下，如果所述注视点的速度为规定的阈值以上，或者所述注视点离所述规定位置的距离为规定的阈值以上，则所述输入决定单元也不开始计数。
11.根据权利要求1～10中的任一项所述的视线输入装置，其特征在于，
所述移动控制单元使所述输入要素向从根据由所述检测单元检测出的眼球转动运动来估计出的注视点朝向所述规定位置的方向移动。
12.一种在计算机中执行的视线输入方法，用于辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入方法包括以下步骤：
检测步骤，检测所述使用者的注视点或者眼球转动运动；以及
移动控制步骤，使所述输入要素向从在所述检测步骤中检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者根据在所述检测步骤中检测出的眼球转动运动来使所述输入要素移动，
该视线输入方法的特征在于，
在所述移动控制步骤中，
所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则使所述输入要素的移动速度越大，
所述注视点越接近所述规定位置或者所述旋转角越小，则使所述移动速度越接近零。
13.一种用于使计算机执行视线输入方法的视线输入程序，该视线输入方法用于辅助使用者对表现在显示画面或者声像中的输入要素的视线输入，该视线输入程序的特征在于，所述视线输入方法包括以下步骤：
检测步骤，检测所述使用者的注视点或者眼球转动运动；以及
移动控制步骤，使所述输入要素向从在所述检测步骤中检测出的所述注视点朝向所述显示画面或者所述声像中的规定位置的方向移动，或者根据在所述检测步骤中检测出的眼球转动运动来使所述输入要素移动，
在所述移动控制步骤中，
所述注视点离所述规定位置越远或者所述眼球转动运动的旋转角越大，则使所述输入要素的移动速度越大，
所述注视点越接近所述规定位置或者所述旋转角越小，则使所述移动速度越接近零。
CN201680061319.2A 2015-10-19 2016-10-19 视线输入装置、视线输入方法以及视线输入程序 Pending CN108139813A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015205946 2015-10-19
JP2015-205946 2015-10-19
PCT/JP2016/081025 WO2017069176A1 (ja) 2015-10-19 2016-10-19 視線入力装置、視線入力方法、および、視線入力プログラム

Publications (1)

Publication Number Publication Date
CN108139813A true CN108139813A (zh) 2018-06-08

Family

ID=58557156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061319.2A Pending CN108139813A (zh) 2015-10-19 2016-10-19 视线输入装置、视线输入方法以及视线输入程序

Country Status (8)

Country Link
US (1) US10678329B2 (zh)
EP (1) EP3367214A4 (zh)
JP (2) JP6371475B2 (zh)
KR (1) KR20180053402A (zh)
CN (1) CN108139813A (zh)
HK (1) HK1249226A1 (zh)
TW (2) TW201941022A (zh)
WO (1) WO2017069176A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176434A (zh) * 2018-11-13 2020-05-19 本田技研工业株式会社 视线检测装置、计算机可读存储介质以及视线检测方法
CN114821180A (zh) * 2022-05-06 2022-07-29 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
JP6960249B2 (ja) * 2017-05-31 2021-11-05 Ｌｉｎｅ株式会社 プログラム、表示方法および情報処理端末
JP7092981B2 (ja) * 2017-10-20 2022-06-29 富士通株式会社 移動体制御プログラム、移動体制御方法および情報処理装置
JP6715483B2 (ja) * 2018-02-27 2020-07-01 株式会社オレンジアーチ シンボル選択装置及びシンボル選択装置用のプログラム
JP6712813B2 (ja) * 2018-02-27 2020-06-24 学校法人光産業創成大学院大学 シンボル選択装置及びシンボル選択装置用のプログラム
US10939033B2 (en) * 2018-03-19 2021-03-02 Facebook Technologies, Llc Systems and methods for directing adaptive camera systems
JP7115737B2 (ja) * 2018-06-07 2022-08-09 株式会社オリィ研究所 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム
CN109389069B (zh) * 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
JPWO2020100422A1 (ja) * 2018-11-12 2021-10-14 ソニーグループ株式会社 表示装置、および表示制御方法、並びにプログラム
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
KR102372265B1 (ko) * 2019-06-05 2022-03-10 한국전자기술연구원 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치
TWI798956B (zh) * 2021-11-24 2023-04-11 廣達電腦股份有限公司 眼球追蹤裝置以及眼球追蹤方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20120272179A1 (en) * 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
US20130321270A1 (en) * 2004-06-18 2013-12-05 Tobii Technology Ab Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking
US20140375544A1 (en) * 2013-06-25 2014-12-25 Morgan Kolya Venable User interface navigation
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2957977B2 (ja) 1997-10-30 1999-10-06 三洋電機株式会社 ビデオカメラ
CN1285994C (zh) * 2004-06-11 2006-11-22 上海大学 人机交互方法及装置
JP5077879B2 (ja) 2007-08-29 2012-11-21 国立大学法人佐賀大学 視線入力装置、視線入力方法、及び、視線入力プログラム
JP5204781B2 (ja) * 2008-05-20 2013-06-05 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN102169348B (zh) * 2011-01-22 2012-07-04 浙江大学 用视线控制服务机器人的方法
JP2014123179A (ja) * 2012-12-20 2014-07-03 Fujitsu Ltd 情報処理装置、情報処理方法、見落し防止プログラム
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
EP3108338A1 (en) * 2014-02-21 2016-12-28 Drnc Holdings, Inc. Methods for facilitating entry of user input into computing devices
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20130321270A1 (en) * 2004-06-18 2013-12-05 Tobii Technology Ab Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US20120272179A1 (en) * 2011-04-21 2012-10-25 Sony Computer Entertainment Inc. Gaze-Assisted Computer Interface
US20140375544A1 (en) * 2013-06-25 2014-12-25 Morgan Kolya Venable User interface navigation
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176434A (zh) * 2018-11-13 2020-05-19 本田技研工业株式会社 视线检测装置、计算机可读存储介质以及视线检测方法
CN114821180A (zh) * 2022-05-06 2022-07-29 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法
CN114821180B (zh) * 2022-05-06 2022-12-06 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Also Published As

Publication number Publication date
US20180239426A1 (en) 2018-08-23
TW201941022A (zh) 2019-10-16
WO2017069176A1 (ja) 2017-04-27
US10678329B2 (en) 2020-06-09
TWI670625B (zh) 2019-09-01
TW201719335A (zh) 2017-06-01
KR20180053402A (ko) 2018-05-21
HK1249226A1 (zh) 2018-10-26
JP6371475B2 (ja) 2018-08-08
EP3367214A1 (en) 2018-08-29
JPWO2017069176A1 (ja) 2017-10-19
EP3367214A4 (en) 2019-04-17
JP2018195323A (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
CN108139813A (zh) 视线输入装置、视线输入方法以及视线输入程序
US9746934B2 (en) Navigation approaches for multi-dimensional input
US20180314329A1 (en) Gaze detection in a 3D mapping environment
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US9213436B2 (en) Fingertip location for gesture input
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
US20150370336A1 (en) Device Interaction with Spatially Aware Gestures
US9400575B1 (en) Finger detection for element selection
US9547420B1 (en) Spatial approaches to text suggestion
JP2016148897A (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US11017258B2 (en) Alignment of user input on a screen
JP6679083B2 (ja) 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム
US9898183B1 (en) Motions for object rendering and selection
JP2016148896A (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
KR102325684B1 (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
JP6256545B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
US20190339864A1 (en) Information processing system, information processing method, and program
Bilal et al. Design a Real-Time Eye Tracker
JP2019134880A (ja) プログラム及びゲーム装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1249226

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication