CN112219179A - 视线输入装置、视线输入方法、视线输入程序以及视线输入系统 - Google Patents

视线输入装置、视线输入方法、视线输入程序以及视线输入系统 Download PDF

Info

Publication number
CN112219179A
CN112219179A CN201980036881.3A CN201980036881A CN112219179A CN 112219179 A CN112219179 A CN 112219179A CN 201980036881 A CN201980036881 A CN 201980036881A CN 112219179 A CN112219179 A CN 112219179A
Authority
CN
China
Prior art keywords
sight
line
input
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980036881.3A
Other languages
English (en)
Inventor
吉藤健太朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orylab Inc
Original Assignee
Orylab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orylab Inc filed Critical Orylab Inc
Publication of CN112219179A publication Critical patent/CN112219179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明能够减轻进行视线输入时的用户的负担。本发明的一个实施方式所涉及的视线输入装置(1)具有：视线确定部(111)，其确定用户的视线；基准设定部(113)，其将在用户正在看被固定于用户的头部的显示部中的基准位置时由视线确定部(111)确定的视线作为基准视线存储到存储部；显示控制部(112)，其使显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于基准视线与由视线确定部(111)确定的视线之间的关系，在整体区域中变更一部分区域；以及输入受理部(114)，其受理位于一部分区域内的包括基准位置的规定区域的输入要素的输入。

Description

视线输入装置、视线输入方法、视线输入程序以及视线输入 系统
技术领域
本发明涉及一种基于用户的视线来受理输入的视线输入装置、视线输入方法、视线输入程序以及视线输入系统。
背景技术
以往，为了因身体不便等原因而难以使用手脚进行操作的用户，开发了一种使用用户的视线进行输入的视线输入系统。在专利文献1中记载了如下一种系统：基于用户的眼睛的图像来检测视线的移动，并执行与视线的移动对应的操作。
现有技术文献
专利文献
专利文献1：日本特开2018-18449号公报
发明内容
发明要解决的问题
专利文献1中记载的系统在检测视线的移动之前，进行用于通过使用户依次注视画面上显示的九个点来确定视线的位置与画面的位置的关系的校准。这样的校准存在以下问题：对于用户来说，依次注视多个点的负担大。
本发明是鉴于这些方面而完成的，其目的在于提供一种能够减轻进行视线输入时的用户的负担的视线输入装置、视线输入方法、视线输入程序以及视线输入系统。
用于解决问题的方案
本发明的第一方式所涉及的视线输入装置具有：视线确定部，其确定用户的视线；基准设定部，其将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时由所述视线确定部确定的所述视线作为基准视线存储到存储部；显示控制部，其使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与由所述视线确定部确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及输入受理部，其受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
也可以是，所述显示控制部使一部分区域在所述整体区域中沿从所述基准视线朝向由所述视线确定部确定的所述视线的方向移动。
也可以是，所述显示控制部基于所述基准视线与由所述视线确定部确定的所述视线之间的差，来使所述一部分区域的移动速度变化。
也可以是，在所述基准视线与由所述视线确定部确定的所述视线之间的差为规定值以下的情况下，所述显示控制部使所述一部分区域的移动停止。
也可以是，所述输入受理部将位于所述规定区域的时间为规定时间以上的所述输入要素作为所述用户的输入来受理。
也可以是，在所述显示控制部使所述显示部显示了用于促使所述用户注视所述显示部中的规定的一点的信息之后，所述基准设定部设定所述基准视线。
也可以是，所述基准设定部根据由所述用户操作的操作装置的操作，来设定所述基准视线。
也可以是，所述显示控制部在所述输入受理部受理所述用户的输入的期间，使所述显示部显示所述一部分区域，在所述输入受理部不受理所述用户的输入的期间，不使所述显示部显示所述一部分区域。
也可以是，所述显示控制部在所述输入受理部受理所述用户的输入的期间将所述显示部切换为不使光透过的状态，在所述输入受理部不受理所述用户的输入的期间将所述显示部切换为使光透过的状态。
本发明的第二方式所涉及的视线输入方法用于使处理器执行以下步骤：确定步骤，确定用户的视线；将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时通过所述确定步骤确定的所述视线作为基准视线存储到存储部；使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与通过所述确定步骤确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
本发明的第三方式所涉及的视线输入程序用于使计算机执行以下步骤：确定步骤，确定用户的视线；将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时通过所述确定步骤确定的所述视线作为基准视线存储到存储部；使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与通过所述确定步骤确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
本发明的第四方式所涉及的视线输入系统具有：头部佩戴装置，其被固定于用户的头部；以及视线输入装置，其与所述头部佩戴装置之间发送和接收信号，其中，所述头部佩戴装置具备显示部，所述显示部以所述用户能够视觉识别的方式被固定于所述用户的头部，所述视线输入装置具备：视线确定部，其确定所述用户的视线；基准设定部，其将在所述用户正在看所述显示部中的基准位置时由所述视线确定部确定的所述视线作为基准视线存储到存储部；显示控制部，其使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与由所述视线确定部确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及输入受理部，其受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
发明的效果
根据本发明，发挥能够减轻进行视线输入时的用户的负担的效果。
附图说明
图1是本实施方式所涉及的视线输入系统的示意图。
图2是本实施方式所涉及的视线输入系统的框图。
图3是本实施方式所涉及的头部佩戴装置的主视图。
图4是显示有设定画面的显示部的示意图。
图5是用户能够输入的输入要素的示意图。
图6是变更显示区域的处理的示意图。
图7是显示有输入画面的显示部的示意图。
图8是示出本实施方式所涉及的视线输入方法的流程图的图。
具体实施方式
[视线输入系统S的结构]
图1是本实施方式所涉及的视线输入系统S的示意图。视线输入系统S包括视线输入装置1、头部佩戴装置2以及操作装置3。视线输入系统S也可以包括其它服务器、终端等设备。
头部佩戴装置2是能够固定于用户的头部的装置，显示从视线输入装置1接收到的信息，另外在获取到用于检测用户的视线的信息之后向视线输入装置1发送。操作装置3是用户能够保持的用于受理用户的操作的装置。操作装置3也可以被设置成与头部佩戴装置2一体化。
头部佩戴装置2和操作装置3分别通过基于蓝牙(注册商标)、无线LAN(Local AreaNetwork：局域网)等无线通信技术的无线或者基于线缆的有线与视线输入装置1连接。头部佩戴装置2和操作装置3既可以与视线输入装置1直接连接，也可以经由因特网等网络与视线输入装置1连接。
视线输入装置1是通过后述的视线输入方法基于从用户佩戴的头部佩戴装置2接收到的信息来受理由用户进行的字符、记号、图标等输入要素的输入的计算机。视线输入装置1也可以与头部佩戴装置2一体化地构成。即，头部佩戴装置2也可以具有视线输入装置1的功能。
[视线输入系统S的结构]
图2是本实施方式所涉及的视线输入系统S的框图。在图2中，箭头表示主要数据的流动，也可以存在图2示出的数据以外的数据的流动。在图2中，各模块不是以硬件(装置)为单位的结构，而是示出以功能为单位的结构。因此，图2所示的模块既可以安装在单个的装置内，或者也可以分开地安装在多个装置内。也可以经由数据总线、网络、便携式存储介质等任意的手段来进行模块之间的数据的发送和接收。
操作装置3包括用于受理用户的操作的按钮、开关、触摸面板等操作构件。操作装置3检测用户对操作构件的操作，并向视线输入装置1发送表示用户的操作的信号。
头部佩戴装置2具有显示部21、摄像部22以及接口23。关于头部佩戴装置2的构造，使用图3在后面叙述。接口23是用于与视线输入装置1之间进行信号的发送和接收的连接部。接口23对从视线输入装置1接收到的信号进行规定的处理来获取数据，并将获取到的数据输入到显示部21。另外，接口23对从摄像部22输入的数据进行规定的处理来生成信号，并将生成的信号发送到视线输入装置1。
显示部21包括用于显示各种信息的液晶显示器等显示装置。显示部21按照从视线输入装置1接收到的信号来显示信息。
摄像部22是设置在头部佩戴装置2上的、用于拍摄包括佩戴有头部佩戴装置2的用户的眼睛(眼球)的规定的摄像范围的摄像装置。摄像部22包括CCD(Charge CoupledDevice：电荷耦合元件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等摄像元件。摄像部22既可以在预先设定的定时进行摄像，或者也可以按照从视线输入装置1接收到的摄像的指示进行摄像。摄像部22将表示拍摄到的摄像图像的信号发送到视线输入装置1。
视线输入装置1具有控制部11、接口12以及存储部13。控制部11具有视线确定部111、显示控制部112、基准设定部113、输入受理部114以及输出部115。
接口12是用于与头部佩戴装置2及操作装置3之间进行信号的发送和接收的连接部。接口12对从头部佩戴装置2和操作装置3接收到的信号进行规定的处理来获取数据，并将获取到的数据输入到控制部11。另外，接口12对从控制部11输入的数据进行规定的处理来生成信号，并将生成的信号发送到头部佩戴装置2和操作装置3。
存储部13是包括ROM(Read Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)、硬盘驱动器等的存储介质。存储部13预先存储有控制部11所执行的程序。另外，存储部13存储表示用户能够输入的多个字符、记号、图标等输入要素的输入要素信息、表示由基准设定部113设定的作为基准的视线的基准信息以及表示输入受理部114已受理的由用户输入的输入要素的输入信息。存储部13既可以设置在视线输入装置1的外部，也可以在该情况下经由接口12与控制部11之间进行数据的发送和接收。
控制部11例如是CPU(Central Processing Unit：中央处理单元)等处理器，通过执行存储在存储部13中的程序，来作为视线确定部111、显示控制部112、基准设定部113、输入受理部114以及输出部115发挥功能。关于视线确定部111、显示控制部112、基准设定部113、输入受理部114以及输出部115的功能，使用图4～图7在后面叙述。也可以通过电路来执行控制部11的功能的至少一部分。另外，也可以通过经由网络执行的程序来执行控制部11的功能的至少一部分。
本实施方式所涉及的视线输入系统S不限定于图2所示的具体的结构。例如，视线输入装置1不限于一个装置，也可以通过将两个以上的在物理上分离的装置以有线或无线方式连接来构成视线输入装置1。
[头部佩戴装置2的结构]
图3的(a)、图3的(b)是本实施方式所涉及的头部佩戴装置2的主视图。图3的(a)、图3的(b)示出了头部佩戴装置2被佩戴于用户的头部的状态。图3的(a)的头部佩戴装置2具有被固定于用户的头部的固定部24。例如，固定部24具有切掉一部分后的环状的形状，且具有夹持用户的头部的构造。由此，固定部24将头部佩戴装置2的显示部21和摄像部22直接固定于用户的头部。
图3的(b)的头部佩戴装置2具有被固定在用户所佩戴的眼镜上的固定部24。例如，固定部24具有通过夹子等夹持眼镜的眼镜腿(镜腿)的构造。由此，固定部24经由用户所佩戴的眼镜将头部佩戴装置2的显示部21和摄像部22固定于用户的头部。
固定部24不限于图3的(a)、图3的(b)示出的构造，也可以是能够将显示部21和摄像部22固定于用户的头部的其它构造。
如图3的(a)、图3的(b)所示，显示部21和摄像部22通过固定部24被固定在用户的一只眼睛的前方(即，用户的头部的前方)。由于头部佩戴装置2相对于用户的头部是固定的，因此无论用户的头部朝向哪里，显示部21都能够使用户视觉识别显示中的信息，摄像部22能够拍摄包括用户的眼睛的摄像范围的图像。另外，由于头部佩戴装置2相对于用户的头部是固定的，因此即使用户移动，显示部21与用户之间的相对位置也不会变化，不需要再次进行校准。另外，由于显示部21和摄像部22仅设置在用户的一只眼睛处，因此用户能够在用一只眼睛进行了字符输入的期间，用另一只眼睛看前方。
[视线输入方法的说明]
(校准)
在本实施方式所涉及的视线输入方法中，首先，视线输入装置1执行校准处理。校准是指预先获取作为视线输入所需的基准的视线。在执行校准的期间，视线确定部111以规定的时间间隔定期地确定用户的视线。具体地说，首先，视线确定部111获取由头部佩戴装置2的摄像部22拍摄到的、包括用户的眼睛的摄像范围的摄像图像。
接着，视线确定部111基于所获取到的摄像图像来确定用户的视线(即，用户的眼睛的朝向)。由于本实施方式所涉及的头部佩戴装置2被固定于用户的头部，因此摄像部22相对于用户的眼睛是相对固定的。因此，只要头部佩戴装置2相对于头部的固定没有偏移，在摄像图像中眼睛(眼球)整体的位置就不会移动，只有眼睛的朝向根据用户正在看的位置发生变化。因而，用户的视线对应于用户的黑眼球(即，瞳孔和虹膜中的至少一方)在摄像图像中的位置。
因此，视线确定部111将从所获取到的摄像图像提取出的用户的瞳孔和虹膜中的至少一方的位置(例如摄像图像中的瞳孔或虹膜的重心的坐标)确定为用户的视线。此时，视线确定部111例如对摄像图像进行图案匹配，由此提取用户的瞳孔和虹膜中的至少一方的位置。
视线确定部111确定视线的方法不限定于上述的具体方法，也可以是其它方法。例如，视线确定部111也可以将眼角或角膜上的亮点作为基准点，将瞳孔或虹膜作为动点，基于基准点与动点之间的位置关系来确定用户的视线。在该情况下，由于基准点与视线无关地被固定并且动点与视线相应地变化，因此将动点相对于基准点的相对位置确定为用户的视线。另外，例如视线确定部111也可以通过检测眼球的运动(即，眼球的旋转角度、旋转速度等)来确定视线。
与视线确定部111确定用户的视线并行地，显示控制部112向头部佩戴装置2的显示部21发送信号，以使显示部21显示用于设定作为基准的视线的设定画面。
图4是显示有设定画面的显示部21的示意图。显示部21显示表示针对用户的指示的消息M1和表示基准位置P的记号M2，来作为设定画面。
基准位置P是显示部21中的用于用户在设定作为基准的视线时注视的规定的一点。在本实施方式中，使用一点的基准位置P进行了校准，但也可以通过使用两点的基准位置P进行校准来设定基准视线。基准位置P例如是显示部21的中心点，但不限于此，例如也可以是具有规定的形状(圆、四边形等)的区域。记号M2是促使用户注视基准位置P的点的记号，例如十字记号的交叉部分与基准位置P一致。
消息M1是促使用户注视基准位置P的点的信息。在本实施方式中，显示部21显示有表示消息M1的字符串，但也可以从设置于头部佩戴装置2的扬声器输出表示消息M1的声音。由于看到或听到消息M1的用户注视基准位置P，因此用户的视线为朝向基准位置P的状态。
在显示控制部112使显示部21显示了设定画面之后，基准设定部113将用户正在看基准位置P时的视线确定为基准视线。基准设定部113为了判定用户正在看基准位置P的定时，也可以使用用户操作了操作装置3的定时。在该情况下，用户在正注视基准位置P的期间对操作装置3进行操作(例如按下按钮)。然后，基准设定部113在从操作装置3接收到表示操作的信号时确定基准视线。
另外，基准设定部113为了判定用户正在看基准位置P的定时，也可以使用用户说出规定的语言的定时。在该情况下，用户在正注视基准位置P的期间对设置于头部佩戴装置2的麦克风输入表示规定的语言的声音。然后，基准设定部113在从头部佩戴装置2接收到表示规定的语言的声音时确定基准视线。基准设定部113能够使用公知的声音识别技术，以根据声音检测规定的语言。
另外，基准设定部113也可以自动地判定用户正在看基准位置P的定时。在该情况下，基准设定部113例如在从显示部21显示有设定画面起经过了规定时间时或者在从用户的视线停止起经过了规定时间时，确定基准视线。
然后，基准设定部113通过使表示所确定的基准视线的基准信息存储到存储部13中，来设定作为基准的视线。基准信息也可以是被确定为基准视线的用户的瞳孔和虹膜中的至少一方的位置(例如摄像图像中的瞳孔或虹膜的重心的坐标)或图像。
(输入要素的输入受理)
在完成校准之后，视线输入装置1受理由用户进行的输入要素的输入。为了受理输入，视线确定部111以规定的时间间隔定期地确定用户的视线。视线确定部111确定用户的视线的方法与校准时的方法相同。
与视线确定部111确定用户的视线并行地，显示控制部112进行用于向头部佩戴装置2的显示部21发送信号以使显示部21显示用于受理用户的输入的输入画面的控制。具体地说，首先，显示控制部112获取预先存储在存储部13中的输入要素信息。输入要素信息是表示用户能够输入的多个字符、记号、图标等输入要素的信息。图标是与针对例如机器人或计算机等装置进行的规定的指示(机器人的特定的动作、特定的软件的执行等)相关联的图形。也可以按照用户的输入来切换用户能够输入的输入要素的种类(例如日语字符、英语字符、数字、记号等)。
接着，显示控制部112在获取到的输入要素信息所示的输入要素中决定头部佩戴装置2的显示部21中的显示对象。图5是用户能够输入的输入要素的示意图。具体地说，显示控制部112生成将输入要素信息所示的所有输入要素排列在平面上的整体区域R1。然后，显示控制部112将整体区域R1中的一部分区域即显示区域R2决定为显示对象。显示区域R2包括输入要素信息所示的所有输入要素中的一部分即多个输入要素。根据头部佩戴装置2的显示部21的大小来预先设定显示区域R2的大小。
在开始受理用户的输入时，整体区域R1中的显示区域R2被设定在规定的位置(初始位置)。例如，显示区域R2的初始位置是整体区域R1的中心。初始位置也可以是整体区域R1的其它位置。
显示控制部112将表示所决定的显示区域R2的信息发送到头部佩戴装置2的显示部21，以使显示部21显示用于受理用户的输入的输入画面。显示部21显示显示区域R2所包括的多个输入要素，来作为输入画面。
显示控制部112还基于由基准设定部113确定的基准视线与由视线确定部111确定的用户的当前的视线(当前视线)之间的关系，来变更整体区域R1中的显示区域R2。
图6是变更显示区域R2的处理的示意图。图6示出了由基准设定部113确定的基准视线D1和由视线确定部111确定的当前视线D2。在图6中，为了可视性，在将基准视线D1和当前视线D2分别投影到显示部21上时的位置处示出记号。将基准视线D1投影到显示部21上时的位置与基准位置P一致。
具体地说，显示控制部112从存储部13获取表示由基准设定部113确定的基准视线D1的基准信息。另外，显示控制部112获取由视线确定部111确定的用户的最新的视线来作为当前视线D2。显示控制部112计算以基准视线D1为基准的当前视线D2的朝向和距离(即矢量)。以基准视线D1为基准的当前视线D2的距离是基准视线D1的位置与当前视线D2的位置之间的差，例如既可以基于摄像图像中的瞳孔或虹膜的重心的坐标来计算当前视线D2的距离，也可以基于显示部21上的基准视线D1和当前视线D2的投影位置(坐标)来计算当前视线D2的距离。
然后，显示控制部112基于从计算出的基准视线D1至当前视线D2的朝向及距离，来决定使显示区域R2在整体区域R1中移动的移动速度(即，移动的朝向和速度)。显示控制部112将从基准视线D1至当前视线D2的朝向设为使显示区域R2在整体区域R1中移动的朝向。另外，显示控制部112将按规定的规则基于从基准视线D1至当前视线D2的距离计算出的值设为使显示区域R2在整体区域R1中移动的速度。
在此，从基准视线D1至当前视线D2的距离越大则显示控制部112使速度越大，从基准视线D1至当前视线D2的距离越小则显示控制部112使速度越小。在从基准视线D1至当前视线D2的距离为规定值以下的情况下(即，基准视线D1与当前视线D2靠近的情况下)，显示控制部112使速度为零，使显示区域R2的移动停止。例如，显示控制部112既可以以与从基准视线D1至当前视线D2的距离成比例的方式计算速度，或者也可以以与从基准视线D1至当前视线D2的距离的增加相应地阶段性地(不连续地)增加的方式计算速度。显示控制部112将这种朝向和速度决定为移动速度。
显示控制部112重复进行以下动作：以规定的时间间隔决定移动速度，使用所决定的移动速度使显示区域R2在整体区域R1中移动，使移动后的显示区域R2显示于显示部21。由此，显示控制部112能够根据用户的当前视线来动态地变更整体区域R1中的显示区域R2的位置和移动速度，从而使用户所期望的输入要素移动到显示区域R2中。
如上所述，显示控制部112仅计算从基准视线至当前视线的朝向及距离，不确定显示部21上的视线的精确坐标。因此，在上述的由基准设定部113进行的视线调节中，只要将正在仅看一个点的用户的视线设定为基准即可，用户不需要依次注视多个点。
根据这样的结构，用户能够通过看离基准位置P远的位置来使想要输入的输入要素尽快地移动到显示区域R2中。另一方面，用户能够通过看离基准位置P近的位置来使已输入的输入要素细微地移动。
在满足了规定的条件的情况下，输入受理部114受理由用户进行的输入要素的输入。图7是显示有输入画面的显示部21的示意图。显示部21显示显示区域R2所包括的多个输入要素E和表示基准位置P的记号M2，来作为输入画面。表示基准位置P的记号M2也可以省略。
在图7中，用虚线示出了输入区域R3。输入区域R3是包括基准位置P的规定区域。预先设定输入区域R3的大小和形状。输入区域R3在图7的例子中是以基准位置P为中心的规定半径的圆，但也可以是矩形或多边形等其它形状。输入区域R3的大小期望被设定为一个输入要素E能够位于输入区域R3且两个以上的输入要素E无法同时位于输入区域R3的大小。
在显示区域R2中包括的多个输入要素E中的任一个输入要素E位于输入区域R3时，输入受理部114开始进行时间的计数。输入受理部114根据以下情况中的任一种情况来检测输入要素E位于输入区域R3的情况：(1)输入要素E的代表点(中心点等)位于输入区域R3内、(2)输入要素E的至少一部分与输入区域R3重叠以及(3)输入要素E与基准位置P重叠。
在位于输入区域R3的输入要素E已更换的情况下，输入受理部114重置时间的计数并重新开始计数。在与一个输入要素E有关的时间的计数为规定时间(例如5秒)以上的情况下，输入受理部114将该输入要素E作为用户的输入来受理。
输出部115将表示作为用户的输入而由输入受理部114受理的输入要素的输入信息存储到存储部13中。另外，输出部115也可以将作为用户的输入而由输入受理部114受理的输入信息经由接口12输出到外部。
这样，本实施方式所涉及的视线输入装置1基于基准视线与当前视线之间的关系(即，朝向和距离)来受理输入要素的输入，因此仅通过将用户注视基准位置P的一点时的视线确定为基准视线，就能够进行校准。由此，用户不需要依次注视多个点，因此能够容易地进行校准。
另外，视线输入装置1将包括所有输入要素的整体区域的一部分作为显示区域进行显示，并根据用户的视线使显示区域移动，因此与显示区域不移动的情况相比，各输入要素被显示得较大。其结果，用户不需要精确地注视与输入要素对应的小区域，只要注视大区域即可，所以能够容易地选择输入要素。
显示控制部112也可以在视线输入装置1正在受理用户的输入的期间使显示部21显示输入要素(即，开启显示部21)，在视线输入装置1没有受理用户的输入的期间不使显示部21显示输入要素(即，关闭显示部21)。关于视线输入装置1是否正在受理用户的输入，例如通过用户在操作装置3中进行规定的操作来进行切换。由此，视线输入装置1仅在受理字符输入的期间对用户呈现输入要素，因此用户能够容易地判断是否能够进行字符输入。
并且，显示部21也可以构成为能够使用透射型显示器在使光通过的透过状态与不使光通过的非透过状态之间进行切换。在该情况下，显示控制部112也可以在视线输入装置1正进行校准的期间或正在受理用户的输入的期间切换为不使光通过的非透过状态，在视线输入装置1进行除此以外的动作的期间切换为使光通过的透过状态。由此，用户在没有进行校准时以及没有进行字符输入时能够用双眼看前方。
[视线输入方法的流程图]
图8是示出本实施方式所涉及的视线输入方法的流程图的图。例如通过用户佩戴头部佩戴装置2而开始进行图8的流程图。首先，视线确定部111使用在显示控制部112使显示部21显示表示基准位置P的记号M2的期间由头部佩戴装置2的摄像部22拍摄到的摄像图像，来确定用户的视线，由此进行校准(S11)。显示控制部112向头部佩戴装置2的显示部21发送信号，以使显示部21显示用于设定作为基准的视线的设定画面(S12)。
基准设定部113将用户按照设定画面的显示而正在看基准位置P时的视线确定为基准视线(S13)。在无法确定基准视线、校准未结束的情况下(S14：“否”)，视线输入装置1返回到步骤S11，来重复进行处理。
在校准结束后(S14：“是”)，为了受理输入，视线确定部111使用由头部佩戴装置2的摄像部22拍摄到的摄像图像来确定用户的视线(S15)。
显示控制部112决定显示区域，该显示区域是表示输入要素信息的所有输入要素的整体区域中的作为显示对象的一部分区域(S16)。在开始受理用户的输入时，显示控制部112将整体区域中的显示区域设定在规定的位置(初始位置)。之后，显示控制部112基于由基准设定部113确定的基准视线与由视线确定部111确定的用户的当前视线之间的关系来计算显示区域的移动速度，使用计算出的移动速度来决定整体区域中的显示区域。
显示控制部112将表示初始位置或移动后的显示区域的信息发送到头部佩戴装置2的显示部21，以使显示部21显示用于受理用户的输入的输入画面(S17)。输入受理部114针对显示区域中包括的多个输入要素中的位于包括基准位置的规定输入区域的任一个输入要素，开始或继续进行时间的计数(S18)。
在正进行时间的计数的输入要素已更换的情况下(S19：“是”)，输入受理部114重置时间的计数(S20)，进入步骤S23。
在正进行时间的计数的输入要素没有更换的情况下(S19：“否”)，在时间的计数为规定时间以上的情况下(S21：“是”)，输入受理部114将正进行时间的计数的输入要素作为用户的输入来受理(S22)。在时间的计数没有达到规定时间以上的情况下(S21：“否”)，输入受理部114进入步骤S23。
在没有满足规定的结束条件(例如用户卸下头部佩戴装置2或者对视线输入装置1进行规定的结束操作)的情况下(S23：“否”)，视线输入装置1返回到步骤S15来重复进行处理。在满足了规定的结束条件的情况下(S23：“是”)，视线输入装置1结束处理。
在图8中，连续地进行了校准处理和输入受理处理，但校准处理和输入受理处理也可以独立地进行。例如，视线输入装置1也可以在进行了一次校准处理之后，进行多次输入受理处理。视线输入装置1还可以在从用户的头部卸下头部佩戴装置2并再次安装的情况下或者在用户使用操作装置3进行了校准的指示操作的情况下再次进行校准处理。
[实施方式的效果]
根据本实施方式，视线输入装置1基于基准视线与当前视线之间的关系(即，方向和距离)来受理输入要素的输入，因此仅通过将用户注视表示基准位置P的记号M2的一点时的视线确定为基准视线，就能够进行校准。由于头部佩戴装置2相对于用户的头部是固定的，因此即使用户移动，也不需要再次进行校准，能够减少校准的次数本身。对于人来说，与注视正面的情况相比，仅移动眼睛来注视远离正面的周边部是困难的。因此，如专利文献1所记载的技术那样注视多个点来进行校准的情况对于用户来说可能成为负担。与此相对地，本实施方式所涉及的视线输入系统S仅通过用户看一点就能够设定作为基准的视线，因此能够减轻校准时的用户的负担。
另外，视线输入装置1将包括所有输入要素的整体区域的一部分作为显示区域进行显示，根据用户的视线使显示区域移动，由此决定用户的输入。因此，与显示整体区域的情况相比，视线输入装置1能够使各输入要素较大地显示，因此用户不需要精确地注视多个输入要素中的一个输入要素，能够容易地选择输入要素。如果用户持续看想要输入的输入要素，则想要输入的输入要素越接近输入区域R3，移动速度越慢，因此易于使想要输入的输入要素位于输入区域R3中。
以上，使用实施方式说明了本发明，但本发明的保护范围不限定于上述实施方式所记载的范围，在其主旨的范围内能够进行各种变形和变更。例如，装置的分散/合并的具体实施方式不限于以上的实施方式，对于其全部或一部分，能够以任意的单位在功能上或物理上进行分散/合并来构成。另外，通过多个实施方式的任意组合而产生的新的实施方式也包含在本发明的实施方式中。通过组合产生的新的实施方式的效果同时具有原来的实施方式的效果。
视线输入装置1的控制部11(处理器)为在图8所示的视线输入方法中包括的各步骤(工序)的主体。即，控制部11从存储部13读出用于执行图8所示的视线输入方法的程序，通过执行该程序并控制视线输入装置1的各部，来执行图8所示的视线输入方法。图8所示的视线输入方法中包括的步骤既可以省略一部分，也可以变更步骤间的顺序，还可以并行进行多个步骤。
附图标记说明
S：视线输入系统；1：视线输入装置；2：头部佩戴装置；3：操作装置；11：控制部；13：存储部；21：显示部；111：视线确定部；112：显示控制部；113：基准设定部；114：输入受理部。

Claims (12)

1.一种视线输入装置，该视线输入装置具有：
视线确定部，其确定用户的视线；
基准设定部，其将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时由所述视线确定部确定的所述视线作为基准视线存储到存储部；
显示控制部，其使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与由所述视线确定部确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及
输入受理部，其受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
2.根据权利要求1所述的视线输入装置，其特征在于，
所述显示控制部使一部分区域在所述整体区域中沿从所述基准视线朝向由所述视线确定部确定的所述视线的方向移动。
3.根据权利要求2所述的视线输入装置，其特征在于，
所述显示控制部基于所述基准视线与由所述视线确定部确定的所述视线之间的差，来使所述一部分区域的移动速度变化。
4.根据权利要求2或3所述的视线输入装置，其特征在于，
在所述基准视线与由所述视线确定部确定的所述视线之间的差为规定值以下的情况下，所述显示控制部使所述一部分区域的移动停止。
5.根据权利要求1至4中的任一项所述的视线输入装置，其特征在于，
所述输入受理部将位于所述规定区域的时间为规定时间以上的所述输入要素作为所述用户的输入来受理。
6.根据权利要求1至5中的任一项所述的视线输入装置，其特征在于，
在所述显示控制部使所述显示部显示了用于促使所述用户注视所述显示部中的规定的一点的信息之后，所述基准设定部设定所述基准视线。
7.根据权利要求1至6中的任一项所述的视线输入装置，其特征在于，
所述基准设定部根据由所述用户操作的操作装置的操作，来设定所述基准视线。
8.根据权利要求1至7中的任一项所述的视线输入装置，其特征在于，
所述显示控制部在所述输入受理部受理所述用户的输入的期间，使所述显示部显示所述一部分区域，在所述输入受理部不受理所述用户的输入的期间，不使所述显示部显示所述一部分区域。
9.根据权利要求8所述的视线输入装置，其特征在于，
所述显示控制部在所述输入受理部受理所述用户的输入的期间将所述显示部切换为不使光透过的状态，在所述输入受理部不受理所述用户的输入的期间将所述显示部切换为使光透过的状态。
10.一种视线输入方法，在该视线输入方法中，处理器执行以下步骤：
确定步骤，确定用户的视线；
将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时通过所述确定步骤确定的所述视线作为基准视线存储到存储部；
使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与通过所述确定步骤确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及
受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
11.一种视线输入程序，用于使计算机执行以下步骤：
确定步骤，确定用户的视线；
将在所述用户正在看被固定于所述用户的头部的显示部中的基准位置时通过所述确定步骤确定的所述视线作为基准视线存储到存储部；
使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与通过所述确定步骤确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及
受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
12.一种视线输入系统，具有：
头部佩戴装置，其被固定于用户的头部；以及
视线输入装置，其与所述头部佩戴装置之间发送和接收信号，
其中，所述头部佩戴装置具备显示部，所述显示部以所述用户能够视觉识别的方式被固定于所述用户的头部，
所述视线输入装置具备：
视线确定部，其确定所述用户的视线；
基准设定部，其将在所述用户正在看所述显示部中的基准位置时由所述视线确定部确定的所述视线作为基准视线存储到存储部；
显示控制部，其使所述显示部显示示出能够输入的多个输入要素的整体区域中的一部分区域，并且基于所述基准视线与由所述视线确定部确定的所述视线之间的关系，在所述整体区域中变更所述一部分区域；以及
输入受理部，其受理位于所述一部分区域内的包括所述基准位置的规定区域的输入要素的输入。
CN201980036881.3A 2018-06-07 2019-06-03 视线输入装置、视线输入方法、视线输入程序以及视线输入系统 Pending CN112219179A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-109288 2018-06-07
JP2018109288A JP7115737B2 (ja) 2018-06-07 2018-06-07 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム
PCT/JP2019/021937 WO2019235408A1 (ja) 2018-06-07 2019-06-03 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム

Publications (1)

Publication Number Publication Date
CN112219179A true CN112219179A (zh) 2021-01-12

Family

ID=68770436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980036881.3A Pending CN112219179A (zh) 2018-06-07 2019-06-03 视线输入装置、视线输入方法、视线输入程序以及视线输入系统

Country Status (4)

Country Link
US (1) US20210072827A1 (zh)
JP (1) JP7115737B2 (zh)
CN (1) CN112219179A (zh)
WO (1) WO2019235408A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08321973A (ja) * 1995-05-24 1996-12-03 Canon Inc 視線入力装置
JP2000020196A (ja) * 1998-07-01 2000-01-21 Shimadzu Corp 視線入力装置
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP5295714B2 (ja) * 2008-10-27 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 表示装置、画像処理方法、及びコンピュータプログラム
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP6183188B2 (ja) * 2013-12-02 2017-08-23 富士通株式会社 表示装置，プログラム及び表示方法
US20160209918A1 (en) * 2015-01-16 2016-07-21 Kabushiki Kaisha Toshiba Electronic apparatus and method
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム
JP2017091327A (ja) * 2015-11-12 2017-05-25 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム

Also Published As

Publication number Publication date
US20210072827A1 (en) 2021-03-11
JP7115737B2 (ja) 2022-08-09
JP2019212151A (ja) 2019-12-12
WO2019235408A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
EP3752897B1 (en) Systems and methods for eye tracking in virtual reality and augmented reality applications
US10585288B2 (en) Computer display device mounted on eyeglasses
US20150323990A1 (en) Eye-wearable device user interface and method
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
CN110140166B (zh) 用于向计算机提供免手工输入的系统
EP2696262A1 (en) Input device, input method, and computer program
KR101709611B1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
JPH09179062A (ja) コンピュータシステム
US11429200B2 (en) Glasses-type terminal
KR101728707B1 (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
CN112219179A (zh) 视线输入装置、视线输入方法、视线输入程序以及视线输入系统
JP6637757B2 (ja) 眼調節機能支援システム
JP7031112B1 (ja) 眼鏡型端末
WO2017122508A1 (ja) 情報表示システムおよび情報表示方法
JP7080448B1 (ja) 端末装置
US20230033256A1 (en) Program, information processing apparatus, and terminal device
JP2020032238A (ja) 眼調節機能支援システム
KR20140063492A (ko) 검안기기 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210112

WD01 Invention patent application deemed withdrawn after publication