CN112106012A - 估计方法、估计程序以及估计装置 - Google Patents

估计方法、估计程序以及估计装置 Download PDF

Info

Publication number
CN112106012A
CN112106012A CN201980030494.9A CN201980030494A CN112106012A CN 112106012 A CN112106012 A CN 112106012A CN 201980030494 A CN201980030494 A CN 201980030494A CN 112106012 A CN112106012 A CN 112106012A
Authority
CN
China
Prior art keywords
user
information
screen
movement
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980030494.9A
Other languages
English (en)
Inventor
山下纯平
小矢英毅
中岛一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN112106012A publication Critical patent/CN112106012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/297—Bioelectric electrodes therefor specially adapted for particular uses for electrooculography [EOG]: for electroretinography [ERG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

估计方法包括以下步骤：基于用户的眼电位的测量值，取得该用户的眼球运动的信息的步骤(步骤S1)；取得与通过用户的操作进行的装置上的交互对应的画面上的交互对象的位置信息的取得步骤(步骤S2)；至少基于用户的眼球运动的信息，取得与用户的视线的相对运动有关的信息的步骤(步骤S10)；以及基于与用户的视线的相对运动有关的信息和画面上的交互对象的位置信息，估计用户在画面上的视线位置的步骤(步骤S11)。

Description

估计方法、估计程序以及估计装置
技术领域
本发明涉及估计方法、估计程序以及估计装置。
背景技术
当能够取得使用设备主要在画面上进行作业的用户视线朝向画面上的哪个位置时，能够将该信息用于与输入接口或用户状态有关的分析。为了这样的目的，提出了取得用户的视线位置的视线跟踪系统。
但是，在测量视线的位置时，很多现有技术使用视线跟踪系统，该视线跟踪系统利用配备于用户的眼球或其周边的照相机从正面进行拍摄，通过算法对所得到的图像数据进行处理，由此取得视线的绝对位置。但是，该方法存在几个问题。
首先，现有的视线跟踪系统大多价格昂贵，难以导入现场。另外，现有的视线跟踪系统除了视线信息以外，还取得周边的用户的脸或居室等机密性高的信息，所以从安全上的观点来看有时不能使用。进而，现有的视线跟踪系统由于图像处理方式具有的制约，仅估计画面内的用户的视线位置，而无法取得正在观看离开到画面外而存在的对象的状态。
此外，由于现有的视线跟踪系统必须处理容量大的动态图像数据，所以在用户要在作业中使用的设备(PC、平板电脑、智能手机等)上进行估计视线位置的计算的情况下，若设备的规格不足，则不能进行计算。
另外，虽然也有将拍摄眼睛的小型照相机固定在面部侧的类型，但在该方法中，尽管无论处于画面的内外都能够取得视线位置，但与以往的已有的固定型视线追踪器相比价格更高，并不普遍。
作为能够解决这些问题的方法，有使用EOG(Electrooculogram，眼电图)法的视线位置的估计方法。该EOG法是测量眼球运动而不是视线位置的技术。这是利用眼球在前方具有+电位，在后方具有-电位，在眼球的周围粘贴电极，根据电位变化估计眼球的运动方向和量(非专利文献1)。
在EOG方法中，仅使用由几个电极获得的电位来测量眼球运动。因此，不需要昂贵的设备，也不取得具有机密性的周边信息，进行估计所需的计算量也可以比图像处理少。
[在先技术文献]
非专利文献
[非专利文献1]大谷璋，“眼球運動の時間特性”，人間工学，vol.4，No.1，p.29-36
发明内容
[发明要解决的问题]
该EOG方法可以基于其电位的处理方法而分为交流EOG方法和直流EOG方法。
其中，在直流EOG方法中，由于直接取得眼球周边的电位状态，所以能够取得包含有与眼球的绝对位置有关的信息的电位。然而，在直流EOG方法中，漂移(drift)显著地发生。漂移是所测量的电位的基线随时间经过而发生变化的现象。虽然已经提出了用于校正该漂移的方法，但并不足够，难以实测视线位置。
相反，在交流EOG方法中，通过取得眼球周围的电位状态的变化量，可以在一定程度上避免后面所述的漂移的影响，同时取得包含有与眼球的相对运动有关的信息的电位。然而，由于交流EOG方法毕竟是用于测量眼球运动的，因此所取得的数据中包含有与视线的相对运动有关的信息，但是不包含与视线的绝对位置有关的信息。
因此，至今为止提出了几种使用通过交流EOG方法取得的眼球运动来估计视线位置的方法。图13是说明以往的视线位置估计方法的图。以往的方法基本上是在进行某个眼球运动时将视线在画面上移动何种程度建立对应(将移动量建立对应)的基础上，通过EOG以外的方法取得某个时刻的绝对位置(例如，图13的(a)中的点击C1的位置)(绝对位置确定)。并且，这些方法从该时刻开始继续将视线移动量相加而估计视线位置P2'(参照图13的(b))。
但是，以往的方法随着时间经过，估计精度变差，不实用。换言之，在以往的方法中，随着时间经过误差积累，实际的视线位置P2(参照图13的(b))和估计的视线位置P2'间的距离发生偏差。其理由如下所述。
首先，在现有的方法中，在估计相对的移动量时产生误差。作为其原因之一，有混杂在电位变化中的噪声。在现有的方法中，通过应用了交流EOG方法的装置的电位的交流放大器，虽然在某种程度上排除了漂移，但不能完全排除。另外，在以往的方法中，由于不能完全除去因其他各种理由产生的噪声，所以在移动量的估计中会产生不少误差。
另外，如果在进行移动量的对应之后经过了一段时间，则还会产生因眼球运动量和视线移动量之间的关系的变化而引起的误差。这主要是因为随着长时间的经过、姿势会发生变化。例如，即使眼球的运动量相同，当从远处观看画面时视线移动量变大，而当从近处观看画面时视线移动量变小。除了眼球运动以外，还可以通过从其他传感器取得与用户的姿势有关的信息等方法来应对，但估计同样也是不足够的。
交流EOG方法根本不获取关于视线的绝对位置的信息。因此，在以往的方法中，移动量相对于估计值的误差随着时间经过而持续积累。在以往的方法中，即使使用各种方法来减轻误差，如果不进行绝对位置确定的时间较长，则在估计中产生困难。
因此，在现有技术的方法中，为了通过交流EOG方法高精度地估计视线的位置，适当的是，每当发生经过一定以上的时间、用户的头部移动等的事件时，反复进行移动量的对应和绝对位置确定这两种校正。
但是，在以往的方法中，为了进行这些修正，必须使用户凝视到某一点或视线移动一定量等。如以往的方法那样频繁地进行校正，每次都要求用户进行凝视到一点或视线移动等动作，这给用户带来麻烦，不实用。
如上所述，由于在不应用校正的情况下精度劣化，而在应用校正的情况下实用性下降，所以难以将通过交流EOG方法进行的视线位置估计投入实际使用。
本发明是鉴于上述问题而完成的，其目的在于提供一种应用交流EOG方法，能够在不降低实用性的情况下进行高精度的视线位置测量的估计方法、估计程序以及估计装置。
[用于解决问题的手段]
根据本发明的实施例，提供了一种由估计装置执行的估计方法，该估计方法包括：第1取得步骤，用于基于用户眼电位的测量值取得关于用户眼睛运动的信息，第二取得步骤，用于取得与通过用户操作在装置上的交互对应的画面上的交互对象的位置信息；以及第三取得步骤，用于至少基于关于用户的眼球运动的信息，取得关于用户的视线的相对运动的信息，估计步骤，用于基于与用户的视线的相对运动有关的信息和画面上交互对象的位置信息来估计用户在画面上的视线位置。
[发明的效果]
根据本发明，能够应用交流EOG方法，在不降低实用性的情况下进行高精度的视线位置测量。
附图说明
图1是表示实施方式1中的估计系统的结构的一例的图。
图2是表示图1所示的估计装置的结构的一例的框图。
图3是说明图2所示的估计装置中的眼球运动量与2次点击之间的画面上的位置的对应关系的图。
图4是说明图1所示的视线位置估计部的处理的图。
图5是说明实际的视线位置与估计的视线位置的偏差的图。
图6是说明图1所示的注视检查部的处理的图。
图7是说明图1所示的估计装置使用的函数的参数的更新的图。
图8是表示实施方式1的估计处理的处理步骤的流程图。
图9是表示实施方式2中的估计系统的结构的一例的图。
图10是表示图9所示的估计装置的结构的一例的框图。
图11是表示实施方式2的估计处理的处理步骤的流程图。
图12是示出通过执行程序来实现估计装置的计算机的一例的图。
图13是说明以往的视线位置估计方法的图。
具体实施方式
以下，参照附图详细说明本发明的实施方式。另外，本发明并不限定于该实施方式。另外，在附图的记载中，对同一部分标注同一标号进行表示。
[实施方式1]
首先，对本发明的实施方式1进行说明。图1是表示实施方式1中的估计系统的结构的一例的图。
如图1所示，本实施方式的估计系统包括：传感器4，其连接至设置在用户2的眼球周围(例如太阳穴)的多个电极3；以及接受基于电极3的眼电位的测量值的输入，估计用户在画面上的视线位置的估计装置10。估计装置10与作为用户接口的鼠标11a、键盘11b、以及显示与用户对用户接口的操作对应的画面图像的显示器12a连接。
传感器4通过与用户2的眼球周围接触的电极3，来测量眼电位的时序变化。测量结果被输入到估计装置10。另外，电极3也可以是2个以上。
估计装置10基于用户的眼电位的时序变化量来取得该用户的眼球运动的信息(眼电位的变化量)。此外，估计装置10取得与通过用户操作在装置(鼠标11a或键盘11b)上的交互对应的画面上的交互对象的位置信息。交互是指在画面上按下按钮等行为。当用户进行交互时，应该注视行为的对象(鼠标光标、敲击的自身手指所按的按钮、文本输入时的光标等)。在估计装置10中，捕捉该定时，将交互对象在画面上的位置用作暂定的视线的绝对位置。
然后，估计装置10基于用户的眼球运动的信息来取得关于用户的视线的相对运动的信息。即，估计装置10变换眼电位的变化量，并且取得与该眼电位的变化量对应的视线移动量(相对值)。随后，估计装置10通过将从电位变化量变换来的视线移动量(相对值)与画面上的交互对象的位置信息(绝对值)相加来估计用户在画面上的视线位置。
以这种方式，估计装置10根据基于交互信息获得的视线的绝对位置，将根据通过交流EOG方法获得的眼球运动所获得的视线移动量相加，从而在实用上实现视线跟踪。
[估计装置的结构]
接下来，将描述估计装置10的结构。图2是表示图1所示的估计装置10的结构的一例的框图。如图1所示，估计装置10与输入装置11及显示装置12连接。估计装置10包括通信部13、存储部14和控制部15。
输入装置11是对应于用户的输入操作，接受对控制部15的各种指示信息的输入的设备装置。例如，输入装置11使用鼠标11a或键盘11b等输入设备来实现。
响应于用户对鼠标11a的移动操作的交互，显示装置12的画面上的光标或滑块移动。由交互位置取得部152(稍后描述)取得画面上的该光标或滑块的位置作为交互对象在画面上的位置信息。此外，对应于通过用户对鼠标11a的点击操作而进行的交互，选择画面上的按钮。交互位置取得部152(稍后描述)取得该按钮在画面上的位置作为交互对象在画面上的位置信息。
对应于通过用户对键盘11b的操作而进行的交互，在画面上的文件中写入字符等。交互位置取得部152(稍后描述)取得所记载的字符等的位置作为画面上的交互对象的位置信息。
显示装置12由液晶显示器等显示器12a实现。具体而言，显示装置12显示应用画面等。
通信部13是在与经由网络等连接的其他装置之间收发各种信息的通信接口。通信部13由NIC(Network Interface Card，网络接口卡)等实现，进行经由LAN(Local AreaNetwork，局域网)或因特网等电气通信线路的其他装置和控制部15(后述)之间的通信。
存储部14例如通过RAM(Random Access Memory，随机存取存储器)、闪存(FlashMemory)等半导体存储元件、或者硬盘、光盘等存储装置来实现，存储使估计装置10工作的处理程序、在处理程序的执行中使用的数据等。存储部14具有眼电位信息存储部141、交互存储部142、估计位置存储部143、数据集存储部144以及参数存储部145。
眼电位信息存储部141与时间信息相对应地存储接受了输入的、基于传感器4的眼电位的测量值的眼电位的变化量。
交互存储部142与时间信息相对应地存储与通过用户操作在装置上的交互对应的画面上的交互对象的位置信息。例如，交互存储部142与时间信息相对应地存储响应于用户对鼠标11a的移动操作的交互而移动的光标或滑块在显示装置12的画面上的位置。交互存储部142存储对应于用户通过鼠标11a的点击操作的交互而被选择的画面上的按钮的位置信息，作为时间信息。此外，交互存储部142将对应于用户对键盘11b的操作的交互而记载在画面上的文件中的字符的位置与时间信息相对应地存储。
估计位置存储部143将视线位置估计部157估计出的用户在画面上的视线位置信息与时间信息相对应地存储。
数据集存储部144将用户的眼球运动的信息和画面上的交互对象的位置信息相对应地存储。数据集存储部144将用户的眼电位的变化量和与该变化量对应的画面上的交互对象的位置信息作为一组数据集，并且存储多组数据集。
参数存储部145存储在计算视线移动量时使用的运算式和适用于该运算式的各种参数。参数存储部145存储的参数由函数生成部1542(后述)更新。
控制部15控制估计装置10整体。控制部15具有用于存储规定了各种处理过程等的程序以及所需数据的内部存储器，通过它们执行各种处理。例如，控制部15是CPU(CentralProcessing Unit，中央处理单元)或MPU(Micro Processing Unit，微处理单元)等电子电路。另外，控制部15通过各种程序动作而作为各种处理部发挥功能。控制部15具有眼电位信息取得部151(第1取得部)、交互位置取得部152(第2取得部)、注视检查部153(判断部)、视线移动量取得部154(第3取得部)及视线位置估计部155。
眼电位信息取得部151基于从传感器4输入的用户的眼电位的测量值来取得关于该用户的眼球运动的信息(眼电位的变化量)。眼电位信息取得部151将所取得的眼电位的变化量与时间信息相对应地输出至注视检查部153，并将其存储在眼电位信息存储部141中。
交互位置取得部152取得与通过用户操作在装置(鼠标11a和键盘11b)上的交互对应的画面上的交互对象的位置信息。交互位置取得部152将取得的交互对象的位置信息与时间信息相对应地输出到注视检查部153，并且也存储在交互存储部142中。
注视检查部153判断第1距离是否在规定阈值L以下，所述第1距离是上次估计的用户在画面上的视线位置与对应于新交互的画面上的交互对象的实际位置之间的距离。
仅在判断为第1距离在规定阈值以下的情况下，注视检查部153将新交互中的画面上的交互对象的位置信息和对应的眼电位变化量输出至视线移动量取得部154和视线位置估计部155。然后，在判断为第1距离大于规定的阈值的情况下，注视检查部153不将新交互中的画面上的交互对象的位置信息和对应的眼电位变化量输出到视线移动量取得部154和视线位置估计部155，而是保持这些信息。在该情况下，所保持的信息有时与通过了下次的注视检查的数据一起在视线移动量取得部154中使用。注视检查部153在每次发生交互时进行判断。
视线移动量取得部154至少基于用户的眼球运动的信息来取得关于用户的视线的相对运动的信息。视线移动量取得部154计算用户视线在画面上的相对移动量。视线移动量取得部154包括数据集保存部1541、函数生成部1542和视线移动量计算部1543。
数据集保存部1541将眼电位信息取得部151取得的用户的眼球运动的信息和交互位置取得部152取得的画面上的交互对象的位置信息作为1组数据集，保存到数据集存储部144中。具体地，数据集保存部1541保存眼电位的变化量和与眼电位的变化量对应的画面上的交互对象的位置。
此外，数据集保存部1541将由注视检查部153判断为第1距离在规定阈值以下的新交互的画面上的交互对象的位置信息，与新交互对应的眼球运动的信息(眼电位的变化量)保存在该时刻的数据集存储部144中。另外，对数据集存储部144的数据集的数量设定上限，数据集保存部1541在数据集的数量超过上限的情况下，将数据集存储部144的数据集中最早的数据集丢弃一个。
函数生成部1542在数据集存储部144中保存的数据集超过规定组(几十～几百组)时，生成函数F。函数F是当输入了从上次交互发生时刻到当前时刻之间的眼电位的变化量时，将从针对上次交互的交互对象的位置到当前时刻的视线的位置之间的移动量(包括距离和方向。)(相对值)作为视线移动量输出的函数。
函数生成部1542通过使任意的算法学习数据集存储部144中保存的多个数据集，生成函数F。换言之，函数生成部1542设定应用于函数F的各参数的值。函数生成部1542将生成的参数存储在参数存储部145中。另外，函数生成部1542在函数F生成后，每当利用新的数据集更新了数据集时，就更新函数F的参数。函数生成部1542将参数存储部145存储的参数更新为更新后的参数。
视线移动量计算部1543基于用户的眼球运动的信息和画面上的交互对象的位置信息，来计算与用户的眼球运动量对应的画面上的视线移动量。具体地，视线移动量计算部1543通过将从上次交互发生时刻到当前时刻的眼电位的变化量输入到函数F，来计算从与上次交互对应的交互对象的位置到当前时刻的视线的估计位置之间的移动量。
视线位置估计部155基于与用户的视线的相对运动有关的信息、和画面上的交互对象的位置信息，来估计用户在画面上的视线位置。具体地，视线位置估计部155通过将与由视线移动量计算部1543取得的用户的眼电位的变化量对应的画面上的视线移动量与上次交互的画面上的对象位置相加，来获得当前时刻的视线位置的估计位置。另外，视线位置估计部155在注视检查部153中判断为第1距离为规定的阈值以下时，进行用户在画面上的视线位置的估计。
[信息取得处理]
将说明估计装置10的各个处理。首先，用户一边观看显示装置12的画面一边进行作业。传感器4通过与用户的眼球周围接触的电极3来测量眼电位的时序的变化。眼电位信息取得部151取得传感器4的测量结果。这里，将从发生某个交互X的时刻到发生下一个交互X+1的时刻之间的眼电位的合计变化量描述为Δ(X～X+1)。
在估计装置10中，进行与用户在画面上进行的作业(Web浏览、基于办公软件的文档生成、业务系统上的数据投入作业等)相关联的处理。与这些处理并行地，交互位置取得部152取得用户对计算机进行的交互在画面上的对象位置(点击鼠标的坐标、在触摸板上敲击的坐标、用物理键盘输入时的文本光标的坐标等)，并进行记录。这里，设某个交互X在画面上的对象位置是P(X)。
并且，在视线移动量取得部154中，数据集保存部1541将电位变化量(眼球的运动量)和交互间的移动量(距离)对应起来。这里，设Δ(l～l+1)是从交互对象l到交互对象l+1的眼电位的合计变化量。该Δ(l～l+1)对应于在从交互对象l到交互对象l+1之间发生的眼球运动的合计量。
数据集保存部1541使该眼电位的合计变化量Δ(l～l+1)的值与交互对象l在画面上的位置P(l)对应，作为一组数据集。视线移动量取得部154基于该对应关系，根据眼球运动的量，能够计算画面上的视线移动量。
具体地，数据集保存部1541收集与几十到几百个左右的交互间隔有关的Δ和P。然后，函数生成部1542通过利用任意的算法来学习数据集存储部144中存储的多个数据集，生成函数F。函数F是将眼电位的合计变化量Δ(l～l+1)变换成与该眼电位的合计变化量Δ(l～l+1)对应的画面上的视线移动量(P(l+1)－P(l))的函数。
图3是说明图2所示的估计装置10中的眼球运动量与点击C1以及点击C2之间的画面M上的位置之间的对应建立的图。如图3所示，视线移动量取得部154使在2次点击之间进行的眼球运动的量与2次点击之间的画面上的距离建立对应。然后，当通过使用函数F输入了在两个点击之间所执行的眼球运动的量时，视线移动量取得部154能够取得两个点击之间的画面上的距离，从而不进行用户的明示的动作就能够进行眼电位的合计变化量与画面上的视线移动量的对应。
[视线位置估计部的处理]
接下来，将说明视线位置估计部155的处理。在完成了函数F的阶段，视线位置估计部155开始估计视线位置。在本实施方式1中，视为在与进行视线位置估计的时刻最近的过去的交互m的发生时，视线位置存在于交互m的画面上的对象位置P(m)。
视线位置估计部155通过将视线移动量计算部1543计算的从发生交互m的时刻到当前时刻now的眼电位的合计变化量Δ(m～now)输入到函数F而获得的输出F(Δ(m～now))相加，来获得视线的估计位置。输出F(Δ(m～now))是从与Δ(m～now)对应的交互对象m的位置到当前时刻now的视线位置的移动量(距离)。
即，视线位置估计部155使用以下的(1)式取得当前时刻now的视线的估计位置P(now)。
[式1]
P(now)＝P(m)+F(Δ(m～now))…(1)
图4是说明图1所示的视线位置估计部155的处理的图。如图4所示，视线位置估计部155对画面M上的交互(示例：点击)对象的位置加上从眼电位的变化量变换来的画面M上的视线移动量，从而估计视线位置。
具体地，当点击C1的位置P(1)被输入作为交互对象的位置时，视线位置估计部155对位置P(1)依次加上基于各期间的眼电位的变化量而计算出的画面M上的视线移动量(参见箭头R1)，来取得当前时刻的视线位置P(now)。当点击C2的位置P(2)作为交互对象的位置被新输入时，视线位置估计部155将点击位置校准为位置P(2)。视线位置估计部155通过对位置(P(2))依次加上基于各期间的眼电位的变化量而计算出的视线移动量(参见箭头R2)，来取得当前时刻的画面M上的视线位置P(now')。
[注视检查部的处理]
接着，说明注视检查部153的处理。然而，用户不一定需要一边注视画面上的交互对象一边进行交互。例如，用户有时先将鼠标光标置于按钮的位置，一边看其他的位置一边点击。尽管如此，如果对所有的交互都进行视线位置估计处理，则会估计出错误的视线位置。
图5是说明实际的视线位置与估计的视线位置的偏差的图。如图5的画面M例所示，如果将与视线不一致的点击位置C2用于校准(参照图5的(1))，作为下一个视线位置而预测的位置P(3')的绝对坐标失常(参照图5的(2))。如果使用该预测结果，则将执行与实际情况不匹配的对应校正(参见图5中的(3))。
因此，注视检查部153在一定量的数据集集中，生成了基于该数据集的函数F之后，在每次发生交互时都进行注视检查。图6是说明图1所示的注视检查部153的处理的图。
注视检查部153首先确定阈值L。接着，注视检查部153将前一个交互n-1作为出发点时，求出通过将到当前交互n发生的时刻为止所移动的视线移动量相加而估计的视线位置(P(n-1)+F(Δ(n-1～n)))，与当前交互n在画面M上的位置P(n)之间的距离(第1距离)。然后，注视检查部153判断所求出的第1距离是否小于阈值L。
例如，注视检查部153对点击C1的位置P(1)，求出通过将从位置P(1)到下一个点击C2的发生时刻为止的视线移动量与位置P(1)相加而估计出的视线位置P(2')＝((P(1)+F(Δ(1～2))、与下一个点击C2在画面M上的位置P(2)间的距离。在这种情况下，第1距离大于阈值L(参见图6的(1))。在这种情况下，由于能够判断为实际的视线位置与估计出的视线位置发生偏差，所以注视检查部153不利用眼电位的合计变化量Δ(1～2)。
这样，在未通过由注视检查部153进行的检查的情况下，不执行使用眼电位的合计变化量Δ(1～2)的数据集的更新以及函数F的参数更新。因此，视线位置估计部155使用基于到前一个为止的交互信息的函数F，估计用户的视线位置。即，所估计的视线位置为P(n-1)+Fold(Δ(n-1～now))。
接着，注视检查部153求出所估计的视线位置P(3')＝((P(2)+F(Δ(2～3)))与下一个点击C3在画面上的位置P(3)间的距离。在这种情况下，求出的距离在阈值L以下(参照图6的(2))。在这种情况下，注视检查部153利用眼电位的合计变化量Δ(2～3)和点击C3在画面M上的位置P(2)作为数据集。
因此，当通过了注视检查部153的注视检查时，数据集保存部1541将眼电位的合计变化量Δ(n－1～n)和位置P(2)新存储在数据集存储部144中。对数据集存储部144的数据集的数量设定上限，数据集保存部1541在数据集的数量超过上限的情况下，将数据集存储部144的数据集中最早的眼电位的合计变化量Δ()的数据集舍弃一个。另外，估计装置10为了选择最佳的数据集，也可以不删除数据集存储部144的旧的数据集，而预先存储数据，从存储的数据集中仅选择最近的交互，来更新函数F。
[函数的参数更新]
接着，函数生成部1542根据更新后的数据集存储部144的数据集来更新函数F的参数。而且，视线移动量计算部1543使用该函数F来计算与用户的眼球运动量对应的画面上的视线移动量F(Δ(n～now))。接着，视线位置估计部155在用户的视线位置P(now)紧前面的交互对象的位置P(n)上加上视线移动量F(Δ(n～now))，来估计用户的视线位置P(now)。
这里，对函数F的参数更新进行说明。在估计装置10中，对存储在数据集存储部144中的数据集的数量设置上限，在数据集的数量超过上限的情况下，舍弃数据集中最早的一个数据集。换言之，在估计装置中，仅利用最近的交互，来不断地更新眼电位的合计变化量Δ与交互对象在画面上的位置P之间的对应关系。据此，使用更新后的数据集进行学习，通过更新函数F的参数，可以适应随着时间的经过产生的漂移或姿势移动引起的对应的变化。
图7是说明由图1中所示的估计装置10使用的函数F的参数的更新的图。在画面M上，即使在实际的视线的移动距离与当前模型(函数F)所预测的移动距离之间产生了误差(参见图7中的(1))的情况下，如果将实际的点击之间的距离视为真实的移动距离，则能够修正(更新)模型(函数F的参数)(参照图7的(2))。换言之，在估计装置10中，总是使用画面上的交互对象的最新位置来更新函数F的参数。
因此，根据估计装置10，函数F的参数更新自动地反复执行。因此，不需要为了函数F的参数更新，而进行用户的操作。如上所述，在估计装置10中，由于始终使用最新的数据集自动地反复进行函数F的参数更新，所以能够降低估计精度的恶化，并且能够防止由于执行参数更新而导致的实用性下降。
[估计处理的处理过程]
接下来，将描述由估计装置10进行的估计处理的处理过程。图8是表示实施方式1的估计处理的处理过程的流程图。
如图8所示，眼电位信息取得部151基于从传感器4输入的用户的眼电位的测量值，取得该用户的眼球运动中的眼电位的变化量(步骤S1)。例如，与步骤S1并行地，交互位置取得部152取得与通过用户操作在装置上的交互对应的画面上的交互对象的位置信息(步骤S2)。
在估计装置10中，控制部15判断是否检测到交互(步骤S3)。在控制部15判断为没有检测到交互(步骤S3：否)的情况下，控制部15返回步骤S1以及步骤S2。
在控制部15判断为检测到交互的情况下(步骤S3：是)，判断数据集保存部1451是否取得了规定量的数据集(步骤S4)。在判断为数据集保存部1451没有取得规定量的数据集的情况下(步骤S4：否)，将眼电位的变化量和画面上的交互对象的位置信息作为1组数据集，追加到数据集存储部144中(步骤S5)。
与此相对，在判断为数据集保存部1451取得了规定量的数据集的情况下(步骤S4：是)，注视检查部153进行注视检查(步骤S6)。注视检查部153判断上次估计的用户在画面上的视线位置与新交互中的画面上的交互对象的实际位置之间的第1距离是否在规定的阈值L以下。当注视检查部153判断为第1距离在规定的阈值L以下时，判断为新交互的画面上的交互对象的实际的位置信息和与其对应的眼电位的变化量的数据集通过了注视检查。
然后，注视检查部153判断新交互的画面上的交互对象的实际的位置信息和与其对应的眼电位的变化量的数据集是否通过了注视检查(步骤S7)。控制部15在注视检查部153判断为对象的数据集没有通过注视检查的情况下(步骤S7：否)，不进行使用该数据集的之后的处理，进入步骤S12。
另一方面，在注视检查部153判断为对象的数据集通过了注视检查的情况下(步骤S7：是)，数据集保存部1541将该数据集追加到数据集存储部144(步骤S8)，丢弃旧的数据集。
然后，函数生成部1542针对数据集存储部144存储的、包含新的数据集的多个数据集，更新视线移动量估计用的函数F的参数(步骤S9)，接着，视线移动量计算部1543将从上次交互的发生时刻到当前时刻的交互发生时刻之间的眼电位的变化量输入到函数F中，取得与眼电位的变化量对应的画面上的视线移动量，即从针对上次交互的交互对象的位置到当前时刻的视线的位置之间的移动量(步骤S10)。
视线位置估计部155通过对上次交互的画面上的对象位置加上与由视线移动量计算部1543取得的眼电位的变化量对应的画面上的视线移动量，来估计当前时刻的视线位置(步骤S11)。
此后，控制部15将视线的估计位置、眼电位的变化量和视线移动量开始使用于视线跟踪(步骤S12)，然后返回到步骤S1以继续进行下一个视线位置估计处理。
[实施方式1的效果]
如上所述，实施方式1的估计装置10在用户的愿电波信息中取得变化量，相对地取得用户在画面上的视线移动量。然后，估计装置10取得与通过用户操作在装置上的交互对应的画面上的交互对象的位置信息(绝对值)。随后，估计装置10基于画面上的视线移动量(相对值)和画面上的交互对象的位置信息(绝对值)来估计用户在画面上的当前时刻的视线位置。具体地，估计装置10将画面上的视线移动量(相对值)与画面上的交互对象的位置信息(绝对值)相加，估计用户在画面上的当前时刻的视线位置。
如上所述，在实施方式1中，采用对EOG方法增加交互利用，将画面上的视线移动量(相对值)和画面上的交互对象的位置信息(绝对值)相加这样的简单的估计方式。此外，在本实施方式1中，由于采用在绝对值上加上估计值的估计方式，所以与仅加上估计值的情况相比，能够保持较高的精度。因此，根据本实施方式1，能够不增加计算量地估计操作者在画面上的当前时刻的视线位置，所以能够在不降低实用性的情况下进行高精度的视线位置测量。
另外，在本实施方式1中，注视检查部153判断上次估计的用户在画面上的视线位置与新交互中的画面上的交互对象的位置之间的第1距离是否在规定的阈值以下。即，在实施方式1中，估计装置10检测实际的视线位置与估计出的视线位置的偏差。进而，在实施方式1中，注视检查部153在函数F生成后，在每次发生交互时都进行注视检查。
并且，在实施方式1中，仅使用实际的视线位置与估计的视线位置之间没有偏差的数据集，反复地更新函数F的参数。换言之，在实施方式1中，由于不采用与实际的视线位置不一致的数据集，所以能够适当地执行函数F的参数更新。
并且，在本实施方式1中，始终使用最新的数据集，自动地反复进行函数F的参数更新。即，不进行用户的明示的动作就进行与函数F的参数更新有关的处理。换言之，在实施方式1中，以用户意识不到的形式反复进行在应用交流EOG方法的情况下所需的视线位置的校准。进而，根据本实施方式1，能够降低估计精度的劣化，并且还能够防止函数F的参数更新的执行引起的实用性下降。如上所述，在估计装置10中，由于始终使用最新的数据集自动地反复进行函数F的参数更新，所以可以降低估计精度的恶化，并且可以防止由于执行参数更新而导致的实用性下降。
如上所述，根据本实施方式1，能够应用交流EOG方法在不降低实用性的情况下进行高精度的视线位置测量。
[实施方式1的变形例1]
作为本实施方式1的变形例，注视检查部153在注视检查处理(步骤S6)中，在检测与交互对应的注视时，可以调节该处理的执行定时。注视检查部153在基于与用户的眼球运动的停止有关的特征性信息的定时执行注视检查处理。
例如，注视检查部153根据眼球运动暂时停止的情况，判断为正在对画面的固定位置进行注视，由此能够检测出发生了注视。注视检查部153在检查是否正在注视某个交互时，不是直接使用交互发生时刻的估计出的视线位置，而是使用在接近交互发生时刻的定时检测出的注视。由此，可期待提高注视检查的精度。一般地，由于用户在注视点击对象后进行鼠标点击，所以通过进行该定时调整，可以期待有助于高精度地提取出对存在于交互稍前面的交互对象的注视。
另外，在注视检查处理中，也可以使用交互对象的元(meta)信息。例如，在存在按钮或文本框等有意义的对象物的情况下，注视检查部153使注视检查通过。另一方面，注视检查部153在不存在有意义的对象物的情况下，认为是无意识的输入，视作不注视。
[实施方式1的变形例2]
另外，注视检查部153在注视检查处理中，作为阈值L，也可以不静态地使用确定的值，而是根据函数F的可靠度，使阈值L适应性地变化。例如，不管注视对象和交互对象是否严格地一致，生成刚开始估计的模型。因此，在刚刚开始估计的情况下，认为函数F的精度不太好，所以注视检查部153也可以将阈值L设置得比较大，在每次追加次数时降低阈值L的值直到达到固定值为止。
这样，通过根据函数F的可靠度来改变阈值L，可以期待能够防止实施不适当的注视检查。此外，为了减少在通过数据集的更新进行的函数F的再校正中不能完全应对吸收的以短时间为单位发生的漂移，也可以对眼电位数据进行滤波等。
[实施方式2]
接着，对实施方式2进行说明。在实施方式2中，除了眼电位传感器以外，还使用对头部的运动量进行测量的传感器的检测结果，来应对在基于数据集的更新的函数F的参数更新中无法完全吸收的以短时间为单位发生的姿势变化。
图9是表示实施方式2中的估计系统的结构的一例的图。如图9所示，加速度传感器203a和倾斜传感器203b安装在用户2的头部。传感器204将从加速度传感器203a和倾斜传感器203b获得的测量值输入到估计装置210。
加速度传感器203a测量头部的加速度。加速度传感器203a测量出的加速度是与相对的头部的三维位置移动有关的信息。倾斜传感器203b测量头部的角度变化。倾斜传感器203b测量出的头部的角度变化是与相对的头部的三轴有关的角度变化相关的信息。这两个信息被作为与空间内的相对的头部运动量有关的头部运动信息来处理。估计装置210与眼电位的变化量一起，还使用头部运动信息来求出画面上的视线位置。
图10是示出图9中所示的估计装置210的结构的一例的框图。与图2所示的估计装置10相比，估计装置210的存储部14具有用于存储从传感器204输入的头部运动信息的头部运动信息存储部2141。另外，估计装置210具有控制部215来代替估计装置10的控制部15，控制部215具有头部运动信息取得部2151以及视线移动量取得部2154。
头部运动信息取得部2151基于与用户的头部的移动有关的测量值来取得该用户的头部移动信息。头部运动信息取得部2151取得加速度传感器203a以及倾斜传感器203b的测量值作为头部运动信息。
视线移动量取得部2154与用户的眼球运动的信息和画面上的交互对象的位置信息一起，还使用用户的头部运动信息，来取得画面上的视线移动量，估计用户在画面上的视线位置。视线移动量取得部2154包括数据集保存部21541、函数生成部21542和视线移动量计算部21543。
数据集保存部21541将眼电位信息取得部151取得的用户的眼球运动的信息、交互位置取得部152取得的画面上的交互对象的位置信息、头部运动信息取得部2151取得的用户的头部运动信息作为1组数据集，保存在该时刻的数据集存储部144中。数据集保存部21541将通过了注视检查部153的用户的眼电位的变化量、画面上的交互对象的位置信息、以及用户的头部运动信息保存在数据集存储部144中，并丢弃一个旧的数据集。
函数生成部21542在数据集存储部144中保存的数据集超过了规定组时，生成函数F'。函数F'是当输入了从上次交互的发生时刻到当前时刻之间的眼电位的变化量和头部运动信息时，输出从针对上次交互的交互对象的位置到当前时刻的视线的位置之间的移动量(距离、方向)(相对值)作为视线移动量的函数。
函数生成部21542通过使任意的算法学习数据集存储部144中保存的多个数据集，生成函数F'。函数生成部21542将生成的函数F'的参数存储在参数存储部145中。另外，函数生成部1542在函数F'的生成后，每当利用新的数据集更新了数据集时，就更新函数F'的参数。
视线移动量计算部21543基于用户的眼球运动的信息和头部运动信息，计算与用户的眼球运动量和用户的头部运动信息对应的画面上的视线移动量。具体地，视线移动量计算部21543通过将从上次交互的发生时刻到当前时刻为止的眼电位的变化量和头部运动信息输入到函数F'，从而计算从针对上次交互的交互对象的位置到当前时刻的视线的位置之间的移动量。
然后，视线位置估计部155通过对上次交互的画面上的对象位置加上与由视线移动量计算部21543取得的用户的眼电位的变化量及头部运动信息对应的画面上的视线移动量，来获得当前时刻的视线位置的估计位置。
[估计处理的处理过程]
接下来，将说明由估计装置210进行的估计处理的处理过程。图11是表示实施方式2的估计处理的处理过程的流程图。
图11所示的步骤S21以及步骤S22是与图8所示的步骤S1以及步骤S2相同的处理。头部运动信息取得部2151与步骤S21以及步骤S22并行地取得用户的头部运动信息(步骤S23)。步骤S24和步骤S25是与图8所示的步骤S3和步骤S4相同的处理。
数据集保存部21451在判断为没有取得规定量的数据集的情况下(步骤S25：否)，将眼电位的的变化量、画面上的交互对象的位置信息和头部运动信息作为一组数据集，追加到数据集存储部144中(步骤S26)。
与此相对，在判断为数据集保存部1451取得了规定量的数据集的情况下(步骤S25：是)，进入步骤S27。步骤S27和步骤S28是与图8所示的步骤S6和步骤S7相同的处理。
控制部215在注视检查部153判断为对象的数据集没有通过注视检查的情况下(步骤S28：否)，不进行使用该数据集的之后的处理，进入步骤S33。
另一方面，在注视检查部153判断为对象的数据集通过了注视检查的情况下(步骤S28：是)，数据集保存部21541将该数据集追加到数据集存储部144(步骤S29)，并且丢弃旧的数据集。
然后，函数生成部21542针对数据集存储部144存储的、包含新的数据集的多个数据集，更新视线移动量估计用的函数F'的参数(步骤S30)。随后，视线移动量计算部1543将从上次交互的发生时刻到当前时刻的交互发生时刻之间的眼电位的变化量和头部移动信息输入到函数F'，取得与眼电位的变化量及头部移动信息对应的画面上的视线移动量(步骤S31)。步骤S32和步骤S33是与图8所示的步骤S11以及步骤S12相同的处理。
[实施方式2的效果]
这样，在实施方式2中，取得头部运动信息，除了眼球的运动量之外，还可以考虑眼球存在的头部本身的运动量来进行视线估计。因此，根据实施方式2，与实施方式1相比，还起到能够应对在头部移动的同时视线移动的效果。
并且，在实施方式2中，根据头部的移动量和倾斜，能够得到视线朝向显示器外的周边环境这样的信息。在实施方式2中，通过将配置在桌子上的物体与向显示器外的注视行动建立对应，还能够测量对它们的注视。例如，如果是“离开显示器朝向正下方”，则可以判断为注视着“键盘”，如果是“从正下方稍微靠右侧”，则可以判断为注视着“键盘旁边的业务手册”，如果是“比显示器靠左侧”，则能够判断为注视着“电话机”。
这样，根据实施方式2，能够克服当脸部从画面正面方向离开时不能进行视线估计的现有的视线跟踪器的问题点，关于用户状态取得更广泛的数据。
另外，当头部的位置从画面的中心处于垂直状态时，画面的中心附近接近头部，周边远离头部。这种距离的差异导致眼球运动量和视线移动量之间的对应关系的差异。
因此，在本实施方式1、2中，在进行视线位置的估计时，将被视作眼球运动的出发点的紧前面的点击在画面中的绝对位置作为函数生成的输入的一部分。由此，能够生成如下的函数：例如在最近的几分钟期间，头部位置从画面中央处于垂直的状态的情况下，在从画面中央附近的点击(出发点)进行视线移动时，视线移动量被计算得较小，在从离开中央的点击进行视线移动时，视线移动量被计算得较大。另外，得到如下的函数：在最近的几分钟内头部位置位于画面中央的稍右的情况下，以该场所(画面中央的稍右)为中心，同样地如果离开该场所，则视线移动量增大。换言之，为了得到考虑了头部位置的函数，只要在将眼球运动量与视线移动量建立对应时考虑点击的绝对坐标即可，也可以说头部传感器不是必须的。
[系统结构等]
图示的各装置的各构成要素是功能概念性的，不一定需要在物理上如图示那样构成。即，各装置的分布·统合的具体方式不限于图示的方式，可以根据各种负荷或使用状况等，以任意单位在功能上或物理上分布·统合地构成其全部或一部分。进而，在各装置中进行的各处理功能，其全部或任意的一部分可以通过CPU以及由该CPU解析执行的程序来实现，或者作为基于引线逻辑的硬件来实现。根据本实施方式的估计装置10和210还可以通过计算机和程序来实现，并且可以将程序记录在记录介质中或者通过网络来提供程序。
此外，在本实施方式中说明的各处理中，作为自动进行的处理来说明的处理的全部或一部分也可以手动地进行，或者作为手动进行的处理来说明的处理的全部或一部分也可以用公知的方法自动地进行。除非另有说明，否则在说明书和附图中示出的处理过程、控制过程、具体名称以及包括各种数据和参数的信息可以任意地改变。
[程序]
图11是示出通过执行程序来实现估计装置10和210的计算机的一例的图。计算机1000包括例如存储器1010和CPU 1020。计算机1000还包括硬盘驱动接口1030、盘驱动接口1040、串行端口接口1050、视频适配器1060和网络接口1070。这些各部通过总线1080连接。
存储器1010包括ROM(只读存储器)1011和RAM 1012。ROM 1011存储例如BIOS(Basic Input Output System)等引导程序。硬盘驱动接口1030连接到硬盘驱动器1090。盘驱动器接口1040连接到盘驱动器1100。例如，诸如磁盘或光盘之类的可拆装的存储介质被插入到盘驱动器1100中。串行端口接口1050例如连接到鼠标1110和键盘1120。视频适配器1060例如连接到显示器1130。
硬盘驱动器1090例如存储OS1091、应用程序1092、程序模块1093、程序数据1094。即，规定估计装置10、210的各处理的程序被实现为程序模块1093，其中程序模块1093描述了计算机1000可执行的代码。程序模块1093例如存储在硬盘驱动器1090中。例如，用于执行与估计装置10、210中的功能结构相同的处理的程序模块1093被存储在硬盘驱动器1090中。另外，硬盘驱动器1090也可以由SSD(Solid State Drive，固态驱动器)代替。
另外，在上述实施方式的处理中使用的设定数据作为程序数据1094，例如存储在存储器1010或硬盘驱动器1090中。而且，CPU1020根据需要将存储在存储器1010或硬盘驱动器1090中的程序模块1093或程序数据1094读出到RAM1012中来执行。
另外，程序模块1093或程序数据1094不限于存储在硬盘驱动器1090中的情况，例如也可以存储在可装卸的存储介质中，经由盘驱动器1100等由CPU1020读出。或者，程序模块1093和程序数据1094也可以存储在通过网络(LAN、WAN(Wide Area Network，广域网)等)连接的其他计算机中。可以由CPU1020从其他计算机经由网络接口1070读出程序模块1093和程序数据1094。
以上，对应用了由本发明人完成的发明的实施方式进行了说明，但并不是由基于本实施方式的本发明公开的一部分的记述和附图来限定本发明。即，基于本实施方式，由本领域技术人员等完成的其他实施方式、实施例以及运用技术等全部包含在本发明的范畴内。
附图标记
3 电极
4 传感器
10、210 估计装置
11 输入装置
11a 鼠标
11b 键盘
12 显示装置
12a 显示器
13 通信部
14 存储部
15、215 控制部
141 眼电位信息存储部
142 交互存储部
143 估计位置存储部
144 数据集存储部
145 参数存储部
151 眼电位信息取得部
152 交互位置取得部
153 注视检查部
154、2154 视线移动量取得部
155 视线位置估计部
1541、21541 数据集保存部
1542、21542 函数生成部
1543、21543 视线移动量计算部
2141 头部运动信息存储部

Claims (8)

1.一种估计方法，所述估计方法由估计装置执行，其特征在于，所述估计方法包括：
第1取得步骤，基于用户的眼电位的测量值，取得该用户的眼球运动的信息；
第2取得步骤，取得与通过所述用户的操作进行的装置上的交互对应的画面上的交互对象的位置信息；
第3取得步骤，至少基于所述用户的眼球运动的信息，取得与所述用户的视线的相对运动有关的信息；以及
估计步骤，基于与所述用户的视线的相对运动有关的信息和所述画面上的交互对象的位置信息，估计所述用户在画面上的视线位置。
2.根据权利要求1所述的估计方法，其特征在于，
所述估计方法还包括判断步骤，在所述判断步骤中，判断上次估计的用户在画面上的视线位置与对应于新交互的画面上的交互对象的位置之间的距离即第1距离是否在规定阈值以下，
在所述估计步骤中，当在所述判断步骤中判断为所述第1距离在规定阈值以下时，根据对应于所述新交互的画面上的交互对象的位置信息、以及与对应于所述位置信息的所述用户的视线的相对运动有关的信息，估计所述用户在画面上的视线位置，当在所述判断步骤中判断为所述第1距离大于规定阈值时，根据在所述新交互的前一个的判断步骤中被判断为所述第1距离在规定阈值以下的画面上的交互对象的位置信息、以及与对应于所述位置信息的所述用户的视线的相对运动有关的信息，估计所述用户在画面上的视线位置。
3.根据权利要求2所述的估计方法，其特征在于，在基于与所述用户的眼球运动的停止有关的特征性信息的定时，执行所述判断步骤。
4.根据权利要求2或3所述的估计方法，其特征在于，
所述第3取得步骤包括：
保存步骤，将所述用户的眼球运动的信息和所述画面上的交互对象的位置信息保存为数据集；以及
第4取得步骤，根据在所述数据集中存在的、所述用户的眼球运动的信息和所述画面上的交互对象的位置信息，取得与所述用户的眼球运动量对应的画面上的视线移动量。
5.根据权利要求4所述的估计方法，其特征在于，
所述保存步骤将在所述判断步骤中被判断为所述第1距离在规定阈值以下的所述新交互中的画面上的交互对象的位置信息、和对应于所述新交互的眼球运动的信息包含在该时刻的所述数据集中。
6.根据权利要求4所述的估计方法，其特征在于，
所述估计方法还包括第5取得步骤，在所述第5取得步骤中，基于与所述用户的头部的移动有关的测量值，取得所述用户的头部移动信息，
在所述第4取得步骤中，与所述用户的眼球运动的信息以及所述画面上的交互对象的位置信息一起，还使用所述用户的头部移动信息，取得所述画面上的视线移动量。
7.一种估计程序，使计算机执行以下步骤：
基于用户的眼电位的测量值，取得该用户的眼球运动的信息；
取得与通过所述用户的操作进行的装置上的交互对应的画面上的交互对象的位置信息；
至少基于所述用户的眼球运动的信息，取得与所述用户的视线的相对运动有关的信息；以及
基于与所述用户的视线的相对运动有关的信息和所述画面上的交互对象的位置信息，估计所述用户在画面上的视线位置。
8.一种估计装置，其特征在于，所述估计装置具有：
第1取得部，基于用户的眼电位的测量值，取得该用户的眼球运动的信息；
第2取得部，取得与通过所述用户的操作进行的装置上的交互对应的画面上的交互对象的位置信息；
第3取得部，至少基于所述用户的眼球运动的信息，取得与所述用户的视线的相对运动有关的信息；以及
估计部，基于与所述用户的视线的相对运动有关的信息和所述画面上的交互对象的位置信息，估计所述用户在画面上的视线位置。
CN201980030494.9A 2018-05-09 2019-05-09 估计方法、估计程序以及估计装置 Pending CN112106012A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018090711A JP6911809B2 (ja) 2018-05-09 2018-05-09 推定方法、推定プログラム及び推定装置
JP2018-090711 2018-05-09
PCT/JP2019/018623 WO2019216387A1 (ja) 2018-05-09 2019-05-09 推定方法、推定プログラム及び推定装置

Publications (1)

Publication Number Publication Date
CN112106012A true CN112106012A (zh) 2020-12-18

Family

ID=68468173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030494.9A Pending CN112106012A (zh) 2018-05-09 2019-05-09 估计方法、估计程序以及估计装置

Country Status (5)

Country Link
US (1) US11435822B2 (zh)
EP (1) EP3779646B1 (zh)
JP (1) JP6911809B2 (zh)
CN (1) CN112106012A (zh)
WO (1) WO2019216387A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681201A (zh) * 2008-01-25 2010-03-24 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法及计算机程序
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
US20140085189A1 (en) * 2012-09-26 2014-03-27 Renesas Micro Systems Co., Ltd. Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
JP2014211794A (ja) * 2013-04-19 2014-11-13 株式会社ニコン 視線検出装置
US20150199005A1 (en) * 2012-07-30 2015-07-16 John Haddon Cursor movement device
JP2017049775A (ja) * 2015-09-01 2017-03-09 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US20180120934A1 (en) * 2016-11-01 2018-05-03 Fujitsu Limited Non-transitory computer-readable storage medium, calibration device, and calibration method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR20140011204A (ko) 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681201A (zh) * 2008-01-25 2010-03-24 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法及计算机程序
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
US20150199005A1 (en) * 2012-07-30 2015-07-16 John Haddon Cursor movement device
US20140085189A1 (en) * 2012-09-26 2014-03-27 Renesas Micro Systems Co., Ltd. Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
JP2014211794A (ja) * 2013-04-19 2014-11-13 株式会社ニコン 視線検出装置
JP2017049775A (ja) * 2015-09-01 2017-03-09 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US20180120934A1 (en) * 2016-11-01 2018-05-03 Fujitsu Limited Non-transitory computer-readable storage medium, calibration device, and calibration method

Also Published As

Publication number Publication date
EP3779646B1 (en) 2023-01-11
WO2019216387A1 (ja) 2019-11-14
JP6911809B2 (ja) 2021-07-28
EP3779646A4 (en) 2022-01-05
US20210048882A1 (en) 2021-02-18
JP2019197369A (ja) 2019-11-14
US11435822B2 (en) 2022-09-06
EP3779646A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
EP3293620B1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
US9727135B2 (en) Gaze calibration
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
US8823794B2 (en) Measuring device user experience through display outputs
US20160128568A1 (en) Correcting systematic calibration errors in eye tracking data
EP2940555A1 (en) Automatic gaze calibration
US20120110516A1 (en) Position aware gestures with visual feedback as input method
AU2015296666B2 (en) Reflection-based control activation
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
CN110969116A (zh) 注视点位置确定方法及相关装置
CN112083801A (zh) 基于vr虚拟办公的手势识别系统及方法
CN111695516B (zh) 热力图的生成方法、装置及设备
CN109389082B (zh) 视线采集方法、装置、系统、计算机可读存储介质
JP2014050649A (ja) 疲労感評価装置、疲労感評価方法、及びプログラム
CN112106012A (zh) 估计方法、估计程序以及估计装置
CN111610886A (zh) 触控屏幕亮度的调整方法、设备及计算机可读存储介质
JP2020098405A (ja) 監視システム、監視方法、およびプログラム
US20160266698A1 (en) Method and apparatus for generating a personalized input panel
CN114489412A (zh) 用于对运动传感器进行偏置矫正的方法、装置和交互方法
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN112528107A (zh) 内容数据的展示方法、装置和服务器
WO2020042589A1 (zh) 一种用户距离估算方法、装置、设备及存储介质
CN105807899B (zh) 一种电子设备及信息处理方法
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
US11836288B2 (en) Distance estimation device, distance estimation method and distance estimation program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination