CN107407977A - 信息处理设备、控制方法及程序 - Google Patents

信息处理设备、控制方法及程序 Download PDF

Info

Publication number
CN107407977A
CN107407977A CN201580077167.0A CN201580077167A CN107407977A CN 107407977 A CN107407977 A CN 107407977A CN 201580077167 A CN201580077167 A CN 201580077167A CN 107407977 A CN107407977 A CN 107407977A
Authority
CN
China
Prior art keywords
line
user
sight detection
unit
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077167.0A
Other languages
English (en)
Other versions
CN107407977B (zh
Inventor
安田亮平
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107407977A publication Critical patent/CN107407977A/zh
Application granted granted Critical
Publication of CN107407977B publication Critical patent/CN107407977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

[问题]提供一种能够在普通用户操作中执行视线检测校准而不需要仅用于所述视线检测校准的操作的信息处理设备、控制方法及程序。[解决方案]通过信息处理设备来解决该问题，该信息处理设备包括：识别单元，其结合用户操作来识别注视点；视线检测单元，其在用户操作时检测用户的视线位置；以及视线检测调整单元，其基于所识别的注视点和视线位置来执行对视线检测单元所执行的视线检测的调整。

Description

信息处理设备、控制方法及程序
技术领域
本公开涉及信息处理设备、控制方法及程序。
背景技术
常规地，已经提出了视线检测技术，其中对人或动物的眼睛(具体而言，瞳孔、角膜)进行拍摄以检测视线和注视点，或者将检测眼球运动的电极安装在头部以检测的视线和注视点。通过使用这样的视线检测技术，可以进行基于视线和注视点的位置和运动的操作输入(所谓的视线输入)。
此外，为了提高视线检测技术的准确度，还提出了一种与用于对用户之间的视线个体差异进行校正的视线校准有关的技术。例如，下面列出的专利文献1提出了一种校准技术，其中，在观看表面的任意点处显示视觉目标(即校准标记)以引导用户的视线，并且基于视线引导之前和之后的视线位置，获得用于校正由用户的眼球的个体差异引起的检测误差的个体差异校正数据。
引用列表
专利文献
专利文献1：JP 2001-4906A
发明内容
技术问题
然而，如在上面列出的专利文献1中公开的常规校准技术使得用户执行仅用于校准的操作或工作，这与用于实现设备的原始目的的操作或工作不相关，造成用户的负担或不适。
因此，本公开提出了一种能够消除对仅用于视线检测校准的操作的需要并且能够在普通用户操作中执行视线检测校准的信息处理装置、控制方法及程序。
问题的解决方案
根据本公开，提出了一种信息处理设备，其包括：识别单元，被配置成识别伴随着用户操作的注视目标的位置；视线检测单元，被配置成检测用户操作期间用户的视线位置；以及视线检测调整单元，被配置成基于所识别的注视目标的位置以及视线位置来对视线检测单元所执行的视线检测进行调整。
根据本公开，提出了一种控制方法，包括：识别伴随着用户操作的注视目标的位置；检测用户操作期间用户的视线位置；以及基于所识别的注视目标的位置以及视线位置，通过视线检测调整单元进行对视线检测的调整。
根据本公开，提出了一种程序，用于使得计算机作用：识别单元，被配置成识别伴随着用户操作的注视目标的位置；视线检测单元，被配置成检测用户操作期间用户的视线位置；以及视线检测调整单元，被配置成基于所识别的注视目标的位置以及视线位置来对视线检测单元所执行的视线检测进行调整。
本发明的有益效果
如上所述，根据本公开，能够消除对仅用于视线检测校准的操作的需要，并且能够在普通用户操作中执行视线检测校准。
注意，上述效果不一定是限制性的。与上述效果一起或取代上述效果，可以实现本说明书中描述的效果中的任一效果或者可以从本说明书领会的其他效果。
附图说明
图1是描述在根据第一实施方式的指示器是指针时的视线检测校准的图。
图2是示出根据第一实施方式的信息处理系统的配置的图。
图3是示出根据第一实施方式的另一信息处理系统的配置的图。
图4是示出根据第一实施方式的指示器是指针时的视线检测校准的操作处理的流程图。
图5是描述根据第一实施方式的指示器是控制器时的视线检测校准的图。
图6是示出根据第一实施方式的指示器是控制器时的视线检测校准的操作处理的流程图。
图7是描述根据第一实施方式的指示器是指尖时的视线检测校准的图。
图8是示出根据第一实施方式的指示器是指尖时的视线检测校准的操作处理的流程图。
图9是描述根据第二实施方式的注视目标是真实对象时的视线检测校准的图。
图10是示出根据第二实施方式的信息处理系统的配置的图。
图11是示出根据第二实施方式的另一信息处理系统的配置的图。
图12是示出根据第二实施方式的视线检测校准的操作处理的流程图。
图13是描述根据第三实施方式的视线检测校准的图。
图14是示出根据第三实施方式的另一信息处理系统的配置的图。
图15是示出根据第三实施方式的密码取消处理的流程图。
图16是示出在图15所示的密码消除处理期间执行的视线检测校准的操作处理的流程图。
图17是描述根据第四实施方式的视线检测校准的图。
图18是示出根据第四实施方式的信息处理系统的配置的图。
图19是示出根据第四实施方式的视线检测校准的操作处理的流程图。
图20是描述根据第五实施方式的视线检测校准的图。
图21是示出根据第五实施方式的信息处理系统的配置的图。
图22是示出根据第五实施方式的视线检测校准的操作处理的流程图。
图23是描述根据第六实施方式的视线检测校准的图。
图24是示出根据第六实施方式的信息处理系统的配置的图。
图25是示出根据第六实施方式的视线检测校准的操作处理的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施方式。在本说明书和附图中，使用相同的附图标记来表示基本具有相同功能和结构的结构元件，并且将省略对这些结构元件的重复说明。
此外，将按以下顺序给出描述。
1.根据本公开的实施方式的视线检测校准的概述
2.各实施方式
2-1.第一实施方式
2-1-1.使用指针时的视线检测校准
2-1-2.使用控制器时的视线检测校准
2-1-3.使用指尖时的视线检测校准
2-2.第二实施方式
2-3.第三实施方式
2-4.第四实施方式
2-5.第五实施方式
2-6.第六实施方式
3.结论
<<1.根据本公开的实施方式的视线检测校准的概述>>
根据本公开的实施方式的视线检测校准在实现设备的原始目的的用户操作过程中识别注视目标的位置，并且基于所识别的注视目标的位置和操作过程中用户的视线位置来执行视线检测的调整(即校准)。因此，能够消除对仅用于视线检测校准的普通操作的需要，并且能够在普通用户操作中执行视线检测校准。
在下文中，将使用多种实施方式具体描述根据本公开的实施方式的用于实现这样的视线检测校准的信息处理系统。
<<2.各实施方式>>
<2-1.第一实施方式>
首先，将描述在使用指示器的用户操作期间的视线检测校准。根据本实施方式的信息处理设备20识别用户的注视目标并且检测当用户将指示器移动至注视目标时用户的视线位置，以基于注视目标的位置和视线位置之间的位移来执行视线检测校准。指示器可以是作为画面上显示的操作目标对象的示例的指针(即虚拟对象)，或者可以是作为由用户持有的操作目标对象的示例的控制器(即真实对象)，或者当可以进行手势输入时可以是用户的指尖。在下文中，将使用图1至图8来描述在使用各个指示器的用户操作期间的视线检测校准。
(2-1-1.使用指针时的视线检测校准)
指示器的示例可以是在画面上显示的指针。用户将指针移动到预定图标的显示区域以选择图标，并具有与所执行的图标相对应的应用处理。将参照图1描述这样的情况。
(概述)
图1是描述在根据第一实施方式的指示器是指针时的视线检测校准的图。如图1所示，在显示在屏幕31上的指针50例如由视线操作的系统中，作为客户的用户使用指尖、遥控器等将指针50移动至显示在屏幕31上的开始图标40以作为系统的使用开始操作。基于由被安装在屏幕31附近的摄像机10拍摄的拍摄图像来检测指尖的位置和用户的视线位置P。
在这样的使用开始操作中，假设用户视觉上查看开始图标40(视线S)，并且将指针50移动至开始图标40的显示区域。因此，可以基于当指示器50移动至开始图标40的显示区域时检测到的视线位置P和作为注视目标的开始图标40的显示区域(的中心位置)之间的位移来执行视线检测校准。图2示出了实现这样的视线检测校准的系统配置的示例。
(配置)
图2是示出根据第一实施方式的信息处理系统101a的配置的图。如图2所示，信息处理系统101a包括摄像机10、信息处理设备20-1a以及显示设备30-1a。
摄像机10例如是立体摄像机，拍摄存在于屏幕31前方的用户的脸或身体的图像并且将拍摄的图像输出至信息处理设备20-1a。
显示设备30-1a具有根据信息处理设备20-1a的控制输出图像的功能。显示设备30-1a例如可以由液晶显示器实现，或者可以由对图像进行投影的投影仪来实现。在图1所示的示例中，显示设备30-1a由投影仪(未示出)来实现，并且将图像投影在屏幕31上。
信息处理设备20-1a具有基于从摄像机10获得的拍摄图像来检测用户的视线并且根据视线对显示在显示设备30-1a上的指针50等执行操作的视线操作功能。信息处理设备20-1A也可以执行用于在用户的通常操作下对由个体差异引起的检测误差进行校正的视线检测校准。
具体地，如图2所示，信息处理设备20-1a具有指示位置检测单元21-1a、应用处理单元22-1a、视线检测单元23-1a以及视线检测调整单元24-1a。
指示位置检测单元21-1a检测用户在屏幕31的显示画面上指示的位置。例如，指示位置检测单元21-1a基于由摄像机10拍摄的拍摄图像来识别用户的指尖，检测屏幕31的显示画面上的用指尖指示的位置，并且将所检测的坐标位置输出至应用处理单元22-1b。另外，当用户使用陀螺仪遥控器来指示时，指示位置检测单元21-1a基于由安装在遥控器上的陀螺仪传感器感测的传感器值来识别遥控器的运动，检测屏幕31的显示画面上的用陀螺仪遥控器指示的位置，并且将所检测的坐标位置输出至应用处理单元22-1b。另外，当用户使用红外遥控器来指示时，指示位置检测单元21-1a基于从遥控器发出的红外线来识别遥控器的运动，检测屏幕31的显示画面上的用红外遥控器指示的位置，并且将所检测的坐标位置输出至应用处理单元22-1b。
应用处理单元22-1a根据用户的视线来控制由显示设备30-1a显示的显示画面上的指针50。应用处理单元22-1a还根据由指示位置检测单元21-1a检测的指示位置的坐标位置来控制指针在显示画面上的显示位置。另外，在指针50选择了图标的情况下，应用处理单元22-1a执行与图标相对应的处理。如图1所示，在指针50已移动至开始图标40的显示区域的情况下，例如执行开始对使用视线操作指针50的系统的使用的操作。此外，应用处理单元22-1a还用作识别图标(注视目标的示例)在显示画面上的坐标位置的识别单元。
视线检测单元23-1a基于从摄像机10获得的用户的眼镜的拍摄图像来检测视线(具体地，视线方向或视线位置等)。
视线检测调整单元24-1a从应用处理单元22-1a获得作为注视目标的开始图标40的显示位置和显示区域(图标大小)以及根据用户操作移动的指针50的位置，并且基于指针50是否在预定时长内停留在开始图标40的显示区域内来确定视线检测校准的执行。视线检测调整单元24-1a还基于当指针50停留在开始图标40的显示区域内时从视线检测单元23-1a连续采样的视线位置P以及开始图标40的显示位置来执行视线检测校准。具体地，根据所检测的视线位置P和开始图标40的显示区域的中心位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。
上面具体描述了根据本实施方式的信息处理系统101a的配置。注意，图2所示的系统配置是示例，并且本实施方式不限于此。例如，本实施方式的系统配置可以是图3所示的配置。
图3是示出根据第一实施方式的另一信息处理系统101b的配置的图。如图3所示，信息处理系统101b包括指示位置检测摄像机11-1b、视线检测摄像机12-1b、信息处理设备20-1b以及显示设备30-1b。与上述信息处理系统101a相比，信息处理系统101b的不同之处在于包括多个摄像机。
虽然上述信息处理系统101a基于由单个摄像机10拍摄的拍摄图像来执行指示位置的检测和视线检测，图3所示的信息处理系统101b设置有指示位置检测摄像机11-1b和视线检测摄像机12-1b，以基于由相应的摄像机拍摄的拍摄图像来执行指示位置检测和视线检测。
另外，如图3所示，信息处理设备20-1b具有指示位置检测单元21-1b、应用处理单元22-1b、视线检测单元23-1b以及视线检测调整单元24-1b。由于每个配置的主要功能与参照图2描述的信息处理设备20-1a的每个配置类似，因此这里将省略详细描述。此外，指示位置检测单元21-1b基于从指示位置检测摄像机11-1b获得的拍摄图像来检测由用户指示的位置。此外，视线检测单元23-1b基于从视线检测摄像机12-1b获得的拍摄图像来检测用户的视线。
注意，在图2和图3中，摄像机10-1a或指示位置检测摄像机11-1b和视线检测摄像机12-1b、信息处理设备20-1a以及显示设备30-1a由不同的构件构成，但本实施方式不限于此，并且例如其可以由同一构件构成。
(操作)
下面，将参照图4描述根据本实施方式的操作处理。图4是示出根据第一实施方式的指示器是指针时的视线检测校准的操作处理的流程图。这里，如果不需要在图2和图3所示的各个配置之间进行区分，则指定信息处理设备20-1(20-1a，20-1b)、指示位置检测单元21-1(21-1a，21-1b)、应用处理单元22-1(22-1a，22-1b)、视线检测单元23-1(23-1a，23-1b)以及视线检测调整单元24-1(24-1a，24-1b)。
如图4所示，首先，在步骤S103中，视线检测调整单元24-1基于来自应用处理单元22-1的信息输出来确定指针50是否已进入作为注视目标的图标例如开始图标40的显示区域。
接下来，如果指针50进入了开始图标40的显示区域(S103/是)，则视线检测单元23-1在步骤S106中对视线位置P进行采样。注意，视线检测单元23-1对视线位置P连续采样，并且如果指针50未进入开始图标40的显示区域(S103/否)，则可以清除被采样的数据。
然后，在步骤S109中，视线检测调整单元24-1基于在指针50进入开始图标40的显示区域之后是否已经过特定时长来确定校准的执行。此时，视线检测调整单元24-1也可以确认视线位置P停留在特定范围内以确定校准的执行。
接下来，如果在指针50进入开始图标40的显示区域之后未经过特定时长的情况下指针50移出了显示区域(S109/否)，则清除采样的数据。
另一方面，如果在指针50进入开始图标40的显示区域之后经过了特定时长(S109/是)，则视线检测调整单元24-1在步骤S112中执行视线检测校准。具体地，视线检测调整单元24-1基于开始图标40的显示区域的中心位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在使得指针50停留在开始图标40的显示区域内的操作中，用户注视开始图标40(视线S)。
此外，视线位置P可以是多个采样视线位置数据的平均值，或者可以计算多个采样视线位置数据的标准偏差σ，并且可以仅使用3σ内的数据。
然后，在步骤S115中，应用处理单元22-1执行与使用指针50选择的开始图标40相对应的使用开始操作(即图标选择之后的处理)。选择开始图标40的前提是使指针50在特定时长内保持在开始图标40的显示区域内。
如上所述，根据本实施方式的信息处理系统101(101a,101b)可以在用户实现设备的原始目的的操作，即，使得指针50进入开始图标40的显示区域以进行使用开始的的操作中，执行视线检测校准，并且能够消除仅用于视线检测校准的操作的需要。
(2-1-2.使用控制器时的视线检测校准)
下面，将参照图5至图6描述使用控制器时的视线检测校准。
(概述)
图5是描述根据第一实施方式的指示器是控制器时的视线检测校准的图。此处，如图5所示，假定以下系统：在该系统中，由摄像机10-1c拍摄的用户的视频被显示在显示设备30-1c的显示画面上，并且由用户持有的控制器51被移动至与用户的脸42相关联地显示的检测区域43，其中用户的脸42出现在画面上以执行用户的登录处理(如果可以通过脸部识别来识别个人，则是用于个人的登录处理)。此外，还执行使连接的控制器51与执行了登录处理的用户相关联的处理。在登录之后，可以执行根据用户的视线的处理。
检测区域43对应于每个用户，并且例如当如图5所示的那样出现若干用户A和B时，若干检测区域43a和43b与相应用户的脸42a和42b相对应地显示。因此，用户A将他/她自己的控制器51a移动至在他/她的脸42a附近显示的检测区域43a以执行登录，并且用户B也将他/她自己的控制器51b移动至在他/她的脸42b附近显示的检测区域43a以执行登录。
在本实施方式中，在作为使用控制器51的这种登录操作的用于实现设备的原始目的的操作中执行视线检测校准。
(配置)
根据本实施方式的信息处理系统的配置与上面参照图2和图3描述的系统配置类似。也就是说，根据本实施方式的信息处理系统101包括摄像机10-1c(或指示位置检测摄像机11-1c和视线检测摄像机12-1c)、信息处理设备20-1c以及显示设备30-1c。与图2和图3中示出的情况类似，信息处理设备20-1c具有指示位置检测单元21-1c、应用处理单元22-1c、视线检测单元23-1c以及视线检测调整单元24-1c。
指示位置检测单元21-1c检测被摄像机10-1c拍摄了图像的用户持有的控制器51在显示画面上的位置。此外，基于由指示位置检测单元21-1c检测的控制器51的坐标位置，应用处理单元22-1c在控制器51进入检测区域43时执行与检测区域43相对应的用户的登录处理。此外，应用处理单元22-1c还用作识别检测区域43(注视目标的示例)在显示画面上的坐标位置的识别单元。
视线检测单元23-1c基于由摄像机10-1c拍摄的用户的眼睛的拍摄图像来执行视线检测(例如检测用户A的视线位置Pa和用户B的视线位置Pb)。当控制器51进入检测区域43时，视线检测调整单元24-1c基于从视线检测单元23-1c连续采样的视线位置P和检测区域43的显示位置来执行视线检测校准。具体地，根据所检测的视线位置P与检测区域43的显示区域的中心位置之间的位移来计算校正参数，以校正由个体差异引起的视线检测误差。
(操作)
图6是示出根据第一实施方式的指示器是控制器时的视线检测校准的操作处理的流程图。这里，指定了信息处理设备20-1(20-1c)、指示位置检测单元21-1(21-1c)、应用处理单元22-1(22-1c)、视线检测单元23-1(23-1c)以及视线检测调整单元24-1(24-1c)。
如图6所示，首先，在步骤S203中，视线检测调整单元24-1基于来自应用处理单元22-1的信息输出来确定控制器51是否已进入作为注视目标的检测区域43的显示区域。
接下来，如果控制器51进入了检测区域43的显示区域(S203/是)，则视线检测单元23-1在步骤S206中对视线位置P进行采样。注意，视线检测单元23-1对视线位置P连续采样，并且如果控制器51未进入检测区域43的显示区域(S203/否)，则可以清除被采样的数据。
然后，在步骤S209中，视线检测调整单元24-1基于在控制器51进入检测区域43的显示区域之后是否已经过特定时长来确定校准的执行。此时，视线检测调整单元24-1也可以确认视线位置P停留在特定范围内以确定校准的执行。
接下来，如果控制器51在控制器51进入检测区域43的显示区域之后未经过特定时长的情况下移出了该显示区域(S209/否)，则清除采样的数据。
另一方面，如果在控制器51进入检测区域43的显示区域之后经过了特定时长(S209/是)，则视线检测调整单元24-1在步骤S212中执行视线检测校准。具体地，视线检测调整单元24-1基于检测区域43的显示区域的中心位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在使得控制器51停留在检测区域43的显示区域内的操作中，用户在注视检测区域43。
然后，在步骤S215中，根据用户将控制器51移动至检测区域43的用户操作，应用处理单元22-1执行用户的登录处理。
如上所述，根据本实施方式的信息处理系统101c能够在用户实现设备的原始目的的操作，即，将控制器51移动到检测区域43以进行登录处理的操作中，执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
(2-1-3.使用指尖时的视线检测校准)
下面，将参照图7至图8描述使用指尖时的视线检测校准。
(概述)
图7是描述根据第一实施方式的指示器是指尖时的视线检测校准的图。此处，如图7所示，假定以下系统：在该系统中，当用户佩戴由智能眼镜实现的信息处理设备20-1d时，文本、图标等被显示在位于用户的眼睛前方的显示设备30-1d上，并且用户可以通过向前抬起指尖以定位在图标的显示位置来做出选择。此外，信息处理设备20-1d也可以检测用户的视线并且根据视线施加控制。
如图7所示，基于由朝外设置在信息处理设备20-1d中的指示位置检测摄像机11-1d拍摄的拍摄图像来检测指尖的位置。此外，如图7所示，基于由朝外设置在信息处理设备20-1d中的视线检测摄像机12-1d拍摄的拍摄图像来检测佩戴者(用户)的视线。
如图7所示，显示设备30-1d是透射式的，并且佩戴信息处理设备20-1d的用户可以经由显示设备30-1d视觉地识别真实空间。此外，在图7所示的示例中，文本44指示“从Mr.oo接收到了消息。要打开消息，使用指间指示电子邮件”，并且电子邮件图标45被显示在显示设备30-1d上。在该情况下，用户在他/她的眼睛前方做出抬起指尖52的手势以指示显示在显示设备30-1d上的电子邮件图标45。指尖52的位置的图像由朝外设置在信息处理设备20-1d上的指示位置检测摄像机11-1d拍摄，并且由信息处理设备20-1d检测。当基于拍摄图像检测的指尖52在用户的视场中的位置存在于电子邮件图标45的显示区域内时，信息处理设备20-1d确定电子邮件图标45被选择，并且在显示设备30-1d上显示电子邮件的内容。
在本实施方式中，在作为用指尖52选择图标的这种操作的用于实现设备的原始目的的操作中执行视线检测校准。
(配置)
根据本实施方式的信息处理系统的配置与上面参照图3描述的系统配置类似。也就是说，根据本实施方式的信息处理系统101d包括指示位置检测摄像机11-1d、视线检测摄像机12-1d、信息处理设备20-1d以及显示设备30-1d。与图3中示出的情况类似，信息处理设备20-1d具有指示位置检测单元21-1d、应用处理单元22-1d、视线检测单元23-1d以及视线检测调整单元24-1d。
指示位置检测单元21-1d基于由指示位置检测摄像机11-1d拍摄的拍摄图像来检测用户的指尖52的位置(在透射式显示设备30-1d上的坐标位置)。此外，基于由指示位置检测单元21-1d检测的指尖52的坐标位置，应用处理单元22-1d在指尖52指示电子邮件图标45时执行与电子邮件图标45相对应的显示电子邮件的内容的处理。此外，应用处理单元22-1d还用作用于识别电子邮件图标45(注视目标的示例)在显示画面上的坐标位置的识别单元。
视线检测单元23-1d基于由视线检测摄像机12-1d拍摄的用户的眼睛的拍摄图像来执行视线检测。当指尖52指示电子邮件图标45时，视线检测调整单元24-1d基于从视线检测单元23-1d连续采样的视线位置P和电子邮件图标45的显示位置来执行视线检测校准。具体地，根据所检测的视线位置P与电子邮件图标45的显示区域的中心位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。
(操作)
图8是示出根据第一实施方式的指示器是指尖时的视线检测校准的操作处理的流程图。这里，指定了信息处理设备20-1(20-1d)、指示位置检测单元21-1(21-1d)、应用处理单元22-1(22-1d)、视线检测单元23-1(23-1d)以及视线检测调整单元24-1(24-1d)。
如图8所示，首先，在步骤S303中，视线检测调整单元24-1基于来自应用处理单元22-1的信息输出来确定指尖52是否已进入作为注视目标的电子邮件图标45的显示区域。
接下来，如果指尖52进入了电子邮件图标45的显示区域(S303/是)，则视线检测单元23-1在步骤S306中对视线位置P进行采样。注意，视线检测单元23-1对视线位置P连续采样，并且如果指尖52未进入电子邮件图标45的显示区域(S303/否)，则可以清除被采样的数据。
然后，在步骤S309中，视线检测调整单元24-1基于在指尖52进入电子邮件图标45的显示区域之后是否已经过特定时长来确定校准的执行。此时，视线检测调整单元24-1也可以确认视线位置P停留在特定范围内以确定校准的执行。
接下来，如果指尖52在指尖52进入电子邮件图标45的显示区域之后未经过特定时长的情况下移出了该显示区域(S309/否)，则清除采样的数据。
另一方面，如果在指尖52进入电子邮件图标45的显示区域之后经过了特定时长(S309/是)，则视线检测调整单元24-1在步骤S312中执行视线检测校准。具体地，视线检测调整单元24-1基于电子邮件图标45的显示区域的中心位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在使得指尖52停留在电子邮件图标45的显示区域内的操作中，用户在注视电子邮件图标45。
然后，在步骤S315中，根据用户用指尖52指示电子邮件图标45的用户操作，应用处理单元22-1执行显示与电子邮件图标45相对应的电子邮件的内容的处理。
如上所述，根据本实施方式的信息处理系统101d可以在用户实现设备的原始目的的操作，即，将指尖52移动至图标的显示区域以用于选择图标的操作中，执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
此外，在上述第一实施方式中，也可以反复执行视线校准以逐步增加校准的准确度。例如，注视目标(例如开始图标40、检测区域43、电子邮件图标45)的显示位置每次位于不同的位置以逐渐覆盖整个显示区域。
<2-2.第二实施方式>
下面，将参照图9至图12具体描述根据第二实施方式的信息处理系统102。在上述第一实施方式中，注视目标是显示在显示画面上的对象(虚拟对象)，而本公开不限于此，并且注视目标可以是真实对象。
(概述)
图9是描述根据第二实施方式的注视目标是真实对象时的视线检测校准的图。此处，如图9所示，假定以下系统：在该系统中，当用户佩戴由智能眼镜实现的信息处理设备20-2时，文本、图标等被显示位于用户的眼睛前方的显示设备30-2上，并且可以施加根据用户的视线的控制。
如图9所示，显示设备30-2是透射式的，并且佩戴信息处理设备20-1d的用户可以经由显示设备30-2视觉地识别真实空间。因此，用户可以将诸如所佩戴的智能手表或智能带或者所持有的智能电话的设备60移动到他/她的眼睛前方(视场47内)以进行观看。此时，因为假定用户的视线指向设备60，信息处理设备20-2基于此时检测的设备60的位置和视线位置P来执行视线检测校准。
在本实施方式中，在以该方式将设备移动到眼睛前方以进行视觉识别的用于实现设备原始目的的操作中执行视线检测校准。
(配置)
图10是示出根据第二实施方式的信息处理系统102a的配置的图。如图10所示，信息处理系统102a包括设备60、设备检测摄像机11-2、视线检测摄像机12-2、信息处理设备20-2a以及显示设备30-2。
如上所述，设备60例如由智能手表、智能带、智能电话等实现。
设备检测摄像机11-2被朝外设置在信息处理设备20-2中，并且拍摄用户的视场的图像。拍摄图像用于检测设备60。此外，视线检测摄像机12-2被朝外设置在信息处理设备20-2中，并且拍摄用户的眼睛的图像。拍摄图像用于视线检测。
此外，如图10所示，信息处理设备20-2a包括应用处理单元22-2a、视线检测单元23-2a、视线检测调整单元24-2a以及设备检测单元25-2a。
设备检测单元21-2a基于由设备检测摄像机11-2拍摄的拍摄图像来检测进入了用户的视场47的设备60。设备检测单元21-2a也可以接收来自设备60的型号信息以识别用户所持有的设备60的存在。
应用处理单元22-2a可以执行与设备检测单元25-2a所检测的设备60相对应的预定控制(应用处理)。应用处理单元22-2a也可以用作识别单元，该识别单元识别设备60(例如注视目标)在与用户的视场47的区域相对应的显示设备30-2上的坐标位置。此时，应用处理单元22-2a基于从设备检测单元25-2a输出的拍摄图像和设备60的检测结果来识别设备60(例如注视目标)在与用户的视场47的区域相对应的显示设备30-2上的坐标位置。
视线检测单元23-2a基于由视线检测摄像机12-2拍摄的用户的眼睛的拍摄图像来执行视线检测。当设备60存在于视场47内时，视线检测调整单元24-2a基于从视线检测单元23-2a连续采样的视线位置P和由应用处理单元22-2b识别的设备60的位置来执行视线检测校准。具体地，根据所检测的视线位置P与设备60的对象区域的中心位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。
上面具体描述了根据本实施方式的信息处理系统102a的配置。注意，图10所示的系统配置是示例，并且本实施方式不限于此。例如，在图10所示的信息处理系统102a中，由视线检测调整单元24-2a执行的视线检测校准和由应用处理单元22-2a执行的应用处理是同步的。也就是说，信息处理设备20-2a中根据用户视觉识别设备60的动作来执行一些应用处理，并且还执行视线检测校准。然而，本实施方式不限于此，并且应用处理和视线检测校准可以是异步的。在下文中，将参照图11描述异步情况下的系统配置。
图11是示出根据第二实施方式的另一信息处理系统102b的配置的图。如图11所示，信息处理系统102b包括设备60、设备检测摄像机11-2、视线检测摄像机12-2、信息处理设备20-2b以及显示设备30-2。
如图11所示，信息处理设备20-2b包括应用处理单元22-2b、视线检测单元23-2b、视线检测调整单元24-2b以及设备检测单元25-2b。设备检测单元25-2b基于由设备检测摄像机11-2拍摄的拍摄图像来检测存在于视场47内的用户的设备60，并且还用作识别设备60(注视目标的示例)在透射式显示设备30-2上的坐标位置的识别单元。然后，与设备检测单元25-2a不同，设备检测单元25-2b将设备60的坐标位置输出至视线检测调整单元24-2b。
视线检测调整单元24-2b基于从视线检测单元23-2a连续采样的视线位置P和设备检测单元25-2b识别的设备60的位置来执行视线检测校准。
以该方式，信息处理系统102b根据与应用处理单元22-2b中的应用处理异步地视觉识别设备60的用户动作来执行视线检测校准。
(操作)
下面，将参照图12描述根据本实施方式的操作处理。图12是示出根据第二实施方式的视线检测校准的操作处理的流程图。这里，如果不需要在图10和图11所示的各个配置之间进行区分，则指定信息处理设备20-2(20-2a，20-2b)、应用处理单元22-2(22-2a，22-2b)、视线检测单元23-2(23-2a，23-2b)、视线检测调整单元24-2(24-2a，24-2b)以及设备检测单元25-2(25-2a，25-2b)。
如图12所示，首先，在步骤S403中，视线检测调整单元24-2确定作为注视目标的设备60是否存在于视场47内。具体地，当设备检测单元25-2a基于拍摄用户的视场的图像的设备检测摄像机11-2所拍摄的拍摄图像而检测到设备60时，视线检测调整单元24-2确定设备60存在于视场47内。
接下来，如果确定设备60存在于用户的视场47内(S403/是)，则视线检测单元23-2在步骤S406中基于由视线检测摄像机12-2拍摄的拍摄图像对视线位置P进行采样。注意，视线检测单元23-2对视线位置P连续采样，并且如果设备60不存在于视场47内(S403/否)，则可以清除被采样的数据。
然后，在步骤S409中，视线检测调整单元24-2基于在设备60进入视场之后是否已经过特定时长来确定校准的执行。此时，视线检测调整单元24-2也可以确认视线位置P停留在特定范围内以确定校准的执行。
接下来，如果设备60在设备60进入视场47之后未经过特定时长的情况下移出了视场47(S409/否)，则清除采样的数据。
另一方面，如果在设备60进入视场47之后经过了特定时长(S409/是)，则视线检测调整单元24-2在步骤S412中执行视线检测校准。具体地，视线检测调整单元24-2基于设备60的对象区域的中心位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在将设备60移到眼睛的前方以进入视场47的动作中，用户在注视设备60。
此外，视线位置P可以是多个采样视线位置数据的平均值，或者可以计算多个采样视线位置数据的标准偏差σ，并且可以仅使用-2σ内的数据。
然后，在步骤S415中，应用处理单元22-2根据设备60进入视场47并且用户视觉识别设备60的动作来执行预定应用处理。注意，当视线检测校准和应用处理异步时(在图11所示的信息处理系统102b的情况下)，不执行S415的处理。
如上所述，根据本实施方式的信息处理系统102(102a,102b)能够在用户视觉地识别设备60的普通动作中执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
<2-3.第三实施方式>
接下来，将参照图13至图16具体描述根据第三实施方式的信息处理设备20-3。在本实施方式中，将描述在实现设备原始目的的操作中执行视线检测校准的情况，其中，实现原始目的的操作是当取消显示在显示画面上的密码时的按钮操作。
(概述)
图13是描述根据第三实施方式的视线检测校准的图。此处，如图13所示，假定以下系统：在该系统中，对由例如智能电话实现的信息处理设备20-3的触摸板显示器32上显示的密码画面48，用户使用手指54执行用于密码取消的触摸操作(选择操作)，并且当输入的密码正确时，执行锁定解除。
如图13所示，密码画面48包括0至9的数字按钮49，并且在检查数字以输入密码时依次触摸多个数字按钮49。此处，由于假定用户在触摸数字按钮49时视觉地识别数字按钮49(注视目标的示例)，因此信息处理设备20-3可以基于所触摸的数字按钮49的显示位置和所检测的视线位置P来执行视线检测校准。
在本实施方式中，在以该方式输入密码以解除锁定的用于实现设备的原始目的的操作中执行视线检测校准。
(配置)
图14是示出根据第三实施方式的信息处理系统20-3的配置的图。如图14所示，信息处理设备20-3包括视线检测摄像机12-3、应用处理单元22-3、视线检测单元23-3、视线检测调整单元24-3以及触摸板显示器32。注意，除了如图13所示的智能电话之外，信息处理设备20-3还可以由平板电脑终端、智能手表等实现。
视线检测摄像机12-3被设置在信息处理设备20-3的设置有触摸板显示器32的表面上，并且拍摄对触摸板显示器32执行操作输入的用户的图像。
应用处理单元22-3根据用户通过触摸板显示器32做出的操作输入来执行各种处理。例如，应用处理单元22-3执行对触摸板显示器32的显示控制或对音乐应用、游戏应用、因特网通信等的控制。此外，应用处理单元22-3检查通过触摸板显示器32输入的密码，并且如果密码正确，则执行锁定解除控制，并且如果密码不正确，则提供错误显示。此外，应用处理单元22-3还用作识别显示在触摸板显示器32上的数字按钮49(注视目标的示例)的坐标位置的识别单元。
注意，在本实施方式中通过数字按钮49来输入密码，但是本实施方式不限于此，并且例如可以通过字符按钮输入密码或者可以采用图案输入等。
视线检测单元23-3基于由视线检测摄像机12-3拍摄的用户的眼睛的拍摄图像来执行视线检测。视线检测调整单元24-3在应用处理单元22-3接受密码输入时(即当用户执行通过触摸板显示器32输入密码的操作时)执行视线检测校准。具体地，视线检测调整单元24-3根据从视线检测单元23-3连续采样的视线位置P与由应用处理单元22-3识别的用户正在触摸的数字按钮49(注视目标的示例)的显示区域的中心位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。
触摸板显示器32具有显示功能和操作输入功能，并且接受对显示画面的操作输入。这里，触摸板显示器32被用作示例，但是本实施方式不限于此，并且可以使用接受对显示画面的操作输入的任何显示输入单元。
(操作)
下面，将参照图15和图16描述根据本实施方式的操作处理。图15是示出根据第三实施方式的密码取消处理的流程图。
如图15所示，首先，在步骤S503中，视线检测调整单元24-3确定作为注视目标的数字按钮49是否被触摸。具体地，视线检测调整单元24-3根据来自应用处理单元22-3的通知来确定显示在触摸板显示器32上的数字按钮49已被触摸(被选择)。
接下来，如果确定数字按钮49已被触摸(S503/是)，则视线检测调整单元24-3在步骤S506中执行调整视线检测的处理。后面将参照图16描述视线检测调整单元24-3调整视线检测的处理。
然后，在步骤S509中，视线检测调整单元24-3确定手指54是否从数字按钮49释放。
接下来，如果手指54已从数字按钮49释放(S509/是)，则应用处理单元22-3在步骤S512中确定是否满足密码的输入字符的数量。上述S503至S509被重复(S512/否)直至满足输入字符的数量。
然后，如果满足了密码的输入字符的数量(S512/是)，则应用处理单元22-3在步骤S515中检查输入的密码，并且如果密码正确，则解除锁定，而如果密码不正确，则提供错误显示。
下面，将参照图16描述在上述S506中示出的调整视线检测的处理。图16是示出在图15所示的密码消除处理中执行的视线检测校准的操作处理的流程图。
如图16所示，在步骤S523中，视线检测单元23-3对视线位置P进行采样。
接下来，在步骤S526中，视线检测调整单元24-3基于触摸数字按钮49的时间是否超过特定时长来确定校准的执行。此时，视线检测调整单元24-3也可以确认视线位置P停留在特定范围内以确定校准的执行。
然后，如果手指54在未经过特定时长的情况下从数字按钮49释放(S526/否)，则清除采样的数据。
另一方面，如果经过了特定时长(S526/是)，则视线检测调整单元24-3在步骤S529中执行视线检测校准。具体地，视线检测调整单元24-3基于用手指54触摸的数字按钮49的显示区域的中心位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在输入密码的操作中，用户在注视数字按钮49。
此外，视线位置P可以是多个采样视线位置数据的平均值，或者可以计算多个采样视线位置数据的标准偏差σ，并且可以仅使用-2σ内的数据。
如上所述，根据本实施方式的信息处理系统20-3能够在用户输入密码的操作中执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
此外，根据第三实施方式的上述视线检测校准也可以反复执行以逐步提高校准的准确度。例如，通过每次随机在不同的位置将多个数字按钮49的显示位置(键布置)设置为注视目标，使得除非用户视觉识别出数字按钮49否则无法输入正确的密码，并且逐渐覆盖整个显示区域。
<2-4.第四实施方式>
接下来，将参照图17至图19具体描述根据第四实施方式的信息处理设备104。在本实施方式中，将描述在实现设备的原始目的的操作中执行视线检测校准的情况，实现设备的原始目的操作例如是使用与作为头部安装型显示设备的头戴式显示器(HMD)连接的控制器来选择显示在HMD的显示单元上的多个图标中的任意图标。
(概述)
图17是描述根据第四实施方式的视线检测校准的图。此处，如图17所示，假定以下系统：在该系统中，例如用户执行使用与信息处理设备20-4连接的控制器63从由HMD实现的信息处理设备20-4的显示单元30-4上显示的多个图标70-1至70-n中选择图标70的操作，并且执行与所选择的图标70相对应的应用处理。
当用户佩戴信息处理设备20-4时，显示单元30-4位于眼睛的前方。此外，例如，如图17所示，随着控制器63的运动相应地在画面上移动的多个图标70-1至70-n和光标72(操作目标对象的示例)被显示在显示单元30-4上显示的选择画面上。加速度传感器或陀螺仪传感器例如被安装在控制器63上，并且控制器63的运动被输出至信息处理设备20-4。通过拉动为控制器63提供的物理触发器(例如如图17所示的射击控制)使光标72放置在任何图标70上，用户可以选择图标70。此处，由于假定当用户选择图标70时，用户在视觉地识别图标70(注视目标的示例)，因此信息处理设备20-4能够基于所选择的图标70的显示位置和所检测的视线位置P来执行视线检测校准。
在本实施方式中，在以该方式在画面上选择图标的用于实现设备的原始目的的操作中执行视线检测校准。
(配置)
图18是示出根据第四实施方式的信息处理系统104的配置的图。如图18所示，信息处理系统104包括控制器63和信息处理设备20-4(HMD)。
控制器63具有用于感测运动的传感器(例如，加速度传感器、陀螺仪传感器等)，并且将感测的传感器值(运动信息)输出至信息处理设备20-4。此外，控制器63设置有物理触发器，并且当触发器被用户拉动时(即当执行确定操作时)，控制器63将确定指令输入至信息处理设备20-4。控制器63和信息处理设备20-4有线或无线地通信连接。
如图18所示，信息处理设备20-4包括视线检测摄像机12-4、应用处理单元22-4、视线检测单元23-4、视线检测调整单元24-4以及显示单元30-4。
应用处理单元22-4根据来自控制器63的信息输出来执行各种处理。例如，应用处理单元22-4根据从控制器63输出的运动信息来执行对显示在显示单元30-4上的光标72的显示控制。此外，应用处理单元22-4根据从控制器63输出的确定指令来执行与使用光标72选择的图标相对应的应用处理。此外，应用处理单元22-4用作识别在显示单元30-4上显示的图标70(注视目标的示例)的坐标位置的识别单元。
视线检测摄像机12-4被设置在信息处理设备20-4的内侧，并且在信息处理设备20-4被安装在用户上的情况下拍摄用户的眼睛的图像。视线检测摄像机12-4将所获得的拍摄图像输出至视线检测单元23-4。
视线检测单元23-4基于由视线检测摄像机12-4拍摄的用户的眼睛的拍摄图像来执行视线检测。当用户通过使光标72放置在显示单元30-4上显示的图标70上执行选择操作时，视线检测调整单元24-3执行视线检测校准。具体地，视线检测调整单元24-4根据从视线检测单元23-4连续采样的视线位置P与由应用处理单元22-4识别的图标70(注视目标的示例)的显示区域的中心位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。
显示单元30-4被设置在信息处理设备20-4的内侧，并且在信息处理设备20-4被安装在用户上的情况下位于用户的眼睛的前方。
上面描述了信息处理系统104的配置。注意，图18所示的信息处理设备20-4的配置是重要部分，并且本设备的配置不限于此。例如，信息处理设备20-4还可以具有扬声器、麦克风、振荡单元、生物传感器、加速度传感器、陀螺仪传感器等。
(操作)
下面，将参照图19描述根据本实施方式的操作处理。图19是示出根据第四实施方式的视线检测校准的操作处理的流程图。
如图19所示，首先，在步骤S603中，视线检测调整单元24-2确定光标72是否已进入了作为注视目标的图标70的显示区域。注意，当光标72的显示区域大于图标70时，可以确定光标72是否与图标70交叠。
接下来，如果确定光标72进入了图标70的显示区域(S603/是)，则视线检测单元23-4在步骤S606中基于由视线检测摄像机12-4拍摄的拍摄图像对视线位置P进行采样。注意，视线检测单元23-4对视线位置P连续采样，并且如果光标72未进入图标70的显示区域(S603/否)，则可以清除被采样的数据。
然后，在步骤S609中，视线检测调整单元24-4基于在光标72进入图标70的显示区域之后是否已经过特定时长以及是否执行了确定操作，来确定校准的执行。此时，视线检测调整单元24-4也可以确认视线位置P停留在特定范围内以确定校准的执行。此外，在本实施方式中，确定操作例如是拉动为控制器63提供的触发器的操作，并且在此时，控制器63将确定指令输出至应用处理单元22-4。
接下来，如果光标72在光标72进入图标70的显示区域之后未经过特定时长的情况下从显示区域释放(S609/否)，则清除采样的数据。
另一方面，如果在光标72进入图标70的显示区域之后经过了特定时长(S609/是)，则视线检测调整单元24-4在步骤S612中执行视线检测校准。具体地，视线检测调整单元24-4基于所选择的图标70的显示区域的中心位置与所采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在通过使光标72放置在图标70上来选择图标70的操作中，用户在注视图标70。
此外，视线位置P可以是多个采样视线位置数据的平均值，或者可以计算多个采样视线位置数据的标准偏差σ，并且可以仅使用-2σ内的数据。
然后，在步骤S615中，应用处理单元22-4执行与所选择的图标相对应的应用处理。
如上所述，根据本实施方式的信息处理系统104能够在用户通过使光标72放置在图标70上来选择图标70的操作中执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
此外，根据上述第四实施方式的视线检测校准也可以反复执行以逐步提高校准的准确度。例如，通过每次在不同的位置将图标70-1至70-n的显示位置定位为注视目标，可以逐渐覆盖整个显示区域。
<2-5.第五实施方式>
接下来，将参照图20至图22具体描述根据第五实施方式的信息处理系统105。在本实施方式中，将描述在实现设备的原始目的的操作中执行视线检测校准的情况，其中，实现设备的原始目的的操作是用户在车辆中的情况下调整室内反射镜或侧反射镜的角度的操作。
(概述)
在本实施方式中，假定以下系统：在该系统中，在平视显示器(HUD)中执行根据用户的视线的显示控制，其中平视显示器在被设置在车辆的前玻璃或在仪表板的上部的弹出透射式显示器上显示图像。HUD在驾驶员的前方显示对驾驶而言必要的各种信息例如行驶速度、时间、导航信息，并且驾驶员可以在不太大移动视线的情况下检查信息，这可以增加车辆行驶期间的安全性。
图20是描述根据第五实施方式的视线检测校准的图。通常假定坐在车辆的驾驶员座位上的用户戴上安全带并且调整室内反射镜和侧反射镜的角度。因此，在本实施方式中，如图20所示，将拍摄坐在驾驶员座位上的用户的脸的图像的摄像机(视线检测摄像机12-5)被安装在车辆中，并且拍摄坐在驾驶员座位上的用户的脸的图像以执行视线检测。因此，由于假定当用户如图20的左侧所示操作室内反射镜28a时，例如用户视觉地识别室内反射镜28a(注视目标的示例)，因此信息处理系统105可以基于室内反射镜28a的安装位置与视线位置P来执行视线检测校准。此外，由于假定当用户如图20的右侧所示操作侧反射镜28L时，用户视觉地识别侧反射镜28L(注视目标的示例)，因此信息处理系统105可以基于侧反射镜28L的安装位置和视线位置P来执行视线检测校准。通过设置在驾驶员座位附近的调整开关28b来执行侧反射镜28L的操作。
在本实施方式中，在以该方式在车辆中调整室内反射镜和侧反射镜的角度的用于实现设备的原始目的的操作中执行视线检测校准。
(配置)
图21是示出根据第五实施方式的信息处理系统105的配置的图。如图21所示，信息处理系统105包括操作目标设备28、视线检测摄像机12-5、信息处理设备20-5以及显示设备30-5。
操作目标设备28是在本实施方式中与室内反射镜28a、侧反射镜调整开关28b或者侧反射镜28L、28R(在图20中未示出但被设置在车辆的右侧)相对应的要成为用户操作的目标的设备。操作目标设备28感测用户操作，并且将感测的信息输出至视线检测调整单元24-5。例如，室内反射镜28a设置有触摸传感器，该触摸传感器能够在用户手动调整室内反射镜28a的角度时感测用户操作。此外，当调整侧反射镜28L或28R的角度时，用户操作侧反射镜调整开关28b，同时视觉地识别侧反射镜，并且因此侧反射镜调整开关28b能够感测对侧反射镜28L或28R的用户操作。此外，在室内反射镜28a和侧反射镜28L、28R设置有内置摄像机的情况下，也可以通过分析拍摄的图像来感测用户操作。替选地，可以将由内置摄像机获得的拍摄图像输出至视线检测调整单元24-5，并且可以在视线检测调整单元24-5中执行拍摄图像的分析和用户操作的感测。
视线检测摄像机12-5被设置在车辆中，并且拍摄坐在座位上的用户的脸的图像。视线检测摄像机12-5将所获得的拍摄图像输出至视线检测单元23-5。
显示设备30-5是透射式显示器，并且在不使驾驶员移动视线的情况下提供对于驾驶而言必要的各种类型的信息，例如驾驶速度、时间和导航信息。具体地，显示装置30-5由至少前玻璃的一部分实现，或者以弹出的方式设置在仪表板的上部。
信息处理设备20-5可以被安装在车辆上，或者可以是可移除地安装在车辆中的终端设备，或者可以是用户拥有的诸如智能电话或平板电脑终端之类的移动设备。如图21所示，信息处理设备20-5具有应用处理单元22-5、视线检测调整单元24-5以及视线检测单元23-5。
应用处理单元22-5执行显示设备30-5的显示控制。例如，应用处理单元22-5获得对于驾驶而言必要的各种类型的信息例如驾驶速度、时间、导航信息，并且控制显示设备30-5显示这些信息。应用处理单元22-5还能够根据由视线检测单元23-5检测的视线来执行显示控制。
视线检测单元23-5基于由视线检测摄像机12-5拍摄的用户的眼睛的拍摄图像来执行视线检测。视线检测调整单元24-5在用户操作室内反射镜或侧反射镜时执行视线检测校准。具体地，视线检测调整单元24-5根据从视线检测单元23-5连续采样的视线位置P与室内反射镜或侧反射镜(注视目标的示例)的安装位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。反射镜的安装位置是固定的，因此可以被提前设置。视线检测调整单元24-5还用作识别作为注视目标的反射镜的预先设置的固定安装位置的识别单元。
上面具体描述了根据本实施方式的信息处理系统105的配置。注意，图21所示的系统配置是示例，并且本实施方式不限于此。例如，信息处理系统105还可以设置有扬声器设备，以根据用户的视线执行对驾驶速度、时间信息、导航信息等的音频输出控制。
(操作)
下面，将参照图22描述根据本实施方式的操作处理。图22是示出根据第五实施方式的视线检测校准的操作处理的流程图。
如图22所示，首先，在步骤S703中，视线检测调整单元24-5确定用户是否正在操作反射镜(室内反射镜28a或侧反射镜28L、28R)。具体地，视线检测调整单元24-5基于从操作目标设备28输出的感测信息来做出确定。
接下来，如果确定反射镜正在被操作(S703/是)，则视线检测单元23-5在步骤S706中基于由视线检测摄像机12-5拍摄的拍摄图像对视线位置P进行采样。注意，视线检测单元23-5对视线位置P连续采样，并且如果确定反射镜没有在被操作(S703/否)，则可以清除被采样的数据。
接下来，在步骤S709中，视线检测调整单元24-5基于操作反射镜的时间是否超过特定时长来确定校准的执行。此时，视线检测调整单元24-5也可以确认视线位置P停留在特定范围内以确定校准的执行。
接下来，如果反射镜操作在未经过特定时长的情况下结束(S709/否)，则清除采样的数据。
另一方面，如果用于反射镜操作的时间超过了特定时长(S709/是)，则视线检测调整单元24-5在步骤S712中执行视线检测校准。具体地，视线检测调整单元24-5基于反射镜的安装位置与采样的视线位置P之间的位移来校正视线检测误差。这是因为假定在调整反射镜的角度的操作中，用户在注视反射镜。
此外，视线位置P可以是多个采样视线位置数据的平均值，或者可以计算多个采样视线位置数据的标准偏差σ，并且可以仅使用-2σ内的数据。
如上所述，根据本实施方式的信息处理系统105能够在用户调整反射镜的角度的操作中执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
<2-6.第六实施方式>
接下来，将参照图23至图25具体描述根据第六实施方式的信息处理系统106。在本实施方式中，将描述在实现驾驶车辆的设备原始目的的操作中执行视线检测校准的情况。
(概述)
在本实施方式中，与第五实施方式类似，假定以下系统：在该系统中，在HUD中执行根据用户的视线的显示控制，其中HUD在被设置在车辆的前玻璃或在仪表板的上部的弹出透射式显示器上显示图像。
图23是描述根据第六实施方式的视线检测校准的图。通常，在驾驶车辆期间，视线指向前侧，并且除了前侧之外还指向室内反射镜或侧反射镜。由于每个反射镜的安装位置是固定的，因此假定在驾驶员看除了前侧之外的地方时视线位置的分布很可能集中在每个反射镜的安装位置。
例如，如图23所示，通过设置在车辆中的摄像机(视线检测摄像机12-6)连续拍摄坐在驾驶员座位上的用户的脸的图像以基于拍摄的图像来执行视线检测，并且获得在驾驶期间视线集中于的注视区域E1至注视区域E4。如上所述，由于假定在驾驶期间用户的视线集中于前侧、室内反射镜和侧反射镜(注视目标的示例)，因此相应地注视区域E1对应于前侧(前玻璃)，注视区域E2对应于室内反射镜28a，注视区域E3对应于左侧的侧反射镜28L，并且注视区域E4对应于右侧的侧反射镜28R。因此，可以基于注视区域E2至注视区域E4中的每个以及室内反射镜28a、侧反射镜28L和侧反射镜28R的实际安装位置来执行视线检测校准。
在本实施方式中，在以该方式在车辆驾驶期间注视室内反射镜或侧反射镜的用于实现设备原始目的的操作中执行视线检测校准。
(配置)
图24是示出根据第六实施方式的信息处理系统106的配置的图。如图24所示，信息处理系统106包括视线检测摄像机12-6、信息处理设备20-6以及显示设备30-6。
视线检测摄像机12-6被设置在车辆中，并且拍摄坐在座位上的用户的脸的图像。视线检测摄像机12-6将所获得的拍摄图像输出至视线检测单元23-6。
显示设备30-6是透射式显示器，并且在不使驾驶员移动视线的情况下提供对于驾驶而言必要的各种类型的信息，例如驾驶速度、时间和导航信息。具体地，显示装置30-6由至少前玻璃的一部分实现，或者以弹出的方式设置在仪表板的上部。
信息处理设备20-6可以被安装在车辆上，或者可以是可移除地安装在车辆中的终端设备，或者可以是用户拥有的诸如智能电话或平板电脑终端之类的移动设备。如图24所示，信息处理设备20-6具有应用处理单元22-6、视线检测调整单元24-6、视线检测单元23-6、以及注视区域提取单元29。
应用处理单元22-6执行显示设备30-6的显示控制。例如，应用处理单元22-6获得对于驾驶而言必要的各种类型的信息例如驾驶速度、时间、导航信息，并且控制显示设备30-6显示这些信息。应用处理单元22-6还能够根据由视线检测单元23-6检测的视线来执行显示控制。
视线检测单元23-6基于由视线检测摄像机12-6拍摄的用户的眼睛的拍摄图像来执行视线检测。注视区域提取单元29基于在驾驶期间由视线检测单元23-6连续检测的用户的视线位置来提取视线集中于的注视区域。
视线检测调整单元24-6基于由注视区域提取单元29提取的注视区域和相应反射镜(注视目标的示例)的安装位置来执行视线检测校准。具体地，视线检测调整单元24-6根据注视区域与反射镜的预设位置之间的位移来计算校正参数，以校正由于个体差异引起的视线检测误差。反射镜的安装位置是固定的，因此可以提前设置。视线检测调整单元24-6还用作识别作为注视目标的反射镜的预先设置的固定安装位置的识别单元。
上面具体描述了根据本实施方式的信息处理系统106的配置。注意，图24所示的系统配置是示例，并且本实施方式不限于此。例如，信息处理系统106还可以设置有扬声器设备，以根据用户的视线执行对驾驶速度、时间信息、导航信息等的音频输出控制。
(操作)
下面，将参照图25描述根据本实施方式的操作处理。图25是示出根据第六实施方式的视线检测校准的操作处理的流程图。
如图26所示，首先，在步骤S803中，视线检测单元23-6确定车辆是否在行驶。具体地，例如，视线检测单元23-6基于由安装在信息处理设备20-6上的各种传感器(未视出)例如加速度传感器、陀螺仪传感器和位置测量单元感测的信息来确定车辆是否在行驶。
接下来，如果确定车辆正在行驶(S803/是)，则视线检测单元23-6在步骤S806中基于由视线检测摄像机12-6拍摄的拍摄图像对视线位置P进行采样。注意，视线检测单元23-6对视线位置P连续采样，并且如果确定车辆没有在行驶(S803/否)，则可以清除被采样的数据。
然后，在步骤S809中，视线检测调整单元24-5确定注视区域提取单元29是否提取了注视区域。注视区域提取单元29基于在驾驶期间由视线检测单元23-6连续检测的用户的视线位置P来提注视区域。具体地，例如，注视区域提取单元29基于累积的视线位置P来分离集中于前侧的视线位置数据和集中于除前侧之外的视线位置数据，以提取注视区域。注意，视线位置的采样反复执行直至视线位置数据被累积到能够执行注视区域的提取的程度(S809/否)。
接下来，如果提取了注视区域(S809/是)，视线检测调整单元24-6在步骤S812中执行视线检测校准。具体地，视线检测调整单元24-6基于所提取的注视区域与对应于注视区域的反射镜的安装位置之间的位移来校正视线检测误差。这是因为假定在驾驶期间视线集中于的除了前侧之外的区域是与每个反射镜相对应的区域。
如上所述，根据本实施方式的信息处理系统106能够在用户在驾驶期间看室内反射镜或侧反射镜的动作中执行视线检测校准，并且能够消除对仅用于视线检测校准的操作的需要。
<<3.结论>>
如上所述，根据本公开的实施方式的信息处理系统能够消除对仅用于视线检测校准的操作的需要，并且能够在普通用户操作中执行视线检测校准。
上面参照附图描述了本公开的优选实施方式，但是本公开不限于上述示例。本领域的技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应当理解，各种替换和修改自然落在本公开的技术范围内。
例如，信息处理设备20-1至信息处理设备20-6的配置不限于上述示例，而是还可以提供通信单元、操作输入单元、麦克风、扬声器、各种传感器等。
此外，上述信息处理设备20-1至信息处理设备20-6由诸如CPU、ROM、RAM和存储器单元之类的硬件配置来实现，并且每个功能(指示位置检测单元21、应用处理单元22、视线检测单元23、视线检测调整单元24和注视区域提取单元29)由这些硬件来执行。
此外，也可以创建计算机程序以用于使内置在信息处理设备20-1至信息处理设备20-6中的诸如CPU、ROM和RAM之类的硬件执行信息处理设备20-1至信息处理设备20-6的功能。还提供了存储计算机程序的计算机可读记录介质。
此外，在本说明书中描述的效果仅是说明性或例示的效果，并且不是限制性的。也就是说，与上述效果一起或取代上述效果，根据本公开的技术可以实现根据本说明书的描述对于本领域技术人员清楚的其他效果
另外，本技术还可以被配置如下。
(1)一种信息处理设备，包括：
识别单元，被配置成识别伴随着用户操作的注视目标的位置；
视线检测单元，被配置成检测所述用户操作期间用户的视线位置；以及
视线检测调整单元，被配置成基于所识别的所述注视目标的位置以及所述视线位置来对所述视线检测单元所执行的视线检测进行调整。
(2)根据(1)所述的信息处理设备，
其中，所述注视目标是要作为用户操作对象的目标的虚拟对象或真实对象。
(3)根据(2)所述的信息处理设备，还包括：
应用处理单元，被配置成根据对所述注视目标的用户操作来执行预定应用处理。
(4)根据(3)所述的信息处理设备，
其中，所述注视目标是显示在显示单元上的图像图标，
所述用户操作是将操作目标对象移动到所述图像图标的显示区域中的操作，并且
所述视线检测调整单元基于当所述用户将显示画面上的所述操作目标对象移动到所述图像图标的显示区域中时检测到的视线位置以及所述图像图标的显示位置来执行对视线检测的调整。
(5)根据(3)所述的信息处理设备，
其中，所述信息处理设备是具有透射式显示单元的眼镜型可穿戴设备，
所述用户操作是使用指尖来指示显示在所述显示单元上的图像图标的动作，并且
所述视线检测调整单元基于当根据拍摄图像识别的指尖移动到显示在所述显示单元上的所述图像图标的显示区域中时检测到的视线位置以及所述图像图标的显示位置来执行对视线检测的调整，其中，所述拍摄图像是在所述用户戴着所述眼镜型可穿戴设备的情况下沿所述用户的视场方向拍摄的。
(6)根据(4)或(5)所述的信息处理设备，
其中，当选择了所述图像图标时，所述应用处理单元执行与所述图像图标相关联的预定应用处理。
(7)根据(3)所述的信息处理设备，
其中，所述注视目标是在实时显示所述用户的拍摄图像的显示画面上显示的检测区域显示，
所述用户操作是将由所述用户持有的对象移动到所述检测区域显示的动作，并且
所述视线检测调整单元基于当该对象进入所述检测区域显示时检测到的视线位置以及所述检测区域显示的显示位置来执行对视线检测的调整。
(8)根据(7)所述的信息处理设备，
其中，所述应用处理单元在由所述用户持有的所述对象进入所述检测区域显示时执行预定应用处理。
(9)根据(3)所述的信息处理设备，
其中，所述注视目标是显示在显示单元上的密码输入画面中所包括的按钮图像，
所述用户操作是选择所述密码输入画面中所包括的所述按钮图像以输入密码的操作，并且
所述视线检测调整单元基于当所述用户选择所述按钮图像时检测到的视线位置以及所述按钮图像的显示位置来执行对视线检测的调整。
(10)根据(9)所述的信息处理设备，
其中，所述应用处理单元确定通过选择所述密码输入画面中所包括的所述按钮图像而输入的密码是否正确，并且所述应用处理单元在所述密码正确的情况下执行锁定解除处理。
(11)根据(3)所述的信息处理设备，
其中，所述信息处理设备是要安装在所述用户的头上的头戴式显示器(HMD)，
所述注视目标包括在所述用户戴着所述HMD的情况下在位于所述用户的眼睛前方的显示单元上显示的多个选择图像，
所述用户操作是使用操作目标对象从所述多个选择图像中选择选择图像的操作，并且
所述视线检测调整单元基于当所述用户将显示画面上的所述操作目标对象移动到所述选择图像的显示区域中并且选择所述操作目标对象时检测到的视线位置以及被选择的所述选择图像的显示位置来执行对视线检测的调整。
(12)根据(11)所述的信息处理设备，
其中，所述操作目标对象根据与所述HMD连接的控制器的运动在所述显示画面上移动。
(13)根据(4)至(12)中任一项所述的信息处理设备，
其中，每次在所述显示画面上的不同位置显示所述注视目标的显示位置。
(14)根据(2)所述的信息处理设备，
其中，所述信息处理设备是具有透射式显示单元的眼镜型可穿戴设备，
所述用户操作是通过所述显示单元视觉地识别真实对象的动作，并且
所述视线检测调整单元基于当根据拍摄图像识别的所述真实对象在所述用户的视场内时检测到的视线位置和经由所述透射式显示单元视觉地识别的所述真实对象在所述显示单元上的坐标位置来执行对视线检测的调整，其中，所述拍摄图像是在所述用户戴着所述眼镜型可穿戴设备的情况下沿所述用户的视场方向拍摄的。
(15)根据权利要求(14)所述的信息处理设备，
其中，所述真实对象是由所述用户拥有的设备。
(16)根据(2)所述的信息处理设备，
其中，所述注视目标是为车辆设置的反射镜，
所述用户操作是调整所述反射镜的角度的操作，
所述视线检测单元基于由设置在所述车辆中的图像拍摄单元拍摄的拍摄图像来检测所述用户的视线位置，并且
所述视线检测调整单元基于在执行调整所述反射镜的角度的操作时检测到的视线位置以及被所述用户调整角度的所述反射镜的固定位置来执行对视线检测的调整。
(17)根据(2)所述的信息处理设备，
其中，所述注视目标是为车辆设置的反射镜，
所述用户操作是在驾驶期间视觉地识别所述反射镜的动作，
所述视线检测单元被设置在所述车辆中，并且基于由图像拍摄单元拍摄的拍摄图像来检测所述用户的视线位置，并且
所述视线检测调整单元基于从在所述用户的驾驶期间检测的视线位置的历史提取的注视区域的位置以及与所述注视区域相对应的所述反射镜的固定位置来执行对视线检测的调整。
(18)一种控制方法，包括：
识别伴随着用户操作的注视目标的位置；
检测所述用户操作期间用户的视线位置；以及
基于所识别的所述注视目标的位置以及所述视线位置，通过视线检测调整单元进行对视线检测的调整。
(19)一种程序，所述程序使得计算机作用为：
识别单元，被配置成识别伴随着用户操作的注视目标的位置；
视线检测单元，被配置成检测所述用户操作期间用户的视线位置；以及
视线检测调整单元，被配置成基于所识别的所述注视目标的位置以及所述视线位置来对所述视线检测单元所执行的视线检测进行调整。
附图标记列表
101至106 信息处理系统
10-1a、10-1c 摄像机
11-1b、11-1d 指示位置检测摄像机
11-2 设备检测摄像机
12-1至12-6 视线检测摄像机
20-1至20-6 信息处理设备
21-1至21-6 指示位置检测单元
22-1至22-6 应用处理单元
23-1至23-6 视线检测单元
24-1至24-6 视线检测调整单元
28 操作目标设备
28a 室内反射镜
28L、28R 侧反射镜
29 注视区域提取单元
30-1、30-2、30-5、30-6 显示设备
30-4 显示单元
31 屏幕
32 触摸板显示器
40 开始图标
43 检测区域
45 电子邮件图标
49 数字按钮
50 指针
51 控制器
52 指尖
60 设备
63 控制器
70 图标
72 光标

Claims (19)

1.一种信息处理设备，包括：
识别单元，被配置成识别伴随着用户操作的注视目标的位置；
视线检测单元，被配置成检测所述用户操作期间用户的视线位置；以及
视线检测调整单元，被配置成基于所识别的所述注视目标的位置以及所述视线位置来对所述视线检测单元所执行的视线检测进行调整。
2.根据权利要求1所述的信息处理设备，
其中，所述注视目标是要作为用户操作对象的目标的虚拟对象或真实对象。
3.根据权利要求2所述的信息处理设备，还包括：
应用处理单元，被配置成根据对所述注视目标的用户操作来执行预定应用处理。
4.根据权利要求3所述的信息处理设备，
其中，所述注视目标是显示在显示单元上的图像图标，
所述用户操作是将操作目标对象移动到所述图像图标的显示区域中的操作，并且
所述视线检测调整单元基于当所述用户将显示画面上的所述操作目标对象移动到所述图像图标的显示区域中时检测到的视线位置以及所述图像图标的显示位置来执行对视线检测的调整。
5.根据权利要求3所述的信息处理设备，
其中，所述信息处理设备是具有透射式显示单元的眼镜型可穿戴设备，
所述用户操作是使用指尖来指示显示在所述显示单元上的图像图标的动作，并且
所述视线检测调整单元基于当根据拍摄图像识别的指尖移动到显示在所述显示单元上的所述图像图标的显示区域中时检测到的视线位置以及所述图像图标的显示位置来执行对视线检测的调整，其中，所述拍摄图像是在所述用户戴着所述眼镜型可穿戴设备的情况下沿所述用户的视场方向拍摄的。
6.根据权利要求4所述的信息处理设备，
其中，当选择了所述图像图标时，所述应用处理单元执行与所述图像图标相关联的预定应用处理。
7.根据权利要求3所述的信息处理设备，
其中，所述注视目标是在实时显示所述用户的拍摄图像的显示画面上显示的检测区域显示，
所述用户操作是将由所述用户持有的对象移动到所述检测区域显示的动作，并且
所述视线检测调整单元基于当该对象进入所述检测区域显示时检测到的视线位置以及所述检测区域显示的显示位置来执行对视线检测的调整。
8.根据权利要求7所述的信息处理设备，
其中，所述应用处理单元在由所述用户持有的所述对象进入所述检测区域显示时执行预定应用处理。
9.根据权利要求3所述的信息处理设备，
其中，所述注视目标是显示在显示单元上的密码输入画面中所包括的按钮图像，
所述用户操作是选择所述密码输入画面中所包括的所述按钮图像以输入密码的操作，并且
所述视线检测调整单元基于当所述用户选择所述按钮图像时检测到的视线位置以及所述按钮图像的显示位置来执行对视线检测的调整。
10.根据权利要求9所述的信息处理设备，
其中，所述应用处理单元确定通过选择所述密码输入画面中所包括的所述按钮图像而输入的密码是否正确，并且所述应用处理单元在所述密码正确的情况下执行锁定解除处理。
11.根据权利要求3所述的信息处理设备，
其中，所述信息处理设备是要安装在所述用户的头上的头戴式显示器(HMD)，
所述注视目标包括在所述用户戴着所述HMD的情况下在位于所述用户的眼睛前方的显示单元上显示的多个选择图像，
所述用户操作是使用操作目标对象从所述多个选择图像中选择选择图像的操作，并且
所述视线检测调整单元基于当所述用户将显示画面上的所述操作目标对象移动到所述选择图像的显示区域中并且选择所述操作目标对象时检测到的视线位置以及被选择的所述选择图像的显示位置来执行对视线检测的调整。
12.根据权利要求11所述的信息处理设备，
其中，所述操作目标对象根据与所述HMD连接的控制器的运动在所述显示画面上移动。
13.根据权利要求4所述的信息处理设备，
其中，每次在所述显示画面上的不同位置显示所述注视目标的显示位置。
14.根据权利要求2所述的信息处理设备，
其中，所述信息处理设备是具有透射式显示单元的眼镜型可穿戴设备，
所述用户操作是通过所述显示单元视觉地识别真实对象的动作，并且
所述视线检测调整单元基于当根据拍摄图像识别的所述真实对象在所述用户的视场内时检测到的视线位置和经由所述透射式显示单元视觉地识别的所述真实对象在所述显示单元上的坐标位置来执行对视线检测的调整，其中，所述拍摄图像是在所述用户戴着所述眼镜型可穿戴设备的情况下沿所述用户的视场方向拍摄的。
15.根据权利要求14所述的信息处理设备，
其中，所述真实对象是由所述用户拥有的设备。
16.根据权利要求2所述的信息处理设备，
其中，所述注视目标是为车辆设置的反射镜，
所述用户操作是调整所述反射镜的角度的操作，
所述视线检测单元基于由设置在所述车辆中的图像拍摄单元拍摄的拍摄图像来检测所述用户的视线位置，并且
所述视线检测调整单元基于在执行调整所述反射镜的角度的操作时检测到的视线位置以及被所述用户调整角度的所述反射镜的固定位置来执行对视线检测的调整。
17.根据权利要求2所述的信息处理设备，
其中，所述注视目标是为车辆设置的反射镜，
所述用户操作是在驾驶期间视觉地识别所述反射镜的动作，
所述视线检测单元被设置在所述车辆中，并且基于由图像拍摄单元拍摄的拍摄图像来检测所述用户的视线位置，并且
所述视线检测调整单元基于从在所述用户的驾驶期间检测的视线位置的历史提取的注视区域的位置以及与所述注视区域相对应的所述反射镜的固定位置来执行对视线检测的调整。
18.一种控制方法，包括：
识别伴随着用户操作的注视目标的位置；
检测所述用户操作期间用户的视线位置；以及
基于所识别的所述注视目标的位置以及所述视线位置，通过视线检测调整单元进行对视线检测的调整。
19.一种程序，用于使计算机用作：
识别单元，被配置成识别伴随着用户操作的注视目标的位置；
视线检测单元，被配置成检测所述用户操作期间用户的视线位置；以及
视线检测调整单元，被配置成基于所识别的所述注视目标的位置以及所述视线位置来对所述视线检测单元所执行的视线检测进行调整。
CN201580077167.0A 2015-03-05 2015-11-25 信息处理设备、控制方法及程序 Active CN107407977B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015043389 2015-03-05
JP2015-043389 2015-03-05
PCT/JP2015/083013 WO2016139850A1 (ja) 2015-03-05 2015-11-25 情報処理装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107407977A true CN107407977A (zh) 2017-11-28
CN107407977B CN107407977B (zh) 2020-12-08

Family

ID=56848421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077167.0A Active CN107407977B (zh) 2015-03-05 2015-11-25 信息处理设备、控制方法及程序

Country Status (5)

Country Link
US (1) US11023038B2 (zh)
EP (1) EP3267295B1 (zh)
JP (1) JP6677239B2 (zh)
CN (1) CN107407977B (zh)
WO (1) WO2016139850A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213323A (zh) * 2018-08-28 2019-01-15 北京航空航天大学青岛研究院 一种基于眼动交互技术实现屏幕姿态估计的方法
CN109917923A (zh) * 2019-03-22 2019-06-21 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备
CN109960412A (zh) * 2019-03-22 2019-07-02 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN112148112A (zh) * 2019-06-27 2020-12-29 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN113413594A (zh) * 2021-06-24 2021-09-21 网易（杭州）网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备
CN114103961A (zh) * 2020-08-26 2022-03-01 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法
CN117152411A (zh) * 2023-11-01 2023-12-01 安徽蔚来智驾科技有限公司 视线校准方法、控制装置及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407977B (zh) * 2015-03-05 2020-12-08 索尼公司 信息处理设备、控制方法及程序
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
JP6996883B2 (ja) * 2017-07-05 2022-01-17 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US20190324528A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Adjusting gaze point based on determined offset adjustment
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
JP7263825B2 (ja) * 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6943913B2 (ja) * 2019-03-18 2021-10-06 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
DE112020001852T5 (de) * 2019-04-09 2022-01-20 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2021153577A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 視線検出装置のキャリブレーション
JP7365501B2 (ja) 2020-04-28 2023-10-19 株式会社Ｎｔｔドコモ 情報処理装置
EP3985486B1 (en) 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
JP7031112B1 (ja) 2020-10-13 2022-03-08 裕行 池田 眼鏡型端末
JP2022136843A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 較正装置及び較正方法
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
WO2024076009A1 (ko) * 2022-10-06 2024-04-11 삼성전자주식회사 사용자의 시선 정보를 조정하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2010030361A (ja) * 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
CN101970067A (zh) * 2008-03-26 2011-02-09 科乐美数码娱乐株式会社 游戏装置、游戏处理方法、信息记录介质以及程序
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN103885583A (zh) * 2012-12-21 2014-06-25 托比伊科技公司 对眼动追踪器进行硬件校准的装置和方法
US20140191946A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
US20140361996A1 (en) * 2013-06-06 2014-12-11 Ibrahim Eden Calibrating eye tracking system by touch input
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP3368226B2 (ja) 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
TWI432172B (zh) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media
JP5163535B2 (ja) 2009-02-24 2013-03-13 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
CN106028913B (zh) * 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
US10496160B2 (en) * 2014-12-16 2019-12-03 Koninklijke Philips N.V. Gaze tracking system with calibration improvement, accuracy compensation, and gaze localization smoothing
CN107407977B (zh) * 2015-03-05 2020-12-08 索尼公司 信息处理设备、控制方法及程序
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
CN101970067A (zh) * 2008-03-26 2011-02-09 科乐美数码娱乐株式会社 游戏装置、游戏处理方法、信息记录介质以及程序
JP2010030361A (ja) * 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
CN103885583A (zh) * 2012-12-21 2014-06-25 托比伊科技公司 对眼动追踪器进行硬件校准的装置和方法
US20140191946A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US20140361996A1 (en) * 2013-06-06 2014-12-11 Ibrahim Eden Calibrating eye tracking system by touch input
US20150049013A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213323A (zh) * 2018-08-28 2019-01-15 北京航空航天大学青岛研究院 一种基于眼动交互技术实现屏幕姿态估计的方法
CN109917923A (zh) * 2019-03-22 2019-06-21 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备
CN109960412A (zh) * 2019-03-22 2019-07-02 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN109917923B (zh) * 2019-03-22 2022-04-12 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备
CN109960412B (zh) * 2019-03-22 2022-06-07 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN112148112A (zh) * 2019-06-27 2020-12-29 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN112148112B (zh) * 2019-06-27 2024-02-06 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
CN114103961A (zh) * 2020-08-26 2022-03-01 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法
CN114103961B (zh) * 2020-08-26 2023-12-12 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法
CN113413594A (zh) * 2021-06-24 2021-09-21 网易（杭州）网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备
CN117152411A (zh) * 2023-11-01 2023-12-01 安徽蔚来智驾科技有限公司 视线校准方法、控制装置及存储介质

Also Published As

Publication number Publication date
US11023038B2 (en) 2021-06-01
US20180032131A1 (en) 2018-02-01
EP3267295A4 (en) 2018-10-24
JPWO2016139850A1 (ja) 2017-12-14
EP3267295A1 (en) 2018-01-10
CN107407977B (zh) 2020-12-08
JP6677239B2 (ja) 2020-04-08
EP3267295B1 (en) 2021-12-29
WO2016139850A1 (ja) 2016-09-09

Similar Documents

Publication Publication Date Title
CN107407977A (zh) 信息处理设备、控制方法及程序
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN102473041B (zh) 图像识别装置、操作判断方法以及程序
CN103809743B (zh) 图像显示装置和图像显示方法
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
US8482557B2 (en) Device and method for setting instructed position during three-dimensional display, as well as program
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
JP2009284175A (ja) 表示デバイスのキャリブレーション方法及び装置
JP2006323769A (ja) 対面入力装置
JP2017151556A (ja) 電子機器、認証方法および認証プログラム
US20160154457A1 (en) Three-Dimensional Input Device And Input System
JP2019171022A (ja) 評価装置、評価方法、及び評価プログラム
CN110140166A (zh) 用于向计算机提供免手工输入的系统
CN110520822B (zh) 控制装置、信息处理系统、控制方法和程序
EP3346368B1 (en) Device, method and system for control of a target apparatus
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
JP2001134371A (ja) 視線検出装置
JP2016139353A (ja) 画像判定装置および画像判定方法
US11409369B2 (en) Wearable user interface control system, information processing system using same, and control program
US20180267627A1 (en) Information processing device, information processing method, and program
WO2019188152A1 (ja) 評価装置、評価方法、及び評価プログラム
CN106095088B (zh) 一种电子设备及其图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant