CN109155053A - 信息处理设备、信息处理方法和记录介质 - Google Patents

信息处理设备、信息处理方法和记录介质 Download PDF

Info

Publication number
CN109155053A
CN109155053A CN201780031294.6A CN201780031294A CN109155053A CN 109155053 A CN109155053 A CN 109155053A CN 201780031294 A CN201780031294 A CN 201780031294A CN 109155053 A CN109155053 A CN 109155053A
Authority
CN
China
Prior art keywords
light source
bright spot
information
control unit
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780031294.6A
Other languages
English (en)
Other versions
CN109155053B (zh
Inventor
山本祐辉
野村英祐
岩井嘉昭
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109155053A publication Critical patent/CN109155053A/zh
Application granted granted Critical
Publication of CN109155053B publication Critical patent/CN109155053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/156—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/021—Reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

为了使得可以根据捕获成像结果动态地改变光源的闪烁模式。本发明提供了一种信息处理设备，包括：光源控制单元，其被配置成控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；和图像获取单元，其被配置成获取眼睛的捕获图像，捕获图像包括作为光的反射点的亮点。光源控制单元基于眼睛的捕获图像来控制每个光源的闪烁。

Description

信息处理设备、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理设备、信息处理方法和记录介质。
背景技术
近年来，随着视线估计技术的发展，进行了用于改进视线估计准确度的研究和开发。例如，专利文献1公开了一种通过设计照射到眼球的光的方向来改进所计算的瞳孔中心点的准确度的技术。
引用列表
专利文献
专利文献1：JP H6-138379A
发明内容
技术问题
这里，用光照射眼球的光源的闪烁模式对视线估计的准确度具有很大影响。在不能根据成像结果灵活地改变光源的闪烁模式的情况下，视线估计的准确度可能降低。
因此，考虑到上述情况做出了本公开内容，并且本公开内容提出了能够根据成像结果动态地改变光源的闪烁模式的新的和改进的信息处理设备。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，包括：光源控制单元，其被配置成控制光源中的每个光源，该光源构成用光照射眼睛的多个光源；以及图像获取单元，其被配置成获取眼睛的捕获图像，捕获图像包括作为光的反射点的亮点。光源控制单元基于眼睛的捕获图像来控制每个光源的闪烁。
另外，根据本公开内容，提供了一种计算机可读记录介质，其上记录有用于实现功能的程序，该功能包括：光源控制功能，其用于控制光源中的每个光源，该光源构成用光照射眼睛的多个光源；图像获取功能，其用于获取眼睛的捕获图像，捕获图像包括作为光的反射点的亮点；以及基于眼睛的捕获图像来控制每个光源的闪烁的功能。
另外，根据本公开内容，提供了一种信息处理方法，包括：控制光源中的每个光源，该光源构成用光照射眼睛的多个光源；以及获取眼睛的捕获图像，捕获图像包括作为光的反射点的亮点。基于眼睛的捕获图像来控制每个光源的闪烁。
本发明的有益效果
如上所述，根据本公开内容，可以根据成像结果动态地改变光源的闪烁模式。
注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或根据本说明书可以掌握的其他效果。
附图说明
[图1]图1是根据本公开内容的实施方式的头戴式显示器的示意图。
[图2]图2是根据本公开内容的实施方式的头戴式显示器的视线估计的示意图。
[图3]图3是示出根据本公开内容的实施方式的头戴式显示器的配置的框图。
[图4]图4是示出根据本公开内容的实施方式的头戴式显示器的操作的流程图。
[图5]图5是示出根据本公开内容的实施方式的光源的闪烁模式的改变示例的示意图。
[图6]图6是示出根据本公开内容的实施方式的基于瞳孔中心位置的光源的闪烁模式的改变示例的示意图。
[图7]图7是示出根据本公开内容的实施方式的基于瞳孔中心位置的光源的闪烁模式的改变处理的流程图。
[图8]图8是示出根据本公开内容的实施方式的基于亮点的分散状态的光源的闪烁模式的改变示例的示意图。
[图9]图9是示出根据本公开内容的实施方式的基于亮点的分散状态的光源的闪烁模式的改变处理的流程图。
[图10]图10是示出根据本公开内容的实施方式的基于眼睛相关信息的光源的闪烁模式的改变处理的流程图。
[图11]图11是示出根据本公开内容的实施方式的基于统计信息的光源的闪烁模式的改变处理的流程图。
[图12]图12是示出根据本公开内容的实施方式的头戴式显示器的硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的一个或更多个优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
将按以下顺序给出描述。
1.介绍
2.本公开内容的实施方式
2.1.对本公开内容的实施方式的概述
2.2.头戴式显示器的配置
2.3.头戴式显示器的操作
3.改变光源的闪烁模式
3.1.对改变光源的闪烁模式的概述
3.2.基于瞳孔中心位置来改变光源的闪烁模式
3.3.基于亮点分散状态来改变光源的闪烁模式
3.4.基于眼睛相关信息来改变光源的闪烁模式
3.5.基于统计信息来改变光源的闪烁模式
3.6.对本公开内容的实施方式的总结
4.头戴式显示器的硬件配置
5.补充
<1.介绍>
首先，将描述对视线估计技术的概述。视线估计技术是用于通过检测眼球的状态来估计视线的技术，眼球的状态包括眼球的位置或移动。视线估计技术能够用于各种目的或产品。例如，可以通过估计用户关于显示在零售商店的产品货架上的产品的视线并且计算产品被观看的频率或时间来改进产品货架的布局。另外，例如，可以通过估计用户关于户外广告的视线并且计算观看频率或时间来衡量户外广告的效果。另外，如果估计出用户关于头戴式显示器的显示的视线，则用户可以在不使用定点装置的情况下指定要操作的点并且操作头戴式显示器。
随着利用这种视线估计技术的服务或产品的传播、感测装置和成像装置等的发展，研究和开发了各种方法的视线估计技术。例如，可以提供以下技术的视线估计技术。
·瞳孔角膜反射法：其为下述技术，在该技术中，用光照射角膜，通过将角膜上的亮点与光源进行关联来计算角膜曲率中心点，并且基于角膜曲率中心点和瞳孔的中心点来估计视线。
·斯克拉反射法(Sclera reflection method)：其为下述技术，在该技术中，用光照射巩膜与角膜之间的边界，并且基于巩膜与角膜间反射率的差异来估计视线。
·双浦肯野法(Double Purkinje method)：其为下述技术，在该技术中，基于来自角膜表面与晶状体后表面的两个反射光之间的相对关系来估计视线。
·图像处理方法：其为下述技术，在该技术中，通过对眼球的捕获的图像执行某种类型的成像处理来估计视线。
·搜索线圈法：其为下述技术，在该技术中，将设置有线圈的特殊隐形眼镜附着在眼球上，通过电磁感应原理测量眼球运动，从而估计视线。
·眼电图(EOG)法：其为下述技术，在该技术中，基于眼球旋转的电位变化来估计视线。
<2.本公开内容的实施方式>
[2.1.对本公开内容的实施方式的概述]
在本公开内容的实施方式中，将描述通过使用上述视线估计技术中的瞳孔角膜反射法来执行视线估计的头戴式显示器。
首先，将参照图1描述对根据本公开内容的实施方式的头戴式显示器100的概述。图1是根据本公开内容的实施方式的头戴式显示器100的示意图。如图1所示，根据本公开内容的实施方式的头戴式显示器100是下述信息处理设备：该信息处理设备附接到用户的头部，并且所生成的图像被显示在用户眼睛前方的显示器上。图1所示的头戴式显示器是覆盖佩戴者的整个视野的遮蔽型头戴式显示器，但是可以将任意类型应用于能够通过瞳孔角膜反射法来执行视线估计的头戴式显示器。例如，根据本公开内容的实施方式的头戴式显示器100可以是未覆盖佩戴者的整个视野的开放式头戴式显示器。
接下来，将参照图2描述对使用根据本公开内容的实施方式的头戴式显示器100的视线估计技术的概述。图2是根据本公开内容的实施方式的头戴式显示器的视线估计的示意图。图2示出了被执行视线估计的眼球10以及作为头戴式显示器100的配置元件的各部分的多个光源101、成像单元103和显示单元107。尽管在图2中仅示出了两个光源101，但是可以设置任何数目的光源101，只要设置有多个光源101即可。另外，图2还示意性地示出了由成像单元103捕获的捕获图像14。此外，图2还示意性地示出了眼球10的角膜11、虹膜12和瞳孔13，并且用角膜11的一部分的球形表面和眼球10的本体这两个不同的球形表面来近似眼球10的形状。
在通过根据本公开内容的实施方式的头戴式显示器100的视线估计中，用来自多个光源101的光照射眼球10，并且成像单元103对眼球10进行成像。在由成像单元103捕获的图像14中，瞳孔13或者作为光的反射点的亮点15(也称为浦肯野图像)被成像在角膜上。
随后，将多个光源101与由从光源101发出并且在角膜上被反射的光产生的亮点15进行彼此关联。基于该关联来计算角膜曲率中心点17。稍后将描述计算角膜曲率中心点17的方法。另外，通过分析由成像单元103成像的瞳孔13来计算瞳孔中心点16。稍后将描述计算瞳孔中心点16的方法。另外，获得光轴，该光轴是从计算出的角膜曲率中心点17指向瞳孔中心点16的矢量。接下来，通过适当地校正光轴来获得作为用户的视线的视轴18。稍后将描述校正光轴的方法。接下来，基于在三维空间中显示单元107与眼球10之间的位置关系，计算视轴18与显示单元107彼此相交的视线估计点19的坐标。稍后将描述视线估计方法的详情。
[2.2.头戴式显示器的配置]
上面已经描述了对使用根据本公开内容的实施方式的头戴式显示器100的视线估计技术的概述。接下来，将参照图3描述根据本公开内容的实施方式的头戴式显示器100的配置。图3是示出根据本公开内容的实施方式的头戴式显示器100的配置的框图。头戴式显示器包括光源101、光源控制单元102、成像单元103、图像处理单元104、整理单元105、视线估计单元106、显示单元107、显示器控制单元108和存储单元109。整理单元105是图像处理单元104的一个模块。设置有多个光源101。
光源101用光照射眼球10。具体地，光源101在光源控制单元102的控制下在开启状态与关闭状态之间切换，并且处于开启状态的光源101用光照射眼球10。在根据本公开内容的实施方式的头戴式显示器100中，多个光源101被设置在不同的位置处，并且每个光源101用光照射眼球10。因此，在角膜上产生多个亮点15。
成像单元103用作图像获取单元，对亮点15或者用户的眼睛(包括眼球10、眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等)进行成像，并且生成捕获图像信息。具体地，成像单元103被设置在可以对眼睛运动、亮点15等进行成像的位置处，并且生成与捕获图像对应的捕获图像信息。注意，成像单元103对用户的一只眼睛或两只眼睛进行成像。另外，成像单元103将捕获图像信息提供给图像处理单元104。
图像处理单元104分析从成像单元103提供的捕获图像信息，并且生成成像分析信息。具体地，图像处理单元104通过分析捕获图像信息来检测亮点15或瞳孔13，并且生成包括关于亮点15的位置的信息(在下文中，称为“亮点相关信息”)的成像分析信息和包括关于瞳孔13的位置的信息(在下文中，称为“瞳孔相关信息”)的成像分析信息。稍后将描述检测亮点15或瞳孔13的方法的详情。
另外，图像处理单元104通过分析捕获图像信息生成包括关于眼睛(眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等)的信息的成像分析信息(在下文中，称为“眼睛相关信息”)。例如，图像处理单元104通过分析眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等的状态来生成包括是否存在眼睛睁开或闭合(眨眼等)或者眼睛的睁开或闭合的速度的眼睛相关信息。另外，图像处理单元104生成包括睫毛的位置等的眼睛相关信息。这些是眼睛相关信息的示例，并且眼睛相关信息是任意的，只要眼睛相关信息是关于眼睛的状态的信息即可。
接下来，图像处理单元104将上述亮点相关信息提供给光源控制单元102、整理单元105和视线估计单元106。由光源控制单元102使用所提供的亮点相关信息来改变光源101的闪烁模式，由整理单元105将亮点15与光源101进行彼此关联，并且由视线估计单元106估计光轴。
另外，图像处理单元104将上述瞳孔相关信息提供给光源控制单元102和视线估计单元106。由光源控制单元102使用所提供的瞳孔相关信息来确定光源101的状态(开启状态和关闭状态中的任何一种)，并且由视线估计单元106估计光轴。
另外，图像处理单元104将上述眼睛相关信息提供给光源控制单元102。由光源控制单元102使用所提供的眼睛相关信息来确定光源101的状态(开启状态和关闭状态中的任何一种)。
整理单元105将光源101与由从光源101照射的光产生的亮点15进行关联。具体地，整理单元105基于从图像处理单元104提供的亮点相关信息以及从光源控制单元102提供的多个光源101的闪烁模式将光源101与亮点15进行关联。另外，整理单元105生成亮点光源对应信息，在该亮点光源对应信息中，诸如ID的标识信息被给予光源101与亮点15彼此关联的信息。稍后将描述将光源101与亮点15进行彼此关联的方法。
另外，整理单元105将亮点光源对应信息提供给光源控制单元102和视线估计单元106。由光源控制单元102使用所提供的亮点光源对应信息来确定光源101的状态(开启状态和关闭状态中的任何一种)，并且由视线估计单元106使用所提供的亮点光源对应信息来估计光轴。
视线估计单元106基于各条信息来估计视线。具体地，视线估计单元106基于从图像处理单元104提供的亮点相关信息和瞳孔相关信息以及从整理单元105提供的亮点光源对应信息来估计光轴。另外，视线估计单元106通过校正光轴来估计作为用户的视线的视轴18，生成包括与视轴18相关的信息的视线估计信息，并且将视线估计信息提供给显示控制单元108。由显示控制单元108使用所提供的视线估计信息来控制显示单元107。
显示单元107显示各条信息。具体地，显示单元107通过在显示控制单元108的控制下以诸如图像、文本和图形的各种格式显示各条信息来在视觉上向用户通知各条信息。各种类型的内容可以被包括在各条信息中。另外，显示单元107在显示控制单元108的控制下显示用户的视线估计点19。
显示控制单元108控制显示单元107。具体地，显示控制单元108基于所激活的应用的处理来确定要在显示单元107上显示的信息的内容，并且在显示单元107上显示该信息。另外，显示控制单元108基于从视线估计单元106提供的视线估计信息来计算视轴18与显示单元107彼此相交处的视线估计点19的坐标，并且在显示单元107上显示坐标处的点。
光源控制单元102控制多个光源101中的每一个的闪烁。具体地，光源控制单元102基于闪烁模式将每个光源101在每帧中的状态设置成开启状态或关闭状态，闪烁模式是关于多个光源101在每帧中的开启或关闭状态的信息。另外，光源控制单元102控制多个光源101中的每一个的闪烁。具体地，光源控制单元102能够确定每个光源101的状态(开启状态或关闭状态中的任何一种)并且基于从图像处理单元104提供的亮点相关信息、瞳孔相关信息和眼睛相关信息和从整理单元105提供的亮点光源对应信息来适当地改变闪烁模式。稍后将描述改变闪烁模式的方法。另外，光源控制单元102将闪烁模式提供给整理单元105。由整理单元105使用所提供的闪烁模式将亮点15与光源101进行彼此关联。
存储单元109存储用于视线估计、光源控制、显示控制等的各条信息。具体地，存储单元109可以获取并存储上面描述的捕获图像信息、亮点相关信息、瞳孔相关信息、眼睛相关信息、亮点光源对应信息、视线估计信息以及闪烁模式。另外，存储单元109存储在视线估计中使用的各种参数、在显示单元107上显示的内容信息等。
[2.3.头戴式显示器的操作]
上面已经描述了头戴式显示器100的配置。随后，将参照图4描述头戴式显示器100的操作。图4是示出根据本公开内容的实施方式的头戴式显示器100的操作的流程图。
首先，光源控制单元102根据预先设置的光源101的闪烁模式来开启和关闭多个光源101，从而用来自光源101的光照射眼睛(步骤S1000)。因此，在角膜上产生多个亮点15。
接下来，成像单元103对眼睛的状态进行成像(步骤S1004)。因此，生成通过对在角膜、瞳孔13等上产生的亮点15进行成像而获得的捕获图像信息。成像单元103将捕获图像信息提供给图像处理单元104。
另外，图像处理单元104分析从成像单元103提供的捕获图像信息，并且检测亮点15和瞳孔13(步骤S1008)。机器学习技术可以用于检测亮点15。具体地，预先构造的机器学习程序读取并学习通过对亮点进行成像而获得的大约数十到数万个捕获图像。图像处理单元104可以使用该程序检测捕获图像中包括的亮点15。
另外，除机器学习之外的公知的图像识别技术也能够用于亮点15的检测处理。例如，图像处理单元104可以对捕获图像执行一系列处理，诸如各种类型的图像处理、获取捕获图像中的亮度分布的处理以及基于亮度分布来检测与周围像素具有相对大的亮度值差异的像素的处理。另外，图像处理单元104将所生成的亮点相关信息提供给光源控制单元102、整理单元105和视线估计单元106。
另一方面，类似于亮点15的检测处理，即使在瞳孔13的检测处理中，也可以使用机器学习技术，并且可以使用除机器学习之外的公知的图像识别技术。例如，图像处理单元104可以对捕获图像执行一系列处理，诸如各种类型的图像处理(失真、黑电平、白平衡等的调整处理)、获取捕获图像中的亮度分布的处理、基于亮度分布来获取瞳孔13的轮廓(边缘)的处理以及用诸如圆形或椭圆形的图形来近似检测到的瞳孔13的轮廓的处理。另外，图像处理单元104将所生成的瞳孔相关信息提供给光源控制单元102和视线估计单元106。
接下来，整理单元105将亮点15与光源101进行彼此关联(步骤S1012)。具体地，整理单元105从图像处理单元104获取亮点相关信息并且从光源控制单元102获取光源101的闪烁模式。亮点相关信息包括与产生亮点15的位置以及与产生亮点15时的帧相关的信息，并且闪烁模式包括与光源101在每帧中的状态(开启状态或关闭状态)相关的信息。整理单元105基于亮点15与光源101之间的物理位置关系将亮点15与光源101进行彼此关联。例如，将角膜上产生的亮点15中的最接近于某个光源101的亮点15设置成与该光源101对应的亮点15。这里，上述关联方法是示例，并且可以由另一种方法执行亮点15与光源101之间的关联。例如，整理单元105可以使用已经预先学习了光源101与亮点15之间的对应关系的机器学习程序将亮点15与光源101进行彼此关联。
接下来，视线估计单元106基于从图像处理单元104提供的亮点相关信息以及从整理单元105提供的亮点光源对应信息来计算角膜曲率中心点17的三维坐标(在角膜被视为球体的一部分、球体的中心的情况下)(步骤S1016)。具体地，视线估计单元106通过基于成像单元103、光源101和与光源101对应的亮点15的三维位置关系求解几何计算公式来计算角膜的角膜曲率中心点17的三维坐标。
接下来，视线估计单元106基于从图像处理单元104提供的瞳孔相关信息来计算瞳孔中心点16的三维坐标(步骤S1020)。具体地，视线估计单元106通过使用成像单元103与眼球10之间的位置关系的参数、角膜表面上的光折射率、瞳孔中心点16与角膜的角膜曲率中心点17之间的距离等来计算捕获图像中的瞳孔13的轮廓上的多个点的三维坐标，并且获得这些坐标的中心点以计算瞳孔中心点16的三维坐标。
接下来，视线估计单元106通过计算从在步骤S1016中计算的角膜曲率中心点17的三维坐标指向在步骤S1020中计算的瞳孔中心点16的三维坐标的矢量来获得光轴(眼球10面对的方向)(步骤S1024)。
这里，在人体中，光轴并不总是与人的视线实际指向的方向(在下文中，称为视轴)一致。这是由眼球10的形状和大小、眼球10中的视网膜或视神经的配置等引起的，并且具有个体差异。如上所述，在光轴与视轴之间存在用户特有的误差。
考虑到这种情况，在本公开内容的实施方式中，视线估计单元106执行将光轴校正到视轴18的处理(步骤S1028)。例如，通过将注视点呈现给用户，预先获取与视线指向注视点时注视点与光轴之间的相关性相关的信息，并且视线估计单元106能够通过基于相应信息校正光轴来获取视轴18。然而，由于该校正方法是示例，因此视线估计单元106能够采用任意校正方法。
接下来，视线估计单元106基于视轴18来计算用户的视线估计点19(步骤S1032)。具体地，视线估计单元106确定显示单元107在照相机坐标系中的坐标作为设置信息(参数等)。因此，视线估计单元106能够计算显示单元107与视轴18的交点在照相机坐标系中的坐标。这些坐标是被估计为用户的注视点的视线估计点19。
通过执行上述处理、使用根据本公开内容的实施方式的头戴式显示器100来执行用户的视线估计。
<3.改变光源的闪烁模式>
[3.1.对改变光源的闪烁模式的概述]
上面已经描述了根据本公开内容的实施方式的头戴式显示器100的操作。随后，将参照图5描述光源控制单元102基于从图像处理单元104提供的成像分析信息来改变光源101的闪烁模式的处理。图5是示出根据本公开内容的实施方式的光源101的闪烁模式的改变示例的示意图。另外，在以下描述中，成像单元103执行成像处理的帧将被称为“当前帧”，并且在当前帧之后接着执行成像处理的帧将被称为“下一帧”。
首先，光源控制单元102基于图5所示的“改变前的闪烁模式”来控制多个光源101中的每一个的闪烁。此外，光源控制单元102针对由图像处理单元104生成的每个帧获取成像分析信息，并且基于成像分析信息来确定光源101在下一帧和后续帧中的状态(开启状态或关闭状态中的任何一种)。如果光源101在下一帧和后续帧中的状态与如上所述在所使用的闪烁模式中确定的状态不同的情况下，光源控制单元102改变闪烁模式。
例如，在图5中，假设光源控制单元102基于在帧3之前获得的成像分析信息来确定作为光源101的光源A和C在帧4和5中处于开启状态。在改变之前的闪烁模式中，由于光源B的状态在帧4和5中处于开启状态，因此光源控制单元102将闪烁模式改变成其中光源B的状态在帧4和5中处于关闭状态的闪烁模式。在上述示例中，光源控制单元102确定光源101在下一帧和后续帧中的状态，但是光源控制单元102可以仅确定光源101在下一帧中的状态。
[3.2.基于瞳孔中心位置来改变光源的闪烁模式]
随后，将参照图6描述基于瞳孔中心位置来改变光源101的闪烁模式的概述。图6是示出根据本公开内容的实施方式的基于瞳孔中心位置的光源101的闪烁模式的改变示例的示意图。
该方法是改变闪烁模式使得在相对接近于瞳孔中心位置的位置处产生亮点15的方法。假设在瞳孔近似于二维捕获图像中的圆形或椭圆形的情况下，瞳孔中心位置是圆形或椭圆形的中心位置。这里，瞳孔中心位置可以是上述光轴与角膜11的相交点的位置。稍后将描述瞳孔中心位置的检测处理。
首先，如图6所示，检测帧n中的瞳孔中心位置。另外，基于瞳孔中心位置以及在帧n之前成像的帧中的瞳孔中心位置来预测帧n+1中的瞳孔中心位置。另外，在帧n+1中，改变光源101的闪烁模式，使得产生相对接近于预测瞳孔中心位置的预定数目的亮点15。
接下来，将参照图7描述与基于瞳孔中心位置来改变光源101的闪烁模式相关的处理流程。图7是示出根据本公开内容的实施方式的基于瞳孔中心位置的光源101的闪烁模式的改变处理的流程图。
首先，图像处理单元104分析从成像单元103提供的捕获图像信息，并且检测瞳孔中心位置(步骤S1100)。例如，瞳孔中心位置的检测处理可以是对捕获图像的一系列处理诸如图像处理(例如，失真、黑电平、白平衡的调整处理等)之类的、获取捕获图像中的亮度分布的处理、基于亮度分布来检测瞳孔13的轮廓(边缘)的处理、将检测到的瞳孔13的轮廓近似为诸如圆形或椭圆形的图形的处理以及计算近似圆或椭圆的中心位置的处理。
接下来，光源控制单元102获取瞳孔相关信息(步骤S1104)，瞳孔相关信息包括关于当前帧以及由图像处理单元104生成的过去帧中的瞳孔中心位置的信息。另外，光源控制单元102基于瞳孔相关信息来计算下一帧中的预测瞳孔中心位置(步骤S1108)。例如，光源控制单元102通过将包括在瞳孔相关信息中的瞳孔中心位置的三维坐标信息应用于多项式函数来计算下一帧中的预测瞳孔中心位置。
接下来，光源控制单元102在从整理单元105提供的亮点光源对应信息中包括的亮点15中指定下一帧中的相对接近于预测瞳孔中心位置的预定数目的亮点15(步骤S1112)。此时，可以指定任意数目的亮点15。另外，光源控制单元102将与指定亮点15对应的光源101的状态确定为在下一帧中处于开启状态(步骤S1116)。这里，在由光源控制单元102使用的闪烁模式没有将光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将指定光源101的状态设置成在下一帧中处于开启状态的闪烁模式。
在如本公开内容的实施方式中的眼球10的形状被近似为角膜11的部分的球形表面和眼球10的本体的球形表面这两个不同的球形表面的情况下，基于在更接近于瞳孔中心位置的位置处产生的亮点15执行的视线估计更准确。因此，根据上述方法，能够改进视线估计的准确度。另外，由于限制被设置成处于开启状态的光源101，因此容易将亮点15与光源101进行彼此关联。因此，由于可以减小将亮点15与光源101进行彼此关联的误差，因此能够改进视线估计的准确度。
[3.3.基于亮点分散状态来改变光源的闪烁模式]
上面已经描述了基于瞳孔中心位置对光源101的闪烁模式的改变。随后，将参照图8描述基于亮点15的分散状态对光源101的闪烁模式的改变。图8是示出根据本公开内容的实施方式的基于亮点15的分散状态的光源101的闪烁模式的改变示例的示意图。
该方法是改变闪烁模式以不产生处于分散状态的亮点15的方法。分散状态是指不能与光源101相关联的亮点15。例如，如图8的帧n的捕获图像所示，在某些情况下，由于光源101与眼球10之间的位置关系或者诸如眼睑或睫毛的遮蔽的影响，从光源101照射出的光被分散，并且产生与光对应的多个亮点15。另外，在某些情况下，由于环境光的影响，外部光被成像为亮点15。如上所述，在产生与一个光源101对应的多个亮点15的情况下，与光源101的关联失败。如上所述，该方法是改变闪烁模式以不产生不能与光源101相关联的亮点15的方法。
具体地，如图8所示，在帧n中检测到亮点15，并且将光源101与亮点15进行彼此关联。然后，当检测到不具有对应光源101的亮点15时，在帧n+1中改变光源101的闪烁模式，使得在帧n+1中不出现该亮点15。
接下来，将参照图9描述基于亮点15的分散状态来改变光源101的闪烁模式的处理流程。图9是示出根据本公开内容的实施方式的基于亮点15的分散状态的光源101的闪烁模式的改变处理的流程图。在下文中，存在对应光源101的亮点15将被称为“第一亮点”，不存在对应光源101的亮点15将被称为“第二亮点”。
首先，光源控制单元102获取亮点相关信息(步骤S1200)，该亮点相关信息包括关于由图像处理单元104生成的当前帧的亮点15的信息。接下来，光源控制单元102基于亮点相关信息和由整理单元105生成的亮点光源对应信息来检查是否存在第二亮点。具体地，光源控制单元102检查亮点相关信息中包括的当前帧中产生的亮点15中是否存在亮点光源对应信息中不包括的亮点15。
在当前帧中存在第二亮点的情况下(步骤S1204/是)，光源控制单元102计算在距第二亮点的位置预定距离内存在的第一点并且将与计算出的第一亮点对应的光源101的状态确定为在下一帧中处于关闭状态(步骤S1208)。这里，在由光源控制单元102使用的闪烁模式将与第一亮点对应的光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将与第一亮点对应的光源101的状态设置成在下一帧中处于关闭状态的闪烁模式。
通过设置第二亮点与第二亮点以上述“预定距离”分散的第一亮点之间的距离，可以将与第二亮点分散的第一亮点对应的光源101的状态设置成在下一帧中处于关闭状态。因此，由于可以防止在下一帧中产生第二亮点，所以可以改进亮点15与光源101之间的关联准确度。另外，由于仅将与第一亮点对应的光源101设置成处于开启状态，因此限制作为关联的候选的光源101并且容易将亮点15与光源101进行彼此关联。
[3.4.基于眼睛相关信息来改变光源的闪烁模式]
上面已经描述了基于亮点15的分散状态来改变光源101的闪烁模式。随后，将参照图10描述对基于眼睛相关信息来改变光源101的闪烁模式的概述。图10是示出根据本公开内容的实施方式的基于眼睛相关信息的光源101的闪烁模式的改变处理的流程图。
该方法是下述方法：基于眼睛(眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等)的状态，在预测到在角膜上不产生亮点15的情况下将光源101的状态设置成处于关闭状态，并且在预测到在角膜上产生了亮点15的情况下将光源101的状态设置成处于开启状态。
首先，光源控制单元102获取眼睛相关信息(步骤S1300)，该眼睛相关信息包括关于眼睛(眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等)在由图像处理单元104生成的当前帧和过去帧中的状态的信息。另外，光源控制单元102基于眼睛相关信息来预测下一帧中的眼睛的状态(步骤S1304)。具体地，光源控制单元102通过将包括在眼睛相关信息中的眼睛的外眼角、眼睛的内眼角、眼睑、睫毛等的三维坐标信息应用于多项式函数来预测在下一帧中露出角膜11的区域。
接下来，光源控制单元102检查从整理单元105提供的亮点光源对应信息中包括的亮点15中是否存在不位于被预测在下一帧中露出角膜11的区域中的亮点15(在下文中，称为“第三亮点”)。在存在第三亮点的情况下(步骤S1308/是)，光源控制单元102将与第三亮点对应的光源101的状态确定为在下一帧中处于关闭状态(步骤S1312)。这里，在由光源控制单元102使用的闪烁模式将与第三亮点对应的光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将与第三亮点对应的光源101的状态设置成在下一帧中处于关闭状态的闪烁模式。
接下来，光源控制单元102检查从整理单元105提供的亮点光源对应信息中包括的亮点15中是否存在位于被预测在下一帧中露出角膜11的区域中的亮点15(在下文中，称为“第四亮点”)(步骤S1316)。在存在第四亮点的情况下(步骤S1316/是)，光源控制单元102将与第四亮点对应的光源101的状态确定为在下一帧中处于开启状态(S1320)。这里，在由光源控制单元102使用的闪烁模式没有将与第四亮点对应的光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将与第四亮点对应的光源101的状态设置成在下一帧中处于开启状态的闪烁模式。
通过上述方法，由于可以防止产生未出现在角膜11上的亮点15，并且即使在由眼睛运动而使角膜11露出的区域改变的情况下，仍可以使出现在角膜11上的亮点15产生，因此可以改进亮点15与光源101之间的关联准确度。另外，由于仅将与出现在角膜11上的亮点15对应的光源101设置成处于开启状态，因此限制作为关联的候选的光源101并且容易将亮点15与光源101进行彼此关联。
[3.5.基于统计信息来改变光源的闪烁模式]
接下来，将描述对基于统计信息来改变光源101的闪烁模式的概述。该方法是基于统计信息来改变闪烁模式以用亮点15与光源101之间的更高的关联准确度来产生亮点15的方法。这里，统计信息是指示成像结果与通过实验等预先获得的亮点光源对应信息的准确度之间的关系的信息。具体地，统计信息是指示通过分析捕获图像14而获得的各种类型的信息(关于瞳孔位置、亮点位置、眼球中心位置和眼球形状的信息)之间的关系以及通过使用捕获图像14执行亮点15与光源101之间的关联的准确度的信息。通过统计信息，可以确定亮点15与光源101之间的关联的准确度相对高的眼睛(包括亮点15)的状态或者亮点15与光源101之间的关联的准确度相对低的眼睛(包括亮点15)的状态。
接下来，将描述基于统计信息来改变光源101的闪烁模式的处理流程。图11是示出根据本公开内容的实施方式的基于统计信息的光源101的闪烁模式的改变处理的流程图。在下文中，基于统计信息，亮点15与光源101之间的关联在统计上高于预定阈值的亮点15将被称为“第五亮点”。另外，在下文中，基于统计信息，亮点15与光源101之间的关联在统计上低于预定阈值的亮点15将被称为“第六亮点”。
首先，光源控制单元102获取当前帧和过去帧的成像分析信息(步骤S1400)。过去帧的成像分析信息可以被适当地省略。接下来，光源控制单元102预测是否存在第五亮点(步骤S1404)。在能够预测产生了第五亮点的情况下(步骤S1404/是)，光源控制单元102将与第五亮点对应的光源101的状态确定为在下一帧中处于开启状态(步骤S1408)。这里，在由光源控制单元102使用的闪烁模式没有将与第五亮点对应的光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将与第五亮点对应的光源101的状态设置成在下一帧中处于开启状态的闪烁模式。
接下来，光源控制单元102预测是否存在第六亮点(步骤S1412)。在能够预测到产生了第六亮点的情况下(步骤S1412/是)，光源控制单元102将与第六亮点对应的光源101的状态确定为在下一帧中处于关闭状态(步骤S1416)。这里，在由光源控制单元102使用的闪烁模式将与第六亮点对应的光源101的状态设置成在下一帧中处于开启状态的情况下，光源控制单元102将闪烁模式改变成将与第六亮点对应的光源101的状态设置成在下一帧中处于关闭状态的闪烁模式。
通过上述方法，根据从捕获图像14获得的瞳孔位置、亮点位置、眼球中心位置、眼球形状等产生在亮点15与光源101之间具有统计上高关联准确度的亮点15，因此可以防止产生具有统计上低准确度的亮点15。因此，可以改进亮点15与光源101之间的关联准确度。另外，由于仅将与亮点15与光源101之间的关联准确度高于预定阈值的亮点15对应的光源101设置成处于开启状态，因此限制作为关联的候选的光源101并且容易将亮点15与光源101进行彼此关联。
[3.6.对本公开内容的实施方式的总结]
以上已经描述了在本公开内容的实施方式中改变光源101的闪烁模式的示例。如上所述，根据本公开内容的实施方式，可以基于成像结果来动态地改变光源101的闪烁模式。因此，由于可以改进亮点15与光源101之间的关联准确度，因此可以改进视线估计的准确度。另外，由于限制被设置成处于开启状态的光源101，因此可以容易地将亮点15与光源101进行彼此关联。
<4.头戴式显示器的硬件配置>
图12是示出根据本公开内容的实施方式的头戴式显示器100的硬件配置的框图。例如，头戴式显示器100包括MPU 901、ROM 902、RAM 903、记录介质904、输入/输出接口905、操作输入装置906、显示装置907、通信接口908、成像装置909和红外光谱发光二极管(IRLED)910。另外，例如，头戴式显示器100通过作为数据传输路径的总线911将每个配置元件彼此连接。
MPU901包括一个或更多个处理器或者各种处理电路，并且具有控制或处理头戴式显示器100中包括的每个配置元件的功能。此外，例如，MPU901用作头戴式显示器100中的光源控制单元102、图像处理单元104、整理单元105、视线估计单元106和显示控制单元108。
ROM 902用作存储单元109并且存储由MPU 901使用的程序、诸如操作参数的控制数据等。RAM 903用作存储单元109并且临时存储例如要由MPU 901执行的程序。
记录介质904用作存储单元109并且存储各条数据，各条数据诸如与根据本实施方式的信息处理方法相关的数据，诸如与眼睛相关的信息、指示捕获图像的图像数据或者应用。
记录介质904的示例可以包括诸如硬盘的磁记录介质或者诸如闪存的非易失性存储器。另外，记录介质904可以是能够从头戴式显示器100拆卸的。
输入/输出接口905将操作输入装置906与显示装置907彼此连接。操作输入装置906用作操作单元(未示出)。另外，显示装置907用作显示单元107。这里，输入/输出接口905的示例可以包括通用串行总线(USB)端子、数字视频接口(DVI)端子、高清多媒体接口(HDMI)(注册商标)端子、各种处理电路等。
例如，操作输入装置906被设置在头戴式显示器100上，并且与头戴式显示器100中的输入/输出接口905连接。操作输入装置906的示例可以包括按钮、方向键、例如滚轮的旋转选择器及其组合等。
例如，显示装置907被设置在头戴式显示器100上，并且与头戴式显示器100中的输入/输出接口905连接。显示装置907的示例可以包括液晶显示器、有机电致发光显示器、有机发光二极管显示器(OLED)等。
另外，不言而喻，输入/输出接口905能够连接到外部装置，外部装置诸如操作输入装置(例如，键盘、鼠标等)、显示装置或者作为头戴式显示器100的外部装置的成像装置。另外，例如，显示装置907可以是能够执行显示和用户操作的装置诸如触摸装置。
通信接口908是包括在头戴式显示器100中的通信装置。通信接口908用作用于与外部装置(或外部设备)执行无线或有线通信的通信单元(未示出)，外部装置诸如通过网络(或直接)使用的外部成像装置、外部显示装置、根据本实施方式的附接到用户头部的外部装置。
通信接口908的示例包括通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口以及发送与接收电路(无线通信)、IEEE802.11端口以及发送与接收电路(无线通信)、局域网(LAN)端子以及发送与接收电路(有线通信)等。另外，通信单元(未示出)可以是与能够执行通信的任意标准对应的配置，诸如通用串行总线(USB)端子以及发送与接收电路或者能够通过网络与外部装置通信的任意配置。
另外，根据本实施方式的网络的示例可以包括诸如LAN或广域网(WAN)的有线网络、诸如通过无线局域网(WLAN)或基站的无线广域网(WWAN)或者使用传输控制协议互联网协议(TCP/IP)的因特网。
成像装置909是包括在头戴式显示器100中的成像装置，并且用作通过成像产生捕获图像的成像单元103。例如，成像装置909是诸如电荷耦合器件(CCD)图像传感器或互补MOS(CMOS)图像传感器的成像元件。成像装置909通过输出具有根据包括光接收表面的每个像素接收的光的量的强度的信号，根据光接收表面上的入射光获取图像(捕获图像)。另外，例如，成像装置909被设置在对能够用来自光源101的光照射的对眼睛进行成像的位置处，光源101诸如IR LED。
在设置有成像装置909的情况下，例如，在头戴式显示器100中，可以基于由成像装置909中的成像产生的捕获图像来执行与根据本实施方式的成像处理方法相关的处理。
例如，成像装置909包括透镜或成像元件以及信号处理电路。透镜或成像元件包括例如光学系统的透镜以及使用诸如互补金属氧化物半导体(CMOS)的多个成像元件的图像传感器。
例如，信号处理电路包括自动增益控制(AGC)电路或模数转换器(ADC)，并且信号处理电路将由成像元件产生的模拟信号转换成数字信号(图像数据)。另外，信号处理电路执行与例如RAW开发相关的各种类型的处理。另外，例如，信号处理电路可以执行诸如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理或边缘强调处理的各种类型的信号处理。
IR LED 910是包括在头戴式显示器100中的光源101，并且包括多个IR LED。例如，IR LED 910被设置在用户的眼睛被光照射的位置处。由于光源101是如IR LED 910的发射除可见光带的光之外的光的装置，因此即使用户的眼球10被来自光源101的光照射，也不会打扰用户的视野。另外，如上所述，包括在头戴式显示器100中的光源101不限于IR LED，而是可以将各种光学元件应用于光源101，只要各种光学元件是发射光的光学元件即可。
例如，头戴式显示器100通过图12所示的配置执行与根据本实施方式的信息处理方法相关的处理。此外，根据本实施方式的头戴式显示器100的硬件配置不限于图12中所示的配置。
例如，头戴式显示器100可以不包括成像装置909和IR LED 910中的一个或两个。
另外，例如，在头戴式显示器100被配置成在独立状态下执行处理的情况下，头戴式显示器100可以不包括通信接口908。此外，头戴式显示器100可以不包括记录介质904、操作输入装置906或显示装置907。
另外，根据本公开内容的实施方式的头戴式显示器100的配置不限于图3中所示的配置。
例如，根据本公开内容的实施方式的头戴式显示器100的配置的一部分可以被设置在外部。
例如，在对外部装置中的捕获图像信息执行分析处理并且使用外部装置的处理结果来执行处理的情况下，头戴式显示器100可以不包括图像处理单元104。
另外，在外部装置中执行将光源101与亮点15进行彼此关联的处理并且使用外部装置的处理结果来执行处理的情况下，头戴式显示器100可以不包括整理单元105。
另外，在外部装置中执行视线估计的处理并且使用外部装置的处理结果来执行处理的情况下，头戴式显示器100可以不包括视线估计单元106。
另外，在外部装置中执行存储各种信息的处理并且使用存储在外部装置中的信息来执行处理的情况下，头戴式显示器100可以不包括存储单元109。
以上已经将头戴式显示器100描述为本公开内容的实施方式，但是本公开内容的实施方式不限于这样的实施方式。例如，本公开内容的实施方式能够应用于能够处理图像的例如下述各种装置：诸如个人计算机(PC)或服务器的信息处理设备、诸如移动电话或智能手机的通信装置或者平板类型的装置。另外，例如，本实施方式还能够应用于能够被结合在上述装置中的一个或更多个集成电路(IC)。
另外，例如，本公开内容可以在连接到例如云计算的网络(或装置之间的通信)的前提下应用于包括一个或更多个装置的系统。也就是说，例如，根据上述本公开内容的实施方式的头戴式显示器100还能够被实现为包括多个装置的信息处理系统。
<5.补充>
以上参照附图描述了本公开内容的优选实施方式，然而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求书的范围内找到各种改变和修改，并且应该理解，这些改变和修改将本质上落入本公开内容的技术范围内。
例如，光源控制单元102可以控制光源101，使得与期望在显示单元107上显示的应用中改进显示单元107上的视线估计准确度的区域对应的光源101的状态被设置成处于开启状态。例如，在通过由视线估计操作的指针选择按钮密集的区域的按钮的情况下，通过将与该区域方向对应的光源101的状态设置成开启状态，与其他区域的视线估计的准确度相比，可以相对改进该区域的视线估计的准确度。
另外，光源控制单元102可以控制光源101，使得在所有帧中或者以等于或大于预定阈值的频率在角膜上产生足以用于视线估计的预定数目的亮点15。
另外，当然，光源控制单元102可以基于预先设置的闪烁模式来控制光源101而不改变闪烁模式。
此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。也就是说，利用或代替上述效果，根据本公开内容的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外，本技术还可以配置如下。
(1)
一种信息处理设备，包括：
光源控制单元，其被配置成控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；以及
图像获取单元，其被配置成获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点，
其中，所述光源控制单元基于所述眼睛的捕获图像来控制每个所述光源的闪烁。
(2)
根据(1)所述的信息处理设备，其中，所述光源控制单元基于亮点光源对应信息和成像分析信息来控制每个所述光源的闪烁，所述亮点光源对应信息是所捕获的亮点与每个所述光源彼此关联的信息，所述成像分析信息是关于所述眼睛的成像结果的信息。
(3)
根据(2)所述的信息处理设备，其中，所述光源控制单元基于在成像处理期间的帧之前的所述亮点光源对应信息和所述成像分析信息来确定在所述成像处理期间的所述帧之后执行成像处理的帧中要处于开启状态的光源。
(4)
根据(3)所述的信息处理设备，其中，所述光源控制单元基于在所述成像处理期间的帧之前的所述亮点光源对应信息和所述成像分析信息来确定所述成像处理期间的所述帧之后接着执行所述成像处理的帧中要处于开启状态的所述光源。
(5)
根据(2)至(4)中任一项所述的信息处理设备，其中，所述光源控制单元基于闪烁模式来确定光源处于开启状态或关闭状态，并且基于所述亮点光源对应信息和所述成像分析信息来改变所述闪烁模式，在所述闪烁模式中限定用于将每个所述光源设置成处于开启状态或关闭状态的模式。
(6)
根据(2)至(5)中任一项所述的信息处理设备，其中，所述成像分析信息是关于瞳孔的位置信息。
(7)
根据(6)所述的信息处理设备，其中，所述光源控制单元基于通过关于所述瞳孔的所述位置信息预测的所述瞳孔或瞳孔中心的位置来确定要处于开启状态的光源。
(8)
根据(7)所述的信息处理设备，其中，所述光源控制单元将与所述亮点光源对应信息中包括的亮点中距所述瞳孔或所述瞳孔中心的预测位置的距离相对近的预定数目的亮点相关联的光源设置成处于开启状态。
(9)
根据(2)至(5)中任一项所述的信息处理设备，其中，所述成像分析信息是不存在相关联的光源的亮点的位置信息。
(10)
根据(9)所述的信息处理设备，其中，所述光源控制单元将与所述亮点光源对应信息中包括的亮点中距不存在相关联的光源的亮点的距离在预定范围内的亮点相关联的光源设置成处于关闭状态。
(11)
根据(2)至(5)中任一项所述的信息处理设备，其中，所述成像分析信息是眼睛相关信息，所述眼睛相关信息是关于被成像的外眼角、内眼角或眼睑的状态的信息。
(12)
根据(11)所述的信息处理设备，其中，在基于所述眼睛相关信息预测到在角膜上不产生亮点的情况下，所述光源控制单元将与所述亮点相关联的光源设置成处于关闭状态。
(13)
根据(11)或(12)所述的信息处理设备，其中，在基于所述眼睛相关信息预测到在角膜上产生亮点的情况下，所述光源控制单元将与所述亮点相关联的光源设置成处于开启状态。
(14)
根据(2)至(5)中任一项所述的信息处理设备，其中，所述光源控制单元基于关于所述亮点光源对应信息的准确度的统计信息来确定要处于开启状态的光源。
(15)
根据(14)所述的信息处理设备，其中，所述光源控制单元基于所述统计信息将与所述亮点光源对应信息的准确度高于预定阈值的亮点相关联的光源设置成处于开启状态。
(16)
根据(14)或(15)所述的信息处理设备，其中，所述光源控制单元基于所述统计信息将与所述亮点光源对应信息的准确度低于预定阈值的亮点相关联的光源设置成处于关闭状态。
(17)
一种计算机可读记录介质，其上记录有用于实现功能的程序，所述功能包括：
光源控制功能，其用于控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；
图像获取功能，其用于获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点；以及
基于所述眼睛的捕获图像来控制每个所述光源的闪烁的功能。
(18)
一种信息处理方法，包括：
控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；以及
获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点，
其中，基于所述眼睛的捕获图像来控制每个所述光源的闪烁。
附图标记列表
100 头戴式显示器
101 光源
102 光源控制单元
103 成像单元
104 图像处理单元
105 整理单元
106 视线估计单元
107 显示单元
108 显示控制单元
109 存储单元

Claims (18)

1.一种信息处理设备，包括：
光源控制单元，其被配置成控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；以及
图像获取单元，其被配置成获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点，
其中，所述光源控制单元基于所述眼睛的捕获图像来控制每个所述光源的闪烁。
2.根据权利要求1所述的信息处理设备，其中，所述光源控制单元基于亮点光源对应信息和成像分析信息来控制每个所述光源的闪烁，所述亮点光源对应信息是所捕获的亮点与每个所述光源彼此关联的信息，所述成像分析信息是关于所述眼睛的成像结果的信息。
3.根据权利要求2所述的信息处理设备，其中，所述光源控制单元基于在成像处理期间的帧之前的所述亮点光源对应信息和所述成像分析信息来确定在所述成像处理期间的所述帧之后执行成像处理的帧中要处于开启状态的光源。
4.根据权利要求3所述的信息处理设备，其中，所述光源控制单元基于在所述成像处理期间的帧之前的所述亮点光源对应信息和所述成像分析信息来确定所述成像处理期间的所述帧之后接着执行所述成像处理的帧中要处于开启状态的所述光源。
5.根据权利要求2所述的信息处理设备，其中，所述光源控制单元基于闪烁模式来确定光源处于开启状态或关闭状态，并且基于所述亮点光源对应信息和所述成像分析信息来改变所述闪烁模式，在所述闪烁模式中限定用于将每个所述光源设置成处于开启状态或关闭状态的模式。
6.根据权利要求2所述的信息处理设备，其中，所述成像分析信息是关于瞳孔的位置信息。
7.根据权利要求6所述的信息处理设备，其中，所述光源控制单元基于通过关于所述瞳孔的所述位置信息预测的所述瞳孔或瞳孔中心的位置来确定要处于开启状态的光源。
8.根据权利要求7所述的信息处理设备，其中，所述光源控制单元将与所述亮点光源对应信息中包括的亮点中距所述瞳孔或所述瞳孔中心的预测位置的距离相对近的预定数目的亮点相关联的光源设置成处于开启状态。
9.根据权利要求2所述的信息处理设备，其中，所述成像分析信息是不存在相关联的光源的亮点的位置信息。
10.根据权利要求9所述的信息处理设备，其中，所述光源控制单元将与所述亮点光源对应信息中包括的亮点中距不存在相关联的光源的亮点的距离在预定范围内的亮点相关联的光源设置成处于关闭状态。
11.根据权利要求2所述的信息处理设备，其中，所述成像分析信息是眼睛相关信息，所述眼睛相关信息是关于被成像的外眼角、内眼角或眼睑的状态的信息。
12.根据权利要求11所述的信息处理设备，其中，在基于所述眼睛相关信息预测到在角膜上不产生亮点的情况下，所述光源控制单元将与所述亮点相关联的光源设置成处于关闭状态。
13.根据权利要求11所述的信息处理设备，其中，在基于所述眼睛相关信息预测到在角膜上产生亮点的情况下，所述光源控制单元将与所述亮点相关联的光源设置成处于开启状态。
14.根据权利要求2所述的信息处理设备，其中，所述光源控制单元基于关于所述亮点光源对应信息的准确度的统计信息来确定要处于开启状态的光源。
15.根据权利要求14所述的信息处理设备，其中，所述光源控制单元基于所述统计信息将与所述亮点光源对应信息的准确度高于预定阈值的亮点相关联的光源设置成处于开启状态。
16.根据权利要求14所述的信息处理设备，其中，所述光源控制单元基于所述统计信息将与所述亮点光源对应信息的准确度低于预定阈值的亮点相关联的光源设置成处于关闭状态。
17.一种计算机可读记录介质，其上记录有用于实现功能的程序，所述功能包括：
光源控制功能，其用于控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；
图像获取功能，其用于获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点；以及
基于所述眼睛的捕获图像来控制每个所述光源的闪烁的功能。
18.一种信息处理方法，包括：
控制光源中的每个光源，所述光源构成用光照射眼睛的多个光源；以及
获取所述眼睛的捕获图像，所述捕获图像包括作为所述光的反射点的亮点，
其中，基于所述眼睛的捕获图像来控制每个所述光源的闪烁。
CN201780031294.6A 2016-05-27 2017-03-22 信息处理设备、信息处理方法和记录介质 Active CN109155053B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016105808A JP2017211891A (ja) 2016-05-27 2016-05-27 情報処理装置、情報処理方法および記録媒体
JP2016-105808 2016-05-27
PCT/JP2017/011541 WO2017203815A1 (ja) 2016-05-27 2017-03-22 情報処理装置、情報処理方法および記録媒体

Publications (2)

Publication Number Publication Date
CN109155053A true CN109155053A (zh) 2019-01-04
CN109155053B CN109155053B (zh) 2023-06-20

Family

ID=60412165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780031294.6A Active CN109155053B (zh) 2016-05-27 2017-03-22 信息处理设备、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US10893802B2 (zh)
EP (1) EP3467763A4 (zh)
JP (1) JP2017211891A (zh)
CN (1) CN109155053B (zh)
WO (1) WO2017203815A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110464611A (zh) * 2019-07-23 2019-11-19 苏州国科视清医疗科技有限公司 一种数字化弱视增强训练装置和系统及其相关算法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
WO2019246613A1 (en) * 2018-06-22 2019-12-26 Magic Leap, Inc. Method and system for performing eye tracking using an off-axis camera
EP3973347A4 (en) * 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
DE112021003343T5 (de) * 2020-06-22 2023-04-06 Sony Group Corporation Bildanzeigevorrichtung und bildanzeigeverfahren
WO2022030202A1 (ja) * 2020-08-04 2022-02-10 株式会社ニデック 眼科装置、および眼科装置制御プログラム
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269412A (ja) * 1993-03-19 1994-09-27 Canon Inc 視線検出装置及びそれを有した光学装置
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN103472912A (zh) * 2013-08-18 2013-12-25 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
WO2015086617A1 (en) * 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06138379A (ja) 1992-09-14 1994-05-20 Nikon Corp 視線検出装置付きカメラ
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JPH08154899A (ja) 1994-12-09 1996-06-18 Nikon Corp 視線検出装置
JP2003339642A (ja) 2002-05-31 2003-12-02 Canon Inc 視線検出装置及びそれを有した光学装置
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8888286B2 (en) * 2009-04-01 2014-11-18 Tearscience, Inc. Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography
CA3010578C (en) * 2009-04-01 2021-03-09 Tearscience, Inc. Ocular surface interferometry (osi) devices, systems, and methods for imaging, processing, and/or displaying an ocular tear film and/or measuring ocular tear film layer thickness(es)
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
EP3338621B1 (en) * 2009-07-16 2019-08-07 Tobii AB Eye detection unit using parallel data flow
US20110170061A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light
US20120274775A1 (en) * 2010-10-20 2012-11-01 Leonard Reiffel Imager-based code-locating, reading and response methods and apparatus
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US8942419B1 (en) * 2012-01-06 2015-01-27 Google Inc. Position estimation using predetermined patterns of light sources
US9265415B1 (en) * 2012-01-06 2016-02-23 Google Inc. Input detection
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
JP5689850B2 (ja) 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
US9339177B2 (en) * 2012-12-21 2016-05-17 Tearscience, Inc. Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
TWI533224B (zh) * 2013-11-14 2016-05-11 原相科技股份有限公司 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
US9795290B2 (en) * 2013-11-15 2017-10-24 Tearscience, Inc. Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics
CN105814584B (zh) * 2013-12-09 2019-03-08 Smi创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
US9292765B2 (en) * 2014-01-07 2016-03-22 Microsoft Technology Licensing, Llc Mapping glints to light sources
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
CN105852798B (zh) * 2014-09-14 2017-11-14 苏州六六视觉科技股份有限公司 广域眼底相机
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10969301B2 (en) * 2016-02-12 2021-04-06 Shamir Optical Industry Ltd. Self-administrated testing of eyeglasses
US10775266B2 (en) * 2016-02-12 2020-09-15 Shamir Optical Industry Ltd Methods and systems for testing of eyeglasses
US10373008B2 (en) * 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
US10108260B2 (en) * 2016-04-01 2018-10-23 Lg Electronics Inc. Vehicle control apparatus and method thereof
JP2017204685A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
WO2019021601A1 (ja) * 2017-07-27 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10936056B2 (en) * 2018-04-16 2021-03-02 Google Llc Method and system of eye tracking with glint drift correction on wearable heads-up display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269412A (ja) * 1993-03-19 1994-09-27 Canon Inc 視線検出装置及びそれを有した光学装置
CN103250418A (zh) * 2010-11-30 2013-08-14 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
CN103472912A (zh) * 2013-08-18 2013-12-25 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
WO2015086617A1 (en) * 2013-12-09 2015-06-18 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110464611A (zh) * 2019-07-23 2019-11-19 苏州国科视清医疗科技有限公司 一种数字化弱视增强训练装置和系统及其相关算法

Also Published As

Publication number Publication date
EP3467763A4 (en) 2019-06-05
JP2017211891A (ja) 2017-11-30
WO2017203815A1 (ja) 2017-11-30
EP3467763A1 (en) 2019-04-10
US20190191994A1 (en) 2019-06-27
CN109155053B (zh) 2023-06-20
US10893802B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109155053A (zh) 信息处理设备、信息处理方法和记录介质
US11442539B2 (en) Event camera-based gaze tracking using neural networks
EP3158424B1 (en) System and method for display enhancement
US10092220B2 (en) System and method for motion capture
US9411417B2 (en) Eye gaze tracking system and method
EP3453317B1 (en) Pupil radius compensation
CN107003737A (zh) 用于自然用户输入的指示器投影
US20170319065A1 (en) Information processing device, information processing method, and program
US20210349536A1 (en) Biofeedback method of modulating digital content to invoke greater pupil radius response
CN110352033A (zh) 用眼睛追踪装置确定眼睛睁开度
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
Al-Kassim et al. Designing a low-cost eyeball tracking keyboard for paralyzed people
CN109376621A (zh) 一种样本数据生成方法、装置以及机器人
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
KR101734845B1 (ko) 시각 분석을 이용하는 감정 분류 장치 및 그 방법
US20240077937A1 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning
Kwiatkowska et al. Eye Tracking as a Method of Controlling Applications on Mobile Devices.
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities
Diamantopoulos Novel eye feature extraction and tracking for non-visual eye-movement applications
US20210350554A1 (en) Eye-tracking system
WO2022185596A1 (ja) 推定システム、推定方法およびプログラム
Chaudhary Deep into the Eyes: Applying Machine Learning to Improve Eye-Tracking
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
CN114303117A (zh) 使用离轴相机的眼睛跟踪和注视估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant