CN111493809A - 信息处理装置和方法、眼镜式终端以及存储介质 - Google Patents

信息处理装置和方法、眼镜式终端以及存储介质 Download PDF

Info

Publication number
CN111493809A
CN111493809A CN202010175536.2A CN202010175536A CN111493809A CN 111493809 A CN111493809 A CN 111493809A CN 202010175536 A CN202010175536 A CN 202010175536A CN 111493809 A CN111493809 A CN 111493809A
Authority
CN
China
Prior art keywords
point
calibration
mark
optical axis
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010175536.2A
Other languages
English (en)
Other versions
CN111493809B (zh
Inventor
野田卓郎
山本一幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202010175536.2A priority Critical patent/CN111493809B/zh
Publication of CN111493809A publication Critical patent/CN111493809A/zh
Application granted granted Critical
Publication of CN111493809B publication Critical patent/CN111493809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种信息处理装置和方法、眼镜式终端和计算机可读存储介质。信息处理装置包括：标记控制单元，被配置为在眼镜式终端的校准期间，在保持注视点标记显示在眼镜式终端的显示单元上的同时，将注视点标记的显示位置从第一校准点连续移动到第二校准点；计算处理单元，被配置为基于包括用户的眼睛的捕获图像，通过瞳孔角膜反射法计算表示视线方向的光轴矢量，用户的眼睛在如下情况下成像：眼睛被用来自光源的光照射，以及注视点标记从第一校准点连续移动到第二校准点；以及评估单元，被配置为评估针对第一校准点至第二校准点计算的光轴矢量的变化，其中，标记控制单元被配置为在连续移动注视点标记时，使注视点标记接近第二校准点时减慢。

Description

信息处理装置和方法、眼镜式终端以及存储介质
本发明申请为申请日为2015年9月11日并于2017年6月9日进入中国国家阶段的发明名称为“信息处理装置、信息处理方法以及程序”的第201580067290.4号发明专利申请的分案申请。
技术领域
本公开内容涉及信息处理装置、信息处理方法以及程序。
背景技术
公开了检测用户关于显示各种内容的显示屏的视线并且将检测到的视线用于各种类型的操作的技术。例如，专利文献1公开了一种成像装置，该成像装置将红外波段中的光(红外光)照射到凝视取景器的用户的眼睛上，通过利用检测器捕获从眼睛反射的光来检测用户关于显示透过镜头的图像的显示屏的视线，并且还将检测到的视线用于自动聚焦(AF)。
引文列表
专利文献
专利文献1：JP H5-333259A
发明内容
技术问题
近来，可穿戴终端例如头戴式显示器和眼镜式终端的发展突飞猛进。检测用户的视线这样的技术在由用户穿戴以观看显示器的可穿戴终端中也是重要的，并且检测到的视线被用作终端操作信息，或者用作例如自动聚焦信息。具体地，在可穿戴终端中，期望实施提高视线检测的精度而不会使用户感到压力的校准。
因此，本公开内容提出了一种能够执行用于提高视线检测的精度而不会使用户感到压力的校准的新型的改进的信息处理装置、信息处理方法和程序。
问题解决方案
根据本公开内容，提供了一种信息处理装置，包括：标记控制单元，其在眼镜式终端的校准期间改变显示在眼镜式终端的显示单元上的注视点标记的显示位置；计算处理单元，其基于当佩戴眼镜式终端的用户的眼睛被用来自光源的光照射并且注视点标记显示在校准点处时成像的包括用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示用户的视线方向的光轴矢量；以及评估单元，其评估针对多个校准点计算的光轴矢量的变化。
根据本公开内容，提供了一种由信息处理装置实施的信息处理方法，该方法包括：在眼镜式终端的校准期间改变显示在眼镜式终端的显示单元上的注视点标记的显示位置；基于当佩戴眼镜式终端的用户的眼睛被用来自光源的光照射并且注视点标记显示在校准点处时成像的包括用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示用户的视线方向的光轴矢量；以及评估针对多个校准点计算的光轴矢量的变化。
根据本公开内容，提供了一种使得计算机用作信息处理装置的程序，其中信息处理装置包括：标记控制单元，其在眼镜式终端的校准期间改变显示在眼镜式终端的显示单元上的注视点标记的显示位置；计算处理单元，其基于当佩戴眼镜式终端的用户的眼睛被用来自光源的光照射并且注视点标记显示在校准点处时成像的包括用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示用户的视线方向的光轴矢量；以及评估单元，其评估针对多个校准点计算的光轴矢量的变化。
根据本公开的一个方面，提供了一种信息处理装置，包括：标记控制单元，被配置为在眼镜式终端的校准期间，在保持注视点标记显示在眼镜式终端的显示单元上的状态的同时，将注视点标记的显示位置从显示单元的第一校准点连续移动到第二校准点；计算处理单元，被配置为基于包括眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法计算表示用户的视线方向的光轴矢量，用户的眼睛在如下情况下成像：佩戴眼镜式终端的用户的眼睛被用来自光源的光照射，以及注视点标记从第一校准点连续移动到第二校准点；以及评估单元，被配置为评估针对第一校准点至第二校准点计算的光轴矢量的变化，其中，标记控制单元被配置为在连续移动注视点标记时，使注视点标记接近第二校准点时减慢。
根据本公开的另一个方面，提供了一种信息处理方法，包括：在眼镜式终端的校准期间，在保持注视点标记显示在眼镜式终端的显示单元上的状态的同时，将注视点标记的显示位置从显示单元的第一校准点连续移动到第二校准点；基于包括眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法计算表示用户的视线方向的光轴矢量，用户的眼睛在如下情况下成像：佩戴眼镜式终端的用户的眼睛被用来自光源的光照射，以及注视点标记从第一校准点连续移动到第二校准点；以及评估针对第一校准点至第二校准点计算的光轴矢量的变化，其中，在连续移动注视点标记时，使注视点标记接近第二校准点时减慢。
根据本公开的一个方面，提供了一种眼镜式终端，包括：显示单元；标记控制单元，被配置为在眼镜式终端的校准期间，在保持注视点标记显示在显示单元上的状态的同时，将注视点标记的显示位置从显示单元的第一校准点连续移动到第二校准点；计算处理单元，被配置为基于包括眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法计算表示用户的视线方向的光轴矢量，用户的眼睛在如下情况下成像：佩戴眼镜式终端的用户的眼睛被用来自光源的光照射，以及注视点标记从第一校准点连续移动到第二校准点；以及评估单元，被配置为评估针对第一校准点至第二校准点计算的光轴矢量的变化，其中，标记控制单元被配置为在连续移动注视点标记时，使注视点标记接近第二校准点时减慢。
根据本公开的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行一种信息处理方法，包括：在眼镜式终端的校准期间，在保持注视点标记显示在眼镜式终端的显示单元上的状态的同时，将注视点标记的显示位置从显示单元的第一校准点连续移动到第二校准点；基于包括眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法计算表示用户的视线方向的光轴矢量，用户的眼睛在如下情况下成像：佩戴眼镜式终端的用户的眼睛被用来自光源的光照射，以及注视点标记从第一校准点连续移动到第二校准点；以及评估针对第一校准点至第二校准点计算的光轴矢量的变化，其中，在连续移动注视点标记时，使注视点标记接近第二校准点时减慢。
本发明的有益效果
根据上述本公开内容，可以执行用于提高视线检测的精确度而不会使用户感受到压力的校准。注意，上述效果不必是限制性的。连同或代替上述效果，可以实现本说明书中所述的效果或者可以从本说明书中理解的其他效果中的任一效果。
附图说明
图1是示出眼睛的结构的说明图。
图2是示出在根据本公开内容的实施方式的眼镜式终端中面向用户的眼睛一侧的配置的说明图。
图3是示出当佩戴根据实施方式的眼镜式终端时用户的眼睛与眼镜式终端之间的位置关系的示意性侧视图。
图4是示出根据实施方式的眼镜式终端和信息处理装置的功能配置的功能框图。
图5是示出由根据实施方式的信息处理装置执行的对眼镜式终端的校准处理的流程图。
图6是示出被显示为在移动的注视点的示例显示的说明图。
图7是用于说明使用瞳孔角膜反射法来计算光轴矢量的过程的说明图。
图8是示出标记矢量与光轴矢量之间的关系的说明图。
图9是示出获取视线数据的校准点的示例的说明图。
图10是示出获取视线数据的校准点的另一示例的说明图。
图11是示出光轴变化的评估结果的示例的图表。
图12是示出标记矢量与光轴矢量的坐标的说明图。
图13是用于说明对校准点的位置的修改的说明图。
图14是示出当从光源发射光时呈现在眼睛上的亮点的示例的说明图。
图15是示出根据实施方式的信息处理装置的硬件配置的硬件配置图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构性元件用相同的附图标记表示，并且省略对这些结构性元件的重复说明。
在下文中，将按照以下顺序来进行描述。
1.概述
2.眼镜式终端的硬件配置
3.功能配置
4.校准处理
(1)显示注视点标记(S100)
(2)获取视线数据(S110至S140)
(3)评估(S150至S180)
5.适应于检测精度提高
5.1.将亮点配对
5.2.动态改变注视点标记显示位置
6.硬件配置
<1.概述>
首先，将参照图1来描述根据本公开内容的实施方式的信息处理装置的概述。注意，图1是示出眼睛结构的说明图。
根据本实施方式的信息处理装置是执行下述校准的装置：所述校准被执行以在检测用户关于显示器的视线时提高视线检测精度。在本实施方式中，使用瞳孔角膜反射法来检测用户的视线。瞳孔角膜反射法是以下技术：该技术将光从光源照射到用户的眼睛上，检测来自角膜表面上的该光的反射光并且检测瞳孔的位置，以及估计视线方向。
在下文中，如图1所示，用户的视线位于连接眼睛10的晶状体12的中心背面上的节点12a和中央凹16a的视轴AS上。同时，通过上述瞳孔角膜反射法估计的视线方向位于光轴AO上，光轴AO在角膜14的通过瞳孔17的中心的法线上。视轴AS与光轴AO之间存在差异，而且虽然差异依赖于个体，但是通常范围倾向于从近似4°到8°。在该差异变大时，视线检测精度下降，并且因此执行校准以校正该差异。
根据以下步骤来实施校准。
(步骤1)在看向视场内的点(在下文中也被定名为“注视点”)时估计光轴
(步骤2)测量从角膜曲率中心到注视点的注视点矢量与估计的光轴的矢量之间的差异
(步骤3)基于在(步骤2)中测量的差异，根据看向任意点时的光轴来估计此时的视轴
注意，因为眼睛10通过肌肉的牵拉而转动，所以根据要看的方向而给予了滚动旋转。为此，校准参数依赖于眼睛10的定向而不同。因此，通常在视场内的多个注视点(例如，5至9个点)处获取参数。
采用这样的校准，在对来自瞳孔表面的反射光的检测和对光轴的估计中存在误差。通过减轻该误差的变化，可以提高视线检测的精度。因此，在根据本实施方式的信息处理装置中，执行校准以减轻误差变化。在此，实施各种处理以使得在不使用户感到压力的情况下执行校准。在下文中，将详细描述根据本实施方式的信息处理装置的配置和功能。
<2.眼镜式终端的硬件配置>
在描述根据本实施方式的信息处理装置之前，将基于图2和图3来描述眼镜式终端100的硬件配置，其中，在眼镜式终端100中通过根据本实施方式的信息处理装置来实施校准。注意，图2是示出眼镜式终端100中面向用户的眼睛一侧的配置的说明图。图3是示出当佩戴眼镜式终端100时用户的眼睛10与眼镜式终端100之间的位置关系的示意性侧视图。
眼镜式终端100是佩戴在用户的头上并且在眼睛面对一个或更多个显示单元的状态下使用的设备。眼镜式终端100是诸如头戴式显示器或眼镜式终端的设备。如图2所示，在根据本实施方式的眼镜式终端100中的面向用户的眼睛一侧的面上，显示单元102R和102L分别设置在对应于右眼和左眼的位置处。以近似矩形形状来形成根据本实施方式的显示单元102R和102L。注意，在壳体101上，还可以在显示单元102R与102L之间形成安放用户的鼻子的凹部101。
围绕显示单元102R的周界，在显示单元102R的四条边的近似中间处分别设置了四个光源103Ra、103Rb、103Rc和103Rd。类似地，围绕显示单元102L的周界，在显示单元102L的四条边的近似中间处分别设置了四个光源103La、103Lb、103Lc和103Ld。这些光源103Ra至103Rd和光源103La至103Ld由发射红外光的光源组成。光源103Ra至103Rd和光源103La至103Ld将光照射到面向分别设置有光源的显示单元102R或102L的用户的眼睛10上。
另外，围绕显示单元102R和102L的周界，分别设置了捕获眼睛10的图像的成像单元104R和104L。如图2所示，例如，成像单元104R和104L中的每个成像单元设置在显示单元102R和102L中的每个显示单元之下(在设置在显示单元102R和102L之下的光源103Rc和103Lc下方)。如图3所示，对成像单元104R和104L进行布置使得至少要捕获的眼睛10的瞳孔17包括在捕获范围中。例如，成像单元104R和104L被布置成具有一定的仰角θ。可以将仰角θ设置成例如近似30°。
注意，配置眼镜式终端100以使得当被用户佩戴时，显示单元102R和102L与用户的眼睛10分开一定距离。结果，佩戴眼镜式终端100的用户能够将显示单元102R和102L的显示区域保持在他的或她的视场内，而没有不适。在此，可以选定显示单元102R和102L与用户的眼睛10之间的距离，以使得即使用户佩戴眼镜G，眼镜式终端100也仍可佩戴在眼镜G上。在该状态下，对成像单元104R和104L进行布置，以使得用户的眼睛10的瞳孔17包括在捕获范围内。
<3.功能配置>
接着，将基于图4来描述上述眼镜式终端100和执行针对眼镜式终端100的校准的信息处理装置200的功能配置。注意，图4是示出眼镜式终端100和信息处理装置200的功能配置的功能框图。
[3.1.眼镜式终端]
如图4所示，眼镜式终端100配备有光源110、成像单元120、显示单元130、控制单元140和收发单元150。
光源110将光照射到佩戴眼镜式终端100的用户的眼睛10上。光源110是例如发射红外光的光源，并且对应于图2中的光源103Ra至103Rd和103La至103Ld。光源110基于来自控制单元140的指令来发射光。
成像单元120捕获佩戴眼镜式终端100的用户的眼睛10。成像单元120对应于图2中的成像单元104R和104L。成像单元120基于来自控制单元140的指令来实施捕获，并且将捕获的图像输出至控制单元140。
显示单元130是显示信息的输出单元。显示单元130对应于图2中的显示单元102R和102L。显示单元130可以是液晶显示器或有机EL显示器，或者，例如可以是通过投影设备来显示信息的透镜。信息根据控制单元140的指令而显示在显示单元130上。
控制单元140从总体上控制眼镜式终端100的功能。控制单元140可以例如执行光源110的照明控制，执行成像单元120的捕获控制，以及在显示单元130上显示信息。另外，控制单元140控制信息经由收发单元150向信息处理装置200的发送以及经由收发单元150从信息处理装置200接收信息。
收发单元150是向外部设备发送信息并且从外部设备接收信息的接口。在本实施方式中，通过向信息处理装置200发送信息并且从信息处理装置200接收信息来在眼镜式终端100中实施校准。在此，由成像单元120捕获的捕获图像经由收发单元150从眼镜式终端100发送至信息处理装置200。此外，经由收发单元150来接收从信息处理装置200发送的信息，例如在校准期间用于光源110的照明控制信息、使得成像单元120执行捕获的捕获控制信息、以及使得显示单元130显示信息的显示信息。
[3.2.信息处理装置]
接着，如图4所示，信息处理装置200配备有收发单元210、标记控制单元220、计算处理单元230、存储单元240和评估单元250。
收发单元210是向外部设备发送信息并且从外部设备接收信息的接口。在本实施方式中，收发单元210向眼镜式终端100发送并且从眼镜式终端100接收用于执行校准的信息。在此，收发单元210向眼镜式终端100发送信息，例如在校准期间用于光源110的照明控制信息、使得成像单元120执行捕获的捕获控制信息、以及使得显示单元130显示信息的显示信息。另外，收发单元210从眼镜式终端100接收诸如由成像单元120捕获的捕获图像的信息。
标记控制单元220在校准期间控制显示在眼镜式终端100的显示单元130上的注视点标记的显示。注视点标记是显示在显示区域中的用于测量用户的光轴与视轴之间的差异的对象。通过使得用户将他的或她的视线对准显示的注视点标记，可以获得从用户的瞳孔中心至注视点标记的矢量(下文中也称为“标记矢量”)，并且另外还估计此时用户的光轴。
标记控制单元220连续在某些位置(下文中又称为“校准点”)处显示注视点标记，以使得在显示区域内的多个位置处获取用户的视线数据。在显示注视点的校准点处获取一定量的视线数据之后，标记控制单元220重复将注视点标记移动至下一校准点的处理，并且在所有校准点处获取用户的视线数据。
在此，标记控制单元220在保持显示注视点标记的同时在各个校准点之间移动注视点标记。因此，用户的视线移动以跟随注视点标记，并且与间断性地显示注视点标记的情况相比，不再需要时间来搜索显示在校准点处的注视点标记，并且可以使对准注视点标记的视线的移动稳定。
另外，标记控制单元220还可以控制注视点标记在校准点之间的移动速度。如果注视点标记以恒定速度移动，则视线在注视点标记显示于目的校准点处时倾向于较不可能稳定下来。因此，标记控制单元220可以控制注视点标记在校准点之间移动的移动速度，以在注视点标记接近目的校准点时使其减慢。因此，在移动一开始时注视点标记移动迅速，但是在注视点标记接近目的校准点时减慢。因为用户的视线随着注视点标记的移动速度一起移动，所以在注视点标记接近目的校准点时用户的视线的移动同样减缓，并且在注视点标记显示于校准点处时视线更容易稳定下来。
计算处理单元230在注视点标记显示在每个校准点处时分别计算用户的光轴和标记矢量。计算处理单元230从眼镜式终端100获取捕获的图像，并且计算用户的光轴和标记矢量，其中，所述捕获的图像图示了在来自光源的光照射到用户的眼球上时关于注视点标记的用户眼睛。针对每个校准点计算的光轴和标记矢量存储在存储单元240中。
存储单元240存储在眼镜式终端100的校准期间所需的各种信息。例如，存储单元240存储：规定了显示注视点标记的校准点位置以及如何移动移动校准点标记的移动信息；以及设置信息，例如要在每个校准点处获取的视线数据的量以及用于确定校准结束的阈值。另外，存储单元240还存储由计算处理单元230计算的视线数据。
评估单元250确定对眼镜式终端100的校准的结束。评估单元250通过确定在每个校准点处估计的用户的光轴的变化是否在允许的范围内，来确定眼镜式终端100是否被正确校准。稍后将对该确定处理进行详细描述。如果来自评估单元250的确定结果是确定用户的光轴的变化不包含在一定范围内，则修改校准参数，并且再次执行校准。
因此，上文描述了眼镜式终端100和信息处理装置200的功能配置。注意，在图4中，实施校准处理的信息处理装置200被示出为与眼镜式终端100分开，但是本公开内容不限于这样的示例。例如，图4中示出的信息处理装置200的一些功能或所有功能也可以安装在眼镜式终端100上。
<4.校准处理>
接着，将基于图5至图14来描述由根据本实施方式的信息处理装置200执行的眼镜式终端100的校准处理。注意，图5是示出由根据本实施方式的信息处理装置200执行的眼镜式终端100的校准处理的流程图。图6是示出被显示为在移动的注视点的示例显示的说明图。图7是用于说明使用瞳孔角膜反射法来计算光轴矢量的处理的说明图。图8是示出标记矢量与光轴矢量之间的关系的说明图。图9是示出获取视线数据的校准点的示例的说明图。图10是示出获取视线数据的校准点的另一示例的说明图。图11是示出光轴变化的估计结果的示例的图表。图12是示出标记矢量和光轴矢量的坐标的说明图。图13是用于说明对校准点的位置的修改的说明图。图14是示出当从光源照射光时呈现在眼睛上的亮点的示例的说明图。
(1)显示注视点标记(S100)
由根据本实施方式的信息处理装置200执行的眼镜式终端100的校准处理从在显示单元130上显示注视点并且使得用户将他的或她的视线对准注视点标记开始(S100)。通过控制单元140来实施对注视点标记的显示控制，其中，控制单元140从信息处理装置200的标记控制单元220接收指令。在校准中，在显示单元130的显示区域内的多个位置处获取用户的视线数据。通过在用作获取视线数据的位置的校准点处显示注视点标记，用户有意地将他的或她的视线对准注视点标记，从而使得可以获取视线数据。
注视点标记接连显示在显示单元130的显示区域300内的多个预设的校准点处。如图6所示，例如，注视点标记首先显示在位于显示区域300的中心的校准点CP1处。当注视点标记M显示在校准点CP1处时，用户使他的或她的视线对准注视点标记M。通过保持显示注视点标记M，可以使用户的视线固定在校准点CP1上，并且在该状态下获取视线数据。
在校准点CP1处获取视线数据之后，在仍显示注视点标记M的同时使注视点标记M移动至获取视线数据的下一位置、即位于显示区域300的左上方的校准点CP2。随后，获取校准点CP2处的视线数据。之后，针对位于显示区域300的右上方的校准点CP3、位于显示区域300的左下方的校准点CP4以及位于显示区域300的右下方的校准点CP5来重复视线数据的获取和移动。
在步骤S100中，在第一校准点处显示注视点标记M，并且开始校准处理。
(2)获取视线数据(S110至S140)
在步骤S100中在第一校准点处显示注视点标记M之后，获取在该校准点处的用户的视线数据(S110)。视线数据包括表示估计的用户的视线方向的光轴矢量以及从用户的瞳孔中心至注视点标记的标记矢量。
(计算光轴矢量)
使用例如瞳孔角膜反射法来估计光轴矢量。现在将基于图7来描述使用瞳孔角膜反射法来估计光轴的处理。在瞳孔角膜反射法中，来自光源21的光被照射到正在观察显示单元的显示屏23的用户的眼睛10上，并且受到光照射的眼睛10通过成像单元22被成像。随后，基于由成像单元22成像的捕获图像30来估计光轴。为了简单起见，本文将描述用一个光源21照射眼睛10的情况。
如图7所示，假设用户正在凝视显示屏23上显示的注视点标记M。在此，眼睛10被用来自光源21的光照射，并且眼睛10通过成像单元22被成像。如图7所示，获取的眼睛10的捕获图像30图示了用户的眼睛10的角膜14、虹膜13和瞳孔17。捕获图像30还图示了普尔钦斑P，普尔钦斑P是从光源21照射眼睛10的照射光的亮点。
在获取了捕获图像30之后，实施计算光轴的处理。计算光轴的处理由计算处理单元230来实施。为此，首先从捕获图像30中检测瞳孔中心S和普尔钦斑P。这些检测处理可以通过已知的图像识别技术来实施。
例如，在检测瞳孔17的图像的处理中，实施针对捕获图像30的各种类型的图像处理(例如，调整诸如失真、黑电平和白平衡等因素的处理)，以及获取捕获图像30内的亮度分布的处理等。此外，基于获取的亮度分布，可以实施在瞳孔17的图像中检测边缘的处理，以诸如圆或椭圆的图形来近似在瞳孔17的图像中检测到的边缘的处理等。根据检测到的瞳孔17的图像，可以计算瞳孔中心S。
另外，在检测普尔钦斑P的处理中，也可以实施一系列处理，例如针对捕获图像30的各种类型的图像处理、获取捕获图像30中的亮度分布的处理、以及基于亮度分布检测与周围像素相比亮度值的差相对较大的像素的处理。此外，可以根据检测到的普尔钦斑P来检测普尔钦斑P的中心。
接着，计算瞳孔中心S和角膜14的曲率中心C的三维坐标。当将角膜14作为球体的一部分时，角膜14的曲率中心C是球体的中心。基于从捕获图像30中检测的瞳孔17的图像来计算瞳孔中心S的三维坐标。具体地，基于下述性质来计算捕获图像30中的瞳孔17的边缘上的每个点的三维坐标，所述性质例如为成像单元22与眼睛10之间的位置关系、光在角膜14的表面处的折射以及角膜14的曲率中心C与瞳孔中心S之间的距离。这些坐标的中心点被作为瞳孔中心S的三维坐标。
另外，基于从捕获图像30中检测的普尔钦斑P及其中心来计算角膜14的曲率中心C。具体地，基于诸如光源21、成像单元22与眼睛10之间的位置关系以及角膜14的曲率半径的性质，计算在连接成像单元22与普尔钦斑P的中心的直线上由角膜14的曲率半径从角膜14的表面进入到眼睛10中的位置，作为角膜14的曲率中心C的三维坐标。
连接以该方式计算的角膜14的曲率中心C以及瞳孔中心S的直线成为估计的光轴。换言之，光轴和显示屏23相交的位置的坐标成为估计的用户的视线位置。注意，从角膜14的曲率中心C前进至瞳孔中心S的矢量被指定为光轴矢量vo。
(计算标记矢量)
同时，可以将从用户的瞳孔中心S至注视点标记M的标记矢量计算为从根据上述捕获图像30指定的瞳孔中心S前进至显示屏23上当前显示的注视点标记M的位置的矢量。
以该方式，在步骤S110中，通过计算处理单元230计算并且获取光轴矢量和标记矢量作为视线数据。获取的视线数据存储在存储单元240中。
(减轻检测结果的变化)
在此，计算处理单元230还可以确定计算的光轴矢量vo是否可以用作校准检测结果。
具体地，例如，计算处理单元230可以确定光轴矢量vo的摇摆是否在一定范围内，并且确认计算的光轴矢量vo并非极大偏离于到目前为止所获取的光轴矢量vo。由计算处理单元230计算的光轴矢量vo被存储在存储单元240中作为历史。使用该历史，计算处理单元230确认在先前N个获取的光轴矢量(包括当前计算)的平均vo_ave与当前光轴矢量vo之间所成的角度在例如某一值内。另外，当在光轴矢量平均vo_ave与当前光轴矢量vo之间所成的角度超过某一阈值时，当前计算的光轴矢量vo被作为大的摇摆，并且不被用作校准检测结果。因此，可以提高光轴矢量的精度。
例如，可以使用先前三个光轴矢量vo来计算光轴矢量平均vo_ave。此外，可以将用于确定在光轴矢量平均vo_ave与当前光轴矢量vo之间所成的角度的阈值设置成例如近似3°。该阈值是在考虑到检测的不一致性的情况下选定的。根据这样的确定，当给出例如图8所示的估计的用户视线位置m1、m2和m3时，可以将偏离于其他视线位置的点如视线位置m3从检测结果中排除。另外，即使根据当用户未看向注视点标记M时被成像的捕获图像而计算了光轴矢量vo，计算出的光轴矢量vo也会变得非常偏离于光轴矢量平均vo_ave。这样的情况下的光轴矢量vo同样可以通过上述确定而被从检测结果中排除。
另外，计算处理单元230还可以确定在计算的标记矢量vm与光轴矢量vo之间所成的角度ω是否小于或等于例如某一值。根据这样的确定，可以确认估计的光轴矢量vo是否非常偏离于实际视线方向。在考虑诸如光轴与视轴之间的差异以及光轴检测误差等因素的情况下来决定在该点上使用的阈值。
例如，估计的用户的视线方向(换言之，光轴)与用户实际正看向的方向(换言之，视轴)不一定匹配。这归因于诸如眼球的形状和大小以及眼球中的视网膜和视神经的布置等因素。虽然存在个体差异，但是光轴与视轴之间的差异通常从4°到8°。此外，认为存在几度的光轴检测误差，例如达到±3°。如果将该误差与±1°的其他积累误差合并，则预期出现范围近似从0°到12°的误差。在该情况下，如果在计算的标记矢量与光轴矢量之间所成的角度ω在从0°到12°的范围内，则可以将计算的光轴矢量vo当作具有容许的精度，并且可以用作校准检测结果。
通过实施这样的确定处理，可以减轻检测结果的变化，并且可以提高光轴矢量的精确度。
(漏检确定)
此外，即使检测通过了以上用于减轻检测结果的变化的确定，在一些情况下仍可能在不正确的位置检测到瞳孔或亮点。如果使用了不正确的检测结果，则不能正确实施校准处理。因此，计算处理单元230还可以实施漏检确定处理以不将这样的不正确的检测结果用作校准检测结果。例如，如果计算的左瞳孔和右瞳孔的大小非常不同，则很可能将不正确的位置识别为了瞳孔。在这样的情况下获取的视线数据不被用作检测结果。作为特定示例，如果左瞳孔和右瞳孔的大小比率超过某一值(例如，1.2)，则左瞳孔和右瞳孔的大小会被视为非常不同，并且获取的视线数据不被用作检测结果。
在实施了以上处理之后，计算处理单元230确定是否已经在当前正显示注视点标记M的校准点处获取了视线数据(S120)。例如，如果还未获得正确的结果，例如当确定在光轴矢量vo中存在偏离过去的数据的摇摆，或者当在标记矢量vm与光轴矢量vo之间所成的角度ω不在允许范围内时，再次对眼睛10成像并且获取视线数据。
同时，当在当前显示注视点标记M的校准点处获取视线数据时，计算处理单元230确定是否针对所有校准点获取了视线数据(S130)。在其处获取视线数据的校准点预先存储在存储单元240中。如果存在尚未获取视线数据的校准点，则计算处理单元230指示标记控制单元220将注视点标记M移动至下一校准点(S140)。标记控制单元220经由收发单元210向眼镜式终端100输出指令来将注视点标记M移动至下一预设的校准点。
(注视点标记移动处理)
显示注视点标记M以便引导用户的视线。在本文中，对注视点标记M的显示进行控制以使得能够在短时间内正确获取用户的视线数据。
首先，注视点标记M在保持显示的同时，在各个校准点之间移动。作为结果，用户的视线移至下一注视点标记，并且与间断性地显示注视点标记M的情况相比，不再需要时间来搜索显示在校准点处的注视点标记M，并且可以使指向注视点标记的视线的移动稳定。
另外，改变注视点标记M在校准点之间移动的移动速度。如果注视点标记M以恒定速度移动，则存在以下趋势：当注视点标记M显示在目的校准点处时视线不太可能稳定。因此，标记控制单元220控制注视点标记M在校准点之间移动的移动速度以在注视点标记M接近目的校准点时使其减速。因此，注视点标记M在开始移动之后立即快速移动，但是在注视点标记M接近目的校准点时减速。因为用户的视线连同注视点标记的移动速度一起移动，所以在注视点标记M接近目的校准点时用户的视线的移动同样减缓，并且在注视点标记M显示于校准点处时视线更容易稳定下来。
另外，显示区域300中的获取视线数据的校准点通常被设置在显示区域300的中心，显示区域300的中心是当用户面向前方时看向的位置；以及显示区域300的边缘附近，显示区域300的边缘是视轴与光轴之间的差异趋向于较大的地方。通常，将视场内的多个点(例如，5至9个点)设为校准点。通过在这些位置实施校准，可以实施校正处理以使得显示区域300的外观变得总体一致。具体地，如图9所示，例如，可以在矩形显示区域300的中心(校准点CP1)和四个角(校准点CP2至CP5)处实施校准。替选地，如图10所示，可以在矩形显示区域300的中心(校准点CP1)和每条边的中点附近(校准点CP2至CP5)实施校准。
在此，当在各个校准点之间移动注视点标记M时，可以选定注视点标记M的移动顺序，以使得移动距离尽可能大。用户随同注视点标记M的移动一起来移动他的或她的视线，但是如果注视点标记M的移动距离较小，则视线不太可能与显示在下一校准点处的注视点标记M对准，并且视轴与光轴之间的差异变大。此外，因为视轴与光轴之间的差异在注视点标记M沿显示区域300的水平方向移动时趋向于变得较大，所以注视点标记M也可以被移动以便包括沿垂直方向的移动，例如向上和向下移动或者对角地移动。
例如，当在设置于图9所示的显示区域300的中心和四个角的五个校准点CP1至CP5处获取视线数据时，在显示中心处的校准点CP1之后，可以以Z字形方式来移动至四个角处的校准点CP2至CP5。另外，当在设置于图10所示的显示区域300的中心以及每条边的中点附近的五个校准点CP1至CP5处获取视线数据时，首先，例如，按照以绘出菱形踪迹的顺序来显示每条边的中点附近的校准点CP1至CP4。之后，可以显示中心处的校准点CP5。
返回至图5的描述，在步骤S140中将注视点标记M移至下一校准点之后，执行在目的校准点处视线数据的获取(S110)。之后，重复执行从步骤S110至S140的处理，直到完成在所有校准点处的视线数据获取为止。
(3)评估(S150至S180)
在获取所有校准点处的视线数据之后，通过评估单元250来进行校准完成确定。在本实施方式中，通过确定估计的光轴矢量vo的总体变化是否在允许范围内来进行校准完成确定。
在正确实施了校准之后，在步骤S110中计算的各个校准点处的光轴矢量vo变成对应于显示区域300中的校准点的显示位置的值。在本文中，图11示出当利用图9所示的校准点CP1至CP5实施校准时光轴矢量vo的检测结果的示例。图11示出光轴矢量vo的垂直方向的角度θ与光轴矢量vo的水平方向的角度ω之间的关系。注意，在本实施方式中，基于图12所示的坐标轴来限定光轴矢量vo。在图12的坐标轴中，x轴表示显示区域300的水平方向，y轴表示显示区域300的垂直方向，以及z轴表示显示区域300的深度方向。角度θ是光轴矢量vo与zx面之间所成的角度，而角度ω是在光轴矢量vo与xy面之间所成的角度。
图11的上侧示出了当校准被正确实施时的光轴矢量vo的分布，而图11的下侧示出了当校准未被正确实施时的光轴矢量vo的分布。根据图11的上侧，当校准被正确实施时，光轴矢量vo分布如下：具有分别对应于设置在显示区域300的中心和四个角处的校准点中的每个校准点的清楚的分隔。
另一方面，如图11的下侧所示，当校准未被正确实施时，光轴矢量vo分布不清。例如，对应于在显示区域300的右上、左上和中心的校准点的光轴矢量vo的垂直方向的角度θ变得近似相同。具体地，这样的分布对于硬接触镜片的佩戴者或者具有斜视、窄的眼睛的用户而言容易发生。
因此，在本实施方式中，评估单元250计算标记矢量vm与光轴矢量vo之间的相关关系，作为用于评估光轴矢量vo的总体变化的评估值(S150)，并且根据相关关系的值来进行校准完成确定。可以例如根据下面的等式(1)来计算标记矢量vm与光轴矢量vo之间的相关系数rxy。
[数学式1]
Figure BDA0002410690850000161
注意，i是分配给每个校准点的编号，并且取从1到n的值。当设置了五个校准点时，n是5。此外，xi和yi是光轴矢量vo的x坐标和y坐标，而
Figure BDA0002410690850000171
和
Figure BDA0002410690850000172
是标记矢量vm的x坐标和y坐标。注意，本文中的
Figure BDA0002410690850000173
和
Figure BDA0002410690850000174
表示ˉ在x和y上方。
在上面的等式(1)中，评估在所有校准点处标记矢量vm和光轴矢量vo的垂直方向的角度θ和水平方向的角度ω之间的差。如果标记矢量vm和光轴矢量vo在一个或多个校准点处不匹配，并且这些角之间的差异变大，则通过等式(1)计算的相关系数rxy变小。评估单元250通过使用表达标记矢量vm与光轴矢量vo之间的这样的相关关系的相关系数rxy来进行校准完成确定(S160)。
也可以根据在步骤S150中计算的标记矢量vm与光轴矢量vo之间的相关系数rxy是否降到某一阈值rth之下来进行校准完成确定。阈值rth例如可以设置成0.90。在步骤S160中，如果标记矢量vm与光轴矢量vo之间的相关系数rxy大于或等于阈值rth，则评估单元250将光轴矢量vo的总体变化视为在允许范围内，并且完成校准处理(S170)。
另一方面，如果标记矢量vm与光轴矢量vo之间的相关系数rxy降到阈值rth之下，则修改校准设置信息以改变如何实施校准(S180)，并且再次执行校准。校准设置信息指的是诸如注视点标记M的显示位置等信息。例如，可以修改校准点设置以将注视点标记M的显示位置朝向显示区域300的中心等移动，并且可以再次执行校准。
例如，如图13所示，假设相对于显示区域300，基于通过按某一比率α缩小显示区域300而获得的区域来设置校准点。在此，假设校准点的位置的默认值是显示区域300的中心以及例如显示区域的90％大小的区域的四个角。当通过将校准点设置至默认位置来执行校准并且标记矢量vm与光轴矢量vo之间的相关系数rxy降到阈值rth之下时，将校准点的位置朝向显示区域的中心移动。例如，将四个角处的校准点的位置设置成显示区域的80％大小的区域的四个角。通过以该方式将校准点的位置朝向显示区域的中心移动，用户变得能够更容易地看到注视点标记，并且可以更容易地获取正确的视线数据。
因此，上面描述了由根据本实施方式的信息处理装置200对眼镜式终端100执行的校准处理。根据本实施方式，当在多个校准点处获取视线数据时，被显示以引导用户的视线的注视点标记M在保持被显示的同时被移至每个校准点。在此，可以在校准点标记M接近下一校准点的位置时降低注视点标记M的移动速度，从而使得用户的视线能够准确跟踪注视点标记M。
另外，在根据本实施方式的校准处理中，当在每个校准点处获取光轴矢量vo时，可以基于先前获取的光轴矢量来确定存在还是不存在光轴的偏离，并且可以确定标记矢量vm与光轴矢量vo之间的差异。作为结果，可以不使用当用户未看向注视点标记M时获取的视线数据来作为校准检测结果，并且从而不降低视线检测处理的精度。
此外，在根据本实施方式的校准处理中，根据在每个校准点处获取的光轴矢量vo来计算标记矢量vm与光轴矢量vo之间的相关系数，作为用于评估光轴矢量vo的总体变化的评估值。通过确定该相关系数是否大于或等于某一阈值，可以从整体上评估是否在视场内准确地实施了视线检测处理。因此，不论用户看向显示区域中的哪一位置，均可以一贯地保持检测到的光轴矢量的精度。
根据这样的处理，可以仅由用户引导他的或她的视线对准注视点标记M来完成校准处理。显示并且移动注视点标记M以使得用户能够容易地引导他的或她的视线。另外，即使未获取光轴矢量vo，也可以自动调整校准点以使得可以获取光轴矢量vo，从而可以在不使用户感到压力的情况下完成校准处理。
<5.适应于检测精度提高>
在校准处理中，检测的光轴矢量vo的变化趋向于在以下情况下发生：例如，当用户佩戴硬接触镜片时或者当用户具有窄的眼睛时。这是因为当用户佩戴硬接触镜片时瞳孔可能变形，并且可能由于从光源照射的光而在眼球上检测到多于光源的数目的多个亮点，或者接触镜片可能在角膜上移动。此外，当用户具有窄的眼睛时，从捕获图像中指定的瞳孔可能是不完全的，或者可能无法检测到应当检测到的等于光源的数目的多个亮点。因此，为了正确检测用户的光轴矢量vo，可以另外实施如下的处理。
[5.1.将亮点配对]
为了正确检测用户的光轴矢量vo，例如，可以实施将从捕获图像中指定的亮点配对的处理。在根据本实施方式的眼镜式终端100中，如图2所示，四个光源103Ra至103Rd以及四个光源103La至103Ld分别设置在显示单元102R和102L周围。当分别用来自这些光源103Ra至103Rd以及103La至103Ld的光照射左眼和右眼时，在每个眼睛上分别呈现四个亮点Pa、Pb、Pc和Pd，如图14所示。
如果如图2所示来布置光源103Ra至103Rd以及光源103La至103Ld，则通过从这些光源发射的光而在每个眼睛10中均检测到对应于所述布置的亮点Pa、Pb、Pc和Pd。然而，如之前所讨论的，当用户佩戴硬接触镜片时或者当用户具有窄的眼睛时，可能检测到比四个亮点Pa、Pb、Pc和Pd更多个亮点，或者可能检测不到四个亮点。
因此，将彼此垂直面对的亮点Pa和Pc以及彼此水平面对的亮点Pb和Pd视为相应的对。随后，基于对应于成对的亮点的光源的位置关系，当检测到一个亮点时，可以估计另一亮点的位置。例如，如果检测到亮点Pa，则即使未检测到亮点Pc，也可以估计出亮点Pc存在于亮点Pa下方的某一位置处。此外，即使检测到比光源的数目更多的亮点，也可以基于对应于亮点的光源的位置关系来从许多检测到的亮点中指定成对的亮点。
以该方式，通过根据光源的布置来设置亮点对，即使未从捕获图像中正确检测到亮点，也可以估计亮点的近似位置，并且可以提高光轴矢量vo的检测精度。
[5.2.动态改变注视点标记显示位置]
另外，为了正确检测用户的光轴矢量vo，还可以动态移动注视点标记M。当注视点标记M显示于显示区域300中的用户难以引导他的或她的视线来对准的位置处时，预期到检测到的光轴矢量vo将更大地偏离于标记矢量vm。在这样的情况下，即使继续在同一校准点处显示注视点标记M，光轴矢量vo与标记矢量vm之间的差异也将不会变小。
因此，如果例如在一定量的时间内不能获取在这样的校准点处的光轴矢量vo，则使注视点标记M的显示位置朝向显示区域300的中心移动，并且再次执行获取光轴矢量vo的处理。移动注视点标记M的时间可以是例如从例如注视点标记M显示于校准点处时开始过去了若干秒(例如，3秒)后的时间。
注视点标记M的移动可以例如按某一比率关于从显示区域300的中心至当前校准点的距离来接近显示区域300的中心。替选地，注视点标记M的移动可以例如按一定比率关于从显示区域300的水平中间至当前校准点的水平距离来在水平方向上接近显示区域300的中间。由注视点标记M来接近的某一比率可以例如设置成近似10％。因此，用户从面向前方的状态移动他的或她的视线的距离变小，从而使得用户易于引导他的或她的视线对准注视点标记M。因此，可以预期光轴矢量vo与标记矢量vm之间的较小的差异。
也可以例如执行注视点标记M的移动，直到获取光轴矢量vo为止。例如，如果实施光轴矢量vo的获取达一定时间，但是在该时间内未获取光轴矢量vo，则可以通过按一定比率另外地移动注视点标记M来重复上面的处理，并且再次实施光轴矢量vo的获取。随后，在获取光轴矢量vo时，例如，在获取随后的校准点处的光轴矢量vo期间，可以将注视点标记M显示在通过按获取当前光轴矢量vo时使用的特定比率来移动校准点的位置而获得的位置处。显然地，在获取随后的校准点处的光轴矢量vo期间，也可以将注视点标记M显示在校准点的默认位置处。
以该方式，当对光轴矢量vo的获取不成功时，通过将注视点标记M动态移动至光轴矢量vo被正确获取的位置，可以获取正确的光轴矢量vo。
<6.硬件配置示例>
最后，将描述根据本实施方式的信息处理装置200的示例性硬件配置。图15是示出根据本实施方式的信息处理装置200的示例性硬件配置的硬件框图。
如上所述，可以将根据实施方式的信息处理装置200实现为诸如计算机的处理设备。如图15所示，信息处理装置200包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主总线904a。此外，信息处理装置200包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。
CPU 901用作运算处理单元和控制器，并且根据各种程序来控制信息处理装置200中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序以及在执行期间恰当变化的参数等。以上通过由CPU总线构成的主总线904a互相连接。
主总线904a通过桥接器904连接至外部总线904b，例如外部部件互连/接口(PCI)总线。注意，不必将主总线904a、桥接器904和外部总线904b配置为分离的部件，而是可以以单个总线来实现它们的功能。
输入设备906包括：供用户输入信息的输入设备，例如鼠标、键盘、触摸板、按钮、麦克风、开关以及控制杆；以及输入控制电路，该输入控制电路基于由用户执行的输入来生成输入信号并且将输入信号输出至CPU 901。输出设备907包括例如：显示设备，例如液晶显示器(LCD)设备、有机发光二极管(OLED)设备或者灯；以及语音输出设备，例如扬声器。
存储设备908是信息处理装置200的存储单元的示例并且是用于存储数据的设备。存储设备908可以包括：记录介质；将数据记录在记录介质中的记录设备；从记录介质读出数据的读出设备；以及删除记录在记录介质中的数据的删除设备。存储设备908对硬盘进行驱动并且在其中存储CPU 901执行的程序以及各种数据。
驱动器909是用于记录介质的读取器/写入器，并且内置在信息处理装置200中或者从外部附接。驱动器909读出在被安装至驱动器909的磁盘、光盘或磁光盘中或者在诸如半导体存储器的可移除存储介质中记录的信息，并且将信息输出至RAM 903。
连接端口911是连接至外部设备的接口并且是用于连接外部设备的能够通过其来传输数据的端口，例如通用串行总线(USB)。此外，通信设备913是由例如用于连接至通信网络的通信设备等构成的通信接口。此外，通信设备913可以是对应于局域网(LAN)的通信设备、对应于无线USB的通信设备或者通过线来通信的有线通信设备。
上面已经参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于上面的示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应当理解的是它们将自然地进入本公开内容的技术范围内。
例如，在上述实施方式中，如果标记矢量vm与光轴矢量vo之间的相关系数rxy降到阈值rth之下，则改变校准方法并且重新执行校准，但是本技术不限于这样的示例。例如，在改变校准方法之前，可以降低阈值rth，并且可以再次进行校准完成确定。改变的阈值rth可以是通过将先前的阈值rth降低固定值而获得的值，或者例如是在相关系数rxy与先前阈值rth之间的值。另外，可以结束校准，以及可以使用来自先前阈值rth最高时的校准信息来再次实施校准。
此外，本说明书中描述的效果仅是示意性的或者示例性的效果，而不是限制性的。即，连同以上效果或者代替以上效果，根据本公开内容的技术可以实现对于本领域技术人员而言基于本说明书的描述是明显的其他效果。
另外，本技术还可以被配置如下：
(1)一种信息处理装置，包括：
标记控制单元，其在眼镜式终端的校准期间改变显示在所述眼镜式终端的显示单元上的注视点标记的显示位置；
计算处理单元，其基于当佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射并且所述注视点标记显示在校准点处时成像的包括所述用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量；以及
评估单元，其评估针对多个所述校准点计算的光轴矢量的变化。
(2)根据(1)所述的信息处理装置，其中，
所述标记控制单元在保持所述注视点标记被显示的同时按顺序将所述注视点标记移至预设的所述校准点。
(3)根据(2)所述的信息处理装置，其中，
所述标记控制单元移动所述注视点标记，以使得在所述注视点标记接近目的校准点时移动速度减慢。
(4)根据(1)至(3)中的任意一项所述的信息处理装置，其中，
所述计算处理单元确定在当前计算的光轴矢量与基于光轴矢量的历史而计算的所述光轴矢量的平均之间所成的角度是否大于特定角度，以及
如果所成的角度大于所述特定角度，则所述计算处理单元不采用所述当前计算的光轴矢量。
(5)根据(1)至(4)中的任意一项所述的信息处理装置，其中，
所述计算处理单元基于在当前计算的光轴矢量与从所述用户的瞳孔中心到显示所述注视点标记的所述校准点的标记矢量之间所成的角度是否小于或等于特定角度，来确定所述当前计算的光轴矢量的变化，以及
如果所成的角度大于所述特定角度，则所述计算处理单元不采用所述当前计算的光轴矢量。
(6)根据(5)所述的信息处理装置，其中，
所述计算处理单元在所述用户的左瞳孔与右瞳孔的大小比率大于或等于特定值时不采用所计算的光轴矢量。
(7)根据(4)至(6)中的任意一项所述的信息处理装置，其中，
当由所述计算处理单元计算的所述光轴矢量未被采用时，所述标记控制单元将所述注视点标记的所述显示位置朝向显示区域的中心移动。
(8)根据(1)至(7)中的任意一项所述的信息处理装置，其中，
所述评估单元基于从所述用户的瞳孔中心到显示所述注视点标记的所述校准点的标记矢量与所计算的光轴矢量之间的相关关系，来确定在所有校准点处计算的所述光轴矢量的变化。
(9)根据(8)所述的信息处理装置，其中，
当所述评估单元确定表示所述光轴矢量与所述标记矢量之间的所述相关关系的相关系数下降到特定阈值之下时，
所述标记控制单元将所述校准点设置于朝向显示区域的中心移动后的位置，并且再次执行校准。
(10)根据(1)至(9)中的任意一项所述的信息处理装置，其中，
所述计算处理单元检测由于从多个成对的光源辐射的光而产生的亮点。
(11)一种由信息处理装置实施的信息处理方法，所述方法包括：
在眼镜式终端的校准期间改变显示在所述眼镜式终端的显示单元上的注视点标记的显示位置；
基于当佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射并且所述注视点标记显示在校准点处时成像的包括所述用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量；以及
评估针对多个所述校准点计算的光轴矢量的变化。
(12)一种使得计算机用作信息处理装置的程序，所述信息处理装置包括：
标记控制单元，其在眼镜式终端的校准期间改变显示在所述眼镜式终端的显示单元上的注视点标记的显示位置；
计算处理单元，其基于当佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射并且所述注视点标记显示在校准点处时成像的包括所述用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量；以及
评估单元，其评估针对多个所述校准点计算的光轴矢量的变化。
附图标记列表
10 眼睛
14 角膜
17 瞳孔
100 眼镜式终端
110 光源
120 成像单元
130 显示单元
140 控制单元
150 收发单元
200 信息处理装置
210 收发单元
220 标记控制单元
230 计算处理单元
240 存储单元
250 评估单元
300 显示区域

Claims (4)

1.一种信息处理装置，包括：
标记控制单元，被配置为在眼镜式终端的校准期间，在保持注视点标记显示在所述眼镜式终端的显示单元上的状态的同时，将所述注视点标记的显示位置从所述显示单元的第一校准点连续移动到第二校准点；
计算处理单元，被配置为基于包括所述眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量，所述用户的眼睛在如下情况下成像：
佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射，以及
所述注视点标记从所述第一校准点连续移动到所述第二校准点；以及
评估单元，被配置为评估针对所述第一校准点至所述第二校准点计算的所述光轴矢量的变化，
其中，所述标记控制单元被配置为在连续移动所述注视点标记时，使所述注视点标记在所述注视点标记接近所述第二校准点时减慢。
2.一种信息处理方法，包括：
在眼镜式终端的校准期间，在保持注视点标记显示在所述眼镜式终端的显示单元上的状态的同时，将所述注视点标记的显示位置从所述显示单元的第一校准点连续移动到第二校准点；
基于包括所述眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量，所述用户的眼睛在如下情况下成像：
佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射，以及
所述注视点标记从所述第一校准点连续移动到所述第二校准点；以及
评估针对所述第一校准点至所述第二校准点计算的所述光轴矢量的变化，
其中，在连续移动所述注视点标记时，使所述注视点标记在所述注视点标记接近所述第二校准点时减慢。
3.一种眼镜式终端，包括：
显示单元；
标记控制单元，被配置为在所述眼镜式终端的校准期间，在保持注视点标记显示在所述显示单元上的状态的同时，将所述注视点标记的显示位置从所述显示单元的第一校准点连续移动到第二校准点；
计算处理单元，被配置为基于包括所述眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量，所述用户的眼睛在如下情况下成像：
佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射，以及
所述注视点标记从所述第一校准点连续移动到所述第二校准点；以及
评估单元，被配置为评估针对所述第一校准点至所述第二校准点计算的所述光轴矢量的变化，
其中，所述标记控制单元被配置为在连续移动所述注视点标记时，使所述注视点标记在所述注视点标记接近所述第二校准点时减慢。
4.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行一种信息处理方法，包括：
在眼镜式终端的校准期间，在保持注视点标记显示在所述眼镜式终端的显示单元上的状态的同时，将所述注视点标记的显示位置从所述显示单元的第一校准点连续移动到第二校准点；
基于包括所述眼镜式终端的用户的眼睛的捕获图像，通过瞳孔角膜反射法来计算表示所述用户的视线方向的光轴矢量，所述用户的眼睛在如下情况下成像：
佩戴所述眼镜式终端的用户的眼睛被用来自光源的光照射，以及
所述注视点标记从所述第一校准点连续移动到所述第二校准点；以及
评估针对所述第一校准点至所述第二校准点计算的所述光轴矢量的变化，
其中，在连续移动所述注视点标记时，使所述注视点标记在所述注视点标记接近所述第二校准点时减慢。
CN202010175536.2A 2014-12-17 2015-09-11 信息处理装置和方法、眼镜式终端以及存储介质 Active CN111493809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010175536.2A CN111493809B (zh) 2014-12-17 2015-09-11 信息处理装置和方法、眼镜式终端以及存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014254720 2014-12-17
JP2014-254720 2014-12-17
CN201580067290.4A CN107003752B (zh) 2014-12-17 2015-09-11 信息处理装置、信息处理方法以及程序
PCT/JP2015/075894 WO2016098406A1 (ja) 2014-12-17 2015-09-11 情報処理装置、情報処理方法及びプログラム
CN202010175536.2A CN111493809B (zh) 2014-12-17 2015-09-11 信息处理装置和方法、眼镜式终端以及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580067290.4A Division CN107003752B (zh) 2014-12-17 2015-09-11 信息处理装置、信息处理方法以及程序

Publications (2)

Publication Number Publication Date
CN111493809A true CN111493809A (zh) 2020-08-07
CN111493809B CN111493809B (zh) 2023-06-27

Family

ID=56126308

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010175536.2A Active CN111493809B (zh) 2014-12-17 2015-09-11 信息处理装置和方法、眼镜式终端以及存储介质
CN201580067290.4A Active CN107003752B (zh) 2014-12-17 2015-09-11 信息处理装置、信息处理方法以及程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580067290.4A Active CN107003752B (zh) 2014-12-17 2015-09-11 信息处理装置、信息处理方法以及程序

Country Status (6)

Country Link
US (2) US10452137B2 (zh)
EP (1) EP3236338B1 (zh)
JP (1) JP6601417B2 (zh)
KR (1) KR102469507B1 (zh)
CN (2) CN111493809B (zh)
WO (1) WO2016098406A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN114511655A (zh) * 2022-02-16 2022-05-17 深圳市恒必达电子科技有限公司 一种带气味复现的vr/ar体感装置和气味形成系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
CA3011637A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
WO2018030515A1 (ja) * 2016-08-12 2018-02-15 国立大学法人静岡大学 視線検出装置
CN106339087B (zh) * 2016-08-29 2019-01-29 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置
WO2018222753A1 (en) 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
JP6403836B1 (ja) * 2017-06-08 2018-10-10 株式会社ナックイメージテクノロジー 視機能検査装置、視機能訓練装置及び方法
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법
JP2019021049A (ja) * 2017-07-18 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6971686B2 (ja) * 2017-08-02 2021-11-24 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194403B2 (en) * 2018-02-19 2021-12-07 Murakami Corporation Reference position setting method and virtual image display device
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
JP7423659B2 (ja) * 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN110347257A (zh) * 2019-07-08 2019-10-18 北京七鑫易维信息技术有限公司 眼球追踪设备的校准方法、装置、设备和存储介质
JP7342978B2 (ja) * 2020-02-10 2023-09-12 日本電気株式会社 視線推定システム、視線推定方法、及びコンピュータプログラム
JP7444358B2 (ja) 2020-02-18 2024-03-06 学校法人明治大学 眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラム

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) * 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
JPH07218858A (ja) * 1994-01-25 1995-08-18 Sextant Avionique ヘルメット装着者の頭部に対するヘルメットの位置と向きとを設定し確認するための装置システム
JP2002345756A (ja) * 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
US20030098954A1 (en) * 2001-04-27 2003-05-29 International Business Machines Corporation Calibration-free eye gaze tracking
JP2004129927A (ja) * 2002-10-11 2004-04-30 Canon Inc 視線検出装置
WO2005046465A1 (en) * 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US20070279590A1 (en) * 2003-12-25 2007-12-06 Yoshinobu Ebisawa Sight-Line Detection Method and Device, and Three-Dimensional View-Point Measurement Device
US20090219484A1 (en) * 2006-03-31 2009-09-03 Yoshinobu Ebisawa View point detecting device
JP2009297323A (ja) * 2008-06-16 2009-12-24 Kobe Univ 視線計測装置
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
US20110279666A1 (en) * 2009-01-26 2011-11-17 Stroembom Johan Detection of gaze point assisted by optical reference signal
JP2012068495A (ja) * 2010-09-24 2012-04-05 Sony Corp 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system
US20130050833A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Adjustment of a mixed reality display for inter-pupillary distance alignment
WO2013078150A1 (en) * 2011-11-23 2013-05-30 Sony Computer Entertainment America Llc Gaming controller
JP2013190942A (ja) * 2012-03-13 2013-09-26 Nippon Hoso Kyokai <Nhk> 視線誤差補正装置、そのプログラム及びその方法
CN103353790A (zh) * 2013-06-26 2013-10-16 林大伟 光线寻迹方法与装置
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
US20140300538A1 (en) * 2013-04-08 2014-10-09 Cogisen S.R.L. Method for gaze tracking

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1573431A2 (en) * 2002-10-11 2005-09-14 Laboratories For Information Technology Statistical data analysis tool
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP5466610B2 (ja) 2010-09-27 2014-04-09 パナソニック株式会社 視線推定装置
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
JP2014064634A (ja) 2012-09-25 2014-04-17 Kyocera Corp 画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法
JP6157165B2 (ja) 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) * 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
JPH07218858A (ja) * 1994-01-25 1995-08-18 Sextant Avionique ヘルメット装着者の頭部に対するヘルメットの位置と向きとを設定し確認するための装置システム
US20030098954A1 (en) * 2001-04-27 2003-05-29 International Business Machines Corporation Calibration-free eye gaze tracking
JP2002345756A (ja) * 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
JP2004129927A (ja) * 2002-10-11 2004-04-30 Canon Inc 視線検出装置
WO2005046465A1 (en) * 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
US20070279590A1 (en) * 2003-12-25 2007-12-06 Yoshinobu Ebisawa Sight-Line Detection Method and Device, and Three-Dimensional View-Point Measurement Device
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US20090219484A1 (en) * 2006-03-31 2009-09-03 Yoshinobu Ebisawa View point detecting device
JP2009297323A (ja) * 2008-06-16 2009-12-24 Kobe Univ 視線計測装置
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
US20110279666A1 (en) * 2009-01-26 2011-11-17 Stroembom Johan Detection of gaze point assisted by optical reference signal
JP2012068495A (ja) * 2010-09-24 2012-04-05 Sony Corp 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
US20130050642A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Aligning inter-pupillary distance in a near-eye display system
US20130050833A1 (en) * 2011-08-30 2013-02-28 John R. Lewis Adjustment of a mixed reality display for inter-pupillary distance alignment
WO2013078150A1 (en) * 2011-11-23 2013-05-30 Sony Computer Entertainment America Llc Gaming controller
JP2013190942A (ja) * 2012-03-13 2013-09-26 Nippon Hoso Kyokai <Nhk> 視線誤差補正装置、そのプログラム及びその方法
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
US20140300538A1 (en) * 2013-04-08 2014-10-09 Cogisen S.R.L. Method for gaze tracking
CN103353790A (zh) * 2013-06-26 2013-10-16 林大伟 光线寻迹方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN114296548B (zh) * 2021-12-14 2023-03-24 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN114511655A (zh) * 2022-02-16 2022-05-17 深圳市恒必达电子科技有限公司 一种带气味复现的vr/ar体感装置和气味形成系统

Also Published As

Publication number Publication date
CN111493809B (zh) 2023-06-27
KR102469507B1 (ko) 2022-11-22
EP3236338B1 (en) 2019-12-18
JP6601417B2 (ja) 2019-11-06
KR20170095194A (ko) 2017-08-22
US10452137B2 (en) 2019-10-22
EP3236338A4 (en) 2018-12-12
CN107003752A (zh) 2017-08-01
CN107003752B (zh) 2020-04-10
JPWO2016098406A1 (ja) 2017-09-28
US11635806B2 (en) 2023-04-25
EP3236338A1 (en) 2017-10-25
US20170329400A1 (en) 2017-11-16
US20190346920A1 (en) 2019-11-14
WO2016098406A1 (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
CN107003752B (zh) 信息处理装置、信息处理方法以及程序
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
US10061384B2 (en) Information processing apparatus, information processing method, and program
WO2012137801A1 (ja) 入力装置及び入力方法並びにコンピュータプログラム
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user&#39;s eyes
US11269181B2 (en) Systems and methods for operating a head-mounted display system based on user identity
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210019493A1 (en) Information processing apparatus, information processing method, and program
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN114424147A (zh) 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
JP2007232753A (ja) 眼鏡仕様設定装置及び視野検出装置
JP2008212718A (ja) 視野検出装置
JP5279153B1 (ja) 瞳孔位置測定方法及び両用レンズの作製方法
CN111417893B (zh) 用于检验眼科镜片在镜架中的安装的方法和组件
WO2019116675A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN214623231U (zh) 一种眼镜佩戴参数的测量设备
CN113508331B (zh) 测量被测试者的眼球的旋转特性的测量方法及渐进屈光力镜片的设计方法
CN113009717A (zh) 一种眼镜佩戴参数的测量设备
CN112149453A (zh) 眼球追踪的校准方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant