CN108463789A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN108463789A
CN108463789A CN201680078442.5A CN201680078442A CN108463789A CN 108463789 A CN108463789 A CN 108463789A CN 201680078442 A CN201680078442 A CN 201680078442A CN 108463789 A CN108463789 A CN 108463789A
Authority
CN
China
Prior art keywords
user
information processing
processing equipment
guiding
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680078442.5A
Other languages
English (en)
Other versions
CN108463789B (zh
Inventor
安田亮平
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108463789A publication Critical patent/CN108463789A/zh
Application granted granted Critical
Publication of CN108463789B publication Critical patent/CN108463789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

提供了一种信息处理设备，包括：处理单元，其被配置成基于用户的头部的检测结果和用户的视线的检测结果来获取对应于用户的凝视相关信息。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及一种信息处理设备、信息处理方法和程序。
背景技术
用于检测视线的方法的实例包括“使用利用当从诸如红外发光二极管(IRLED)的光源发射的光从角膜表面反射时获得的角膜反射图像(也称为“普尔钦斑”)的角膜反射(瞳孔-角膜反射)的技术”，“使用眼球肌肉电位的检测结果的技术”等。
在这方面，可能存在这样的情况，即，在用户查看的位置等(该位置是根据通过使用上述方法获得的视线检测结果来估计的)和用户实际凝视的位置等之间发生错误。因此，对使用上述方法检测的视线检测结果执行校准以减少错误，并且使用校准的视线检测结果对用户查看的位置等执行估计。
在这些情况下，开发了关于视线校准的技术。关于视线校准的技术的实例包括在下面的专利文献1中公开的技术。
引文列表
专利文献
专利文献1：JP 2015-152939A
发明内容
技术问题
当获取用于校准检测的视线的校准信息(稍后描述)时，在一个实例中，可能存在用户眼睛的摆动宽度过大，用户眼睛的摆动宽度过小，或用户眼睛的摆动宽度偏向的情况。在这些情况下，使用获取的校准信息来校准视线检测结果可能无法充分减少上述错误。因此，虽然使用校准信息对视线检测结果执行校准，但是估计用户凝视的位置、方向等的准确性可能无法实现足够的准确度。
在本公开中，提供了一种新颖和改进的信息处理设备、信息处理方法和程序，其能够提高估计用户视线的准确性。
问题的解决方案
根据本公开，提供了一种信息处理设备，包括：处理单元，其被配置成基于用户的头部的检测结果和用户的视线的检测结果来获取对应于用户的凝视相关信息。
另外，根据本公开，提供了一种由信息处理设备执行的信息处理方法，该方法包括：基于用户的头部的检测结果和用户的视线的检测结果来获取对应于用户的凝视相关信息的步骤。
另外，根据本公开，提供了一种使计算机实施以下功能的程序：基于用户的头部的检测结果和用户的视线的检测结果来获取对应于用户的凝视相关信息的功能。
发明的有益效果
根据本公开，有可能提高估计用户视线的准确性。
应注意，上述效果不一定是限制性的。使用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中掌握的其它效果。
附图说明
[图1]图1是被图示以描述校准视线检测结果的方法的实例的图解。
[图2]图2是被图示以描述妨碍估计视轴的准确性的提高的一个因素的图解。
[图3]图3是被图示以描述根据本实施方案的信息处理方法的图解。
[图4]图4是被图示以描述根据本实施方案的信息处理方法的图解。
[图5]图5是被图示以描述根据本实施方案的视线使用范围的实例的图解。
[图6]图6是被图示以描述根据本实施方案的设置视线使用范围的方法的实例的图解。
[图7]图7是被图示以描述根据本实施方案的设置视线使用范围的方法的另一实例的图解。
[图8]图8是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图9]图9是被图示以描述通过执行根据本实施方案的引导处理来获取校准信息的程序的图解。
[图10]图10是被图示以描述通过执行根据本实施方案的引导处理来获取校准信息的程序的图解。
[图11]图11是被图示以描述通过执行根据本实施方案的引导处理来获取校准信息的程序的图解。
[图12]图12是被图示以描述通过执行根据本实施方案的引导处理来获取校准信息的程序的图解。
[图13]图13是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图14]图14是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图15]图15是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图16]图16是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图17]图17是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图18]图18是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图19]图19是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图20]图20是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图21]图21是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图22]图22是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图23]图23是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
[图24]图24是被图示以描述关于根据本实施方案的信息处理方法的软件控制处理的实例的图解。
[图25]图25是图示关于根据本实施方案的信息处理方法的处理的实例的流程图。
[图26]图26是图示根据本实施方案的信息处理设备的配置的实例的方框图。
[图27]图27是被图示以描述根据本实施方案的信息处理设备的硬件配置的实例的图解。
[图28]图28是被图示以描述包括在根据本实施方案的信息处理设备中的处理单元的功能的实例的方框图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施方案。应注意，在本说明书和附图中，具有大体上相同的功能和结构的结构组件用相同的参考数字表示，并且省略这些结构组件的重复说明。
此外，将按照下面列出的顺序给出描述。
1.根据本实施方案的信息处理方法
2.根据本实施方案的信息处理设备
3.根据本实施方案的程序
(根据本实施方案的信息处理方法)
现在描述根据本实施方案的信息处理方法。给出以下描述作为根据本实施方案的信息处理设备执行关于根据本实施方案的信息处理方法的处理的情况的实例。
[1]校准视线检测结果的方法
现在描述校准视线检测结果的方法。给出以下描述作为在通过使用角膜反射的技术检测视线的情况下校准视线检测结果的方法的实例。
图1是被图示以描述校准视线检测结果的方法的实例的图解，并且图示通过捕获用户的眼睛而获得的捕获图像的实例。
与用户的视线相关的轴的实例包括如图1中所示的光轴和视轴。
这里，光轴是穿过瞳孔中心的角膜法线，并且在一个实例中，与连接角膜中心位置(角膜中心(角膜曲率中心)的三维位置)和瞳孔中心位置(瞳孔中心的三维位置)的线相关。在一个实例中，可以使用眼球3D模型来估计光轴。另一方面，与光轴不同，不能通过使用眼睛3D模型来估计视轴。因此，使用角膜反射的视线检测结果的实例包括基于光轴的检测结果，例如，由检测的光轴指示的方向，指示检测的光轴的矢量，基于检测的光轴指定的用户查看的位置等中的一个或多个。
视轴是连接节点(晶状体的中央后表面)和中央凹的线，并且与用户(人)实际查看的轴相关。视轴与光轴不相互重合，如图1中所示，并且视轴相对于光轴倾斜约4[°]至8[°]。另外，视轴相对于光轴的倾斜度存在个体差异。
如上所述执行校准以使视轴相对于光轴的偏差(图1中所示的“偏移”)更小。
此外，与上述的光轴不同，不能使用眼球3D模型来估计视轴。因此，在一个实例中，根据下面描述的程序通过校准光轴来估计视轴。
-当用户查看视场中的某个点(以下称为“校准点”)时，估计光轴，
-计算从角膜曲率中心到校准点的矢量与光轴矢量之间的差值，以及
-当用户在某个时间点从光轴查看某个点时，使用基于差值的校准信息来估计在该时间点的视轴。
校准信息的实例包括用于校正视轴相对于光轴的偏差(图1中所示的“偏移”)的校正系数。
这里，用于校准的校正系数根据眼球的方向而不同。因此，在执行校准的情况下，使用正常视场中的多个校准点(例如，5至9个点)。校正系数根据眼球的方向而不同的一个示例性原因是，根据由于肌肉的张力引起的眼球旋转而引起的查看方向，增加了转动方向上的旋转。
通过对多个校准点中的每个执行一次校准后，从校准点的分布和采样数据的分布中计算出相关系数，并通过从计算的相关系数中获得校正系数，来获得由校准信息指示的校正系数。在一个实例中，由校准信息指示的校正系数可以通过使用由同一申请人提交的专利文献1中公开的技术来获得。
如稍后将描述的，在根据本实施方案的信息处理方法中用于获得由校准信息指示的校正系数的采样数据的实例包括对应于眼睛的预定角度的数据。另外，如稍后将描述的，基于头部检测结果和视线检测结果来获取根据本实施方案的采样数据。换句话说，在一个实例中，基于头部检测结果和视线检测结果来获得根据本实施方案的校准信息。在一些情况下，用于获得校准信息的采样数据在下文中被称为“用于校准计算的检测数据”。
此外，获取由校准信息指示的校正系数的方法不限于上述实例。在一个实例中，根据本实施方案的信息处理设备可以通过能够使用根据本实施方案的采样数据来计算校正系数的任何方法来获得校正系数。
在一个实例中，如上所述，使用校准信息校准光轴允许估计作为用户实际查看的轴的视轴。
此外，在校准视线检测结果的情况下，当用户不查看校准点时，必须防止校准信息的使用，以确保校准的准确性。在一个实例中，根据本实施方案的信息处理设备旨在通过如下所述的处理来确保校准的准确性。
-当用户的眼球运动不是静态确定时，忽略用户视线的检测结果。
-当连接用户眼睛的位置和校准点的矢量与光轴矢量之间的差值大于预定值时，忽略用户视线的检测结果。
-在计算的相关系数(表示相关强度的值)的贡献率等于或小于预设阈值的情况下(或在贡献率小于阈值的情况下)，再次执行校准(重试校准)。
[2]妨碍视轴估计准确性的提高的一个因素
然而，如上所述，当获取校准信息时，在一个实例中，可能存在用户眼睛的摆动宽度过大，用户眼睛的摆动宽度过小，或用户眼睛的摆动宽度偏向的情况。在这些情况下，使用获取的校准信息对视线检测结果的校准可能不能充分减少视轴相对于光轴的偏差(图1中所示的“偏移”)。
图2是被图示以描述妨碍视轴估计准确性的提高的一个因素的图解。图2图示五个校准点显示在显示屏D上并且使用五个校准点执行校准的实例。显示屏D的实例包括“显示设备的显示屏”，“通过诸如投影仪的图像投影设备投影图像的墙壁”等(以下同样适用)。
此外，图2图示即使用户查看不同的校准点，眼睛相对于头部的正面方向的角度也不会改变的实例。在图2中，部分A图示用户查看校准点P1的情况，并且图2的部分B图示用户查看校准点P2的情况。
在一个实例中，如图2的部分B中所示，可能存在用户向上倾斜头部以查看校准点P2的情况。在这种情况下，相比于图2的部分A中所示的查看校准点P1的情况，眼睛相对于头部的正面方向的角度可能不会改变。
在一个实例中，如图2中所示，即使当校准点的位置不同时，在用户在面向校准点的方向的同时查看的情况下，眼球的角度也几乎不变。在上述情况下，即使使用获取的校准信息来校准视线检测结果，视轴相对于光轴的偏差(图1中所示的“偏移”)也不能充分减少。
[3]关于根据本实施方案的信息处理方法的处理
[3-1]关于根据本实施方案的信息处理方法的处理的概述
然后，根据本实施方案的信息处理设备基于检测目标用户(在下文中简称为“用户”)的头部的检测结果和用户的检测结果来获取对应于用户的凝视相关信息。
根据本实施方案的凝视相关信息的实例包括指示估计的凝视方向和估计的凝视位置中的一者或两者的数据。根据本实施方案的凝视方向的实例包括由用户感知的中心方向，并且根据本实施方案的凝视位置的实例包括由用户感知的位置。获取凝视相关信息允许根据本实施方案的信息处理设备获得估计的凝视方向和估计的凝视位置中的一者或两者，作为通过估计用户的视线获得的结果。
根据本实施方案的头部检测结果的实例包括指示检测的头部位置和面部方向中的一者或两者的信息。在一个实例中，通过下面描述的方法来获取根据本实施方案的头部检测结果。此外，获取根据本实施方案的头部检测结果的方法不限于下面描述的实例，并且可以通过能够检测(或估计)头部的任何方法来获取。
-利用安装在周围环境中的图像捕获设备捕获头部并使用捕获图像来检测头部的方法(例如，运动捕获技术等)
-利用附接到头侧的图像捕获设备捕获周围环境并使用捕获图像来检测头部的方法(例如，通过捕获安装在周围环境中的标记来检测头部的方法，同时定位和映射(SLAM)等)
-利用附接到头侧的运动传感器(例如，加速度计、角速率传感器和地磁场传感器中的一个或多个)来检测头部的方法
此外，在一个实例中，可以通过根据本实施方案的信息处理设备或根据本实施方案的信息处理设备的外部设备来执行关于获取头部检测结果的处理，诸如捕获图像的处理和运动传感器的检测数据的处理。在外部设备中执行关于获取头部检测结果的处理的情况下，根据本实施方案的信息处理设备使用从外部设备获得的头部检测结果来进行关于根据本实施方案的信息处理方法的处理。
根据本实施方案的视线检测结果的实例包括指示用户的光轴的信息(例如，指示光轴矢量等的数据)。在一个实例中，根据本实施方案的视线检测结果是通过下面描述的方法获取的。此外，获取根据本实施方案的视线检测结果的方法不限于下面描述的实例，并且可以通过能够检测(或估计)视线的任何方法来获取。
-基于通过捕获眼睛获得的捕获图像的角膜反射
-从通过捕获眼睛获得的捕获图像中检测的瞳孔形状进行估计的方法
-从通过捕获眼睛获得的捕获图像中检测的瞳孔和眼睑之间的位置关系进行估计的方法
-从通过捕获眼睛获得的捕获图像中检测的白眼珠和黑眼珠之间的关系进行估计的方法
-从由检测眼球肌肉电位的肌电图检测的眼球肌肉电位中进行估计的方法
此外，关于获取视线检测结果的处理，诸如捕获图像的处理或肌电图的检测数据的处理，可以由根据本实施方案的信息处理设备执行，或可以在根据本实施方案的信息处理设备的外部设备中执行。在外部设备中执行关于获取视线检测结果的处理的情况下，根据本实施方案的信息处理设备使用从外部设备获取的视线检测结果来进行关于根据本实施方案的信息处理方法的处理。
图3和图4是被图示以描述根据本实施方案的信息处理方法的图解，并且图示关于获取用户的头部的检测结果和用户的视线的检测结果的设备的实例。图3和图4图示用户查看显示屏D的情况。
在一个实例中，图3图示“使用由眼镜型眼镜G捕获的捕获图像通过角膜反射可获得视线检测结果的实例，该眼镜型眼镜G包括用于检测视线的图像捕获设备，其被配置成捕获用户的眼睛”。另外，在一个实例中，图3图示“使用捕获图像的运动捕获技术可获得头部检测结果的实例，该捕获图像是由布置在周围环境中的图像捕获设备C1、C2、C3、C4、C5等通过捕获佩戴在用户头上的标记M1、M2、M3等来获得的”。
在图3中所示的实例中，在一个实例中，有可能通过下面描述的研究提高头部检测的准确性和凝视检测的准确性。
-调整标记的安装位置和角度
-在每个时间点，从通过由图像捕获设备C1、C2、C3、C4、C5等进行捕获而获得的捕获图像中选择被预测为具有最高准确度的图像捕获设备的捕获图像
-将用户的站立位置和面部方向引导到可以确保准确性的地方
在与图3中所示的实例类似的一个实例中，图4图示“使用由眼镜型眼镜G捕获的捕获图像通过角膜反射可获得视线检测结果的实例，该眼镜型眼镜G包括用于检测视线的图像捕获设备，其用于捕获用户的眼睛”。另外，在一个实例中，图4图示“基于由安装在周围环境中的图像捕获设备(未示出)捕获的捕获图像使用自我位置识别的检测的实例”。
更具体来说，根据本实施方案的信息处理设备基于对应于眼睛的预定角度的校准信息来校准视线检测结果。
然后，根据本实施方案的信息处理设备基于头部检测结果和校准的视线检测结果来获取凝视相关信息。校准的视线检测结果的实例包括指示基于光轴估计的视轴的信息(例如，指示视轴矢量等的数据)。
在一个实例中，通过稍后描述的引导处理，基于头部检测结果和视线检测结果来获取对应于眼睛的预定角度的校准信息。
这里，在一个实例中，通过在用户的头部静止的状态下设置视线的使用范围(以下称为“视线使用范围”)来确定根据本实施方案的眼睛的预定角度。在用户面部的方向改变的情况下，视线使用范围根据面部的方向而跟随。另外，视线使用范围与眼睛的摆动宽度有关。
图5是被图示以描述根据本实施方案的视线使用范围R的实例的图解。如图5中所示，视线使用范围R是由垂直方向上的视线使用范围Rh和水平方向上的视线使用范围Rv定义的。
在一个实例中，根据本实施方案的眼睛的预定角度与当眼睛从视线使用范围R的中心位置移动到视线使用范围R的顶点的位置时的眼睛的角度有关。
现在描述设置视线使用范围R的方法的实例。
图6是被图示以描述根据本实施方案的设置视线使用范围R的方法的实例的图解。图6图示在显示设备的显示屏、投影在墙上的显示屏等上设置视线使用范围R的方法的实例。
在一个实例中，基于显示屏D上的视线使用范围以及用户面部的位置与显示屏D之间的距离d来设置视线使用范围R。在一个实例中，根据本实施方案的信息处理设备通过参考表(或数据库)来设置视线使用范围R，其中视线使用范围的大小，距离和视线使用范围R的大小彼此相关联。此外，根据本实施方案的信息处理设备可以通过能够通过使用视线使用范围和距离d来设置视线使用范围R的任何算法来设置视线使用范围R。
在一个实例中，通过显示屏D上的整个呈现区域，对应于软件窗口的大小的范围，对应于关于用户界面(在下文中有时称为“UI”)的大小(诸如菜单的大小等)的范围来确定显示屏D上的视线使用范围。另外，用户面部位置的实例包括在某个时间点由头部检测结果指示的位置。另外，距离d可以是设置的固定值，或可以是通过诸如使用距离传感器等的方法的任何方法检测的值(或通过任何方法估计的值)。
图7是被图示以描述根据本实施方案的设置视线使用范围R的方法的另一实例的图解。图7图示在戴在用户头上的可穿戴设备(诸如头戴式显示器或眼镜)的显示屏上设置视线使用范围R的方法的实例。
图7图示戴在头上的可穿戴设备是透明的可穿戴设备的实例，其中佩戴它的用户能够与在显示屏上显示的图像一起查看真实空间。此外，在戴在头上的可穿戴设备是不透明的可穿戴设备的情况下，其中佩戴它的用户不能与在显示屏上显示的图像一起查看真实空间，以与图6的方法类似的方法设置视线使用范围R。
在显示屏D是透明的可穿戴设备的显示屏的情况下，在一个实例中，如图7中所示，能够通过大于显示屏D的可穿戴设备的框架或通过可穿戴设备的镜头查看的视场被设置为视线使用范围R。
在一个实例中，通过参照图6和图7描述的方法来设置视线使用范围R。此外，显而易见的是，设置视线使用范围R的方法不限于参照图6和图7描述的方法。另外，如稍后描述的，视线使用范围R在设置后可调整。
如上所述，根据本实施方案的信息处理设备基于对应于根据本实施方案的眼睛的预定角度的校准信息来校准视线检测结果。另外，根据本实施方案的眼睛的预定角度是基于视线使用范围来确定的，该视线使用范围是在用户的头部静止的状态下使用视线的范围。
因此，根据本实施方案的信息处理设备比较对应于用户眼睛的摆动宽度过大，用户眼睛的摆动宽度过小，或用户眼睛的摆动宽度偏向的情况的多条校准信息，并且使用能够进一步提高估计用户视线的准确性的校准信息，由此校准视线检测结果。
因此，根据本实施方案的信息处理设备有可能通过执行关于根据本实施方案的信息处理方法的处理来提高估计用户视线的准确性。
此外，估计用户视线的准确性的提高是可以实现的，因此有可能稳定地使用用户的视线达到预期的准确度。
[3-2]关于根据本实施方案的信息处理方法的其他处理
此外，关于根据本实施方案的信息处理方法的处理不限于上述处理。现在描述关于根据本实施方案的信息处理方法的其他处理。在一个实例中，根据本实施方案的信息处理设备能够执行以下项(1)和(2)中指示的处理操作中的一项或两项，作为关于根据本实施方案的信息处理方法的处理。
(1)引导处理
在获取校准信息的情况下，根据本实施方案的信息处理设备执行用于以用户眼睛的角度可以是预定角度的方式引导用户的引导处理。
图8是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。
在图8中，部分A图示眼睛的坐标系的实例，并且图8的部分A图示右手坐标系。另外，图8的部分B图示针对对应于视线使用范围R的眼睛角度的设置视线使用范围R和引导点P1、P2、P3、P4和P5的实例。眼睛角度的引导点的实例包括视线使用范围R的顶点的位置，例如，图8的部分B中所示的引导点P1、P2、P3和P4。眼睛角度的引导点可以是视线使用范围R的中心位置(或视线使用范围R内的任何位置)，例如，图8的部分B中所示的引导点P5。另外，眼睛角度的引导点不限于一个点，并且可以是包括视线使用范围R的顶点的位置和视线使用范围R的中心位置的区域。在某些情况下，眼睛角度的引导点被称为“引导区域”。
图9至图12是被图示以描述通过执行根据本实施方案的引导处理来获取校准信息的程序的图解。现在参照图9至图12适当描述通过执行引导处理来获取校准信息的程序。
如图9中所示，根据本实施方案的信息处理设备在使用户凝视显示屏D上的一个点的状态下引导用户面部的方向。
这里，根据本实施方案的信息处理设备使用户凝视的显示屏D上的一个点的实例包括视线使用范围R的中心位置。此外，显而易见的是，根据本实施方案的信息处理设备使用户凝视的显示屏D上的一个点不限于视线使用范围R的中心位置。
此外，根据本实施方案的信息处理设备通过在显示屏D上显示标记(稍后描述的预定对象的实例)使用户凝视显示屏D上的一个点。根据本实施方案的信息处理设备通过向显示设备或图像投影设备传输包括显示指令的控制信号来使标记显示在显示屏D上。
在图10中，部分A中所示的参考数字P指示当用户凝视显示屏D上的标记时的眼睛角度的实例。根据本实施方案的信息处理设备通过在凝视标记的同时引导面部方向来将眼睛的角度引导到预定角度。图10的部分A图示将眼睛的角度引导到引导点P1的实例。
如图10的部分B中所示，当将眼睛的角度引导到引导点P1时，根据本实施方案的信息处理设备在被引导到引导点P1的状态下对数据进行采样。在一个实例中，在获得预设数量的数据项的情况下，根据本实施方案的信息处理设备确定在引导点P1处的数据采样完成。
当在引导点P1处的数据采样完成时，数据被引导到另一个引导点，并且在每个引导点处执行对数据的采样。
此外，在确定不能执行引导的情况下，诸如当眼睛的角度过大而无法检测视线时，根据本实施方案的信息处理设备能够以用于引导用户的引导范围减小的方式改变引导点，如图10的部分C中所示。在以用于引导用户的引导范围减小的方式改变引导点的情况下，视线使用范围小于最初设置的视线使用范围。图10的部分C图示根据本实施方案的信息处理设备将引导点P1改变为引导点P1′，使得用于引导用户的引导范围减小的实例。
图11图示执行校准之后的视线使用范围的实例。在图11中，R1指示设置的视线使用范围，并且图11中所示的R2指示可以实际执行校准的视线使用范围。
如参照图10的部分C所示，在改变引导点的情况下，视线使用范围小于最初设置的视线使用范围。在基于视线使用范围R2使用凝视相关信息的软件中使用的眼睛角度的确定使得可以确保估计软件中的视线的准确性。
此外，图12图示执行校准之后的视线使用范围的另一实例。在图12中，R1指示设置的视线使用范围，并且图12中所示的R2指示可以实际执行校准的视线使用范围。另外，图12中所示的Rmin指示设置的视线使用范围的最小范围。
在这方面，在一个实例中，视线使用范围的最小范围Rmin是被设置为确保估计视线的准确性的视线使用范围。视线使用范围的最小范围Rmin可以是先前设置的固定视线使用范围，或可以是基于用户操作等可改变的可变视线使用范围。另外，视线使用范围的最小范围Rmin可以针对使用凝视相关信息的每个软件来设置。
在如参照图10的部分C所示改变引导点的情况下，可能存在如下情况：可以实际执行校准的视线使用范围R2不满足如图12中所示的视线使用范围的最小范围Rmin。在这种情况下，很可能无法确保估计视线的准确性。
因此，在视线使用范围R2不满足最小范围Rmin的情况下，根据本实施方案的信息处理设备可以执行下面描述的处理作为异常处理。
-重试校准。在这种情况下，在使用戴在头上的可穿戴设备的情况下，在一个实例中，根据本实施方案的信息处理设备可以使用图像和声音中的一者或两者来提示用户检查佩带可穿戴设备的状态。
-终止校准并防止凝视相关信息用于软件。在这种情况下，根据本实施方案的信息处理设备可以使用户被通知视线未能被指示错误的屏幕的显示和指示错误的声音的输出中的一者或两者使用。
此外，在视线使用范围R2不满足最小范围Rmin的情况下的异常处理不限于上述实例。
在一个实例中，根据本实施方案的信息处理设备也能够终止校准并且使凝视相关信息被用于软件而无需任何修改。在这种情况下，根据本实施方案的信息处理设备可以在预期估计视线的准确性下降的情况下改变要显示的UI。在UI允许通过视线选择菜单对象的情况下，UI的修改的实例包括显示对象的数量的减少，对象的大小的增加等。
此外，根据本实施方案的信息处理设备可以基于通过比较视线使用范围R2和最小范围Rmin所获得的结果来在如上所述的异常处理之间进行交换。在一个实例中，根据本实施方案的信息处理设备通过阈值处理在异常处理之间进行交换，该阈值处理使用视线使用范围R2不满足最小范围Rmin和一个或多个阈值的区域的大小。
更具体来说，根据本实施方案的引导处理的实例包括在以下项(1-1)至(1-4)中描述的处理操作的一个处理，或在这些处理操作中组合两个或更多个可组合的处理操作的处理。
(1-1)引导处理的第一实例
根据本实施方案的信息处理设备以用户在查看要在显示屏上显示的预定对象的同时改变面部方向的方式引导用户。
根据本实施方案的信息处理设备使用视觉引导方法、听觉引导方法和触觉引导方法中的一种或多种来引导用户。在一个实例中，根据第一实例的引导处理的引导的实例包括在以下项(A)至(D)中指示的实例。
(A)视觉引导的实例
在一个实例中，根据本实施方案的信息处理设备通过在显示屏上显示用于指示面部方向的指示对象作为预定对象来执行对用户的引导。
指示对象的实例包括用于用箭头指示面部方向的对象，用于通过指示面部方向的模型来指示面部方向的对象，或通过上述组合获得的对象。此外，根据本实施方案的指示对象不限于上述实例，并且可以是能够通过显示在显示屏上来指示面部方向的任何对象。
图13是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且图示视觉引导的实例。图13图示用户通过显示屏D上的显示被引导的情况的实例，并且图示使用用于用箭头指示面部方向的指示对象来引导用户的实例。在图13中，部分A图示用于引导的引导屏幕的实例。在图13中，部分B图示使用指示对象的引导屏幕的实例，并且图13的部分C图示使用指示对象的引导屏幕的另一实例。
在显示图13的部分B中所示的引导屏幕作为实例的情况下，在显示屏D上显示引导屏幕(图13中所示的部分A)之后，显示图13的部分B中所示的引导屏幕。在图13中，部分B图示在用户在移动面部时连续观看的显示屏的位置处显示指示对象M1的实例。
在一个实例中，由图13中的指示对象M1所指示的箭头的方向以眼睛的角度落入引导区域(眼睛的角度的引导点)内的方式改变。另外，在用户不需要移动面部的情况下，指示对象被改变为不指示方向的对象，如图13中的M2所示。
在引导区域中完成预定数量的采样操作并且存在另一个引导区域的情况下，执行到另一个引导区域的引导。
此外，在显示图13的部分C中所示的引导屏幕作为实例的情况下，在显示屏D上显示引导屏幕(图13中所示的部分A)之后，显示图13的部分C中所示的引导屏幕。在图13中，部分C图示在对应于每个引导区域(眼睛的角度的引导点)的显示屏的位置处显示指示对象M1的实例。
在显示图13的部分C中所示的引导屏幕的情况下使用指示对象的引导方法类似于显示图13的部分B中所示的引导屏幕的情况。
图14是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且图示视觉引导的另一实例。图14图示在通过显示屏D上的显示引导用户的情况下的另一实例，并且图示由用于通过指示面部方向的模型来指示面部方向的指示对象引导用户的实例。在图14中，部分A图示用于引导的引导屏幕的实例。在图14中，部分B图示使用指示对象的引导屏幕的实例，并且在图14中，部分C图示使用指示对象的引导屏幕的另一实例。
在显示图14的部分B中所示的引导屏幕作为实例的情况下，在显示屏D上显示引导屏幕(图14中所示的部分A)之后，显示图14的部分B中所示的引导屏幕。在图14中，部分B图示在用户在移动面部时连续观看的显示屏的位置处显示指示对象M1的实例。
由图14中的指示对象M1指示的模型的面部方向以眼睛的角度落入引导区域(眼睛的角度的引导点)内的方式改变，在一个实例中，如图14中的M2所指示。另外，在不需要移动用户的面部的情况下，在一个实例中，指示对象被改变为面向前方的模型或不指示方向的对象，如图13中的M2所指示。
此外，除了如图14的部分C中所示的引导屏幕中的指示对象M1之外，还可以在显示屏D上显示指示用户面部的当前方向的对象M3。在图14中，部分C图示指示对象M1和前置对象M3在相互叠加时被显示的实例。如图14的部分C中所示的显示使得用户能够同时识别针对面部的目标和当前识别的用户面部的方向。因此，如图14的部分C中所示的显示允许实现更高的引导效果。
在引导区域中完成预定数量的采样操作并且存在另一个引导区域的情况下，执行到另一个引导区域的引导。
此外，由用于通过指示面部方向的模型来指示面部方向的指示对象引导用户的实例不限于图14中所示的实例。
在一个实例中，在由用于通过指示面部方向的模型来指示面部方向的指示对象引导用户的情况下，可以在对应于每个引导区域(眼睛的角度的引导点)的显示屏的位置处显示指示对象M1，如在图13的部分C中所示。
此外，关于视觉引导的处理不限于参照图13和图14描述的实例。
在一个实例中，在引导未完成时不再检测面部方向的情况下，根据本实施方案的信息处理设备可以改变由指示对象指示的面部方向。
改变由指示对象指示的面部方向的实例包括“紧接在未检测到面部方向之前，将要指示的面部方向设置为与引导方向相反的方向”，“例如，通过转动用户的脖子一次将要指示的面部方向改变为特定模式”，“随机改变要指示的面部方向”等。
图15是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且图示在引导未完成时不再检测面部方向的情况下显示在显示屏D上的指示对象的修改。
在利用图15的部分A中所示的指示对象M1执行引导时不再检测面部方向的情况下，在一个实例中，根据本实施方案的信息处理设备将显示在显示屏D上的指示对象改变为图15的部分B中所示的指示对象M2。这里，在图15中，部分B图示改变为方向与指示对象M1相反的指示对象M2的实例。
此外，在通过改变为指示对象M2再次检测面部方向的情况下，根据本实施方案的信息处理设备使得用于引导到引导区域(眼睛的角度的引导点)的指示对象M3被显示。
在如上所述的当引导未完成时不再检测面部方向的情况下，由指示对象指示的面部方向的变化使得可以进一步增加再次检测用户面部的方向的可能性。因此，在引导未完成时不再检测面部方向的情况下，由指示对象指示的面部方向的变化使得可以更可靠地完成引导。
此外，在再次检测面部方向的情况下，根据本实施方案的信息处理设备可以减小用于引导用户的引导范围。根据本实施方案的信息处理设备以用于引导用户的引导范围减小的方式改变眼睛的角度的引导点，在一个实例中，如参照图10的部分C所示，由此使用于引导用户的引导范围更小。
此外，根据本实施方案的信息处理设备可能以如下方式改变指示对象(预定对象的实例)的显示位置：基于对应于引导区域(眼睛的角度的引导点)的预定角度与用户眼睛的角度之间的比较结果，减小用户移动面部的负载。根据本实施方案的信息处理设备以预定角度与用户眼睛的角度之间的差值减小的方式改变指示对象(预定对象)的显示位置。
图16是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且图示改变要显示在显示屏D上的指示对象的显示位置以减小用户移动面部的负载的实例。
在由如图16的部分A中所示的指示对象M1执行引导的情况下，根据本实施方案的信息处理设备确定用户眼睛的角度是否落入为引导区域(眼睛的角度的引导点)设置的预定范围内。在一个实例中，在预定角度与用户眼睛的角度之间的差值小于设置的阈值的情况下(或差值等于或小于阈值的情况)，根据本实施方案的信息处理设备确定用户眼睛的角度落入预定范围内。
然后，在确定用户眼睛的角度落入为引导区域设置的预定范围内的情况下，根据本实施方案的信息处理设备改变指示对象M1的显示位置，如图16的部分B中所示。根据本实施方案的信息处理设备以用户眼睛的角度接近引导区域(眼睛的角度的引导点)的方式改变指示对象M1的显示位置。
在一个实例中，如图16中所示，指示对象M1的显示位置的改变使得在用户的眼睛相对于引导区域(眼睛的角度的引导点)的角度稍小时，可以进一步减少引导完成之前的时间。因此，根据本实施方案的信息处理设备有可能减小用户在引导时移动面部的负载。
(B)听觉引导的实例
在一个实例中，根据本实施方案的信息处理设备通过使指示面部方向的声音从诸如扬声器的声音输出设备输出来引导用户。
图17是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且图示听觉引导的实例。图17图示通过指示面部方向的声音来引导用户的实例。在图17中，部分A图示用于引导的引导屏幕的实例。在图17中，部分B和C图示引导屏幕的实例。
在显示屏D上显示引导屏幕(图17中所示的部分A)，然后显示图17的部分B中所示的引导屏幕，并且如图17的部分B中的参考数字S1所指示，输出指示面部方向的声音。
此外，根据本实施方案的信息处理设备可以使得指示引导区域(眼睛的角度的引导点)和眼睛的角度之间的关系的声音被输出，在一个实例中，如图17的部分C中的参考数字S2所指示。在这方面，指示引导区域和眼睛的角度之间的关系的声音的实例包括将引导区域和眼睛的角度之间的关系表示为声音的音高的声音。其实例包括当眼睛的角度接近引导区域时，声音“几声短促的哔哔声(哔-哔-哔...)”的音高更高，并且当眼睛的角度落入引导区域内时，发出连续的声音“一声长哔哔声(beeeeep)”的实例。
在引导区域中完成预定数量的采样操作并且存在另一个引导区域的情况下，执行到另一个引导区域的引导。
此外，关于听觉引导的处理不限于参照图17描述的实例。
在一个实例中，在眼睛的角度落入引导区域内的情况下，根据本实施方案的信息处理设备可以通过使具有戴在用户头上的致动器等的振动设备振动来进一步执行振动反馈。
此外，根据本实施方案的信息处理设备可以改变要由用户继续查看的标记(预定对象的实例)的显示位置，如图17中所示，使得基于对应于引导区域(眼睛的角度的引导点)的预定角度与用户眼睛的角度之间的比较结果，减小用户移动面部的负载，这与上述项(A)类似。
(C)触觉引导的实例
在一个实例中，根据本实施方案的信息处理设备可以使用振动反馈来执行触觉引导。触觉引导的实例包括“在分别对应于朝向面部的方向的多个振动设备佩戴在用户头上的情况下，使对应于被引导的方向的振动设备振动”。(D)多个引导方法的组合
此外，根据本实施方案的信息处理设备也能够通过组合上述项(A)至(C)中描述的两种或更多种引导方法来执行引导。
在根据第一实例的引导处理中，如上所述，引导用户在查看显示在显示屏上的预定对象的同时改变面部的方向。在执行根据第一实例的引导处理的情况下，在一个实例中，用户不需要移动视线并且眼睛继续查看一个点，因此有一个优势，即可以连续采样用于校准计算的检测数据。
(1-2)引导处理的第二实例
根据本实施方案的信息处理设备通过使跟随面部方向的对象显示在显示屏上来引导用户。跟随面部方向的对象与使用户连续查看的预定对象有关。
图18至图22是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解。图18图示在用户移动跟随面部方向的对象的情况下用户的移动的实例。另外，图19至图22图示通过使用显示在显示屏D上的跟随面部方向的对象而执行的引导的实例。下面参照图19至图22适当描述根据第二实例的引导处理的实例。
(a)跟随面部方向的对象引导的第一实例(图19)
在图19中，部分A图示用于引导的引导屏幕的实例。在图19中，对象S与跟随面部方向的对象有关。另外，在图19中，标记M与对应于引导区域(眼睛的角度的引导点)的对象有关。
在图19中所示的实例中，在对象S和标记M彼此对齐的状态下关于视线的数据被采样为用于校准计算的检测数据。这里，当对象S和标记M彼此对齐时对数据进行采样的原因是，当对象S和标记M未彼此对齐时，用户的视线有可能在对象S和标记M之间移动。
此外，在对象S和标记M彼此对齐的情况下，根据本实施方案的信息处理设备可以在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个为用户执行反馈。在图19中，部分B图示使用视觉方法向用户进行反馈的实例。
在对应于当前引导区域的标记M中完成预定数量的采样操作并且存在另一个引导区域的情况下，在对应于另一个引导区域的位置显示标记M，并且执行到另一个引导区域的引导。
(b)跟随面部方向的对象引导的第二实例(图20)
图20图示通过将对象O上的标记S(该标记S根据面部方向旋转)移动到目标位置M来对关于视线的数据进行采样的实例。在图20中，标记S与跟随面部方向的对象有关。另外，在图20中，标记M与对应于引导区域(眼睛的角度的引导点)的对象有关。
在图20中所示的实例中，在标记S和标记M彼此对齐的状态下关于视线的数据被采样为用于校准计算的检测数据。另外，在标记S和标记M彼此对齐的情况下，根据本实施方案的信息处理设备可以在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个为用户执行反馈。
(c)跟随面部方向的对象引导的第三实例(图21)
图21图示通过以使用曲线根据面部方向变化的隧道显示使隧道的末端在标记M的位置可见的方式改变隧道显示来对关于视线的数据进行采样的实例。在图21中，隧道显示与跟随面部方向的对象有关。另外，在图21中，标记M与对应于引导区域(眼睛的角度的引导点)的对象有关。
在图21中所示的实例中，当隧道的末端不可见的状态(如图21的部分A中所示)变为隧道的末端在标记M的位置可见的状态(如图21的部分B中所示)时，关于视线的数据被采样为用于校准计算的检测数据。另外，在隧道的末端在标记M的位置可见的状态的情况下，根据本实施方案的信息处理设备可以在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个为用户执行反馈。
此外，如图21的部分C中所示，在隧道显示处于隧道的末端可见的状态但不处于隧道的末端在标记M的位置不可见的状态的情况下，根据本实施方案的信息处理设备可能以用户的位置处于隧道的末端在标记M的位置可见的状态的方式引导用户的位置(例如，站立位置)。在一个实例中，基于由布置在周围环境中的图像捕获设备捕获的捕获图像等来估计用户的位置。根据本实施方案的信息处理设备在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个引导用户的位置。
(d)跟随面部方向的对象引导的第四实例(图22)
图22图示在显示屏D上显示头部旋转时的轨迹S(如图18中所示)，并且使旋转头部的运动幅度大于标记M1，由此对关于视线的数据进行采样的实例。在图22中，轨迹S与跟随面部方向的对象有关。另外，在图22中，标记M1与对应于引导区域(眼睛的角度的引导点)的对象有关。
作为对应于引导区域(眼睛的角度的引导点)的对象的标记的形状由引导点设置。在图22中，部分A图示圆形标记的标记M1和矩形标记的标记M2，作为对应于引导区域(眼睛的角度的引导点)的对象的标记的实例。
在图22中所示的实例中，当旋转头部的运动幅度不大于标记M1的运动幅度的状态(如图22的部分B中所示)变为旋转头部的运动幅度大于标记M1的运动幅度的状态(如图22的部分C中所示)时，关于视线的数据被采样为用于校准计算的检测数据。这里，在图22中所示的实例中，连续获取用于校准计算的检测数据。
此外，在旋转头部的运动幅度大于标记M1的运动幅度的情况下，根据本实施方案的信息处理设备可以在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个为用户执行反馈。在图22中，部分C图示使用视觉方法将旋转头部的运动幅度大于标记M1的运动幅度的状态反馈给用户的实例。
根据第二实例的引导处理的实例包括在上述项(a)至(d)中描述的实例。此外，显而易见的是，通过在显示屏上显示跟随面部方向的对象进行引导的实例不限于在上述项(a)至(d)中描述的实例。
在根据第二实例的引导处理中，如上所述，通过在显示屏上显示跟随面部方向的对象来引导用户。在执行根据第二实例的引导处理的情况下，在一个实例中，用户能够移动面部，同时获得关于移动面部多少的反馈，因此对于用户来说引导容易理解是有利的。
(1-3)引导处理的第三实例
根据本实施方案的信息处理设备通过控制改变头部运动的设备来引导用户。根据本实施方案的信息处理设备通过将控制信号(其包括用于控制改变头部运动的设备的操作的指令)传输到改变头部运动的设备，来控制改变头部运动的设备。
这里，改变头部运动的设备的实例包括刺激头部的设备、刺激作用于头部旋转的肌肉的设备、支撑头部的设备(诸如头枕等)。
图23是被图示以描述关于根据本实施方案的信息处理方法的引导处理的图解，并且示出通过控制改变头部运动的设备实现的引导的实例。
在图23中，部分A图示由刺激头部的设备D1执行引导的情况。在一个实例中，刺激头部的设备D1附接到用户的头部，并且通过刺激头部引起头部的旋转。刺激头部的设备D1的实例包括使用吊架反射的设备。
在图23中，部分B图示由刺激作用于头部旋转的肌肉的设备D2执行引导的情况。刺激作用于头部旋转的肌肉的设备D2附接到存在作用于头部旋转的肌肉的部位，诸如颈部，并且通过使用电刺激来刺激肌肉引起头部的旋转。
在图23中，部分C图示由支撑头部的设备D3(诸如头枕)执行引导的情况。支撑头部的设备D3通过在支撑头部的同时向头部施加外力来旋转头部。
根据第三实例的引导处理的实例包括控制改变头部运动的设备，如图23中所示。此外，改变头部运动的设备的实例不限于图23中所示的实例，但可以是能够改变头部运动的任何设备。
在根据第三实例的引导处理中，如上所述，通过控制改变头部运动的设备来引导用户。在执行根据第三实例的引导处理的情况下，在一个实例中，用户的头部通过改变头部运动的设备不受限制地移动，因此有一个优点是用户能够将意识集中在观看上。
(1-4)引导处理的其他实例
根据本实施方案的信息处理设备可以进一步以用户的位置(例如，站立位置)被改变的方式引导用户。在一个实例中，如上所述，基于由布置在周围环境中的图像捕获设备捕获的捕获图像来估计用户的位置。根据本实施方案的信息处理设备在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个引导用户的位置。
在一个实例中，通过进一步引导用户的位置，有可能减小用户移动头部的负载并且使用用于校准计算的采样检测数据提高校准的准确性。
此外，如在上述项(1-1)中描述的根据第一实例的引导处理到上述项(1-3)中描述的根据第三实例的引导处理中的每个中针对用户的反馈所示，根据本实施方案的信息处理设备能够向用户通知用户的引导状态。根据本实施方案的信息处理设备在一个实例中使用视觉方法、听觉方法和触觉方法中的一个或多个向用户通知用户的引导状态。
此外，根据本实施方案的信息处理设备可以执行对应于使用凝视相关信息的软件的引导处理。
在一个实例中，根据本实施方案的信息处理设备参考其中指示软件(例如，软件ID)的信息和指示引导处理(例如，引导处理ID)的信息彼此相关联的表(或数据库)，并且因此指定对应于软件的引导处理并执行指定的引导处理。
在一个实例中，根据本实施方案的信息处理设备执行上述处理作为引导处理。在一个实例中，通过由根据本实施方案的信息处理设备执行引导处理来引导用户可以实现以下效果。
-减小校准过程中用户的负载。
-对校准点显示区域的大小没有限制，并允许用户的眼睛在所需的范围内摆动。
(2)软件控制处理
根据本实施方案的信息处理设备执行用于控制使用凝视相关信息的软件的处理。这里，使用凝视相关信息的软件的实例包括操作系统(OS)、系统软件、应用软件等。
在一个实例中，根据本实施方案的信息处理设备使软件执行对应于由凝视相关信息指示的凝视方向和位置中的一者或两者的操作。这里，由根据本实施方案的信息处理设备控制的软件可以是在根据本实施方案的信息处理设备中执行的软件或可以是在根据本实施方案的信息处理设备的外部设备中执行的软件。在由根据本实施方案的信息处理设备控制的软件是在外部设备中执行的软件的情况下，根据本实施方案的信息处理设备通过向外部设备传输包括用于控制软件的控制指令的控制信号来控制软件。
此外，根据本实施方案的信息处理设备能够控制UI作为软件的控制。根据本实施方案的信息处理设备基于头部检测结果和获取校准信息时设置的视线使用范围来确定要在显示屏上显示的UI的大小。然后，根据本实施方案的信息处理设备使具有确定的大小的UI显示在显示屏上。
图24是被图示以描述关于根据本实施方案的信息处理方法的软件控制处理的实例的图解，并且图示UI的控制的实例。
这里，由显示屏D中的参考数字SC1和SC2指示的区域与对应于软件的UI的实例相关。给出以下描述作为由参考数字SC1和SC2指示的区域是用户通过用户的视线执行操作的操作屏幕的情况的实例。
在一个实例中，如果在任何操作屏幕上执行包括诸如按钮的操作设备的操作，通过语音的操作，诸如手势的操作的通话操作，则操作屏幕SC1和SC2显示在用户面对的位置(例如，对应于由凝视相关信息指示的凝视方向或由凝视相关信息指示的凝视位置的位置)。
这里，在一个实例中，根据本实施方案的信息处理设备基于视线使用范围(眼睛的校准摆动宽度)和基于头部检测结果等获得的从用户面部的正面到显示屏D的距离，确定要在显示屏上显示的UI的大小。在一个实例中，根据本实施方案的信息处理设备通过参考“指示视线使用范围、距离和UI的大小的设置彼此相关联的表(或数据库)”，确定要在显示屏上显示的UI的大小。
用户利用用户的视线选择关于UI的对象，诸如包括在操作屏幕SC1和SC2中的菜单项。另外，在用户执行包括诸如按钮的操作设备的操作，通过语音的操作，诸如手势的操作的可选决策操作的情况下，执行对应于关于所选择的UI的对象的处理。
如上所述，根据本实施方案的信息处理设备确定要在显示屏上显示的UI的大小，并且因此有可能确保视线检测的准确性并进一步提高UI的可视性。[3-3]关于根据本实施方案的信息处理方法的处理的实例
接着，图示关于根据本实施方案的信息处理方法的处理的实例。图25是图示关于根据本实施方案的信息处理方法的处理的实例的流程图。
根据本实施方案的信息处理设备设置眼睛的角度的引导目标(S100)。在一个实例中，根据本实施方案的信息处理设备按照图8的部分B中所示的眼睛的角度的引导点P5、P1、P2、P3和P4的顺序来设置眼睛的角度的引导目标。此外，显而易见的是，设置眼睛的角度的引导目标的实例不限于上述实例。
根据本实施方案的信息处理设备基于用户的头部的检测结果和用户的视线的检测结果来检测用户的视线、头部位置和方向(S102)。
根据本实施方案的信息处理设备基于步骤S102中的检测结果来更新用户的引导表示和反馈表示(S104)。
根据本实施方案的信息处理设备确定眼睛的角度是否落入引导目标范围内(S106)。在眼睛的角度落入引导区域(眼睛的角度的引导点)内的情况下，根据本实施方案的信息处理设备确定眼睛的角度落入引导目标范围内。
在步骤S106中未确定眼睛的角度落入引导目标范围内的情况下，根据本实施方案的信息处理设备重复从步骤S102开始的处理。
此外，在步骤S106中确定眼睛的角度落入引导目标范围内的情况下，根据本实施方案的信息处理设备确定是否满足可以用作校准点的条件(S108)。可用作校准点的条件的实例包括关于旨在确保上述校准的准确性的处理的条件(例如，用户的眼睛的运动是静态确定的)。
在步骤S108中未确定满足可用作校准点的条件的情况下，根据本实施方案的信息处理设备重复从步骤S102开始的处理。
此外，在步骤S108中确定满足可用作校准点的条件的情况下，根据本实施方案的信息处理设备对用于校准计算的检测数据进行采样(S110)。
当执行步骤S110的处理时，根据本实施方案的信息处理设备确定用于校准计算的检测数据的采样操作的数量是否达到目标数量(S112)。在一个实例中，在采样操作的数量等于或大于对应于目标数量的阈值的情况下(当采样操作的数量大于阈值时)，根据本实施方案的信息处理设备确定采样操作的数量达到目标数量。这里，对应于目标数量的阈值可以是预先设置的固定值，或可以是基于用户操作等可改变的变量值。
在步骤S112中未确定采样操作的数量达到目标数量的情况下，根据本实施方案的信息处理设备重复从步骤S102开始的处理。
此外，在步骤S112中确定采样操作的数量达到目标数量的情况下，根据本实施方案的信息处理设备确定是否不存在其他引导目标，并且不需要对当前引导目标进行重试(S114)。在基于用于校准计算的采样检测数据计算出的相关系数的贡献率等于或小于设置的阈值(或贡献率小于阈值的情况)的情况下，根据本实施方案的信息处理设备确定重试是必要的。
在步骤S114中未确定不存在其他引导目标，并且不需要对当前引导目标进行重试的情况下，在一个实例中，根据本实施方案的信息处理设备重复从步骤S100开始的处理。
此外，在步骤S114中确定不存在其他引导目标，并且不需要对当前引导目标进行重试的情况下，根据本实施方案的信息处理设备基于用于校准计算的采样检测数据来执行校准处理(S116)。在一个实例中，根据本实施方案的信息处理设备基于用于校准计算的采样检测数据来生成校准信息。另外，根据本实施方案的信息处理设备在一个实例中基于校准信息来校准视线检测结果。
在一个实例中，根据本实施方案的信息处理设备执行图25中所示的处理作为关于根据本实施方案的信息处理方法的处理。此外，显而易见的是，关于根据本实施方案的信息处理方法的处理的实例不限于图25中所示的实例。(根据本实施方案的信息处理设备)
现在描述能够执行上面所描述的关于根据本实施方案的信息处理方法的处理的根据本实施方案的信息处理设备的配置的实例。
图26是图示根据本实施方案的信息处理设备100的配置的实例的方框图。在一个实例中，信息处理设备100包括通信单元102和控制单元104。
此外，信息处理设备100可以包括只读存储器(ROM)(未示出)、随机存取存储器(RAM)(未示出)、存储单元(未示出)、由信息处理设备100的用户操作的操作单元(未示出)、用于在显示屏上显示各种屏幕的显示单元(未示出)等。在信息处理设备100中，在一个实例中，组件通过用作数据传输通道的总线相互连接。
ROM(未示出)存储控制数据，诸如由控制单元104使用的操作参数和程序。RAM(未示出)临时存储要由控制单元104执行的程序等。
存储单元(未示出)是包括在信息处理设备100中的存储装置，并且在一个实例中存储校准信息，关于根据本实施方案的信息处理方法的数据，诸如“视线使用范围的大小、距离和视线使用范围R的大小彼此相关联的表”，以及诸如各种应用的各种数据。这里，存储单元(未示出)的实例包括诸如硬盘的磁记录介质，诸如闪存的非易失性存储器等。另外，存储单元(未示出)可以从信息处理设备100中分离。
操作单元(未示出)的实例包括稍后描述的操作输入设备。另外，显示单元(未示出)的实例包括稍后描述的显示设备。
[信息处理设备100的硬件配置的实例]
图27是被图示以描述根据本实施方案的信息处理设备100的硬件配置的实例的图解。在一个实例中，信息处理设备100包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162和通信接口164。另外，在信息处理设备100中，在一个实例中，组件通过用作数据传输通道的总线166相互连接。另外，在一个实例中，信息处理设备100由从诸如包括在信息处理设备100中的电池的内部电源供应的电力，从连接的外部电源供应的电力等来驱动。
MPU 150包括由诸如微处理单元(MPU)的运算电路、各种处理电路等构成的一个或多个处理器，并且用作控制整个信息处理设备100的控制单元104。另外，在一个实例中，MPU150在信息处理设备100中发挥稍后将描述的处理单元110的作用。此外，处理单元110可以由可以实施处理单元110的处理的专用(或通用)电路(例如，与MPU 150分离的处理器等)构成。
ROM 152存储诸如由MPU 150使用的操作参数和程序的控制数据。在一个实例中，RAM 154临时存储要由MPU 150执行的程序。
记录介质156用作存储单元(未示出)，并且在一个实例中存储关于根据本实施方案的信息处理方法的数据，诸如校准信息和诸如各种应用的各种数据。这里，记录介质156的实例包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。另外，记录介质156可以从信息处理设备100中分离。
在一个实例中，输入/输出接口158用于连接操作输入设备160或显示设备162。操作输入设备160用作操作单元(未示出)，并且显示设备162用作显示单元(未示出)。这里，输入/输出接口158的实例包括通用串行总线(USB)终端、数字视频接口(DVI)终端、高清晰度多媒体接口(HDMI，注册商标)终端、各种处理电路等。
此外，在一个实例中，操作输入设备160被提供在信息处理设备100上，并且与信息处理设备100内的输入/输出接口158连接。操作输入设备160的实例包括按钮、方向键、诸如滚轮按钮的旋转选择器或其组合。
此外，在一个实例中，显示设备162被提供在信息处理设备100上，在一个实例中，并且与信息处理设备100内的输入/输出接口158连接。显示设备162的实例包括液晶显示器(LCD)、有机电致发光(EL)显示器(也称为有机发光二极管(OLED)显示器)等。
此外，显而易见的是，输入/输出接口158能够连接到外部设备，诸如安装在信息处理设备100外部的操作输入设备(例如，键盘、鼠标等)或外部显示设备。另外，显示设备162可以是能够执行显示和用户操作的设备(诸如触控面板)。
通信接口164是包括在信息处理设备100中的通信装置，并且在一个实例中用作通信单元102，其用于经由网络(或直接)与外部装置、外部设备等执行无线或有线通信。这里，通信接口164的实例包括通信天线和射频(RF)电路(无线通信)、IEEE 802.15.1端口和传输/接收电路(无线通信)、IEEE 802.11端口和传输/接收电路(无线通信)、局域网(LAN)终端和传输/接收电路(有线通信)等。
在一个实例中，具有图27中所示的配置的信息处理设备100执行关于根据本实施方案的信息处理方法的处理。此外，根据本实施方案的信息处理设备100的硬件配置不限于图27中所示的配置。
在一个实例中，在信息处理设备100经由与其连接的外部通信设备与外部设备等通信的情况下，信息处理设备100可能不一定包括通信接口164。另外，通信接口164可以被配置成能够通过多个通信方案与一个或多个外部设备等通信。
此外，在一个实例中，信息处理设备100可以具有不包括记录介质156、操作输入设备160或显示设备162的配置。
此外，在一个实例中，信息处理设备100可以具有对应于稍后将描述的信息处理设备100的应用实例的配置。
此外，在一个实例中，图27中所示的一些或所有组件(或根据修改的组件)可以用一个或多个集成电路(IC)来实施。
再次参看图26，描述信息处理设备100的配置的实例。通信单元102是包括在信息处理设备100中的通信装置，并且通过无线或有线方式经由网络(或直接)与外部设备通信。另外，在一个实例中，通信单元102由控制单元104控制。
这里，通信单元102的实例包括通信天线和RF电路、LAN终端和传输/接收电路等，但是通信单元102的配置不限于上述。在一个实例中，通信单元102可以具有支持能够与USB终端和传输/接收电路通信的任何标准的配置，或能够经由网络与外部设备通信的任何配置。另外，通信单元102可以被配置成能够通过多个通信方案与一个或多个外部设备等通信。
在一个实例中，控制单元104由MPU等构成，并且发挥控制整个信息处理设备100的作用。另外，在一个实例中，控制单元104包括处理单元110，并且在执行关于根据本实施方案的信息处理方法的处理中发挥主导作用。
处理单元110在执行关于根据本实施方案的信息处理方法的处理中发挥主导作用，并且基于用户头部的检测结果和用户视线的检测结果来获取对应于用户的凝视相关信息。
在一个实例中，处理单元110基于校准信息来校准视线检测结果，并且基于头部检测结果和校准的视线检测结果来获取凝视相关信息。
另外，在一个实例中，处理单元110可以进一步执行在上述项(1)中描述的处理(引导处理)和在上述项(2)中描述的处理(软件控制处理)中的一者或两者。
图28是被图示以描述包括在根据本实施方案的信息处理设备100中的处理单元110的功能的实例的方框图。图28图示在处理单元110具有执行在上述项(1)中描述的处理(引导处理)和在上述项(2)中描述的处理(软件控制处理)的功能的情况下的配置的实例。
在一个实例中，处理单元110包括引导处理单元112、校准处理单元114、凝视检测单元116和软件控制单元118。
引导处理单元112执行在上述项(1)中描述的处理(引导处理)。
在一个实例中，校准处理单元114基于用于校准计算的采样检测数据来生成校准信息。然后，校准处理单元114使生成的校准信息与指示用户的信息(例如，能够指定用户的一个或多个数据等，诸如用户ID、用户的生物信息等)相关联，并将其记录在诸如存储单元(未示出)或外部记录介质的记录介质上。
这里，在一个实例中，在校准信息未被存储在记录介质(例如，初始状态)中的情况下，在自生成先前的校准信息以来已过了设定周期的情况下，以及在检测到执行校准的操作的情况下，执行生成校准信息的处理。
此外，在一个实例中，校准处理单元114基于校准信息来校准视线检测结果。
凝视检测单元116基于用户头部的检测结果和用户视线的检测结果来获取对应于用户的凝视相关信息。在校准处理单元114中校准视线检测结果的情况下，凝视检测单元116基于头部检测结果和校准的视线检测结果来获取凝视相关信息。凝视检测单元116基于用户头部的检测结果和用户视线的检测结果(或校准的视线检测结果)，通过估计凝视方向和凝视位置中的一者或两者来获取凝视相关信息。
软件控制单元118执行在上述项(2)中描述的处理(软件控制处理)。
在一个实例中，具有在一个实例中图28中所示的配置的处理单元110在执行关于根据本实施方案的信息处理方法的处理中发挥主导作用。此外，显而易见的是，处理单元110的配置不限于图28中所示的实例。
在一个实例中，具有图26中所示的配置的信息处理设备100执行关于根据本实施方案的信息处理方法的处理。因此，在一个实例中，具有图26中所示的配置的信息处理设备100可以提高估计用户视线的准确性。
此外，图26中所示的配置使得信息处理设备100可以具有通过执行如上所述的关于根据本实施方案的信息处理方法的处理而实现的效果。
此外，根据本实施方案的信息处理设备的配置不限于图26中所示的配置。
在一个实例中，根据本实施方案的信息处理设备包括图26中所示的处理单元110作为与控制单元104分离的组件(例如，被实施为另一处理电路)。另外，处理单元110可以由多个处理电路实施，并且每个功能可以分布在多个处理电路中。
此外，用于实施关于根据本实施方案的信息处理方法的处理的配置不限于图26中所示的配置，并且可以实现对应于分割关于根据本实施方案的信息处理方法的处理的方法的配置。
此外，在一个实例中，在根据本实施方案的信息处理设备通过具有与通信单元102相似的功能和配置的外部通信设备与外部设备通信的情况下，根据本实施方案的信息处理设备可能不一定包括通信单元102。
如上所述，信息处理设备被描述为本实施方案的实例，但是本实施方案不限于这种实施方案。本实施方案可应用于能够执行关于根据本实施方案的信息处理方法的处理的各种设备，诸如“佩戴在用户身体上的任何可穿戴设备，诸如眼镜型眼镜设备、智能手表设备和智能腕带设备”，“诸如智能手机的通信设备”，“诸如投影仪的图像投影设备”，“显示设备”，“平板设备”，“游戏机”，“诸如汽车的移动对象”等。另外，在一个实例中，本实施方案也可应用于可在一个实例中并入上述设备中的处理IC。
此外，根据本实施方案的信息处理设备可以在连接到网络(或设备之间的通信)的前提下应用于处理系统，诸如云计算。其中执行关于根据本实施方案的信息处理方法的处理的处理系统的实例包括“其中一些关于根据本实施方案的信息处理方法的处理由构成处理系统的一个设备执行，并且除了一些关于根据本实施方案的信息处理方法的处理以外的处理由构成处理系统的另一设备执行的系统”等。
(根据本实施方案的程序)
用于使计算机用作根据本实施方案的信息处理设备的程序(例如，能够执行关于根据本实施方案的信息处理方法的处理的程序)由计算机中的处理器等执行。因此，有可能提高估计用户视线的准确性。
此外，由计算机中的处理器等执行用于使计算机用作根据本实施方案的信息处理设备的程序使得可以获得通过关于根据本实施方案的信息处理方法的处理所实现的效果。
以上已经参照附图描述了本公开的优选实施方案，而本公开不限于上述实例。本领域技术人员可以发现在所附权利要求的范围内的各种变化和修改，并且应当理解，这些变化和修改自然将属于本公开的技术范围。
在一个实例中，在上文中，给出了提供用于使计算机用作根据本实施方案的信息处理设备的程序(计算机程序)的情况的描述，但是在本实施方案中，也可以提供其上存储有程序的记录介质。
上述配置示出了本实施方案的实例，并且自然地属于本公开的技术范围。
此外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，使用或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外，本技术也可以被配置如下。
(1)
一种信息处理设备，包括：
处理单元，其被配置成基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息。
(2)
根据(1)所述的信息处理设备，
其中所述处理单元
基于对应于眼睛的预定角度的校准信息来校准所述视线检测结果，所述校准信息是基于所述头部检测结果和所述视线检测结果而获取的，以及
基于所述头部检测结果和所述校准的视线检测结果来获取所述凝视相关信息。
(3)
根据(2)所述的信息处理设备，
其中在获取所述校准信息的情况下，所述处理单元以所述用户的眼睛的角度是所述预定角度的方式执行用于引导所述用户的引导处理。
(4)
根据(3)所述的信息处理设备，
其中所述处理单元以所述用户在查看显示在显示屏上的预定对象的同时改变面部的方向的方式执行用于引导所述用户的第一引导处理。
(5)
根据(4)所述的信息处理设备，
其中所述预定对象是指示所述面部的所述方向的指示对象，以及
所述处理单元通过使所述指示对象显示在所述显示屏上来引导所述用户。
(6)
根据(5)所述的信息处理设备，
其中在引导未完成时不再检测所述面部的所述方向的情况下，所述处理单元改变由所述指示对象指示的所述面部的所述方向。
(7)
根据(6)所述的信息处理设备，
其中在再次检测所述面部的所述方向的情况下，所述处理单元减小用于引导所述用户的引导范围。
(8)
根据(4)至(7)中任一项所述的信息处理设备，
其中所述处理单元通过使指示所述面部的所述方向的声音从声音输出设备输出来引导所述用户。
(9)
根据(4)至(8)中任一项所述的信息处理设备，
其中所述处理单元以如下方式改变所述预定对象的显示位置：基于通过比较所述预定角度与所述用户眼睛的所述角度而获得的结果来减小所述预定角度与所述用户眼睛的所述角度之间的差值。
(10)
根据(3)所述的信息处理设备，
其中所述处理单元通过使跟随面部的方向的对象显示在显示屏上来执行用于引导所述用户的第二引导处理。
(11)
根据(3)所述的信息处理设备，
其中所述处理单元通过控制改变头部运动的设备来执行用于引导所述用户的第三引导处理。
(12)
根据(3)至(11)中任一项所述的信息处理设备，
其中所述处理单元使所述用户被通知所述用户的引导状态。
(13)
根据(3)至(12)中任一项所述的信息处理设备，
其中所述处理单元以所述用户的位置被改变的方式进一步引导所述用户。
(14)
根据(3)至(13)中任一项所述的信息处理设备，
其中所述处理单元执行对应于使用所述凝视相关信息的软件的引导处理。
(15)
根据(1)至(14)中任一项所述的信息处理设备，
其中所述凝视相关信息指示估计的凝视方向和估计的凝视位置中的一者或两者。
(16)
根据(2)至(14)中任一项所述的信息处理设备，
其中所述处理单元进一步执行用于控制使用所述凝视相关信息的软件的处理。
(17)
根据(16)所述的信息处理设备，
其中所述处理单元基于所述头部检测结果和在获取所述校准信息时设置的视线使用范围来确定要显示在显示屏上的用户界面的大小。
(18)
一种由信息处理设备执行的信息处理方法，所述方法包括：
基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息的步骤。
(19)
一种使计算机实施以下功能的程序：
基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息的功能。
参考符号列表
100 信息处理设备
102 通信单元
104 控制单元
110 处理单元
112 引导处理单元
114 校准处理单元
116 凝视检测单元
118 软件控制单元。

Claims (19)

1.一种信息处理设备，包含：
处理单元，其被配置成基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息。
2.根据权利要求1所述的信息处理设备，
其中所述处理单元
基于对应于眼睛的预定角度的校准信息来校准所述视线检测结果，所述校准信息是基于所述头部检测结果和所述视线检测结果而获取的，以及
基于所述头部检测结果和所述校准的视线检测结果来获取所述凝视相关信息。
3.根据权利要求2所述的信息处理设备，
其中在获取所述校准信息的情况下，所述处理单元以所述用户的眼睛的角度是所述预定角度的方式执行用于引导所述用户的引导处理。
4.根据权利要求3所述的信息处理设备，
其中所述处理单元以所述用户在查看显示在显示屏上的预定对象的同时改变面部的方向的方式执行用于引导所述用户的第一引导处理。
5.根据权利要求4所述的信息处理设备，
其中所述预定对象是指示所述面部的所述方向的指示对象，以及
所述处理单元通过使所述指示对象显示在所述显示屏上来引导所述用户。
6.根据权利要求5所述的信息处理设备，
其中在引导未完成时不再检测所述面部的所述方向的情况下，所述处理单元改变由所述指示对象指示的所述面部的所述方向。
7.根据权利要求6所述的信息处理设备，
其中在再次检测所述面部的所述方向的情况下，所述处理单元减小用于引导所述用户的引导范围。
8.根据权利要求4所述的信息处理设备，
其中所述处理单元通过使指示所述面部的所述方向的声音从声音输出设备输出来引导所述用户。
9.根据权利要求4所述的信息处理设备，
其中所述处理单元以如下方式改变所述预定对象的显示位置：基于通过比较所述预定角度与所述用户眼睛的所述角度而获得的结果来减小所述预定角度与所述用户眼睛的所述角度之间的差值。
10.根据权利要求3所述的信息处理设备，
其中所述处理单元通过使跟随面部的方向的对象显示在显示屏上来执行用于引导所述用户的第二引导处理。
11.根据权利要求3所述的信息处理设备，
其中所述处理单元通过控制改变头部运动的设备来执行用于引导所述用户的第三引导处理。
12.根据权利要求3所述的信息处理设备，
其中所述处理单元使所述用户被通知所述用户的引导状态。
13.根据权利要求3所述的信息处理设备，
其中所述处理单元以所述用户的位置被改变的方式进一步引导所述用户。
14.根据权利要求3所述的信息处理设备，
其中所述处理单元执行对应于使用所述凝视相关信息的软件的引导处理。
15.根据权利要求1所述的信息处理设备，
其中所述凝视相关信息指示估计的凝视方向和估计的凝视位置中的一者或两者。
16.根据权利要求2所述的信息处理设备，
其中所述处理单元进一步执行用于控制使用所述凝视相关信息的软件的处理。
17.根据权利要求16所述的信息处理设备，
其中所述处理单元基于所述头部检测结果和在获取所述校准信息时设置的视线使用范围来确定要显示在显示屏上的用户界面的大小。
18.一种由信息处理设备执行的信息处理方法，所述方法包含：
基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息的步骤。
19.一种程序，其使计算机实施以下功能：
基于用户的头部的检测结果和所述用户的视线的检测结果来获取对应于所述用户的凝视相关信息的功能。
CN201680078442.5A 2016-01-18 2016-11-07 信息处理设备、信息处理方法和程序 Active CN108463789B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016006848A JP2017129898A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、およびプログラム
JP2016-006848 2016-01-18
PCT/JP2016/082934 WO2017126195A1 (ja) 2016-01-18 2016-11-07 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108463789A true CN108463789A (zh) 2018-08-28
CN108463789B CN108463789B (zh) 2022-05-24

Family

ID=59361584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078442.5A Active CN108463789B (zh) 2016-01-18 2016-11-07 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US10684682B2 (zh)
JP (1) JP2017129898A (zh)
CN (1) CN108463789B (zh)
WO (1) WO2017126195A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377158A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备
CN115050089A (zh) * 2021-03-08 2022-09-13 本田技研工业株式会社 校正装置、校正方法、行车记录仪、车辆以及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163410A4 (en) * 2014-06-30 2017-12-13 Toppan Printing Co., Ltd. Line-of-sight measurement system, line-of-sight measurement method, and program
US10902635B2 (en) * 2016-08-12 2021-01-26 National University Corporation Shizuoka University Line-of-sight detection device
CN110383214B (zh) * 2017-03-09 2022-05-10 索尼公司 信息处理装置、信息处理方法和记录介质
JP6833997B2 (ja) * 2017-06-29 2021-02-24 マクセル株式会社 携帯端末
JP6876639B2 (ja) * 2018-02-05 2021-05-26 Kddi株式会社 表示制御装置、表示制御方法及びプログラム
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
CN113819901B (zh) * 2020-06-19 2023-11-07 长鑫存储技术有限公司 光学传感器的姿态调整装置及方法、自动物料运输系统
US11482141B1 (en) * 2021-07-29 2022-10-25 GM Global Technology Operations LLC Reticle and target based calibration for augmented reality head-up displays
WO2024100936A1 (ja) * 2022-11-11 2024-05-16 パナソニックＩｐマネジメント株式会社 入力装置、画面決定方法および視線入力システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150234461A1 (en) * 2014-02-18 2015-08-20 Sony Corporation Display control device, display control method and recording medium
US20150243036A1 (en) * 2012-09-17 2015-08-27 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Method and an apparatus for determining a gaze point on a three-dimensional object
WO2015125243A1 (ja) * 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2321714A1 (en) * 2008-08-07 2011-05-18 Koninklijke Philips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
JP2015152939A (ja) 2014-02-10 2015-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150243036A1 (en) * 2012-09-17 2015-08-27 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Method and an apparatus for determining a gaze point on a three-dimensional object
US20150234461A1 (en) * 2014-02-18 2015-08-20 Sony Corporation Display control device, display control method and recording medium
WO2015125243A1 (ja) * 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377158A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备
CN115050089A (zh) * 2021-03-08 2022-09-13 本田技研工业株式会社 校正装置、校正方法、行车记录仪、车辆以及存储介质

Also Published As

Publication number Publication date
US20190011983A1 (en) 2019-01-10
CN108463789B (zh) 2022-05-24
WO2017126195A1 (ja) 2017-07-27
US10684682B2 (en) 2020-06-16
JP2017129898A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
CN108463789A (zh) 信息处理设备、信息处理方法和程序
US11231777B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US11676352B2 (en) Systems for augmented reality visual aids and tools
US9898075B2 (en) Visual stabilization system for head-mounted displays
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
US11656693B2 (en) Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
US11422620B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018192107A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
US20240094882A1 (en) Gestures for selection refinement in a three-dimensional environment
US20240077937A1 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
JP2018192238A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20240103636A1 (en) Methods for manipulating a virtual object
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240104859A1 (en) User interfaces for managing live communication sessions
WO2020019850A1 (zh) 一种穿戴式设备
WO2024064036A1 (en) User interfaces for managing sharing of content in three-dimensional environments
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant