CN114868102A - 信息处理装置、信息处理方法和计算机可读记录介质 - Google Patents

信息处理装置、信息处理方法和计算机可读记录介质 Download PDF

Info

Publication number
CN114868102A
CN114868102A CN202080090867.4A CN202080090867A CN114868102A CN 114868102 A CN114868102 A CN 114868102A CN 202080090867 A CN202080090867 A CN 202080090867A CN 114868102 A CN114868102 A CN 114868102A
Authority
CN
China
Prior art keywords
calibration data
vector
data
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080090867.4A
Other languages
English (en)
Inventor
野田卓郎
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114868102A publication Critical patent/CN114868102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

根据本技术的实施方式的信息处理装置包括视线估计器、校正量计算器和登记确定部。视线估计器计算通过估计用户的视线方向而获得的估计矢量。校正量计算器基于在使用估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与估计矢量相关的校正量。登记确定部基于与在指定角度范围内的至少一个对象相关的参数来确定是否将其中估计矢量与校正量彼此相关联的校准数据登记在数据仓库中。

Description

信息处理装置、信息处理方法和计算机可读记录介质
技术领域
本技术涉及可以应用于视线检测的信息处理装置、信息处理方法和计算机可读记录介质。
背景技术
过去，例如，已经开发了瞳孔方法和瞳孔角膜反射方法作为用于检测用户的视线的方法。已知的是，在这样的用于检测视线的方法中，由于例如眼球的形状的个体差异，导致由装置检测到的方向与用户实际观看的方向存在一定的偏差。为了补偿偏差，需要检查用户实际正观看的位置与当用户正观看该位置时检测到的视线方向之间的差异。表示这样的差异的数据被用作用于校准视线方向的数据。
例如，专利文献1公开了用于使用眼睛跟踪系统执行校准的方法。在该系统中，提供了面向场景的相机，该面向场景的相机捕获用户的视场中的区域的图像，并且检测用户的视场中的特征移动对象。当移动对象被视觉跟踪时执行的追踪运动的图像被眼睛跟踪相机捕获，并且生成注视数据。然后，基于移动对象的运动数据和注视数据来计算用于校准视线方向的校准参数(例如，专利文献1中的段落[0006]、[0007]、[0012]和[0025]以及图3)。
引用列表
专利文献
专利文献1：日本未审查的专利申请公开第2018-505457号。
发明内容
技术问题
在这样的收集用于校准的数据的方法中，当数据准确度低时，检测视线的准确度实际上可能会降低。因此，需要能够防止检测视线的准确度降低的技术。
鉴于上述情况，本技术的目的是提供使得能够防止检测视线的准确度降低的信息处理装置、信息处理方法和计算机可读记录介质。
问题的解决方案
为了实现上述目的，根据本技术的实施方式的信息处理装置包括视线估计器、校正量计算器和登记确定部。
视线估计器计算通过估计用户的视线方向而获得的估计矢量。
校正量计算器基于在使用估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与估计矢量相关的校正量。
登记确定部基于与在指定角度范围内的至少一个对象相关的参数来确定是否将其中估计矢量与校正量彼此相关联的校准数据登记在数据仓库中。
在信息处理装置中，计算通过估计用户的视线方向而获得的估计矢量以及与该估计矢量相关的校正量。基于在使用估计矢量作为参考而设置的指定角度范围内的至少一个对象来计算校正量。此外，基于与至少一个对象相关的参数来确定是否将其中估计矢量与校正量彼此相关联的校准数据登记在数据仓库中。这使得能够累积正确的校准数据，从而防止检测视线的准确度降低。
登记确定部可以确定与至少一个对象相关的参数是否满足指定条件；当参数满足指定条件时，登记确定部可以将校准数据登记在数据仓库中；而当参数不满足指定条件时，登记确定部不一定必须将校准数据登记在数据仓库中。
与至少一个对象相关的参数可以包括以下项中的至少一项：在指定角度范围内的至少一个对象的数目；至少一个对象相对于估计矢量的角间距；从视点到至少一个对象的距离；至少一个对象之间的间距；至少一个对象的显著性；或关于由用户执行的选择至少一个对象的选择操作的信息。
登记确定部可以基于与至少一个对象相关的参数来设置校准数据的可靠度，并且登记确定部可以基于该可靠度确定是否将校准数据登记在数据仓库中。
登记确定部可以生成其中估计矢量、校正量和可靠度彼此相关联的数据集作为校准数据。
至少一个对象可以包括多个对象。在这种情况下，参数可以包括多个对象的数目。此外，当在指定角度范围内存在越小数目的多个对象时，登记确定部可以将可靠度设置得越高。
至少一个对象可以包括多个对象。在这种情况下，参数可以包括多个对象之间的间距。此外，当多个对象之间的间距越小时，登记确定部可以将可靠度设置得越高。
与至少一个对象相关的参数可以包括至少一个对象相对于估计矢量的角间距。在这种情况下，当角间距越小时，登记确定部可以将可靠度设置得越高。
与至少一个对象相关的参数可以包括关于由用户执行的选择至少一个对象的选择操作的信息。在这种情况下，登记确定部可以将基于由正执行的选择操作选择的至少一个对象计算的校准数据的可靠度设置为最大值。
至少在可靠度小于第一阈值时，登记确定部不一定必须将校准数据登记在数据仓库中。
数据仓库可以包括与登记的校准数据对应的多个登记数据。在这种情况下，登记确定部可以根据登记数据的数目来控制第一阈值。
数据仓库可以包括与登记的校准数据对应的多个登记数据。在这种情况下，登记确定部可以提取包括其与估计矢量的角间距小于或等于第二阈值的矢量的登记数据，并且当可靠度高于登记数据的可靠度时，登记确定部可以从数据仓库中删除该登记数据，并且可以将具有较高可靠度的校准数据登记在数据仓库中。
至少一个对象可以包括多个对象。在这种情况下，校正量计算器可以基于多个对象中的最接近估计矢量的对象来计算校正量。
至少一个对象可以包括多个对象。在这种情况下，校正量计算器可以基于多个对象中的各个对象来计算与多个对象中的各个对象对应的校正量。
登记确定部可以响应于由用户执行的取消操作而取消将校准数据登记在数据仓库中。
估计矢量可以是通过估计用户的眼球的光轴而获得的矢量。
校正量计算器可以将具有顶角为20度或更小的圆锥的形状的范围设置为指定角度范围，其中估计矢量是圆锥的中心轴线。
校正量计算器可以基于由用户的视线形成的会聚角设置指定角度范围的深度方向上的边界平面。
根据本技术的实施方式的信息处理方法是由计算机系统执行的信息处理方法，并且包括计算通过估计用户的视线方向而获得的估计矢量。
基于在使用估计矢量作为参考而设置的指定角度范围内的至少一个对象来计算与估计矢量相关的校正量。
基于与在指定角度范围内的至少一个对象相关的参数确定是否将其中估计矢量与校正量彼此相关联的校准数据登记在数据仓库中。
根据本技术的实施方式的计算机可读记录介质在其中记录有使计算机系统执行处理的程序，所述处理包括：
计算通过估计用户的视线方向而获得的估计矢量；
基于在使用估计矢量作为参考而设置的指定角度范围内的至少一个对象来计算与估计矢量相关的校正量；以及
基于与在指定角度范围内的至少一个对象相关的参数确定是否将其中估计矢量与校正量彼此相关联的校准数据登记在数据仓库中。
附图说明
[图1]图1示意性地示出了根据本技术的实施方式的头戴式显示器的外观。
[图2]图2是示出图1所示的HMD的配置的示例的框图。
[图3]图3是用于描述生成校准数据的处理的示意图。
[图4]图4示意性地示出了记录在校准数据仓库中的校准数据的示例。
[图5]图5示意性地示出了眼球模型的示例。
[图6]图6示意性地示出了通过HMD在用户的视场中显示的虚拟对象的示例。
[图7]图7是用于描述HMD的基本操作的示意图。
[图8]图8是示出生成校准数据的处理的示例的流程图。
[图9]图9示意性地示出了用户的视场的示例。
[图10]图10示意性地示出了设置角度范围的示例。
[图11]图11是用于描述由于视点的移动而引起的视场的变化的示意图。
具体实施方式
现在将参照附图在下面描述根据本技术的实施方式。
[信息处理装置的配置]
图1示意性地示出了根据本技术的实施方式的头戴式显示器(HMD)的外观。图2是示出图1所示的HMD 100的配置的示例的框图。HMD 100通过佩戴在用户的头部上被使用，并且用作显示用户的视场中的图像的显示装置。佩戴HMD 100的用户可以体验例如虚拟现实(VR)或增强现实(AR)。
此外，HMD 100被配置成检测用户的视线。具体地，检测表示用户的视线方向的视线矢量。视线矢量的使用使得能够例如使用用户的视线执行输入操作。
如图1所示，HMD 100包括基部10和附接带11。
基部10是布置在用户的左眼和右眼前方的构件。基部10被配置成覆盖用户的视场，并且用作在其中容纳例如用于显示图像的显示器12的壳体。
附接带11被附接至用户的头部。如图1所示，附接带11包括头侧带11a和头顶带11b。头侧带11a被连接至基部10，并且被附接成从头部的侧面到后面围绕用户的头部。头顶带11b被连接至头侧带11a，并且被附接成从头部的侧面到顶部围绕用户的头部。这使得能够将基部10保持在用户的眼睛前面。
如图2所示，HMD 100还包括显示器12、通信部13、向内取向的相机14、运动传感器15、存储器16和控制器17。
显示器12被提供至基部10，以覆盖用户的视场的至少一部分。例如，两个显示器12被布置在用户的视场中，以在所述显示器上分别显示针对左眼的图像和针对右眼的图像。可替选地，可以采用如下配置：在该配置中，使用单个显示器12显示针对左眼的图像以及针对右眼的图像。此外，例如，可以在显示器12与用户的左眼和右眼之间设置用于调节焦点的透镜。
例如，有机EL显示器或液晶显示器(LCD)被用作显示器12。此外，显示器12的具体配置不受限制。
通信部13是用于执行例如与另一装置的网络通信或近场通信的模块。例如，诸如Wi-Fi的无线LAN模块或诸如蓝牙(注册商标)的通信模块被设置为通信部13。
此外，通信部13与由用户使用以例如通过用户的手执行操作输入的输入装置(省略了其图示)进行通信，并且接收由用户执行的操作输入。例如，包括例如选择按钮、模拟杆和开关的装置(诸如游戏控制器)被用作输入装置。输入装置的类型等不受限制，例如，可以使用鼠标和键盘。
向内取向的相机14捕获用户的眼球的图像。用户的眼球的眼球图像用于检测视线，这将在后面描述。使用例如左眼相机和右眼相机来配置向内取向的相机14，左眼相机和右眼相机被布置在基部10内以分别能够捕获用户的左眼的图像和右眼的图像。
例如，包括诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器的图像传感器的数字相机被用作向内取向的相机14(左眼相机和右眼相机)。此外，例如，可以使用包括诸如红外LED的红外光源的红外相机。这使得能够捕获眼球的红外图像并以高的准确度检测视线。向内取向的相机14的具体配置不受限制。
运动传感器15是检测关于HMD 100的移动的信息的传感器。例如，运动传感器15通过固定在基部10中的指定位置而被布置，并且检测例如HMD 100的倾斜和旋转。因此，也可以认为，运动传感器15是检测关于佩戴HMD 100的用户的头部的移动的信息的传感器。
例如，惯性测量单元(IMU)被用作运动传感器15。惯性测量单元是使用例如三轴陀螺仪和三轴加速度计检测三维角速度和加速度的传感器。此外，例如，除了三轴陀螺仪和三轴加速度计之外还包括三轴速度计的九轴传感器可以用作运动传感器15。运动传感器15的类型不受限制，并且可以使用能够检测HMD 100的移动的任何传感器。
此外，包括在HMD 100中的传感器不受限制。例如，可以设置检测关于HMD 100的外部的信息的外部传感器。例如，捕获位于HMD 100前方(用户前方)的区域的图像的数字相机(向外取向的相机)被用作外部传感器。此外，例如，可以检测例如关于真实空间的深度的信息的相机(诸如立体相机)或飞行时间(ToF)传感器可以用作外部传感器。例如，AR体验等可以通过由外部传感器检测到的图像显示在显示器12上来提供。此外，可以包括作为外部传感器的雷达传感器、激光雷达传感器等。
存储器16是非易失性存储装置。例如，使用诸如固态驱动器(solid-state drive，SSD)的固态装置的记录介质或者诸如硬盘驱动器(hard disk drive，HDD)的磁记录介质被用作存储器16。此外，用作存储器16的记录介质的类型等不受限制，并且例如，可以使用在其中非暂态地记录数据的任何记录介质。
存储器16在其中存储控制程序20、校准数据仓库21和对象信息22。在本实施方式中，存储器16对应于在其中记录程序的计算机可读记录介质。
控制程序20是用于控制整个HMD 100的操作的程序。在本实施方式中，控制程序20对应于记录在记录介质中的程序。
校准数据仓库21是在其中存储多个校准数据的数据库，这些校准数据用于执行对用户的视线矢量进行校准的校准处理。换句话说，可以认为，校准数据仓库是包括多个校准数据的校准数据组。在本实施方式中，校准数据仓库21对应于数据仓库。
对象信息22例如是关于显示在显示器12上的虚拟对象的信息。例如，诸如虚拟对象的形状、大小和颜色的显示参数被存储为对象信息。
此外，存储在存储器16中的信息不受限制。
在此，描述用于生成校准数据的基本方法。
图3是用于描述生成校准数据的处理的示意图。被执行以生成校准数据的处理在下文中简称为数据生成处理。
在HMD 100中，执行通过显示专用UI屏幕来生成校准数据的第一数据生成处理，以及在应用(内容程序)的执行期间生成校准数据的第二数据生成处理。
图3的A示意性地示出了用于执行第一数据生成处理的专用UI屏幕的示例。在该UI屏幕上，虚拟对象5被显示在显示器12的显示区域中的指定位置处。在图3的A中，设置了九个显示位置，并且虚拟对象5被依次显示在各个显示位置处。
在此，用户被指示注视显示的虚拟对象5，并且每当虚拟对象5被显示在不同的显示位置时，检测用户的视线矢量40。图3的A示意性地示出了使用标记X表示视线矢量40的注视点P。
当检测视线矢量40时，计算虚拟对象5的位置矢量41，该位置矢量将用户的视点(视线矢量的原点)连接至所显示的虚拟对象5的位置(例如，中心点Q)。然后，计算视线矢量40相对于位置矢量41的旋转的校正量(校正量)。
在此，例如，旋转的校正量是三维矢量的旋转量，该旋转量是使位置矢量41和视线矢量40彼此一致所必需的。例如，旋转的校正量被计算为由滚转、俯仰和偏转表示的欧拉角或者用于表示旋转量的四元数。
包括视线矢量40和视线矢量40的校正量的数据集被生成为校准数据，并被记录在校准数据仓库中。在图3的A中所示的示例中，九个数据集被存储在校准数据仓库中。
可以认为，如上所述的使用专用UI屏幕执行的第一数据生成处理是通过使例如应用暂停而执行的静态校准。
图3的B示意性地示出了其上执行第二数据生成处理的屏幕的示例。图3的B示意性地示出了在应用的执行期间显示的虚拟对象5。在第二数据生成处理中，使用被假设成吸引用户的注意的虚拟对象5来生成校准数据。
例如，如图3的B所示，假设在虚拟对象5附近检测到用户的视线矢量40的注视点P。在这种情况下，在假设用户很可能正在注视注视点P附近的虚拟对象5的情况下，使用虚拟对象5作为参考来计算校正量。
换句话说，计算视线矢量40相对于附近的虚拟对象5(中心点Q)的位置矢量41的校正量(旋转的校正量)。然后，包括视线矢量40和校正量的数据集作为校准数据被记录在校准数据仓库中。
如上所述，可以认为，第二数据生成处理是在例如应用的执行期间执行的动态校准。在这种情况下，由于例如显示虚拟对象5的位置尚未确定，所以针对多个方向形成每个包括校正量和估计矢量的多个数据集。
注意，用于配置校准数据仓库21的方法不受限制。例如，由第一数据生成处理生成的校准数据和由第二数据生成处理生成的校准数据可以登记在同一数据库中，或者可以登记为不同的数据库。
图4示意性地示出了记录在校准数据仓库21中的校准数据的示例。在图4中，使用箭头在用户的视场6中(在由矩形外框包围的区域中)绘制了多个校准数据7。
每个箭头的原点对应于视线矢量40(或视线矢量40的注视点P)。此外，箭头的长度表示旋转的校正量的大小。此外，箭头的方向表示旋转的校正量的取向(旋转方向)。
注意，图4所示的圆形区域分别表示当视线以10度、20度和30度的角度倾斜时的范围，其中圆的中心(0度)被定义为用户正在看着前方的状态。
图4所示的校准数据7例如是使用第二数据生成处理累积的数据。因此，校准数据仓库21是在其中记录分别与视场中的各个方向对应的多个校准数据7的数据库。这使得能够使用例如使用其可以填充通过第一数据生成处理记录的数据点之间的空间的校准数据，并因此改进检测视线的准确度。
如上所述，校准数据仓库21包括与登记的校准数据7对应的多个登记数据。当执行实际校准处理时，使用多个登记数据。
注意，由第二数据生成处理生成的校准数据7可以包括具有低的准确度的数据。例如，在图3的B中所示的示例中，存在不确定用户实际上正看着虚拟对象5的可能性。如果登记了这样的校准数据7，则这可能导致检测视线的准确度降低。
在本实施方式中，为了不以低准确度登记校准数据7，对数据生成处理进行控制。
返回到图2，控制器17控制HMD 100的各个块的操作。控制器17由计算机所需的硬件诸如CPU和内存(RAM和ROM)进行配置。通过CPU将存储在存储器16中的控制程序20加载到RAM中并执行控制程序20来执行各种处理。在本实施方式中，控制器17对应于信息处理装置。
例如，诸如现场可编程门阵列(FPGA)的可编程逻辑装置(PLD)或诸如专用集成电路(ASIC)的其他装置可以用作控制器17。此外，例如，诸如图形处理单元(GPU)的处理器可以用作控制器17。
注意，控制器17和存储器16可以与HMD 100的主体分离。例如，HMD 100可以由HMD100的主体和例如控制器17通过例如通信部(未示出)彼此通信来控制。这导致降低了HMD100的主体中的功率损耗，并且能够改进HMD 100的正常运行时间。
在本实施方式中，视线检测器23、头部位置和姿势检测器24、对象提取部25、校准数据生成器26、校准处理部27和图像处理部28被实现为通过控制器17的CPU执行根据本实施方式的程序的功能块。然后，通过这些功能块来执行根据本实施方式的信息处理方法。注意，为了实现每个功能块，可以适当地使用诸如集成电路(IC)的专用硬件。
视线检测器23计算通过对用户的视线方向进行估计而获得的估计视线矢量。估计视线矢量是表示对用户的视线方向进行估计的结果的矢量，并且是在由校准处理部27执行校准处理之前的视线矢量，将在后面描述校准处理。例如，通过参照图3描述的生成校准数据的数据生成处理来计算估计视线矢量的校正量。在本实施方式中，估计视线矢量对应于估计矢量。
在视线检测器23中，通过使用例如人眼球的三维模型(眼球模型)的视线检测方法来计算估计视线矢量。
图5示意性地示出了眼球模型的示例。眼球模型50是使用眼球体51和连接至眼球体51的角膜52来表示人眼球的模型。
在眼球模型50中，眼球体51是球体。此外，角膜52是具有比眼球体51小的半径的球体的一部分。用于表示角膜52的球体的中心在下文中被称为角膜曲率中心53。角膜曲率中心53是表示例如晶状体的中央后表面的节点的点。此外，作为瞳孔的中心的瞳孔中心54存在于用于表示角膜52的球体内部。
如图5所示，在眼球模型50中，通过将角膜曲率中心53连接至瞳孔中心54而确定的方向是眼球的穿过眼球体51的中心(眼球中心55)的光轴56的方向。换句话说，光轴56是角膜52的穿过瞳孔中心54的法线。
可以使用眼球模型50来估计眼球的光轴56的方向。
在本实施方式中，视线检测器23基于眼球模型50来估计光轴56。因此，由视线检测器23计算的估计视线矢量是通过估计用户的眼球的光轴56而获得的矢量(光轴矢量)。
例如，使用由向内取向的相机14捕获的眼球图像的瞳孔角膜反射方法或瞳孔方法被用作用于估计光轴矢量的方法。
在瞳孔角膜反射方法中，使用例如红外相机(向内定向的相机14)和红外光源来捕获眼球的图像。在这种情况下，由例如角膜反射的红外光生成的亮点(浦肯野(Purkinje)图像)出现在眼球图像中。基于由红外光生成的亮点和瞳孔的位置计算光轴矢量(估计视线矢量)。这使得能够以高的准确度估计眼球的光轴56。
此外，在瞳孔方法中，通过检测瞳孔相对于包括在眼球图像中的特征点(诸如眼角)的位置来计算光轴矢量(估计视线矢量)。由于不需要提供例如红外光源，所以该方法使得能够减少部件的数目。
此外，视线检测方法不受限制，并且例如，使用例如机器学习来计算光轴矢量的方法可以被使用。
视线检测器23针对用户的左眼球和右眼球中的每一个计算估计视线矢量。然后，计算的估计视线矢量被适当地组合以计算单个估计视线矢量。在不限于此的情况下，例如，可以针对左眼球和右眼球中的每一个计算估计视线矢量。本技术也可以应用于这样的情况。
注意，如图5所示，用户的视线位于视轴58上，视轴58将角膜曲率中心53连接至位于眼球体51中的中央凹57。换句话说，用户实际观看的方向不是沿着光轴56的方向，而是沿着视轴58的方向。
因此，朝向用户正在注视的目标(例如，虚拟对象5)取向的矢量(视轴58)不一定与光轴矢量一致。因此，例如，由视线检测器23计算的估计视线矢量是与实际视线方向偏离了恒定的偏离量的矢量。
视轴58与光轴56的偏离量例如约为5度。注意，视轴58与光轴56的偏离在个体之间存在差异，并且视轴58通常以大约4度到8度的角度倾斜。视轴58与光轴56的偏离量在下文中称为ω。
在本实施方式中，通过使用校准数据的校准处理(校准)来校正这样的偏离量Ω，并且检测用户实际观看的方向(实际视线方向)。
返回到图2，头部位置和姿势检测器24读取由运动传感器15执行的检测的结果，并检测用户的头部的位置和姿势。
例如，基于由运动传感器15执行的检测的结果来估计头部的移动的方向以检测头部的位置。头部的位置例如是用户的视线方向的基点(视点)。此外，例如，基于例如头部的倾斜来检测头部的姿势。
此外，用户的头部的旋转的方向和角度由头部位置和姿势检测器24检测。例如，在特定时间处基于头部的姿势计算头部的姿势的变化量。例如，基于变化量检测头部的旋转的方向和角度。
用于检测例如头部的位置和姿势以及头部的旋转的方向和角度的方法不受限制。
对象提取部25基于由视线检测器23计算的估计视线矢量来提取用于生成校准数据7的虚拟对象5。具体地，基于估计视线矢量以及头部的位置和姿势来检索对象信息。然后，适当地读取关于相应的对象的信息。
图6示意性地示出了通过HMD 100显示在用户1的视场中的虚拟对象5的示例。如图6所示，各种虚拟对象5可以被显示在佩戴HMD 100的用户1的视场中。
此外，虚拟对象5可以通过定位在虚拟空间中而被显示。在这种情况下，当用户1的视点由于用户1执行诸如四处移动或转动他/她的头部的动作而被移动时，虚拟对象5在用户1看来的样子会发生变化。虚拟对象5是根据本实施方式的对象的示例。
在本实施方式中，使用估计视线矢量42作为参考而设置的目标角度范围43内的至少一个虚拟对象5由对象提取部25提取。
图6示意性地示出了由视线检测器23计算的估计视线矢量42和目标角度范围43。
例如，目标角度范围43是具有圆锥的形状的范围，其中估计视线矢量42的原点是圆锥的顶点，并且估计视线矢量42是圆锥的中心轴线。例如，这样的圆锥角度范围被表示为与估计视线矢量42正交的平面中的圆形范围。在本实施方式中，目标角度范围43对应于指定角度范围。
如参照图5所描述的，视轴58与光轴56的偏离量对应于人眼球情况下的约4度至8度的角度。在本实施方式中，与对应于目标角度范围43的圆形范围的半径相对应的角度
Figure BDA0003719939550000121
被设定为10度。换句话说，由分别以10度的角度
Figure BDA0003719939550000122
偏离估计视线矢量42的线形成的角度范围对应于目标角度范围43。
在这种情况下，表示目标角度范围43的圆锥的顶角是20度。如上所述，在本实施方式中，对象提取部25将具有顶角为20度的圆锥的形状的范围设置为目标角度范围43，其中估计视线矢量42是圆锥的中心轴线。
这使得能够在包括用户的视轴58的范围内提取虚拟对象5。
在图6所示的示例中，在显示在用户1的视场中的四个虚拟对象5a至5d中，虚拟对象5b和5c在目标角度范围43内。
对象提取部25指定虚拟对象5b和5c，并从存储器16读取关于虚拟对象5b和5c的对象信息。
读取的对象信息被输出到校准数据生成器26。
基于目标角度范围43内的虚拟对象5，校准数据生成器26生成针对当前估计视线矢量42的校准数据7。
具体地，估计视线矢量42相对于目标角度范围43内的虚拟对象5的位置矢量的旋转的校正量被计算为估计视线矢量42的校正量。如上所述，校准数据生成器26基于在使用估计视线矢量42作为参考设置的目标角度范围43内的至少一个虚拟对象5来计算估计视线矢量42的校正量。
包括校正量和估计视线矢量42的数据集为校准数据7。
此外，基于关于目标角度范围43内的至少一个虚拟对象5的对象参数，校准数据生成器26确定是否将其中估计视线矢量42与校正量彼此相关联的校准数据7登记在校准数据仓库21中。
在此，对象参数是可以表示例如目标角度范围43中的虚拟对象5的状态的参数。对象参数的示例包括表示每个虚拟对象5的特征的参数以及表示例如目标角度范围43中的虚拟对象5的状态的参数。
如上所述，在HMD 100中，并非所有生成的校准数据7都被登记在校准数据仓库21中，而是基于对象参数选择用于执行校准处理的校准数据7。这使得能够保持校准数据仓库21的质量，并且防止例如检测视线的准确度降低。
基于例如由对象提取部25读取的对象信息来计算对象参数。稍后将详细描述对象参数。在本实施方式中，对象参数对应于关于指定角度范围内的至少一个对象的参数。
在本实施方式中，校准数据生成器26基于对象参数设置校准数据7的可靠度。然后，基于设置的可靠度，校准数据生成器26确定是否将校准数据7登记在校准数据仓库21中。
因此，可以认为，当登记校准数据7时，可靠度被用作参考。这使得能够例如在校准数据仓库21中仅积累足够可靠的校准数据7。
响应于上述确定，校准数据生成器26将确定要登记的校准数据7输出至存储器16，并将校准数据7登记在校准数据仓库21中。这使得即使在例如应用的执行期间，也可以执行在校准数据仓库21中累积新的校准数据7的第二数据生成处理(动态校准)。
在本实施方式中，当校准数据7被登记在校准数据仓库21中时，校准数据7的可靠度与校准数据7一起被登记。换句话说，校准数据生成器26生成其中估计视线矢量、校正量和可靠度彼此相关联的数据集作为校准数据。
在本实施方式中，通过对象提取部25与校准数据生成器26协同工作来实现校正量计算器。此外，校准数据生成器26还用作登记确定部。
校准处理部27对由视线检测器23计算的估计视线矢量42执行校准处理。具体地，基于校准数据仓库21中登记的校准数据7来校正估计视线矢量42。可以认为，该处理是在沿着视轴58的方向上使表示眼球的光轴56的估计视线矢量42偏转的处理。
校准处理由校准处理部27独立于上述生成校准数据7的处理来执行。换句话说，生成校准数据7的处理是在校准处理的背景下被执行。
例如，从登记的校准数据7(登记数据)中检索包括接近校准目标估计视线矢量42的矢量的至少一个数据。
考虑到与估计视线矢量42的接近程度，对分别包括在数据中的校正量(旋转的校正量)进行加权平均，以计算关于估计视线矢量42的旋转的校正量。
使用旋转的校正量的方向和大小来校正(偏转)估计视线矢量42。因此，计算沿着视轴58的视线矢量(下文中称为校正视线矢量)。
注意，使用如下所示获得的系数的方法是加权平均的一般示例：获得由登记数据中包括的矢量与校准目标估计视线矢量42形成的角度的倒数作为系数，并且对所获得的系数进行归一化使得所获得的系数的总和为1。
此外，校准处理的细节不受限制，并且例如，可以使用使得能够适当地校正估计视线矢量42的任何方法。
图像处理部28生成显示器12上显示的图像。例如，图像处理部28获取关于在HMD100中执行的应用的信息，并且根据例如内容的进展以及用户的头部(HMD 100)的位置和姿势生成例如虚拟对象5的图像。
此外，当例如使用视线执行输入操作时，基于由校准处理部27计算的校正视线矢量来显示指示注视点的光标等。可替选地，当存在例如基于校正视线矢量选择的虚拟对象5时，选择的虚拟对象5例如被突出显示以指示该对象已经被选择。
此外，图像处理部28可以执行HMD 100的操作所需的任何显示处理。
[HMD 100的基本操作]
图7是用于描述HMD 100的基本操作的示意图。图7的A示意性地示出了显示在由佩戴HMD 100的用户1感知的虚拟空间中的虚拟对象5。图7的B示意性地示出了图7的A中所示的用户1的视场6。
在此，假设以下环境：如图7的A中所示，多个虚拟对象5被布置在虚拟空间中，并且用户1可以在虚拟空间中自由地改变取向和位置。
这样的环境被提供为例如虚拟现实(VR)。此外，这样的环境也可以被提供为其中真实空间中的对象(真实对象)被映射到虚拟空间的增强现实(AR)或混合现实(MR)。
虚拟对象5e至5g被显示在图7的A中所示的虚拟空间中。在从用户1观看时，虚拟对象5e被布置在左侧，并且位于远离用户1的实际视线(实际视线矢量44)的方向上的位置。虚拟对象5f是通常布置在用户1的前方的对象，并且接近实际视线矢量44。虚拟对象5g是从用户1观看时被布置在虚拟对象5f的斜右后方并且用户1正在注视(实际视线矢量44朝向其取向)的对象。
在此，如图7的B中所示，在用户1的视场6中，布置在虚拟对象5f的右后方的虚拟对象5g被部分地隐藏在虚拟对象5f后面。当如上所述从用户1观看时在与用户1的视线相对应的实际视线矢量44附近存在多个对象时，设备可能难以确定用户1正在注视哪个对象。
即使确定了用户1正在注视的对象，该确定也可能缺乏确定性，并且与用户1实际注视的对象不同的对象可能被确定为注视目标。
例如，在图7的B中所示的示例中，右边的圆柱体(虚拟对象5g)是注视目标，但是前面的长方体(虚拟对象5f)可能被选择。
因此，当在例如应用的执行期间生成校准数据7时，错误的对象可能被用作参考。
在HMD 100中，校准数据生成器26确定关于目标角度范围43内的至少一个虚拟对象5的对象参数是否满足指定条件。然后，基于关于对象参数的确定结果，确定是否将校准数据7登记在校准数据仓库21中。
具体地，当对象参数满足指定条件时，校准数据7被登记在校准数据仓库21中。当对象参数不满足指定条件时，校准数据7不被登记到校准数据仓库21中。
指定条件被设置成使得例如可以选择足够高可能的(可靠的)校准数据7。
目标角度范围43内的至少一个虚拟对象的数目被用作对象参数。
例如，可以想到，随着目标角度范围43内的虚拟对象5的数目增加，正确选择注视目标虚拟对象5的百分比(概率)降低。因此，例如，可以设定如下条件：当虚拟对象5的数目小于指定数目时，登记校准数据7。
此外，至少一个虚拟对象5相对于估计视线矢量42的角间距可以用作对象参数。在此，例如，角间距对应于由估计视线矢量42与虚拟对象5的位置矢量形成的角度，并且对应于旋转的校正量的大小。
例如，具有大的角间距的虚拟对象5远离估计视线矢量42。因此，可以想到，用户1正在注视这样的虚拟对象5的概率低。可以根据这样的特征来设置条件。
此外，从视点到至少一个虚拟对象5的距离可以用作对象参数。该距离由例如对象的位置矢量的长度来表示。
例如，可以想到，用户1更有可能注视显示在虚拟空间中的更接近用户1的位置处的虚拟对象5。在这种情况下，例如，设置如下条件：优先登记基于更接近用户1的虚拟对象5的校准数据7。
此外，至少一个虚拟对象5之间的间距可以用作对象参数。例如，可以想到，例如当相邻的虚拟对象5之间的距离小时或者当虚拟对象5的密度高时，选择正确的注视目标的概率降低。
因此，例如，设置如下条件：当虚拟对象5的间距小于指定距离时，不登记校准数据7。
此外，至少一个虚拟对象5的显著性可以用作对象参数。显著性对应于表示虚拟对象5在多大程度上成为用户1的注视目标(突出性)的特性，例如虚拟对象5是否更有可能吸引注意力。
例如，可以想到，当从用户1的视点观看时，外观较大的对象比外观较小的对象更有可能吸引注意力。同样，具有复杂的形状或明亮的颜色的对象可能是注视目标。此外，移动的对象比静止的对象更有可能是注视目标。
例如，可以设置如下条件：优选地将具有可能是注视目标的特性的虚拟对象5登记为校准数据。
此外，关于由用户1执行的选择至少一个虚拟对象5的选择操作的信息可以用作对象参数。在此，选择操作是选择用户1正在注视的虚拟对象5的操作，并且通过例如使用远程控制器进行的按钮操作来接收选择操作。
例如，已经接收到针对其的选择操作的虚拟对象5更有可能是用户1的注视目标。因此，设置如下条件：关于已经执行针对其的选择操作的虚拟对象5的校准数据被登记在数据仓库中。
对象参数的类型以及针对各个参数设置的条件仅是示例，并不限于此。
此外，针对各个对象参数的条件中的至少一个或者条件的组合等可以用于执行确定是否登记校准数据7的处理。此外，用于设置用于登记校准数据7的条件的方法不受限制，并且例如，可以执行条件的切换以根据例如应用的类型或内容的进展来设置条件。
此外，在本实施方式中，基于对象参数计算校准数据7的可靠度，并基于该可靠度确定是否登记校准数据7。
根据虚拟对象5的状态来设置可靠度，根据该虚拟对象5的状态生成校准数据7。表示虚拟对象5的状态的参数是对象参数。
当新的数据集(校准数据7)被添加到校准数据仓库21时，根据可靠度确定是否允许添加新的数据集。此外，可靠度被添加到数据集。
在本公开内容中，使用基于对象参数计算的可靠度来确定是否登记校准数据7的处理被包括在基于对象参数确定是否登记校准数据7的处理中。
例如，如图7的B中所示，从用户1的视点观看时，两个虚拟对象5f和5g可能看起来重叠。在此，假设更有可能是注视目标(例如，更接近实际视线矢量44的虚拟对象5f)的校准数据7被登记在校准数据仓库21中。
在这种情况下，虚拟对象5f的校准数据7被登记在校准数据仓库21中。由于存在两个候选虚拟对象5，因此校准数据7的可靠度被设置为例如0.5，最大值为1。
这使得能够累积可靠度低的新的校准数据7。此外，由于可靠度被添加到校准数据7，因此可以例如使用可靠度作为指标来处理校准数据7。
如上所述，在本实施方式中，可靠度被用作表示校准数据7的质量的指标。这使得能够增加校准数据仓库21中的数据点的数目，并且充分地防止例如使用可靠度低的校准数据7导致的检测视线的准确度的降低。
图8是示出生成校准数据7的处理的示例的流程图。图8所示的生成处理是参照图3的B描述的第二数据生成处理的示例，并且是例如在例如应用的操作期间在后台重复执行的循环处理。
首先，由视线检测器23计算估计视线矢量42(步骤101)。例如，基于由向内取向的相机14捕获的眼球图像，根据眼球模型计算表示用户1的眼球的光轴56的估计视线矢量42(光轴矢量)。
当计算估计视线矢量42时，由对象提取部25提取使用估计视线矢量42作为参考设置的目标角度范围43内的虚拟对象5(步骤102)。具体地，指定由分别以10度的角度偏离估计视线矢量42的线形成的范围内的虚拟对象5，并且读取关于指定的虚拟对象5的对象信息。
此时，可以计算诸如虚拟对象5的数目和虚拟对象5之间的距离的对象参数。
确定虚拟对象5是否在目标角度范围43内(步骤103)。当虚拟对象5不在目标角度范围43内时(步骤103中为否)，也就是说，当用户1的视线附近不存在虚拟对象5时，从步骤101开始再次执行循环处理。
当虚拟对象5在目标角度范围43内时(步骤103中为是)，由校准数据生成器26计算估计视线矢量42的校正量(步骤104)。
图9示意性地示出了用户1的视场6的示例。
在图9的A中，一个虚拟对象5f在目标角度范围43内。在这种情况下，虚拟对象5f被设置为针对其计算校准数据7的目标对象，并且基于虚拟对象5f计算估计视线矢量42的校正量。当在附近范围(目标角度范围43)内存在一个虚拟对象5时，如上所述，计算与朝向虚拟对象5的方向平行的线与估计视线矢量42之间的差作为校正角度(校正量)。
此外，在图9的B中，多个虚拟对象5(两个虚拟对象5f和5g)在目标角度范围43内。在这种情况下，例如，最接近估计视线矢量42的虚拟对象5(图8的B中的虚拟对象5f)被设置为针对其计算校准数据7的目标对象，并且基于虚拟对象5f计算估计视线矢量42的校正量。
换句话说，校准数据生成器26基于目标角度范围43内的多个虚拟对象5中最接近估计视线矢量42的虚拟对象5来计算校正量。当附近范围内存在多个虚拟对象5时，如上所述，计算与朝向最近的虚拟对象5的方向平行的线与估计视线矢量42之间的差作为校正角度(校正量)。
返回到图8，当计算校正量时，由校准数据生成器26设置可靠度(步骤101)。
当如图9的A中所示目标角度范围43内存在一个虚拟对象5时，可靠度被设置为1。
此外，当如图9的B中所示多个虚拟对象5在目标角度范围43内时，可靠度被设置为1/n。在此，n是目标角度范围43内的虚拟对象5的数目。
例如，当存在两个虚拟对象5时，可靠度被设置为1/2，也就是0.5。因此，例如，基于图9的B中所示的虚拟对象5f生成的校准数据7的可靠度(校正量)是0.5。
如上所述，在本实施方式中，当多个虚拟对象5在目标角度范围43内时，如果目标角度范围43内的多个虚拟对象5的数目越小，则可靠度被设置得越高，而如果目标角度范围43内的多个虚拟对象5的数目越大，则可靠度被设置得较低。
例如，当用户1实际上正在观看虚拟对象5g时，基于虚拟对象5f的校准数据7将是错误的数据。
即使在这样的情况下，当可靠度被设置为低时，这使得能够充分地减小错误的校准数据7对实际校准处理的影响。
当设置可靠度时，从校准数据仓库21中获取最接近估计视线矢量42的登记数据(登记的校准数据)(步骤106)。例如，检索校准数据仓库21中的其中估计视线矢量42与登记数据的矢量的角间距最小的登记数据以进行读取。
当已经获取登记数据时，由校准数据生成器26确定是否登记校准数据7(步骤107)。具体地，确定当计算校准数据7时获得的对象参数和可靠度是否满足指定条件。
在图8所示的示例中，确定估计视线矢量42与登记数据的矢量的角间距是否小于或等于阈值，以及新的校准数据7是否比登记数据更可靠。在本实施方式中，与角间距相关的阈值对应于第二阈值。
当与登记数据有关的角间距小于阈值时，估计视线矢量42被确定为足够接近已经登记的矢量的矢量。当角间距小于阈值并且新的校准数据7比登记数据更可靠时(步骤107中为是)，旧的登记数据被删除(步骤108)，并且新的校准数据7被登记在校准数据仓库21中(步骤109)。
换句话说，在登记新的校准数据7时，当已经登记的数据之一的矢量接近估计视线矢量42时，将已经登记的数据的可靠度与新的校准数据7的可靠度进行比较。当新的数据更可靠时，删除已经登记的数据，并添加新的校准数据7。
相反，当登记数据更可靠时，不添加校准数据7。
如上所述，在本实施方式中，提取包括其与估计视线矢量42的角间距小于或等于阈值的矢量的登记数据。当校准数据7比登记数据更可靠时，从校准数据仓库21中删除登记数据，并将校准数据7登记在校准数据仓库21中。
这使得能够在校准数据仓库21中累积更可靠的校准数据。这导致能够改进校准数据仓库21的可靠度，并因此改进检测视线的准确度。
注意，当与登记数据有关的角间距大于阈值时(步骤107中为否)，确定接近校准数据7的估计视线矢量42的登记数据不存在于校准数据仓库21中。在这样的情况下，无论可靠度的值如何，在不执行步骤108的过程的情况下将校准数据7登记在校准数据仓库21中。
这使得能够增加新登记数据点的数目。
当校准数据7的登记完成时，再次执行步骤101及之后的处理。如上所述，在HMD100中，校准数据7也在例如应用的执行期间被累积。这使得能够在例如设备的安装位置移位时继续正确地检测视线，从而提高设备的可靠度。
在上面的描述中，通过对登记数据的可靠度与校准数据7的可靠度进行比较来确定校准数据7的登记。例如，当添加校准数据7时，可以提供与可靠度相关的阈值，并且可以执行设置使得可靠度小于或等于阈值的校准数据7不被登记。在本实施方式中，与可靠度相关的阈值对应于第一阈值。
例如，当不存在接近新生成的校准数据7的登记数据(角间距大于阈值的数据)时，确定校准数据7的可靠度是否大于阈值(例如，0.1)。
当可靠度大于阈值时，校准数据7作为可以用于执行校准处理的数据登记在校准数据仓库21中。
另一方面，当可靠度小于阈值时，会通过使用校准数据7来执行错误的视线检测。因此，可靠度小于阈值的校准数据7被丢弃而不被登记。
如上所述，至少在可靠度小于阈值时，校准数据生成器26不将校准数据7登记在校准数据仓库21中。这使得能够将校准数据仓库21的整体的可靠度保持在高水平。
注意，与可靠度相关的阈值可以根据登记数据的数目被控制。
例如，当现有的登记数据的数目小时，可以使与可靠度相关的阈值更低。这使得能够增加校准数据仓库21中登记的校准数据7的数目，并丰富数据库。
此外，当登记数据的数目大时，可以使与可靠度相关的阈值更高。这使得能够避免登记可靠度低的校准数据7，从而将校准数据仓库21的可靠度保持在高水平。
上文已经描述了将目标角度范围43内的虚拟对象5的数目的倒数设置为可靠度的示例。用于设置可靠度的方法不受限制，并且例如，可以使用例如与虚拟对象5相关的另一对象参数来设置可靠度。
下面描述用于设置可靠度的其他方法。
例如，假设如图9的B中所示，多个虚拟对象5在目标角度范围43内。在此，包括在多个虚拟对象5中的虚拟对象5之间的间距可以用作用于设置可靠度的对象参数。
在这种情况下，如果虚拟对象之间的间距越小，则可靠度被设置得越高。换句话说，当虚拟对象5被紧密地显示时，确定与用户实际正在观看的对象的差异更可能小，并且因此可靠度被设置得高。相反，如果各个虚拟对象5的间距较大，则可靠度被设置得较低。
此外，例如，至少一个虚拟对象5相对于估计视线矢量42的角间距可以用作用于设置可靠度的对象参数。
在这种情况下，如果角间距越小，则可靠度被设置得越高。换句话说，如果虚拟对象5更接近估计视线矢量42，则可靠度被设置得越高。相反，如果角间距较大，则可靠度被设置得较低。
此外，例如，从视点到至少一个虚拟对象5的距离可以用作用于设置可靠度的对象参数。
在这种情况下，如果离视点的距离较小，则可靠度被设置得越高。换句话说，如果虚拟对象5更接近用户1，则可靠度被设置得越高。相反，如果离视点的距离较大，则可靠度被设置得较低。
此外，例如，至少一个虚拟对象5的显著性可以用作用于设置可靠度的对象参数。
例如，与灰色虚拟对象5相比，针对红色虚拟对象5设置更高的可靠度。此外，针对从用户的角度观看时外观较大的虚拟对象5设置较高的可靠度。此外，与静止的虚拟对象5相比，针对移动的虚拟对象5设置更高的可靠度。
此外，关于由用户1执行的选择至少一个虚拟对象5的选择操作的信息可以用作用于设置可靠度的对象参数。
例如，当通过除了使用视线的操作之外的操作(诸如使用控制器进行的按钮操作)来执行选择操作时，以及当已经指定了用户1正在注视的注视目标时，即使在估计视线矢量42附近存在多个虚拟对象5，可靠度也可以被设置为1。
如上所述，基于由正在执行的选择操作选择的虚拟对象5计算的校准数据的可靠度被设置为最大值。这使得能够确定无疑地登记高度可靠的校准数据。
此外，可以通过组合对象参数来设置可靠度。
注意，具有相对低的可靠度的校准数据7可以被登记在校准数据仓库21中。关于具有低的可靠度的校准数据7，在执行校准处理时根据距离执行加权，并且在考虑可靠度的情况下执行加权平均。这使得能够减小对校准处理的影响。
例如，当应用具有低可靠度的校准数据7的校正量时，该校正量(旋转量)被设置为小，并且与其他校准数据7的校正量组合。这使得能够例如避免在校准处理时将估计视线矢量42在错误方向上大幅度偏转。
上文已经描述了基于目标角度范围43内的虚拟对象5中的最接近估计视线矢量42的虚拟对象5生成校准数据7的示例。
在不限于此的情况下，可以针对目标角度范围43内的所有虚拟对象5生成校准数据。在这种情况下，由校准数据生成器26基于多个虚拟对象5中的各个虚拟对象5来计算与多个虚拟对象5中的各个虚拟对象5对应的校正量。
例如，在图9的B中所示的示例中，基于虚拟对象5f计算估计视线矢量42的校正量，并且基于虚拟对象5g计算估计视线矢量42的校正量。然后，针对每个校正量生成其中计算的校正量与估计视线矢量42彼此相关联的校准数据。
此时，计算每个校准数据7的可靠度。例如，与基于虚拟对象5g的校准数据7的可靠度相比，基于虚拟对象5f的校准数据7的可靠度被设置得越高。
当计算可靠度时，基于每个校准数据7的可靠度和对象参数，针对对应的校准数据7执行确定是否将校准数据7登记在校准数据仓库21中的处理。
如上所述，当多个虚拟对象5在特定的目标角度范围43内时，可以同时生成多个校准数据7，并且可以确定是否允许将多个校准数据7中的每一个登记在校准数据仓库21中。这使得能够有效地累积校准数据7。
图10示意性地示出了设置角度范围的示例。图10的A是示出用户1的视场6中的目标角度范围43的正视图。图10的B是从上方观看时图10的A中所示的目标角度范围43的顶视图。在此，描述了用于设置在深度方向上划分的目标角度范围43的方法。
在图10所示的示例中，设置了在深度方向上划分的锥形区域的目标角度范围43。具体地，两个边界平面46a和46b在锥形区域中被设置成垂直于中心轴线。从用户1的角度观看，边界平面46a被设置在前面，而边界平面46b被设置在后面。因此，目标角度范围43是由边界平面46a和46b以及锥形表面包围的区域。
在图10的B中，基于注视点在深度方向上的位置(注视距离)来设置边界平面46a和46b，注视点是用户1正在注视的点。可以基于例如到对象的距离以及由用户1的左视线和右视线形成的会聚角来计算注视点的位置。
当计算注视点P的位置时，前方的边界平面46a和后方的边界平面46b被设置成使得注视点位于边界平面46a与边界平面46b之间。如上所述，在图10中，基于由用户1的视线形成的会聚角，在目标角度范围43的深度方向上设置边界平面46a和边界平面46b。
在图10的A和B中，显示了虚拟对象5h至5j。虚拟对象5h被布置成从用户1的前面向左移位，并且虚拟对象5i被布置成在与虚拟对象5h基本相同的深度处从用户1的前面向右移位。此外，虚拟对象5j被布置在虚拟对象5j的后面。
如图10的A中所示，虚拟对象5h至5j看起来在用户1的视场6中的目标角度范围43(圆形范围)内。假设此时，用户1关注布置在前方的虚拟对象5h附近的区域。
例如，根据会聚角(由左视线和右视线形成的角度)计算存在用户1的注视点的近似范围。此外，参考位于注视点附近的虚拟对象5h和5i的位置，并且估计注视点的位置。
边界平面46a和46b在深度方向上的位置被设置成使得如上所述估计的注视点P在目标角度范围43内。
因此，目标角度范围43被设置成使得虚拟对象5h和5i在目标角度范围43内，如图10的B中所示，并且实际上在目标角度范围43内的对象的数目是两个。
目标角度范围43的上述设置使得能够减少根据其生成校准数据7的候选虚拟对象5的数目。与例如没有设置边界平面46a和46b时相比，这导致能够生成具有高可靠度的校准数据7。
用于设置边界平面46a和46b的方法不受限制。例如，当预先检测到用户1关注的区域(诸如虚拟对象5出现的区域和工作区域)时，可以根据检测到的区域来设置边界平面46a和46b。此外，例如，可以仅设置边界平面46a和46b中的一个。
图11是用于描述由于视点的移动而引起的视场6的变化的示意图。在图11中，虚拟对象5e至5g通过以图7所示的布置定位在虚拟空间中被显示。在图11的A中，用户1从图7所示的状态环绕地向右移动以注视虚拟对象5g。此外，图11的B和C分别示意性地示出了用户1在移动之前和之后的视场6。
如图11的B和C中所示，当虚拟对象5作为虚拟空间中的对象被显示时，虚拟对象5在外观上的位置(虚拟对象5在用户1的视场6中的位置)由于用户1的移动而改变。
例如，在图11的B中所示的移动之前的视场6中，在用户1关注的虚拟对象5g附近存在虚拟对象5f。在此，如图11的C中所示，当用户环绕地向右移动时，除了虚拟对象5g之外的对象(虚拟对象5f)不再显示在移动之后的视场6中的虚拟对象5g附近。
用户1的上述移动使得能够例如基于虚拟对象5g累积可靠度为1的新的校准数据7。
在此，可以简单地添加新的校准数据7，或者，当在移动之前登记的较不可靠的校准数据7(登记数据)的矢量的方向接近新的校准数据7的估计视线矢量42的方向时，可以删除旧的校准数据7。
如上所述，可以在HMD 100中一个接一个地累积具有高可靠度的校准数据7。此外，当在具有高可靠度的登记数据附近新生成具有低可靠度的校准数据时，执行关于例如可靠度的比较，并且可以丢弃不太可靠的校准数据。这使得能够充分地防止检测视线的准确度的降低。
如上所述，在根据本实施方式的控制器17中计算通过估计用户1的视线方向而获得的估计视线矢量42以及关于估计视线矢量42的校正量。基于使用估计视线矢量42作为参考设置的目标角度范围43内的至少一个虚拟对象5来计算校正量。此外，基于与至少一个虚拟对象5相关的对象参数，确定其中估计视线矢量42与校正量彼此相关联的校准数据7是否要被登记在校准数据仓库21中。这使得能够累积适当的校准数据7，从而防止检测视线的准确度的降低。
<其他实施方式>
本技术不限于上述实施方式，并且可以实现各种其他实施方式。
在上面的实施方式中主要描述了用于登记校准数据7的方法。例如，当新登记的校准数据7是低准确度数据时，可以执行取消登记校准数据7的处理。
例如，假设当用户1正在使用视线执行输入操作时登记新的校准数据7，并且使用校准数据7来校正估计视线矢量42。在这种情况下，如果基于错误的对象来设置新的校准数据7，则可能会降低对估计视线矢量42进行校正的准确度(检测视线的准确度)，并且当用户1执行输入操作时可能会导致错误等。
在这种情况下，用户1更有可能执行例如取消使用视线进行的输入操作的取消操作。例如，如果使用视线执行单词输入并且如果错误地执行了单词输入，则最近执行的单词输入将通过选择例如退格键或删除键的取消操作而被取消。此外，当在例如射击游戏中错误地执行了锁定目标的操作时，执行取消锁定操作的操作。
当执行这样的取消操作时，确定例如刚好在执行取消操作之前登记的校准数据7更可能是基于错误对象的数据，因此相应的校准数据7的登记被取消。
具体地，从校准数据仓库21中删除校准数据7。此外，当例如在登记的校准数据7时删除其他登记数据时，执行将删除的登记数据返回到校准数据仓库21的处理。
如上所述，校准数据7在校准数据仓库21中的登记可以响应于由用户1执行的取消操作而被取消。这使得能够校正例如错误的校准数据7的登记，并保持校准数据仓库21的可靠度。
在上述实施方式中，生成用于校正通过估计眼球的光轴56获得的估计视线矢量42的校准数据7。例如，使用由静态校准(第一数据生成处理)生成的校准数据校准的视线方向可以使用由动态校准(第二数据生成处理)生成的校准数据进行动态校正。在这种情况下，生成用于动态地校正校准的视线矢量的校准数据。
注意，已经校准一次的视线矢量被认为是朝向接近视轴58的方向的方向取向的矢量。因此，可以将目标角度范围设置得小。
当用于进一步校准这样的校准的视线矢量的数据被累积时，也可以应用本技术。
以上实施方式中主要描述了沉浸式HMD 100。本技术可以应用于能够检测用户1的视线矢量的任何设备。
例如，可以使用光学透射HMD。在这种情况下，使用例如HMD中包括的向内取向的相机来计算用户1的视线矢量。此外，使用例如外部相机获取关于真实空间的信息。光学透射HMD使得能够基于真实空间中的三维坐标(也就是全局坐标系)将虚拟对象叠加在真实空间上，使得看起来虚拟对象存在于真实空间中。光学透射HMD的使用使得用户1能够体验例如AR空间。
此外，例如，可以使用诸如个人计算机(PC)的显示器、例如在医疗实践中使用的固定监视器或TV的显示设备来执行使用视线进行的输入操作。在这种情况下，使用例如捕获用户1的面部(眼球)的图像的相机来计算观看例如PC的显示器的用户1的视线矢量。
此外，例如，当例如电子取景器(EVF)被包括在例如图像捕获设备中并且包括检测单眼的视线的功能时或者当使用不带显示器的眼镜式视线检测装置时，也可以应用本技术。
在使用户观察真实空间的同时检测视线的设备的情况下，如上所述，检测真实空间中的对象(真实对象)，并且将检测到的对象映射到虚拟空间。这使得能够应用与例如由HMD 100执行的上述处理相似的处理。例如，诸如语义分割的图像识别技术或使用颜色信息和深度信息的对象检测技术可以用作用于检测真实对象的方法。
上文已经描述了如下示例：其中，根据本技术的信息处理方法由用户1操作的计算机(诸如HMD 100)执行。然而，根据本技术的信息处理方法和程序可以由用户1操作的计算机以及可以通过例如网络与其执行通信的另一计算机来执行。此外，根据本技术的内容提供系统可以由用户1操作的计算机和协同工作的其他计算机来构造。
换句话说，根据本技术的信息处理方法和程序不仅可以在包括单个计算机的计算机系统中被执行，还可以在多个计算机协同操作的计算机系统中被执行。注意，在本公开内容中，系统指的是部件(诸如装置和模块(部件))的集合，并且所有部件是否在单个壳体中并不重要。因此，容纳在分离的壳体中并通过网络彼此连接的多个装置以及其中多个模块被容纳在单个壳体中的单个装置都是系统。
通过计算机系统执行根据本技术的信息处理方法和程序包括：例如，通过单个计算机执行估计矢量的计算、校正量的计算、确定是否将校准数据登记在数据仓库中等的情况；以及各个过程由不同的计算机执行的情况。此外，由指定的计算机执行每个过程包括：使另一计算机执行过程的一部分或全部，并获取其结果。
换句话说，根据本技术的信息处理方法和程序也可以应用于云计算的配置，在云计算的配置中，单个功能由多个装置通过网络进行共享和协作处理。
上述本技术的特征中的至少两个特征也可以被组合。换句话说，在各个实施方式中描述的各种特征可以被任意地组合，而与实施方式无关。此外，上述各种效果不是限制性的，而仅是说明性的，并且可以提供其他效果。
在本公开内容中，诸如“相同”、“相等”和“正交”的表达在概念上包括诸如“基本相同”、“基本相等”和“基本正交”的表达。例如，诸如“相同”、“相等”和“正交”的表述也包括指定范围内的状态(诸如+/-10％的范围)，诸如“完全相同”、“完全相等”和“完全正交”的表达被用作参考。
注意，本技术也可以采用以下配置。
(1)一种信息处理装置，包括：
视线估计器，所述视线估计器计算通过估计用户的视线方向而获得的估计矢量；
校正量计算器，所述校正量计算器基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
登记确定部，所述登记确定部基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量与所述校正量彼此相关联的校准数据登记在数据仓库中。
(2)根据(1)所述的信息处理装置，其中
所述登记确定部确定与所述至少一个对象相关的参数是否满足指定条件，
当所述参数满足所述指定条件时，所述登记确定部将所述校准数据登记在所述数据仓库中，以及
当所述参数不满足所述指定条件时，所述登记确定部不将所述校准数据登记在所述数据仓库中。
(3)根据(1)或(2)所述的信息处理装置，其中
与所述至少一个对象相关的参数包括以下项中的至少一项：在所述指定角度范围内的至少一个对象的数目；所述至少一个对象相对于所述估计矢量的角间距；从视点到所述至少一个对象的距离；所述至少一个对象之间的间距；所述至少一个对象的显著性；或关于由所述用户执行的选择所述至少一个对象的选择操作的信息。
(4)根据(1)至(3)中任一项所述的信息处理装置，其中
所述登记确定部基于与所述至少一个对象相关的参数来设置所述校准数据的可靠度，以及
所述登记确定部基于所述可靠度确定是否将所述校准数据登记在所述数据仓库中。
(5)根据(4)所述的信息处理装置，其中
所述登记确定部生成其中所述估计矢量、所述校正量和所述可靠度彼此相关联的数据集作为所述校准数据。
(6)根据(4)或(5)所述的信息处理装置，其中
所述至少一个对象包括多个对象，
所述参数包括所述多个对象的数目，以及
当在所述指定角度范围内存在越小数目的多个对象时，所述登记确定部将所述可靠度设置得越高。
(7)根据(4)至(6)中任一项所述的信息处理装置，其中
所述至少一个对象包括多个对象，
所述参数包括所述多个对象之间的间距，以及
当所述多个对象之间的间距越小时，所述登记确定部将所述可靠度设置得越高。
(8)根据(4)至(7)中任一项所述的信息处理装置，其中
与所述至少一个对象相关的参数包括所述至少一个对象相对于所述估计矢量的角间距，以及
当所述角间距越小时，所述登记确定部将所述可靠度设置得越高。
(9)根据(4)至(8)中任一项所述的信息处理装置，其中
与所述至少一个对象相关的参数包括关于由所述用户执行的选择所述至少一个对象的选择操作的信息，以及
所述登记确定部将基于由正在执行的选择操作选择的至少一个对象计算的校准数据的可靠度设置为最大值。
(10)根据(4)至(9)中任一项所述的信息处理装置，其中
至少在所述可靠度小于第一阈值时，所述登记确定部不将所述校准数据登记在所述数据仓库中。
(11)根据(10)所述的信息处理装置，其中
所述数据仓库包括与登记的校准数据对应的多个登记数据，以及
所述登记确定部根据所述登记数据的数目控制所述第一阈值。
(12)根据(4)至(11)中任一项所述的信息处理装置，其中
所述数据仓库包括与登记的校准数据对应的多个登记数据，
所述登记确定部提取包括其与所述估计矢量的角间距小于或等于第二阈值的矢量的登记数据，以及
当所述可靠度高于所述登记数据的可靠度时，所述登记确定部从所述数据仓库中删除所述登记数据，并将具有更高可靠度的校准数据登记在所述数据仓库中。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中
所述至少一个对象包括多个对象，以及
所述校正量计算器基于所述多个对象中的最接近所述估计矢量的对象来计算所述校正量。
(14)根据(1)至(12)中任一项所述的信息处理装置，其中
所述至少一个对象包括多个对象，以及
所述校正量计算器基于所述多个对象中的各个对象来计算与所述多个对象中的各个对象对应的校正量。
(15)根据(1)至(14)中任一项所述的信息处理装置，其中
所述登记确定部响应于由所述用户执行的取消操作而取消将所述校准数据登记在所述数据仓库中。
(16)根据(1)至(15)中任一项所述的信息处理装置，其中
所述估计矢量是通过估计所述用户的眼球的光轴而获得的矢量，以及
所述校正量计算器将具有顶角为20度或更小的圆锥的形状的范围设置为所述指定角度范围，其中所述估计矢量是所述圆锥的中心轴线。
(17)根据(1)至(16)中任一项所述的信息处理装置，其中
所述校正量计算器基于由所述用户的视线形成的会聚角设置所述指定角度范围的深度方向上的边界平面。
(18)一种信息处理方法，包括：
由计算机系统计算通过估计用户的视线方向而获得的估计矢量；
由所述计算机系统基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
由所述计算机系统基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量与所述校正量彼此相关联的校准数据登记在数据仓库中。
(19)一种计算机可读记录介质，其中记录了使得处理被执行的程序，所述处理包括：
计算通过估计用户的视线方向而获得的估计矢量；
基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量和所述校正量彼此相关联的校准数据登记在数据仓库中。
附图标记列表
1：用户
5，5a至5j：虚拟对象
6：视场
7：校准数据
16：存储器
17：控制器
20：控制程序
21：校准数据仓库
22：对象信息
23：视线检测器
24：头部位置和姿势检测器
25：对象提取部
26：校准数据生成器
27：校准处理部
28：图像处理部
42：估计视线矢量
43：目标角度范围
44：实际视线矢量
100：HMD

Claims (19)

1.一种信息处理装置，包括：
视线估计器，所述视线估计器计算通过估计用户的视线方向而获得的估计矢量；
校正量计算器，所述校正量计算器基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
登记确定部，所述登记确定部基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量与所述校正量彼此相关联的校准数据登记在数据仓库中。
2.根据权利要求1所述的信息处理装置，其中
所述登记确定部确定与所述至少一个对象相关的参数是否满足指定条件，
当所述参数满足所述指定条件时，所述登记确定部将所述校准数据登记在所述数据仓库中，以及
当所述参数不满足所述指定条件时，所述登记确定部不将所述校准数据登记在所述数据仓库中。
3.根据权利要求1所述的信息处理装置，其中
与所述至少一个对象相关的参数包括以下项中的至少一项：在所述指定角度范围内的至少一个对象的数目；所述至少一个对象相对于所述估计矢量的角间距；从视点到所述至少一个对象的距离；所述至少一个对象之间的间距；所述至少一个对象的显著性；或关于由所述用户执行的选择所述至少一个对象的选择操作的信息。
4.根据权利要求1所述的信息处理装置，其中
所述登记确定部基于与所述至少一个对象相关的参数来设置所述校准数据的可靠度，以及
所述登记确定部基于所述可靠度确定是否将所述校准数据登记在所述数据仓库中。
5.根据权利要求4所述的信息处理装置，其中
所述登记确定部生成其中所述估计矢量、所述校正量和所述可靠度彼此相关联的数据集作为所述校准数据。
6.根据权利要求4所述的信息处理装置，其中
所述至少一个对象包括多个对象，
所述参数包括所述多个对象的数目，以及
当在所述指定角度范围内存在越小数目的多个对象时，所述登记确定部将所述可靠度设置得越高。
7.根据权利要求4所述的信息处理装置，其中
所述至少一个对象包括多个对象，
所述参数包括所述多个对象之间的间距，以及
当所述多个对象之间的间距越小时，所述登记确定部将所述可靠度设置得越高。
8.根据权利要求4所述的信息处理装置，其中
与所述至少一个对象相关的参数包括所述至少一个对象相对于所述估计矢量的角间距，以及
当所述角间距越小时，所述登记确定部将所述可靠度设置得越高。
9.根据权利要求4所述的信息处理装置，其中
与所述至少一个对象相关的参数包括关于由所述用户执行的选择所述至少一个对象的选择操作的信息，以及
所述登记确定部将基于由正在执行的选择操作选择的至少一个对象计算的校准数据的可靠度设置为最大值。
10.根据权利要求4所述的信息处理装置，其中
至少在所述可靠度小于第一阈值时，所述登记确定部不将所述校准数据登记在所述数据仓库中。
11.根据权利要求10所述的信息处理装置，其中
所述数据仓库包括与登记的校准数据对应的多个登记数据，以及
所述登记确定部根据所述登记数据的数目控制所述第一阈值。
12.根据权利要求4所述的信息处理装置，其中
所述数据仓库包括与登记的校准数据对应的多个登记数据，
所述登记确定部提取包括其与所述估计矢量的角间距小于或等于第二阈值的矢量的登记数据，以及
当所述可靠度高于所述登记数据的可靠度时，所述登记确定部从所述数据仓库中删除所述登记数据，并将具有更高可靠度的校准数据登记在所述数据仓库中。
13.根据权利要求1所述的信息处理装置，其中
所述至少一个对象包括多个对象，以及
所述校正量计算器基于所述多个对象中的最接近所述估计矢量的对象来计算所述校正量。
14.根据权利要求1所述的信息处理装置，其中
所述至少一个对象包括多个对象，以及
所述校正量计算器基于所述多个对象中的各个对象来计算与所述多个对象中的各个对象对应的校正量。
15.根据权利要求1所述的信息处理装置，其中
所述登记确定部响应于由所述用户执行的取消操作而取消将所述校准数据登记在所述数据仓库中。
16.根据权利要求1所述的信息处理装置，其中
所述估计矢量是通过估计所述用户的眼球的光轴而获得的矢量，以及
所述校正量计算器将具有顶角为20度或更小的圆锥的形状的范围设置为所述指定角度范围，其中所述估计矢量是所述圆锥的中心轴线。
17.根据权利要求1所述的信息处理装置，其中
所述校正量计算器基于由所述用户的视线形成的会聚角设置所述指定角度范围的深度方向上的边界平面。
18.一种信息处理方法，包括：
由计算机系统计算通过估计用户的视线方向而获得的估计矢量；
由所述计算机系统基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
由所述计算机系统基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量与所述校正量彼此相关联的校准数据登记在数据仓库中。
19.一种计算机可读记录介质，其中记录了使得处理被执行的程序，所述处理包括：
计算通过估计用户的视线方向而获得的估计矢量；
基于在使用所述估计矢量作为参考设置的指定角度范围内的至少一个对象来计算与所述估计矢量相关的校正量；以及
基于与在所述指定角度范围内的所述至少一个对象相关的参数来确定是否将其中所述估计矢量和所述校正量彼此相关联的校准数据登记在数据仓库中。
CN202080090867.4A 2020-01-06 2020-12-24 信息处理装置、信息处理方法和计算机可读记录介质 Pending CN114868102A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020000401 2020-01-06
JP2020-000401 2020-01-06
PCT/JP2020/048458 WO2021140938A1 (ja) 2020-01-06 2020-12-24 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
CN114868102A true CN114868102A (zh) 2022-08-05

Family

ID=76788439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080090867.4A Pending CN114868102A (zh) 2020-01-06 2020-12-24 信息处理装置、信息处理方法和计算机可读记录介质

Country Status (4)

Country Link
US (1) US20230047470A1 (zh)
CN (1) CN114868102A (zh)
DE (1) DE112020006467T5 (zh)
WO (1) WO2021140938A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020189254A1 (zh) * 2019-03-15 2020-09-24
CN116959086B (zh) * 2023-09-18 2023-12-15 南昌虚拟现实研究院股份有限公司 一种视线估计方法、系统、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US9936195B2 (en) 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US9851791B2 (en) * 2014-11-14 2017-12-26 Facebook, Inc. Dynamic eye tracking calibration
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2019021049A (ja) * 2017-07-18 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3660636A4 (en) * 2017-07-27 2020-07-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP7168953B2 (ja) * 2018-06-12 2022-11-10 国立大学法人神戸大学 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム

Also Published As

Publication number Publication date
DE112020006467T5 (de) 2022-10-27
WO2021140938A1 (ja) 2021-07-15
US20230047470A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
EP4113258B1 (en) Neural network training for three dimensional (3d) gaze prediction with calibration parameters
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
EP3420530B1 (en) A device and method for determining a pose of a camera
KR102296267B1 (ko) 3d 공간에서의 포즈 추정
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
US20200250488A1 (en) Deep learning for three dimensional (3d) gaze prediction
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
US20150145762A1 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
KR20140088866A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP3557376A2 (en) Training of a neural network for three dimensional (3d) gaze prediction
KR20160094190A (ko) 시선 추적 장치 및 방법
US11720178B2 (en) Information processing device, information processing method, and computer-readable recording medium
CN114868102A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
US11443719B2 (en) Information processing apparatus and information processing method
WO2021153577A1 (ja) 視線検出装置のキャリブレーション
US20220184489A1 (en) Device including plurality of markers
US20200226787A1 (en) Information processing apparatus, information processing method, and program
US11960660B2 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
CN111240464B (zh) 眼球追踪的校正方法和其装置
US20200167005A1 (en) Recognition device and recognition method
US20230252729A1 (en) Information processing apparatus, information processing method, and storage medium for presenting virtual object
CN111489376A (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
WO2023238678A1 (ja) 情報処理装置、コントローラ表示方法およびコンピュータプログラム
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023157499A1 (ja) 情報処理装置およびデバイス位置推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination