CN106462733B

CN106462733B - 一种用于视线检测校准的方法和计算设备

Info

Publication number: CN106462733B
Application number: CN201580025626.0A
Authority: CN
Inventors: W·威莱拉特; V·图克拉尔; D·尼斯特; M·K·维纳布尔; B·J·克尔; C·阿霍尔特
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2014-05-19
Filing date: 2015-05-16
Publication date: 2019-09-20
Anticipated expiration: 2035-05-16
Also published as: TW201546657A; WO2015179253A1; EP3146465A1; US10248199B2; CN110569750A; US9727136B2; CN106462733A; US20170336867A1; US20150331485A1; CN110569750B

Abstract

公开了关于对估计视线位置进行校准的示例。一种示例方法包括：使用来自视线跟踪系统(54)的视线跟踪数据(50)来监测观看者(22,62)的估计视线位置。接收用于经由显示设备(14)显示的图像数据(64)，并且在不使用来自所述观看者(22,62)的输入的情况下，在所述图像数据(64)中识别可以吸引观看者(22,62)视线的至少一个目标视觉以及所述目标视觉的目标位置。将所述观看者(22,62)的所述估计视线位置与所述目标视觉的所述目标位置进行比较。基于所述估计视线位置和所述目标位置来计算偏移向量。使用所述偏移向量来校准所述视线跟踪系统。

Description

一种用于视线检测校准的方法和计算设备

背景技术

内容创建和/或传送设备可以使用视线跟踪系统来跟踪用户视线的位置。可以周期性地执行这样的视线跟踪系统的校准以校正例如由用户的头部运动、改变光照条件、观看者佩戴眼镜等造成的不准确。还可以执行校准过程以确定特定于用户的参数(如用户眼睛的生物计量参数)或特定于系统的参数(如显示屏幕和图像捕捉设备的相对位置)。出于各种原因，这样的校准过程可能需要在系统操作期间重新执行(诸如如果用户被不同的用户替代，或者如果显示系统的移动超过预期)。

用于视线跟踪系统的校准过程可以肯定地指示或指挥用户注视在显示器屏幕上的已知位置处显示的一个或多个点。视线跟踪数据然后用于校准视线跟踪系统。然而，这样的专用校准过程可能干扰用户沉浸在由显示器提供的当前的用户体验中。周期性地重复这样的过程来重新校准视线跟踪系统可以进一步增加用户的挫败感。

发明内容

本文中公开了与对显示设备的观看者的估计视线位置进行校准有关的各个示例。在一种公开的方法中，使用来自视线跟踪系统的视线跟踪数据来监测观看者的估计视线位置。接收用于经由所述显示设备显示的图像数据。在不使用来自所述观看者的输入的情况下，在所述图像数据中识别可以吸引观看者视线的至少一个目标视觉以及所述目标视觉的目标位置。

将所述观看者的所述估计视线位置与所述至少一个目标视觉的所述目标位置进行比较。计算基于所述估计视线位置和所述目标位置的偏移向量。然后使用所述偏移向量来校准所述视线跟踪系统，以生成所述观看者的更新的估计视线位置。

提供本发明内容以便以简化的形式对下面在具体实施方式中进一步描述的设计构思的选择进行介绍。本发明内容并不旨在确定要求保护的发明主题的关键特征或重要特征，也不旨在用于限制要求保护的发明主题的范围。另外，要求保护的发明主题不局限于解决本公开内容的任何部分中指出的任何或所有缺点的实现。

附图说明

图1是根据本公开内容的示例的可以使用显示器来校准估计视线位置的示例计算设备的示意图。

图2是根据本公开内容的示例的与计算设备交互的房间中的观看者以及可以对观看者的估计视线位置进行校准的显示器的示意性说明。

图3是根据本公开内容的示例的可用于对观看者的估计视线位置进行校准的显示设备上显示的视频的示意性说明。

图4是根据本公开内容的示例的经由可用于对观看者的估计视线位置进行校准的显示设备进行显示的几个图像的示意性说明。

图5和图6是根据本公开内容的示例的可用于对观看者的估计视线位置进行校准的显示设备上显示的用户接口的示意性说明。

图7和图8是根据本公开内容的另一个示例的可用于对观看者的估计视线位置进行校准的显示设备上显示的用户接口的示意性说明。

图9是根据本公开内容的另一个示例的可用于对观看者的估计视线位置进行校准的显示设备上显示的用户接口的示意性说明。

图10是示例头戴式显示设备的示意性说明。

图11A、图11B、图11C、和图11D是根据本公开内容的示例的用于对显示设备的观看者的估计视线位置进行校准的方法的流程图。

图12是计算设备的示例的简化示意性说明。

具体实施方式

图1示出了可用于对显示设备的观看者的估计视线位置进行校准的计算设备的示例实现的示意图。如下文更详细描述的，在一个示例中，视线位置校准程序使用来自视线跟踪系统的视线跟踪数据来监测观看者的估计视线位置。视线位置校准程序可以接收用于经由显示设备显示的图像数据，并且在不使用来自所述观看者的输入的情况下，可以在图像数据中识别可以吸引观看者视线的至少一个目标视觉以及目标视觉的目标位置。

视线位置校准程序然后可以将观看者的估计视线位置与目标视觉的目标位置进行比较。使用估计视线位置和目标位置，该程序计算偏移向量。然后使用偏移向量来校准视线跟踪系统，以生成观看者的更新的估计视线位置。

在各个示例中，计算设备可以是物理上与观看者可以与之交互的显示设备分开的或者是集成到其中的。图1示意性地示出了物理上与显示设备14分开的计算设备10的实例。在该示例中，计算设备10可以包括诸如下列各项的单独设备或集成到其中：机顶盒、游戏控制台、网络摄像头、头戴式计算设备或其它可穿戴计算设备，键盘，专用外围设备或者并不包括集成显示器的其它类似设备。

计算设备10可以使用有线连接可操作地与显示设备14连接，或者可以经由WiFi、蓝牙或任何其它合适的无线通信协议来使用无线连接。例如，计算设备10可以通信地耦接到网络16。网络16可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网或它们的组合的形式，并且可以包括互联网。下文参考图12更详细地描述了关于计算设备10的组件和计算方面的额外的细节。

图1还示出了集成到头戴式显示(HMD)设备18中的计算设备12的示例。HMD设备18可以创建并向第一观看者22显示虚拟现实环境或混合现实环境。在这些示例中，HMD设备18可以包括：可以生成用于经由HMD设备显示的虚拟环境或混合现实环境的显示程序26。虚拟环境可以包括经由HMD设备18生成和显示的虚拟图像(诸如三维(3D)全息对象和二维(2D)虚拟图像)形式的一个或多个虚拟元素。在混合现实环境中，HMD设备18可以使观看者能够观看包围观看者的物理环境中的这样的全息对象和虚拟图像。

如下文更详细描述的，在一些示例中，HMD设备18可以包括在观看者的一只眼睛或两只眼睛前方支起的透明、半透明或不透明的显示器。HMD设备18可以包括从物理环境接收物理环境数据的各种传感器和相关系统。例如，HMD设备18可以包括：包括生成深度图像数据的一个或多个深度摄像头的深度传感器系统30。

在一些示例中，HMD设备18可以包括使用至少一个朝外的传感器(如RGB摄像头或其它光学传感器)的光学传感器系统32。朝外的传感器可以从物理环境捕捉二维图像信息。HMD设备18还可以包括位置传感器系统34，其包括一个或多个加速计、回转仪、头部跟踪系统和/或用于确定用户的位置或方向的其它传感器。

HMD设备18还可以包括：包括将电信号转换成另一种形式的能量的一个或多个致动器的换能器系统38。在一些示例中，换能器系统38可以包括用于向观看者提供音频反馈的一个或多个扬声器。在其它示例中，换能器系统38可以包括用于生成和向观看者提供触觉反馈(如振动)的一个或多个触觉换能器。HMD设备18还可以包括麦克风系统42和用于从物理环境接收音频输入的一个或多个麦克风。

另外，图1中示出的示例示出了集成到HMD设备18中的计算设备12。将明白的是：在其它示例中，计算设备12可以是从HMD设备18分开的单独组件。具有各种形状因子的HMD设备18的许多类型和配置可以被使用，并且其在本公开内容的范围之内。下文参考图10提供了对示例HMD设备的更详细描述。

还将明白的是：计算设备12可以包括或集成到诸如下列各项的任何其它合适类型或形式的显示设备或其它计算设备中：平板电脑、笔记本电脑、智能电话、或其它移动计算设备、桌面式计算设备、独立监视器、壁挂式显示器、交互式电子白板或具有集成显示器的其它类似设备。如下文更详细描述的，这样的设备还可以包括视线跟踪系统。

计算设备10和计算设备12二者都可以包括可以存储在大容量存储40中的视线位置校准程序46。视线位置校准程序46可以载入存储器48中，并由处理器52执行以执行下文更详细描述的方法和过程中的一个或多个。

计算设备10和计算设备12可以从视线跟踪系统54接收视线跟踪数据50。在各个示例中，视线跟踪系统54可以位于显示设备14、HMD设备18中，或者在与任何其它合适类型或形式的显示设备的公共外壳中，其包括但不限于上文讨论的具有集成显示器的那些示例设备。在其它示例中，视线跟踪系统54和计算设备10可以集成到并不包括集成显示器的公共外壳中，诸如头戴式或其它可穿戴设备，或者在不包括集成显示器的任何其它合适类型或形式的显示设备中，其包括但不限于上文讨论的不具有集成显示器的那些示例设备。下文参考图10中示出的示例HMD设备1000讨论了对示例视线跟踪系统54的更详细的描述。

继续参考图1，示例显示设备14可以包括用于向第二观看者62呈现一个或多个视觉元素的显示系统58。如下文更详细描述的，视线位置校准程序46可以使用来自视线跟踪系统54的视线跟踪数据50来确定观看者的估计视线位置，以及基于估计视线位置和由显示设备14、HMD 18或其它显示设备显示的目标视觉的位置来计算偏移向量。偏移向量可用于校准视线跟踪系统以及更新观看者的估计视线位置。

现在参考图2-图9，现在将提供对示例用例的描述。图2是与使用来自视线跟踪系统的视线跟踪数据的计算和显示设备交互的房间200中的几个观看者的示意性说明。在一个示例中，观看者James 202正在观看壁挂式显示器210上显示的视频206。在各个示例中，视频206可以是交互式视频、游戏的一部分或者是可以经由视线跟踪来提供交互式体验的其它内容。在该示例中，壁挂式显示器210通信地耦接到包括视线跟踪系统54的机顶盒212和包括视线位置校准程序46的计算设备。使用来自视线跟踪系统54的视线跟踪数据50，视线位置校准程序46可以监测壁挂式显示器210的屏幕上观看者James 202的估计视线位置。

参考图1，视线位置校准程序46可以经由校准应用编程接口(API)66接收包括视频206的图像数据64。现在参考图3，在该示例中，图像数据64可以包括计算机生成的飞翔的鸟214形式的目标视觉。当播放视频206时，鸟214可以在目标时间帧期间沿预定的包括多个目标位置的路径220在天空中飞翔。在各个示例中，目标时间帧可以包括2秒、4秒、6秒或任何其它合适的时间帧。可以呈现鸟214的飞行和运动以便对观看者来说看起来是真实和自然的，从而观看者可以自然地倾向于跟随鸟的飞行。

优选地，在一些示例中，并且在不使用来自观看者James 202的输入的情况下，视线位置校准程序46可以对图像数据64进行分析以便以程序的方式确定飞翔的鸟214可能吸引观看者James 202的视线。例如，视线位置校准程序46可以确定：与静止的云、棕榈树和视频206的其它元素相比，飞翔的鸟的视觉影响对于观看者来说有趣的多。因此，视线位置校准程序46可以确定：观看者James 202在鸟214沿预定的路径220移动时将把其视线定向到鸟214。

在一些示例中，图像数据64可以包括肯定地指定鸟214作为可能吸引观看者的注意的目标视觉的目标视觉元数据。视线位置校准程序46可以被配置为：使用这样的目标视觉元数据来在视频206中识别鸟及其目标位置。例如，视频206的开发者可以包括将鸟214标识为可能吸引观看者注意并相应地被观看者的视线追随的目标视觉元数据。优选地，如下文所讨论的，视线位置校准程序46可以使用这样的开发者提供的元数据来校准视线跟踪系统。

视线位置校准程序46还可以在鸟214遍历预定的路径220时识别鸟214的目标位置224。这样的目标位置224的示例可以在图3的示例中由“+”符号示出。使用来自视线跟踪系统54的视线跟踪数据，视线位置校准程序46可以在目标时间帧期间并且在暂时与目标位置224相关的时刻监测观看者James 202的估计视线位置230。这样的估计视线位置230的示例可以在图3的示例中由“-”符号示出。

视线位置校准程序46可以在目标时间帧期间的多个这样的相应时刻将估计视线位置230与目标位置224进行比较。针对每个比较，可以基于该时刻的估计视线位置230和相应的目标位置224来计算偏移向量234。使用偏移向量234，视线位置校准程序46然后可以对视线跟踪系统54进行校准以生成观看者James 202的更新的视线位置。例如，更新的视线位置可以基本与沿预定的路径220的目标位置224相对应。另外，由于观看者James 202将鸟214感知为视频206的天然存在的特征，则视线位置校准程序46优选地可以在不打断或打扰Jame观看视频的沉浸式体验的情况下对视线跟踪系统54进行校准。

在一些示例中，视线位置校准程序46可以估计观看者James 202正在注视鸟214的目标位置224的概率70。例如，位置校准程序46可以对视频206的各个视觉元素进行分析，并估计：尽管鸟214正在天空中飞翔经过棕榈树和云，但有85％的可能性观看者James 202正跟随并注视着鸟。例如，视线位置校准程序46可以基于与静止的云、棕榈树和视频206的其它元素相比，飞翔的鸟的视觉影响对于观看者来说更有兴趣来确定这个概率。将明白的是：用于确定这样的概率的任何合适的方法可以被使用并且其在本公开内容的范围之内。

然后，该概率70可用于计算偏移向量，并确定更新的估计视线位置。例如，当一个偏移向量超过预定的阈值偏移值时，这可以指示：观看者James 202在该特定时刻已经从鸟214移开了视线。将85％的概率与超过预定的阈值偏移的偏移向量相结合，视线位置校准程序46可以在校准视线跟踪系统54时将该偏移向量样值从其它偏移向量样值中排除。

在另一个示例中，视线位置校准程序46可以经由校准API 66来接收包括观看者James 202正在跟随和注视视频206中的鸟214的概率的元数据。像之前示例中那样，将概率与超过预定的阈值偏移的偏移向量相结合，视线位置校准程序46可以在校准视线跟踪系统54时将该偏移向量样值从其它偏移向量样本中排除。也将明白的是：可以用任何其它合适的方式来使用这样的概率，以计算偏移向量和/或校准视线跟踪系统。

作为另一个示例，这样的概率可用于对针对鸟214计算出的偏移向量的重要性进行适当的调整。如果James 202正在看着鸟214的概率高，并且他正在看着棕榈树的概率低，则针对鸟214的偏移向量被加权为比针对棕榈树的偏移向量更重要。

在其它示例中，视线位置校准程序46可以识别多个目标位置，该多个目标位置中的每一个与图像数据内的可能吸引观看者的视线的多个目标视觉中的一个目标视觉相对应。例如，并且现在参考图2和图4，观看者Julius 240可能沉浸在由应用所提供的混合现实体验中，该应用使用图像数据来生成经由HMD设备18以眼镜244的形式显示的全息图像。在该示例中，全息图像可以包括三个咖啡杯402、406和410以及在应用的加载过程期间显示的点的旋转圈414。

视线位置校准程序46可以确定：观看者Julius 240的估计视线位置420最靠近与中间的咖啡杯406相对应的目标位置424。因此，视线位置校准程序46可以确定：观看者Julius 240实际上正注视着中间的咖啡杯406。视线位置校准程序46然后可以基于估计视线位置420和中间的咖啡杯406的目标位置424来计算偏移向量430。目标位置424可以与咖啡杯406的质心、咖啡杯周缘上的某个点或咖啡杯的图像上任何其它合适的位置相对应。

在其它示例中，视线位置校准程序46可以被配置为：使用来自观看者的输入来校准视线跟踪系统。例如以及现在参考图2、图5和图6，观看者Rebecca 248可以在她的平板计算机252上玩计算机游戏74。平板计算机252可以包括：包括触摸敏感屏幕256、视线跟踪系统54和视线位置校准程序46的显示器。

现在参考图5和图6，在一个示例中，视线位置校准程序46可以被配置为：控制平板计算机252来显示触摸敏感屏幕256上的可选择按钮502。观看者Rebecca 248可以自然地在按钮502出现时注视该按钮。观看者Rebecca 248的该实际视线位置由图5中的实际视线位置指示符504示出。

平板计算机252的视线跟踪系统54可以跟踪和估计观看者Rebecca的视线位置的未校准的位置508。在一些示例中，这样的估计出的、未校准的视线位置508可以与她的实际视线位置有偏移。例如并且如图5中所示，当她的实际视线位置504可能与按钮502相对应时，估计出的、未校准的视线位置508可能与该按钮隔开。

为了发起校准操作，观看者Rebecca 248可以经由平板计算机252来提供预定的用户输入。作为响应，视线位置校准程序46可以控制平板计算机252来在未校准的位置508处显示引导视觉512。在图5的示例中，引导视觉512示为圆圈，而按钮502示为矩形区域。将明白的是：任何其它合适的形状可用于引导视觉512和按钮502。

在一个示例中，预定的用户输入可以包括观看者Rebecca 248按压平板计算机252上的物理按钮并保持至少预定的触发时间帧(如200毫秒(ms)、300ms、400ms或任何其它合适的时间帧)。将明白的是：预定的用户输入还可以包括任何其它合适的用户输入，包括但不限于：在与按钮502或另一个指定位置相对应的位置处对触摸敏感屏幕256进行触摸，做出由深度传感器系统30捕捉的姿势，注视按钮502至少预定的停留时间等。

当观看者Rebecca 248看到引导视觉512出现在未校准的位置508时，她的注意力和视线自然地被吸引到该图像。观看者Rebecca 248然后可以提供重新校准用户输入，其将引导视觉512从其初始、未校准的视线位置508移动到如图6所示的与按钮502的位置相对应的校准位置514。在本示例中，当接收到重新校准用户输入时，视线跟踪系统54可以被禁用，并且重新校准用户输入可以是从与提供预定的输入的传感器不同的传感器接收的。例如，观看者Rebecca 248可以经由头部跟踪传感器和/或其它位置传感器、深度摄像头、触控板、鼠标或任何其它合适的传感器或输入设备来提供重新校准用户输入。在其它示例中，当接收到重新校准用户输入时，视线跟踪系统54可以不被禁用，并且重新校准用户输入可以是从与提供预定的输入的传感器相同的传感器接收的。

参考图6，在一个示例中，观看者Rebecca 248可以使用头部运动经由头部跟踪传感器来提供重新校准用户输入，以便将引导视觉512从初始、未校准视线位置508推动到校准位置514。作为响应，视线位置校准程序46可以控制平板计算机252来在与按钮502的位置相对应的校准位置514处显示引导视觉512。视线位置校准程序46然后可以基于未校准的位置508和校准位置514来计算偏移向量520。

将明白的是：偏移向量可以包括表示估计视线位置中的误差的水平dx分量和垂直dy分量。视线位置校准程序46可以在由视线跟踪系统54使用的视线计算逻辑的本地变换中使用这些分量来校准系统，以产生更准确的估计视线位置。

现在参考图7和图8，在另一个示例中，视线位置校准程序46可以被配置为：使用实时视线反馈环路来校准视线跟踪系统54。在该示例中，视线跟踪系统54可以被配置为：控制平板计算机252在触摸敏感屏幕256上显示可选择按钮702。如图7中的初始实际视线位置指示符704所指示的，观看者Rebecca 248可以在按钮702出现时自然地注视它。

视线跟踪系统54可以估计观看者Rebecca 248的初始估计(未校准)的视线位置710，并且可以在初始估计视线位置处显示引导视觉714。当观看者Rebecca 248看到引导视觉714出现在初始估计视线位置710时，她的注意力和视线自然地被吸引到该视觉。当观看者Rebecca 248将其视线在初始估计视线位置710处移动到引导视觉714时，视线位置校准程序46然后可以确定观看者Rebecca的更新的估计视线位置718。

视线位置校准程序46然后可以在更新的估计视线位置718处显示引导视觉714。当观看者Rebecca 248看到引导视觉714出现在更新的估计视线位置718时，她的视线再次自然地被吸引到该视觉。当观看者Rebecca 248将其视线移动到更新的估计视线位置718时，可以确定随后的更新的估计视线位置。将明白的是：上述过程的任意数量的迭代可用于捕捉额外的数据点。还将明白的是：上述过程创建了反馈环路，在其中，估计视线位置和相应的引导视觉将在与观看者的实际视线位置的移动相同的方向上移动。

如图7的示例中所示，由偏移向量720将初始估计视线位置710与初始实际视线位置指示符704隔开。类似地，由偏移向量720'将更新的估计视线位置718与初始估计视线位置710隔开，其可以具有与偏移向量720基本相同的幅度。使用偏移向量720和偏移向量720'，视线位置校准程序46可以校准视线跟踪系统54以便在随后的迭代中生成观看者Rebecca的更新的估计视线位置。在一些示例中，视线位置校准程序46可以使用计算出的偏移向量来生成和向由视线跟踪系统54使用的视线计算逻辑应用本地转换来校准系统，以产生更准确的估计视线位置。例如和参考图8，在校准之后，视线跟踪系统54可以生成与观看者的实际视线位置734更紧密相对应的估计视线位置730。

现在参考图9，在另一个示例中，视线位置校准程序46可以被配置为：在预定的时间帧上使用视线跟踪数据50来校准视线跟踪系统54。在一个示例中，视线位置校准程序46可以被配置为：建立包含目标视觉(如位于目标位置910处的可选择按钮908)的选择区域904。将明白的是：选择区域904可以包括比目标视觉更大的任何合适的形状。

观看者Rebecca 248可以将其视线固定在如实际视线位置912处所指示的按钮908处。视线位置校准程序46可以确定与选择区域904至少部分重叠的观看者Rebecca 248的估计视线位置916。视线位置校准程序46可以确定估计视线位置916在选择区域904的至少一部分内停留至少停留时间帧。在一些示例中，停留时间帧的周期可以是1秒(sec)、2sec、3sec或任何其它合适的时间帧。

基于确定：估计视线位置916在选择区域904的至少一部分内停留至少停留时间帧，视线位置校准程序46可以确定：观看者Rebecca 248在停留时间帧期间正注视着目标位置910处的按钮908。因此，视线位置校准程序46然后可以计算按钮908的估计视线位置916与目标位置910之间的偏移向量92，并且可以使用该偏移向量来如上所述地校准视线跟踪系统54。将明白的是：按钮908的目标位置910可以是按钮的质心、按钮的周缘上的某个点或按钮上任何其它合适的位置。

现在参考图10，提供了具有透明显示器的一对可佩戴眼镜形式的HMD设备1000的一个示例。将明白的是：在其它示例中，HMD设备1000可以采取其它合适的形式，在这些形式中，在观看者的一只眼睛或两只眼睛前方支起透明、半透明和/或不透明的显示器。还将明白的是：图1和图2中示出的HMD设备可以采取如下文更详细描述的HMD设备1000或任何其它合适的HMD设备的形式。

HMD设备1000包括显示系统1002和使得图像(如全息对象)能够传送到HMD设备的穿戴者的眼睛的透视或透明显示器1004。透明显示器1004可以被配置为：向通过透明显示器观看物理环境的穿戴者在视觉上增强真实世界、物理环境的外观。例如，物理环境的外观可以通过经由透明显示器1004呈现的图形内容(例如，一个或多个像素，每个像素具有各自的颜色和亮度)来进行增强以创建增强的现实环境。

透明显示器1004还可以被配置为：使得HMD设备的穿戴者能够通过正在显示虚拟对象表示的一个或多个部分透明的像素来观看物理环境中的物理、真实世界对象。如图10所示，在一个示例中，透明显示器1004可以包括位于镜片1006内的图像产生单元(诸如，例如，透视有机发光二极管(OLED)显示器)。作为另一个示例，透明显示器1004可以包括镜片1006边缘上的光调制器。在该示例中，镜片1006可以用作用于将光从光调制器传送到佩戴者的眼睛的导光管。这样的导光管可以使佩戴者能够感知位于佩戴者正在观看的物理环境内的3D全息图像，同时还允许佩戴者观看物理环境中的物理对象，从而创建增强的现实环境。

HMD设备1000还可以包括各种传感器和相关系统。例如，HMD设备1000可以包括视线跟踪系统1008，其包括被配置为从穿戴者的眼睛获取视线跟踪数据形式的图像数据的一个或多个图像传感器。假如佩戴者同意了该信息的获取和使用，则视线跟踪系统1008可以使用该信息来跟踪佩戴者的眼睛的位置和/或移动。

在一个示例中，视线跟踪系统1008包括被配置为检测佩戴者的每只眼睛的视线方向的视线检测子系统。视线检测子系统可以被配置为：以任何合适的方式来确定佩戴者的每只眼睛的视线方向。例如，视线检测子系统可以包括被配置为使光的闪烁从佩戴者的每只眼睛的角膜反射的一个或多个光源(如红外光源)。一个或多个图像传感器然后可以被配置为：捕捉佩戴者的眼睛的图像。

根据从图像传感器收集的图像数据确定的闪光的图像和瞳孔的图像可用于确定每只眼睛的光轴。使用该信息，视线跟踪系统1008然后可以确定佩戴者正在注视的方向。视线跟踪系统1008可以另外或替代地确定佩戴者正在注视什么物理或虚拟对象，以及佩戴者正在注视该物理或虚拟对象上的什么位置。然后可以向HMD设备1000提供这样的视线跟踪数据。

还将理解的是：视线跟踪系统1008可以具有任意合适数量和布置的光源以及图像传感器。例如以及参考图10，HMD设备1000的视线跟踪系统1008可以使用至少一个向内的传感器1010。

HMD设备1000还可以包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备1000还可以包括使用一个或多个姿势传感器(如HMD设备1000上的姿势传感器1014)的头部跟踪系统1012，所述姿势传感器用来捕捉头部姿势数据，并且从而能够进行对佩戴者头部的定位跟踪、方向/位置和方位感应和/或运动检测。

在一个示例中，头部跟踪系统1012可以包括被配置为三轴或三自由度位置传感器系统的惯性测量单元(IMU)。例如，该示例位置传感器系统可以包括用于指示或测量HMD设备1000在3D空间中相对于三个正交轴(例如，x、y和z，或滚动、俯仰和偏转)的方位变化的三个回转仪。在一些示例中，从IMU的传感器信号得出的方位可用于经由透明显示器1004来显示具有体锁位置的一个或多个虚拟对象，其中，每个虚拟对象的位置相对于透视显示器的佩戴者看起来是固定的，并且每个虚拟对象的位置相对于物理环境中的真实世界对象看起来是可移动的。

在另一个示例中，头部跟踪系统1012可以包括被配置为六轴或六自由度位置传感器系统的IMU。例如，该示例位置传感器系统可以包括用于指示或测量HMD设备1000沿三个正交轴的位置变化和相对于三个正交轴的设备方位的变化的三个加速计和三个回转仪。

头部跟踪系统1012还可以支持其它合适的定位技术(如GPS或其它全球导航系统)。另外，虽然已经描述了位置传感器系统的具体示例，但将明白的是：可以使用任何其它合适的位置传感器系统。例如，头部姿势和/或运动数据可以基于来自安装在佩戴者身上和/或在佩戴者外部的传感器的任意组合的传感器信息来确定，这些传感器包括但不限于任意数量的回转仪、加速计、惯性测量单元、GPS设备、气压计、磁强计、摄像头(例如，可见光摄像头、红外线摄像头、渡越时间深度摄像头、结构化光深度摄像头等)、通信设备(例如，WIFI天线/接口)等。

在一些示例中，HMD设备1000还可以包括使用一个或多个朝外的传感器(如HMD设备1000上的光学传感器1016)来捕捉图像数据的光学传感器系统。朝外的传感器可以检测其视域内的运动，如基于手势的输入或者由佩戴者或由视域内的人员或物理对象执行的其它运动。朝外的传感器还可以从物理环境和环境内的物理对象捕捉2D图像信息和深度信息。例如，朝外的传感器可以包括深度摄像头、可见光摄像头、红外线摄像头和/或位置跟踪摄像头。

光学传感器系统可以包括经由一个或多个深度摄像头来生成深度跟踪数据的深度跟踪系统。在一个示例中，每个深度摄像头可以包括立体视觉系统的左和右摄像头。来自这些深度摄像头中的一个或多个的时间分辨图像可以注册到彼此和/或注册到来自另一个光学传感器(如可见谱摄像头)的图像，并且可以组合以产生深度分辨视频。

在其它示例中，结构化光深度摄像头可以被配置为：投射结构化的红外光照，并且对从光照投射到的场景反射的光照进行成像。可以基于成像场景的各个区域中相邻特征之间的间距来构建场景的深度图。在又一个示例中，深度摄像头可以采取渡越时间深度摄像头的形式，其被配置为：将脉冲红外光照投射到场景上，并检测从场景反射的光照。例如，光照可由红外线源1018提供。将明白的是：可以在本公开内容的范围内使用任何其它合适的深度摄像头。

朝外的传感器可以捕捉HMD设备的佩戴者所处的物理环境的图像。针对HMD设备1000，在一个示例中，增强的现实显示程序可以包括3D建模系统，其使用这样的捕捉的图像来生成对围绕HMD设备的佩戴者的物理环境进行建模的虚拟环境。在一些示例中，光学传感器1016可以与IMU配合来确定HMD设备1000在六自由度中的位置和方位。这样的位置和方位信息可用于经由透明显示器1004来显示具有世界锁定位置的一个或多个虚拟对象，其中，每个虚拟对象的位置相对于通过透明显示器可观看的真实世界对象看起来是固定的，并且每个虚拟对象的位置相对于透视显示器的佩戴者看起来是可移动的。

HMD设备1000还可以包括：包括捕捉音频数据的一个或多个麦克风(如麦克风1020)的麦克风系统。在其它示例中，音频可以经由一个或多个扬声器(如HMD设备1000上的扬声器1022)呈现给穿戴者。

HMD设备1000还可以包括控制器(如控制器1024)。控制器1024可以包括如下文针对图12更加详细讨论的逻辑子系统和存储子系统，它们与HMD设备1000的各个传感器和系统进行通信。在一个示例中，存储子系统可以包括如下的指令：其可由逻辑子系统执行以接收来自传感器的信号输入，确定HMD设备1000的位姿，以及调整经由透明显示器1004显示的内容的显示属性。

图11A和图11B根据本公开内容的实现示出了用于对显示设备的观看者的估计视线位置进行校准的方法1100的流程图。参考上述和图1-图10中示出的软件和硬件组件提供了对方法1100的以下描述。将明白的是，方法1100还可以使用其它合适的硬件和软件组件在其它上下文中执行。

参考图11A，在1102处，方法1100可以包括：使用来自视线跟踪系统的视线跟踪数据来监测观看者的估计视线位置。在1104处，方法1100可以包括：接收用于经由显示设备显示的图像数据。在1106处，方法1100可以包括：在不使用来自观看者的输入的情况下，在图像数据中识别可以吸引观看者视线的至少一个目标视觉以及该至少一个目标视觉的目标位置。

在1108处，方法1100可以包括：将观看者的估计视线位置与至少一个目标视觉的目标位置进行比较。在1110处，方法1100可以包括：基于估计视线位置和目标位置来计算偏移向量。在1114处，方法1100可以包括：使用偏移向量来校准视线跟踪系统以生成观看者的更新的估计视线位置。在1116处，方法1100可以包括：估计观看者正在注视目标位置的概率。在1120处，方法1100可以包括：使用该概率来计算偏移向量。

现在参考图11B，在1122处，方法1100可以包括：从经由校准API提供图像数据的内容源接收观看者正在注视目标位置的概率。在1124处，方法1100可以包括：使用该概率来计算偏移向量。在1126处，方法1100可以包括：在图像数据是经由校准API从内容源接收到的，并且该图像数据包括与至少一个目标视觉相对应的目标视觉元数据的情况下，使用目标视觉元数据来识别目标位置。

在1128处，方法1100可以包括：在图像数据包括视频并且至少一个目标视觉在目标时间帧期间遍历预定的路径的情况下，在目标时间帧期间监测估计视线位置。在1130处，方法1100可以包括：在目标时间帧期间，在多个时刻，将估计视线位置与至少一个目标视觉的目标位置进行比较。

在1132处，方法1100可以包括：经由第一传感器来接收第一用户输入。在1134处，方法1100可以包括：响应于接收到第一用户输入，经由显示设备在未校准的位置处显示引导视觉。在1136处，方法1100可以包括：经由第二传感器接收第二用户输入。在1140处，方法1100可以包括：使用第二用户输入在与目标位置相对应的校准位置处显示引导视觉。现在参考图11C，在1144处，方法1100可以包括：基于未校准的位置和校准位置来计算偏移向量。

在1148处，方法1100可以从由头部跟踪传感器、深度摄像头、鼠标和触控板构成的组中选择第二传感器。在1150处，方法1100可以包括：建立包括目标视觉的选择区域。在1154处，方法1100可以包括：确定观看者的估计视线位置在选择区域的至少一部分内停留至少停留时间帧。在1158处，方法1100可以包括：基于确定出估计视线位置在选择区域的至少一部分内停留至少停留时间帧，确定观看者在停留时间帧期间正在注视目标视觉的目标位置。

在1162处，方法1100可以包括：在观看者的估计视线位置是初始估计视线位置的情况下，经由显示设备在初始估计视线位置处显示引导视觉。在1166处，方法1100可以包括：确定观看者的更新的估计视线位置。在1170处，方法1100可以包括：在更新的估计视线位置处显示引导视觉，其中，由偏移向量将更新的估计视线位置与估计视线位置隔开。现在参考图11D，在1174处，方法1100可以包括：基于更新的估计视线位置和估计视线位置来计算偏移向量。

在1178处，方法1100可以包括：识别可能吸引观看者的视线的分别与图像数据内的多个目标视觉中的一个目标视觉相对应的多个目标位置。在1182处，方法1100可以包括：确定估计视线位置最靠近与多个目标视觉中的一个目标视觉相对应的多个目标位置中的一个目标位置。在1186处，方法1100可以包括：基于估计视线位置和多个目标位置中的一个目标位置来计算偏移向量。

将明白的是：通过举例的方式提供了方法1100，并且方法1100不意在是限制性的。因此，应当理解的是：方法1100可以包括不同于图11A、图11B、图11C和图11D中示出的那些步骤的额外和/或替代步骤。另外，应当理解的是：可以用任何合适的顺序来执行方法1100。另外，应当理解的是：可以在不脱离本公开内容的范围的前提下从方法1100中省略一个或多个步骤。

图12示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统1200的非限制性示例。计算设备10和计算设备12可以采取计算系统1200的一个或多个方面的形式或包括计算系统1200的一个或多个方面。以简化的形式示出了计算系统1200。应当理解的是：可以在不脱离本公开内容的范围的前提下使用几乎任何计算机架构。在不同的示例中，计算系统1200可以采取下列各项的形式：大型计算机、服务器计算机、桌面式计算机、平板计算机、家庭娱乐计算机、网络计算设备、平板电脑、笔记本电脑、智能电话或其它移动计算设备、移动通信设备、游戏设备等。

如图12所示，计算系统1200包括逻辑子系统1204和存储子系统1208。计算系统1200可以可选地包括传感器子系统1212、显示器子系统1216、通信子系统1220、输入子系统1222和/或图2中未示出的其它子系统和组件。计算系统1200还可以包括计算机可读介质，计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统1200还可以可选地包括其它用户输入设备，例如，键盘、鼠标、游戏控制器和/或触摸屏。另外,在一些实施例中，本文中描述的方法和过程可以实现为计算机应用、计算机服务、计算机API、计算机库和/或包括一个或多个计算机的计算系统中的其它计算机程序产品。

逻辑子系统1204可以包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统1204可以被配置为：执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的一个或多个指令。可以实现这样的指令以执行任务、实现数据类型、转换一个或多个设备的状态或以其它方式达到期望的结果。

逻辑子系统1204可以包括被配置为执行软件指令的一个或多个处理器。另外或替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核的，并且在其上执行的程序可以被配置用于平行或分布式处理。逻辑子系统可以可选地包括在两个或更多个设备中分布的个体组件，其可以位于远处和/或被配置用于协调处理。逻辑子系统的一个或多个方面可以被虚拟化，并且由在云计算配置中配置的可远程访问的联网计算设备执行。

存储子系统1208可以包括一个或多个物理、持久设备，其被配置为保持可由逻辑子系统1204执行以实现本文中描述的方法和过程的数据和/或指令。当实现这样的方法和过程时，存储子系统1208的状态可以变换(例如，变换成保持不同的数据)。

存储子系统1208可以包括可移动介质和/或内置设备。存储子系统1208可以包括光存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)以及其它。存储子系统1208可以包括具有下列特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址以及内容可寻址。

在一些示例中，逻辑子系统1204和存储子系统1208的一些方面可以集成到一个或多个公共设备中，本文中从功能上描述的内容可以通过其至少部分发生。这样的硬件逻辑组件可以包括例如，现场可编程门阵列(FPGA)、程序专用和应用专用集成电路(PASIC/ASIC)、程序专用和应用专用标准产品(PSSP/ASSP)、片上系统(SoC)系统以及复杂可编程逻辑器件(CPLD)。

图12还以可移动计算机可读存储介质1224形式示出了存储子系统1208的方面，其可以用于存储可执行以实现本文中描述的方法和过程的数据和/或指令。可移动计算机可读存储介质1224可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘及其它的形式。

应该明白的是：存储子系统1208包括一个或多个物理、持久设备。相反，在一些实现中，本文中描述的指令的方面可以由不是由物理设备保持至少有限的持续时间的纯信号(例如，电磁信号、光信号等)以瞬时的方式传播。另外，与本公开内容有关的数据和/或其它形式的信息可由纯信号经由计算机可读通信介质传播。

当被包括时，传感器子系统1212可以包括被配置为如上所述感测不同物理现象(例如，可见光、红外光、声音、加速度、方向、位置等)的一个或多个传感器。传感器子系统1212可以被配置为：例如，向逻辑子系统1204提供传感器数据。这样的数据可以包括：视线跟踪信息、图像信息、环境光照信息、深度信息、音频信息、位置信息、运动信息、用户位置信息、和/或可用于执行上述方法和过程的任何其它合适的传感器数据。

当包括时，显示器子系统1216可用于呈现由存储子系统1208保持的数据的可视表示。由于上述方法和过程改变了由存储子系统1208保持的数据，并且因此转换了存储子系统的状态，所以显示器子系统1216的状态同样被转换以便可视地表示底层数据的变化。显示器子系统1216可以包括使用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享外壳中与逻辑子系统1204和/或存储子系统1208组合，或者这样的显示设备可以是外围显示设备。

当被包括时，通信子系统1220可以被配置为：将计算系统1200与一个或多个网络和/或一个或多个其它计算设备通信地耦接。通信子系统1220可以包括可与一种或多种不同通信协议兼容的有线和/或无线通信设备。作为分限制性示例，通信子系统1220可以被配置用于经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等的通信。在一些实施例中，通信子系统可以允许计算系统1200经由网络(如互联网)发送和/或接收去往和/或来自其它设备的消息。

当被包括时，输入子系统1222可以包括一个或多个传感器或用户输入设备(如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标或触摸屏)或与它们对接。在一些实施例中，输入子系统1222可以包括所选择的自然用户输入(NUI)元件部分或与之对接。这样的元件部分可以是集成或外围的，并且输入动作的转换和/或处理可以是在板或离板处理的。示例NUI元件部分可以包括：用于语音和/或声音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度摄像头；头部跟踪器、眼部跟踪器、加速计、和/或用于运动检测和/或意图识别的回转仪；以及用于评估脑活动的电场感应元件部分。

术语“程序”可用于描述被实现为执行一种或多种特定功能的计算设备10和计算设备12的方面。在一些情况下，这样的程序可以经由执行由存储子系统1208保持的指令的逻辑子系统1204来实例化。应当理解的是：不同程序可以从相同应用、服务、码块、对象、库、例程、API、函数等来实例化。同样地，相同程序可由不同应用、服务、码块、对象、例程、API、函数等来实例化。术语“程序”意在包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。

应当理解的是：本文中描述的配置和/或方法在性质上是示例性的，并且这些具体实施例或实例不应该在限制性的意义上考虑，因为许多变体是可能的。本文中描述的具体例程或方法可以表示任意数量的处理策略中的一种或多种。因此，说明的各个动作可以用说明的顺序、用其它顺序、平行地来执行或在一些情况下被省略。同样地，上述过程的顺序可以改变。

本公开内容的发明主题包括各个过程、系统和配置的所有新颖和非显而易见的组合和子组合，以及本文中公开的其它特征、功能、动作和/或属性及它们的任何和所有等价物。

Claims

1.一种用于对显示设备的观看者的估计视线位置进行校准的方法，所述方法包括：

经由所述显示设备来在目标位置处显示至少一个目标视觉(702)；

使用来自视线跟踪系统的视线跟踪数据来监测所述观看者的初始估计视线位置(710)；

接收用于经由所述显示设备进行显示的图像数据；

在不使用来自所述观看者的输入的情况下，在所述图像数据中识别能够吸引所述观看者视线的所述至少一个目标视觉以及所述至少一个目标视觉的所述目标位置；

将所述观看者的所述初始估计视线位置(710)与所述至少一个目标视觉(702)的所述目标位置进行比较；

基于所述初始估计视线位置(710)和所述目标位置来计算第一偏移向量(720)；

经由所述显示设备在所述初始估计视线位置(710)处显示引导视觉(714)；

确定所述观看者的更新的估计视线位置(718)；

基于所述更新的估计视线位置(718)和所述初始估计视线位置(710)来计算第二偏移向量(720’)；

在所述更新的估计视线位置(718)处显示所述引导视觉(714)，其中，所述更新的估计视线位置是由所述第二偏移向量与所述估计视线位置隔开的；以及

使用所述第一偏移向量和所述第二偏移向量(720，720’)来生成后续迭代中的所述观看者的更新的估计视线位置，以校准所述视线跟踪系统。

2.根据权利要求1所述的方法，还包括：

识别多个目标位置，所述多个目标位置中的每一个与所述图像数据内的能够吸引所述观看者的视线的多个目标视觉(702)中的一个目标视觉相对应；

确定所述初始估计视线位置(710)最靠近与所述多个目标视觉(702)中的一个目标视觉相对应的所述多个目标位置中的一个目标位置；

基于所述初始估计视线位置和所述多个目标视觉(702)中的该一个目标视觉来计算所述第一偏移向量。

3.根据权利要求1所述的方法，还包括：

估计所述观看者正在注视所述目标位置的概率；并且

其中，计算所述第一偏移向量和所述第二偏移向量(720，720’)还包括：使用所述概率来计算所述第一偏移向量和所述第二偏移向量(720，720’)。

4.根据权利要求1所述的方法，还包括：

从经由校准应用编程接口提供所述图像数据的内容源接收所述观看者正在注视所述目标位置的概率；并且

5.根据权利要求1所述的方法，其中，所述图像数据是经由校准应用编程接口从内容源接收的，并且所述图像数据包括与所述至少一个目标视觉(702)相对应的目标视觉元数据，并且识别至少一个目标视觉(702)及其目标位置包括：使用所述目标视觉元数据来识别所述目标位置。

6.根据权利要求1所述的方法，其中，所述图像数据包括视频，所述至少一个目标视觉(702)在目标时间帧期间遍历预定的路径，并且所述方法还包括：

在所述目标时间帧期间，监测所述估计视线位置；以及

在所述目标时间帧期间在多个实例处，将所述估计视线位置与所述至少一个目标视觉的所述目标位置进行比较。

7.一种用于对显示设备的观看者的估计视线位置进行校准的计算设备，所述计算设备包括：

由所述计算设备的处理器执行的视线位置校准程序，所述视线位置校准程序被配置为：

使用来自视线跟踪系统的视线跟踪数据来监测所述观看者的初始估计视线位置；

接收用于经由所述显示设备进行显示的图像数据；

在所述图像数据中识别能够吸引所述观看者视线的所述至少一个目标视觉以及所述至少一个目标视觉的所述目标位置；

将所述观看者的所述初始估计视线位置与所述至少一个目标视觉的所述目标位置进行比较；

基于所述初始估计视线位置和所述目标位置，并且基于所述观看者正在注视所述目标位置的概率来计算第一偏移向量；

确定所述观看者的更新的估计视线位置(718)；

在所述更新的估计视线位置(718)处显示所述引导视觉(714)，其中，所述更新的估计视线位置是由所述第二偏移向量(720’)与所述估计视线位置隔开的；以及

使用所述第一偏移向量和所述第二偏移向量(720，720’)来生成所述观看者的更新的估计视线位置，以校准所述视线跟踪系统。

8.根据权利要求7所述的计算设备，其中，所述视线位置校准程序还被配置为：在不使用来自所述观看者的输入的情况下，识别所述图像数据内的所述至少一个目标视觉(702)及其目标位置。

9.根据权利要求7所述的计算设备，其中，所述视线位置校准程序还被配置为：

经由第一传感器接收第一用户输入；

响应于接收到所述第一用户输入，控制所述显示设备在未校准的位置处显示引导视觉；

经由第二传感器接收第二用户输入；

使用所述第二用户输入，控制所述显示设备在与所述目标位置相对应的校准位置处显示所述引导视觉；以及

基于所述未校准的位置和所述校准位置来计算所述第一偏移向量。

10.根据权利要求9所述的计算设备，其中，所述第二传感器是从由头部跟踪传感器、深度摄像头、鼠标和触控板构成的组中选择的。

11.根据权利要求7所述的计算设备，其中，所述视线位置校准程序还被配置为：

建立包括所述目标视觉(702)的选择区域：

确定所述观看者的所述估计视线位置在所述选择区域的至少一部分内停留至少停留时间帧；

基于确定出所述估计视线位置在所述选择区域的至少一部分内停留至少所述停留时间帧，来确定所述观看者在所述停留时间帧期间正在注视所述目标视觉(702)的所述目标位置。