CN106575039A - 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 - Google Patents

具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 Download PDF

Info

Publication number
CN106575039A
CN106575039A CN201580043500.6A CN201580043500A CN106575039A CN 106575039 A CN106575039 A CN 106575039A CN 201580043500 A CN201580043500 A CN 201580043500A CN 106575039 A CN106575039 A CN 106575039A
Authority
CN
China
Prior art keywords
lens
light
camera
flash
spaced apart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580043500.6A
Other languages
English (en)
Other versions
CN106575039B (zh
Inventor
C·M·梅
D·Z·尼斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106575039A publication Critical patent/CN106575039A/zh
Application granted granted Critical
Publication of CN106575039B publication Critical patent/CN106575039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Abstract

公开了涉及确定眼镜透镜的特性的各实施例。一种头戴式显示设备包括通信耦合到计算设备且包含具有中心点的光轴的相机。光源被配置成朝透镜发射光线以产生透镜闪光。光源处于与透镜平面间隔开8mm和12mm之间的偏移距离的光源平面中。光源与垂直于所述光源平面且延伸穿过所述中心点的线垂直间隔开13mm和53mm之间的距离,或者与所述线水平间隔开13mm和80mm之间的距离。透镜表征程序逻辑标识每一透镜闪光的图像位置,并输出包括一个或多个透镜特性的所估计的透镜形状模型。

Description

具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
眼睛跟踪或注视跟踪系统和技术可被用来确定人的注视的方向和/或位置。在一些示例中,光源可以照亮用户的眼睛并且对应的相机可捕捉眼睛的图像。这样的图像可包括来自眼睛的角膜的反射,即“闪光”。来自所捕捉的图像的瞳孔和闪光的位置可被用来确定用户在周围环境中的注视方向和/或位置。
然而,在用户正佩戴眼镜的情形下,眼镜的透镜可更改从用户的眼镜反射的光线的路径。例如,取决于矫正透镜的形状、处方、和/或其他方面,这些透镜可按不同的方式来弯曲光线。光线的路径的这样的更改可以是注视跟踪系统准确地确定闪光和/或瞳孔的位置的能力降级。相应地,所估计的人的注视方向和/或位置的准确度可能受损。
概述
本文公开了与用于确定眼镜的透镜的一个或多个特性的系统和方法相关的各实施例。例如,一个所公开的实施例包括包含框架和装载到该框架的相机的头戴式显示设备。该相机通信耦合到计算设备并且包括包含中心点的光轴。
多个光源被装载到框架并被配置成朝透镜发射光线以产生来自透镜的多个透镜闪光。该多个光源位于与透镜的透镜平面分隔开的光源平面中,其中光源平面与透镜平面隔开8mm和12mm之间的偏移距离。该多个光源(1)与垂直于光源平面且延伸穿过相机的光轴的中心点的线垂直地隔开13mm和53mm之间的垂直光源距离,或者(2)与垂直于光源平面且延伸穿过相机的光轴的中心点的线水平地隔开13mm和80mm之间的水平光源距离。
透镜表征程序逻辑由计算设备的处理器执行并被配置成标识多个透镜闪光中的每一者在由相机捕捉的图像中的图像位置。使用该多个透镜闪光在图像中的图像位置,透镜表征程序逻辑输出所估计的透镜形状模型,包括眼镜的透镜的一个或多个特性。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是根据本公开的示例的用于确定眼镜的透镜的一个或多个特性的系统的示意图。
图2是包括佩戴眼镜的两个用户的房间的示意透视图,其中一个用户还佩戴头戴式显示设备且另一用户持有包括根据本公开的一示例的系统的平板计算机。
图3是根据本公开的示例的用于确定眼镜的透镜的一个或多个特性的系统的示意俯视图。
图4是根据本公开的示例的用于确定眼镜的透镜的一个或多个特性的系统的示意侧视图。
图5是根据本公开的一示例的包括来自眼镜的透镜的透镜闪光的图像的示意图。
图6是根据本公开的另一示例的用于确定眼镜的透镜的一个或多个特性的系统的示意侧视图。
图7是根据本公开的又一示例的用于确定眼镜的透镜的一个或多个特性的系统的示意俯视图。
图8是根据本公开的又一示例的用于确定眼镜的透镜的一个或多个特性的系统的示意俯视图。
图9是根据本公开的又一示例的用于确定眼镜的透镜的一个或多个特性的系统的示意侧视图。
图10是根据本公开的示例的头戴式显示设备的简化示意图。
图11A和11B是根据本公开的实施例的用于确定眼镜的透镜的一个或多个特性的方法的流程图。
图12是计算设备的一实施例的简化示意图。
详细描述
图1示出用于确定眼镜的透镜的一个或多个特性的系统100的一个实现的示意图。系统100包括可被存储在计算设备22的大容量存储18中的透镜表征程序逻辑14。透镜表征程序逻辑14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。
如下文更详细地描述的,系统100包括多个透镜闪光光源32,诸如例如LED光源。在一些示例中,透镜闪光光源32可包括发射红外光的红外光源,诸如红外LED。在其他示例中,透镜闪光光源32可包括发射可见光的可见光源,诸如可见光LED。系统100还可包括一个或多个角膜闪光透镜闪光光源34。与透镜闪光光源32一样,在一些示例中,角膜闪光光源34可包括IR或可见光源,诸如LED。在一些示例中,透镜闪光光源32和/或角膜闪光光源34可包括结构化光源。
如下文更详细地描述的,透镜闪光光源32和角膜闪光光源34可沿向外的光路向佩戴眼镜16的用户10的眼睛发射光。系统100进一步包括被配置成捕获从用户10的眼镜16和眼睛反射和散射的光的图像的一个或多个图像捕捉设备38。将明白,在一些示例中,来自透镜闪光光源32以及来自角膜闪光光源34的光可造成角膜反射。在一些示例中,系统100可以只利用造成透镜闪光54和角膜闪光56两者的透镜闪光光源34,如下文更详细地描述的。
一些图像可被提供给配置成以任何合适的方式确定用户的一只或两只眼睛的注视方向的眼睛跟踪系统40。例如,眼睛跟踪系统40可利用瞳孔的图像和生成角膜闪光的角膜反射来确定瞳孔的中心以及闪光的位置。闪光与瞳孔中心之间的向量可被用来确定眼睛的注视位置。在一些示例中,眼睛跟踪系统40可以利用底层几何模型来估计眼睛的注视方向。
在一个示例中,亮瞳技术可被使用,其中来自角膜闪光光源34的照明光与眼睛的光路同轴,从而导致光由视网膜反射。在另一示例中,暗瞳技术可被使用,其中照明光偏离光路。根据从图像捕捉设备38收集的图像数据确定的角膜闪光和瞳孔的图像可被用来确定每一眼睛的光轴。
使用该信息,眼睛跟踪系统40可确定用户注视的方向和/或用户注视着什么物理对象或虚拟对象。眼睛跟踪系统40可进一步确定用户注视着物理或虚拟对象上的哪点。然后,这样的注视跟踪数据可被提供给计算设备22,并且可根据需要被一个或多个应用或其他程序使用。
在一些示例中,计算设备22、透镜闪光光源32、角膜闪光光源34以及图像捕捉设备38可被集成到共同外壳以形成单个设备。这样的设备可包括但不限于头戴式显示器(HMD)设备、台式计算机、PC、手持智能电话、电子阅读器、膝上型计算机、笔记本和平板计算机、独立显示器等。例如并参考图2,佩戴眼镜206的平板用户202可使用包括系统100的平板210。平板210可包括透镜闪光光源32、角膜闪光光源34以及图像捕捉设备38。在另一示例中并且如下文更详细地描述的,HMD用户220可在他的眼镜上佩戴HMD设备224。
在其他示例中,透镜闪光光源32、角膜闪光光源34以及图像捕捉设备38中的一者或多者可与计算设备22物理上分开并通信耦合到计算设备22。在一个示例中,透镜闪光光源32、角膜闪光光源34以及图像捕捉设备38可位于台式显示器中,并且可在分开的组件中(诸如游戏控制器)经由有线或无线连接来通信耦合到计算设备22。将明白,具有各种形状因子的许多其他类型和配置的系统10也可被使用并且在本公开的范围内。
计算设备22可采用以下形式:台式计算设备,诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备,网络计算机,家庭娱乐计算机,交互式电视,游戏系统,或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图12更详细地描述。
现在还参考图3-11,现在将提供系统100的示例实现的描述。在图3中示意性地示出的一个示例中,IMD用户220可佩戴眼镜304以及在眼镜上的包括系统系统100的头戴式显示器(HMD)设备224。
HMD设备224可包括被支撑在用户的左眼326和右眼318以及眼镜304前方的透明、半透明或非透明显示器312。在一些示例中,HMD设备224可创建增强现实或混合现实环境并将其显示给用户220,增强现实或混合现实环境包括被显示在透过该设备查看的物理环境中的一个或多个现实世界对象之间的一个或多个计算机生成的图像。计算机生成的图像可包括三维(3D)全息图像、二维(2D)图像或经由HMD设备224生成并显示的其他形式的虚拟图像。HMD设备224可由此使得用户220能够在围绕观察者的物理环境内查看这样的计算机生成的图像。
如下面更详细地描述的,HMD设备224可包括从物理环境接收物理环境数据的各种传感器和相关的系统。例如,HMD设备224可包括深度传感器系统,该深度传感器系统包括从在周围的物理环境中的现实世界对象生成深度图像数据的一个或多个深度相机。在一些示例中,HMD设备224可包括使用至少一个面朝外的传感器(诸如RGB相机或其他光学传感器)的光学传感器系统。该面朝外的传感器可从物理环境中的现实世界对象捕捉二维图像信息。HMD设备224还可包括位置传感器系统,该位置传感器系统包括一个或多个加速度计、陀螺仪、头部跟踪系统和/或用于确定用户的位置或定向的其他传感器。
在一些示例中,HMD设备224可包括换能器系统,该换能器系统包括将电信号转换成另一形式的能量的一个或多个致动器。换能器系统可包括用于向观察者提供音频反馈的一个或多个扬声器。在其他示例中,换能器系统可包括一个或多个触觉换能器,该触觉换能器用于生成触觉反馈(诸如振动)并将其提供给观察者。HMD设备224还可包括话筒系统以及一个或多个话筒,以用于接收来自物理环境的音频输入。
图3中例示的示例HMD设备224可包括被集成进HMD设备中的计算设备22。将理解,在其他示例中,计算设备22可以是与HMD设备224分开的单独组件。具有各种形状因子的许多类型和配置的HMD设备也可被使用并且落在本公开的范围内。以下参考图10提供了示例HMD设备的更详细的描述。
继续参考图1和3,HMD设备224包括框架320,相机形式的图像捕捉设备38被装载到框架320。如图3所示,在这一示例中,一个相机324被提供以捕捉左眼316和左透镜330的图像46,并且另一相机326被提供以捕捉右眼318和右透镜334的图像。相机324和326通信耦合到计算设备22。将明白,在其他示例中,单个相机或者3个或更多相机可被用来捕捉眼睛和透镜的图像。在一些示例中,左透镜330和右透镜334可具有x轴方向上的50mm宽度以及y轴方向上的30mm高度。
图4提供左眼316和图3所示的示例HMD设备224的对应左侧部分的示意侧视图。参考左透镜330和HMD设备的相关左侧组件以及这些组件的对应几何关系和相对位置来提供图3和4中示出的示例的以下描述。将明白,各组件的组件配置、几何关系以及相对位置的这些描述也适用于HMD设备224的右侧组件,如图3中示意性地解说的。
类似地,参考左透镜330和HMD设备的相关左侧组件以及这些组件的对应几何关系和相对位置来提供图5-9中示出的示例的以下描述。各组件的组件配置、几何关系以及相对位置的这些描述也适用于HMD设备的右侧组件以及以上讨论的系统100的其他潜在配置。
在图3和4的示例中,2个角膜闪光光源336和338被装载在HMD设备224的框架320上并被配置成发射撞击在左眼316的角膜340上而没有穿过左透镜330的光线。相应地并且在本公开的一个潜在优点中,这2个角膜闪光光源336和338被置于框架320上以提供角膜340的反射并防止左透镜330的反射。在这一示例中,这些光线从角膜340反射、穿过左透镜330并到达相机324。以此方式,这样的光线产生来自角膜340的角膜闪光56,这可由眼睛跟踪系统40用来生成眼睛跟踪数据,如上所述。
如图4中示意性地示出的,并且为了提供角膜340的反射同时避免左透镜330的反射,角膜闪光光源336可被置于框架320上由弧342限定的区域内。类似地,角膜闪光光源338可被置于框架320上由弧344限定的区域内。在一些示例中,由弧344限定的区域可通过从相机324发射掠过左透镜330的底边缘362并撞击在眼睛316的角膜340上的定界光线来被限定。角膜的反射349随后将限定用于放置LED的区域。可遵循类似过程来确立由弧342限定的区域。
将明白,从透镜闪光光源348、350和/或角膜闪光光源336、338发射并从角膜340反射且随后穿过左透镜330的光线将由透镜的光学特性所更改。如上所述,这样的更改可使眼睛跟踪系统40准确地确定角膜闪光56和/或眼睛瞳孔的位置的能力降级。所估计的人的注视方向和/或位置的准确度可能相应地受损。
将明白,在一些示例中,由一个或多个角膜闪光光源34发射的光线可反射离开角膜并由图像捕捉设备38接收到,而没有穿过用户所佩戴的眼镜的透镜。在这些示例中,一个或多个其他角膜闪光光源34可以发射从角膜反射离开并在穿过眼镜的透镜之后被图像捕捉设备38接收到的光线。
在图3和4的示例中且在本公开的一个潜在优点中,4个透镜闪光光源348、350、352和354被装载在HMD 224的左侧且被配置成朝左透镜330发射光线以产生来自透镜的透镜闪光54。如图4中示意性地示出的,并且为了提供左透镜330的反射,透镜闪光光源348、350、352以及354中的每一者可以位于框架320上由弧360限定的区域内。如图4所示,左透镜330包括从左眼316面向外的外表面356以及面向左眼的内表面358。相应地,这4个透镜闪光光源348、350、352和354可被置于框架320上以发射从左透镜330的外表面356和内表面358两者反射以产生可由相机324接收的8个透镜闪光54的光线。
图5是由相机324捕捉且示出了左眼316、左透镜330(示意性地表示为矩形)以及由4个透镜闪光光源348、350、352和354产生的8个透镜闪光54的图像500的示意图。在图像500中,8个透镜闪光54被示出在左透镜330上的各个位置处。将明白,透镜闪光54的形状和位置可基于左透镜330的一个或多个特性而改变。这样的特性可至少部分地限定所估计的透镜形状模型12。
例如,左透镜330的外表面356和内表面358的曲率60以及这两个曲率的关系(透镜形式)可以影响透镜闪光54的形状和位置。左透镜330的其他特性可包括但不限于透镜的光功率64、透镜的折射率68、透镜的位置72以及透镜的厚度。透镜的光功率表达透镜会聚或发散光的程度。透镜的折射率描述光如何传播通过透镜。透镜的位置可描述透镜相对于相机324和/或邻近眼睛316的位置。
利用由相机324捕捉的图像500,系统100的透镜表征程序逻辑14可被配置成标识该图像中透镜闪光54的每一者的图像位置。使用这些图像位置,透镜表征程序逻辑14可被配置成确定并输出所估计的透镜形状模型12,包括眼镜304的左透镜330的一个或多个特性。
在一个示例中,透镜表征程序逻辑14可被配置成使用左透镜330的一个或多个预定种子特性76来确定透镜闪光54的预测位置。换言之,透镜表征程序逻辑14可以使用左透镜330的一个或多个预定种子特性76来生成被用来确定预测位置的初始所估计的透镜形状模型。在一些示例中,预定种子特性76可包括左透镜330的部分球面曲率80。在其他示例中,预定种子特性76可包括左透镜330的部分环面曲率84。在预定种子特性76包括左透镜330的部分环面曲率84的情况下,用于确定每一透镜闪光54的预定位置的计算资源可被降低。
其他预定种子特性可包括但不限于透镜的光功率64’、透镜的折射率68’、以及透镜的位置72’。透镜的光功率可包括但不限于圆柱功率。在一些示例中,透镜表征程序逻辑14还可被配置成确立与Tscherning椭圆相对应的左透镜330的外表面356和内表面358的曲率60之间的关系。
如上所述,透镜表征程序逻辑14可被配置成使用左透镜330的一个或多个预定种子特性76来确定透镜闪光54的预测位置。透镜表征程序逻辑14随后可计算透镜闪光54的预测位置中的每一者与图像500中的透镜闪光的各图像位置中的对应一个图像位置之间的误差。例如,预测位置的预测像素位置可以与图像500中对应透镜闪光50的实际像素位置相比较。
透镜表征程序逻辑14随后可迭代地最小化这样的误差以针对左透镜330的一个或多个特性进行优化并由此生成所估计的透镜形状模型12。在一个示例中,误差可使用回归分析(诸如,最小二乘法)被迭代地最小化。在其他示例中,可生成左透镜330的全参数表征。在这样的示例中,5个或更多个透镜闪光光源32可被利用以产生10个或更多个透镜闪光54。
透镜表征程序逻辑14可被配置成接收来自相机324的包括由角膜闪光光源336和338生成的角膜闪光56的另一图像46。使用这一图像46,透镜表征程序逻辑14可以确定在该另一图像46中角膜闪光56中的每一者的初始位置。使用所估计的透镜形状模型12,透镜表征程序逻辑14可以将角膜闪光56中的每一者的位置调整为将左透镜330对生成角膜闪光的光线的影响纳入考虑的经调整位置。透镜表征程序逻辑14随后可以将角膜闪光56中的每一者的经调整位置输出给眼睛跟踪系统40。以此方式,透镜表征程序逻辑14可以校正左透镜330对生成在相机324处接收到的角膜闪光的光线的影响,并且因此向眼睛跟踪系统40提供更准确的数据。
还将明白,系统100所生成的所估计的透镜形状模型12可被用在各种应用中(作为眼睛跟踪系统的补充或替换)。例如,系统100可以将所估计的透镜形状模型12输出给虹膜识别系统,它可利用该模型来合成眼睛的“眼镜不变”图像。
图3和4示意性地解说了透镜闪光光源348、350、352以及354,角膜闪光光源336和338,以及用于创建如上所述的透镜闪光54和角膜闪光56的相机324之间的相对位置关系的一个示例配置。如图4的示例中所示,透镜闪光光源348、350、352以及354可以位于与左透镜330的透镜平面408平行的光源平面404中。在一些示例中且如图4所示,透镜平面408可以在x-y空间中延伸穿过左透镜330的中心点。例如,在左透镜330具有50mm宽度和30mm高度的情况下,该透镜的中心点可位于距该透镜的任一侧边缘25mm且距该透镜的顶或底边缘15mm处。在一些示例中,光源平面404可在z轴方向上与透镜平面408隔开8mm和30mm之间的偏移距离LSP。
在一些示例中,透镜平面408可具有与左透镜330的外表面356相匹配的曲率,且光源平面404可具有匹配或遵循透镜平面的曲率的曲率。在一些示例中,透镜闪光光源中的一者或多者可不位于光源平面404上,假定这样的光源与透镜隔开如以上在图4中描述和示出的偏移距离LSP,或者隔开如在下文更详细地描述的图6-9的示例中示出的偏移距离LSP。
在图4的示例中,偏移距离LSP可以是30mm,且相机324的光轴420的中心点416也可位于光源平面404中且在左透镜330的底边缘362下方10mm的距离C处。另外,透镜闪光光源348、350、352以及354中的每一者可在y轴方向上与线412垂直间隔开13mm和80mm之间的垂直光源距离,线412垂直于光源平面404且延伸穿过中心点416。例如,透镜闪光光源348可在y轴方向上与线412垂直间隔开13mm的垂直光源距离V1,且透镜闪光光源354可在y轴方向上与线412垂直间隔开80mm的垂直光源距离V2。
在图4的示例中,角膜闪光光源可在y轴方向上与线412垂直间隔开小于13mm或大于80mm的垂直光源距离。在图4的示例中,角膜闪光光源336在y轴方向上与线412垂直间隔开大于80mm垂直光源距离V2的垂直光源距离。角膜闪光光源336在负y轴方向上与线412垂直间隔开小于13mm垂直光源距离V1的垂直光源距离。如在该示例中所示,角膜闪光光源338位于相机324下方。另外,角膜闪光光源336与光源平面404在负z轴方向上间隔开。在其他示例中,角膜闪光光源336可以与光源平面404共面。
如上所述,图4是系统100的示意侧视图。在一些示例中,透镜闪光光源348、350、352以及354中的每一者可在正x轴方向上与相机324的中心点416水平间隔开50mm的最大距离。在一些示例中,透镜闪光光源348、350、352以及354中的每一者可在x轴方向上与中心点416相等地间隔开。在其他示例中,透镜闪光光源348、350、352以及354中的每一者可在x轴方向上与中心点416间隔开不同距离。
现在参考图6,提供了根据本公开的另一示例的系统100的示意侧视图。在这一示例中,6个透镜闪光光源602、604、606、608、610以及612可被利用且可位于与左透镜330的透镜平面408平行的光源平面404中。在这一示例中,光源平面404可在z轴方向上与透镜平面408隔开8mm和12mm之间的偏移距离LSP。
在一些示例中,光源平面404可在z轴方向上与透镜平面408隔开10mm的偏移距离LSP。相机324可在z轴方向上与光源平面404间隔开20mm,且可在z轴方向上与透镜平面408间隔开30mm。相机324还可位于左透镜330的底边缘362下方10mm的距离C处。另外,透镜闪光光源602、604、606、608、610以及612中的每一者可在y轴方向上与线412垂直间隔开13mm和53mm之间的垂直光源距离,线412垂直于光源平面404且延伸穿过相机324的光轴420的中心点416。例如,透镜闪光光源602可在y轴方向上与线412垂直间隔开13mm的垂直光源距离V1,且透镜闪光光源612可在y轴方向上与线412垂直间隔开53mm的垂直光源距离V2。
在图6的示例中,可不利用分开的角膜闪光光源。在这一示例中,从一个或多个透镜闪光光源602、604、606、608、610以及612发射的光可行进穿过透镜330,反射离开角膜340,并由相机324接收。如上所述,图6是系统100的示意侧视图。在一些示例中,透镜闪光光源602、604、606、608、610以及612中的每一者可在正x轴方向上与相机324的中心点416水平间隔开50mm的最大距离。在一些示例中,透镜闪光光源602、604、606、608、610以及612中的每一者可在x轴方向上与中心点416相等地间隔开。在其他示例中,透镜闪光光源602、604、606、608、610以及612中的每一者可在x轴方向上与中心点416间隔开不同距离。另外,在一些示例中,相机324可位于佩戴HMD设备224的用户的鼻子附近“鼻相机位置”处。
现在转向图7,提供了根据本公开的另一示例的系统100的示意俯视图。在这一示例中,4个透镜闪光光源702、704、706以及708可被利用且可位于与左透镜330的透镜平面408平行的光源平面404中。在这一示例中,光源平面404可在z轴方向上与透镜平面408隔开30mm的偏移距离LSP。
相机324可以与光源平面404共面。相机324还可位于在负x轴方向上距左透镜330的侧边缘370 10mm的距离C处。另外,透镜闪光光源702、704、706和708中的每一者可在x轴方向上与线412水平间隔开20mm和120mm之间的水平光源距离,线412垂直于光源平面404且延伸穿过相机324的光轴420的中心点416。例如,透镜闪光光源702可在x轴方向上与线412水平间隔开20mm的水平光源距离H1,且透镜闪光光源708可在x轴方向上与线412水平间隔开120mm的水平光源距离H2。
在图7的示例中,角膜闪光光源可在x轴方向上与线412水平间隔开小于20mm或大于120mm的水平光源距离。在图7的示例中,角膜闪光光源720在x轴方向上与线412水平间隔开大于120mm水平光源距离H2的水平光源距离。角膜闪光光源724在负x轴方向上与线412水平间隔开小于13mm水平光源距离H1的水平光源距离。如在该示例中所示,角膜闪光光源724位于相机324侧方。
如上所述,图7是系统100的示意俯视图。在一些示例中,透镜闪光光源702、704、706以及708中的每一者可在正y轴方向上与相机324的中心点416垂直间隔开30mm的最大距离。在一些示例中,透镜闪光光源702、704、706以及708中的每一者可在y轴方向上与中心点416相等地间隔开。在其他示例中,透镜闪光光源702、704、706以及708中的每一者可在y轴方向上与中心点416间隔开不同距离。
现在参考图8,提供了根据本公开的另一示例的系统100的示意俯视图。在这一示例中,2个透镜闪光光源802和804可被利用且可位于与左透镜330的透镜平面408平行的光源平面404中。在这一示例中,光源平面404可在z轴方向上与透镜平面408隔开100mm的偏移距离LSP。
相机324可在z轴方向上与光源平面404间隔开20mm,且可在z轴方向上与透镜平面408间隔开30mm。相机324还可位于在x轴方向上距左透镜330的侧边缘370 10mm的距离C处。另外,透镜闪光光源802和804中的每一者可在x轴方向上与线412水平间隔开13mm和80mm之间的水平光源距离,线412垂直于光源平面404且延伸穿过相机324的光轴420的中心点416。例如,透镜闪光光源802可在x轴方向上与线412水平间隔开13mm的水平光源距离H1,且透镜闪光光源804可在x轴方向上与线412水平间隔开80mm的水平光源距离H2。
在图8的示例中,角膜闪光光源34可在x轴方向上与线412水平间隔开小于13mm或大于80mm的水平光源距离。在图8的示例中,角膜闪光光源810在x轴方向上与线412水平间隔开大于80mm水平光源距离H2的水平光源距离。角膜闪光光源812在负x轴方向上与线412水平间隔开小于13mm水平光源距离H1的水平光源距离。如在该示例中所示,角膜闪光光源812位于相机324侧方。
如上所述,图8是系统100的示意俯视图。在一些示例中,透镜闪光光源802和804中的每一者可在正y轴方向上与相机324的中心点416垂直间隔开30mm的最大距离。在一些示例中,透镜闪光光源802和804中的每一者可在y轴方向上与中心点416相等地间隔开。在其他示例中,透镜闪光光源802和804中的每一者可在y轴方向上与中心点416间隔开不同距离。
现在参考图9,提供了根据本公开的另一示例的系统100的示意侧视图。在这一示例中,反向光路可被用来将来自左透镜330和角膜340的光线引导到相机324。例如,热镜904可被配置成将相机324的光轴420对齐以与眼睛316的光轴基本上同轴,如图9示意性地解说的。在这一示例中,光轴420的中心点416可位于热镜904上。将明白,利用将相机324的光轴420对齐以与眼睛316的光轴基本上同轴的其他组件(诸如波导、棱镜、光楔,等等)的反向光路的其他配置也可被使用并且在本公开的范围内。另外且在一些示例中,相机324的光轴420可在正或负y轴方向上与眼睛316的光轴呈角偏移,例如10度或更少。
在这一示例中且如上所述,左透镜330可具有x轴方向上的50mm宽度以及y轴方向上的30mm高度。另外,4个透镜闪光光源910、912、914以及916可被利用且可位于与左透镜330的透镜平面408平行的光源平面404中。在这一示例中,光源平面404可在z轴方向上与透镜平面408隔开50mm的偏移距离LSP。
光轴420的中心点416可以与光源平面404共面。另外,透镜闪光光源910、912、914以及916中的每一者可在y轴方向上与线412垂直间隔开不大于50mm的垂直光源距离,线412与光轴420共面。例如,透镜闪光光源912和914中的每一者可在y轴方向上与线412间隔开10mm的垂直光源距离V3,且透镜闪光光源910和916可在y轴方向上与线412间隔开50mm的垂直光源距离V4。
在图9的示例中,角膜闪光光源可在y轴方向上与线412垂直间隔开大于50mm的垂直光源距离。在图9的示例中,角膜闪光光源920和924两者在y轴方向上与线412间隔开大于50mm的距离V4的垂直光源距离。
如上所述,图9是系统100的示意侧视图。在一些示例中,透镜闪光光源910、912、914以及916中的每一者可在x轴方向上与相机324的中心点416水平间隔开30mm的最大距离。在一些示例中,透镜闪光光源910、912、914以及916中的每一者可在x轴方向上与中心点416相等地间隔开。在其他示例中,透镜闪光光源910、912、914以及916中的每一者可在x轴方向上与中心点416间隔开不同距离。
将明白,在上述示例中的任一者中,本公开的系统100可以利用2、3、4、5、6或任何合适数目的透镜闪光光源32。
将明白,在一些示例中,眼镜透镜的反射更强且可遮蔽眼睛的角膜的反射。相应地且在一些示例中,透镜闪光光源可按启用透镜闪光和角膜闪光之间的经平衡的折中的方式循环开启/关闭,并从而促进对准确角膜闪光数据的获取。
现在参考图10,提供了一副具有透明显示器的可配戴眼镜形式的HMD设备1000的一个示例。将理解,在其他示例中,HMD设备1000可以采用其他合适的形式,其中透明、半透明和/或不透明显示器被支承在观察者的一只或两只眼睛前方。还将理解,图2中所示的HMD设备224可以采用HMD设备1000(如在下文更详细地描述的)或任何其他合适的HMD设备的形式。
HMD设备1000包括显示系统10002和使得诸如全息物体之类的图像能被递送到HMD设备的佩戴者的眼睛的透视或透明显示器1004。透明显示器1004可被配置成向透过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界、物理环境的外观。例如,物理环境的外观可以通过经由透明显示器1004呈现的图形内容(例如,一个或多个像素,每一像素具有相应色彩和亮度)来增强以创建经增强的现实环境。
透明显示器1004还可被配置成使HMD设备的佩戴者能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理、现实世界对象。在一些示例中,透明显示器1004可包括位于透镜1006内的图像生成元件(诸如举例而言,透视有机发光二极管(OLED)显示器)。作为另一示例,透明显示器1004可包括在透镜1006边缘上的光调制器。在该示例中,透镜1006可用作用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于佩戴者正在查看的物理环境内的3D全息图像,同时还允许佩戴者查看物理环境中的物理对象,从而创建经增强的现实环境。
HMD设备1000还可包括各种传感器和相关系统。例如,HMD设备1000可包括眼镜跟踪系统10008,眼镜跟踪系统1508包括被配置成从佩戴者的眼睛获取注视跟踪数据形式的图像数据的一个或多个图像传感器。如果佩戴者已同意获取和使用该信息,眼镜跟踪系统10008则可使用该信息来跟踪佩戴者的眼睛的位置和/或移动。在一个示例中,眼睛跟踪系统10008包括被配置成检测佩戴者的每一只眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成如上所述或以任何合适的方式确定佩戴者的每一只眼睛的注视方向。
HMD设备1000还可包括从物理环境接收物理环境数据的传感器系统。例如,HMD设备1000还可包括使用一个或多个姿态传感器(诸如HMD设备1000上的姿态传感器1016)来捕捉头部姿势数据并从而允许佩戴者头部的位置跟踪、方向/位置以及朝向感测和/或运动检测的头部跟踪系统10014。因此,并如上所述,头部跟踪系统10014可从姿态传感器1016接收传感器数据,该姿态传感器允许在三个自由度上估计HMD设备1000的朝向或在六个自由度上估计HMD设备的位置和朝向。
在一个示例中,头部跟踪系统10014可包括被配置成三轴或三自由度的位置传感器系统的惯性测量单元(IMU)。该示例位置传感器系统可例如包括用于指示或测量HMD设备1000在3D空间内绕三个正交轴(例如,x、y和z,或翻滚、俯仰和偏航)的朝向的变化的三个陀螺仪。从IMU的传感器信号导出的定向可被用来经由透明显示器1004来显示具有身体锁定位置的一个或多个虚拟对象,其中每个虚拟对象的位置相对于透视显示器的佩戴者而言看上去是固定的,并且每个虚拟对象的位置相对于物理环境中的现实世界对象看上去是可移动的。
在另一示例中,头部跟踪系统10014可包括被配置成六轴或六自由度的位置传感器系统的IMU。该示例位置传感器系统可例如包括用于指示或测量HMD设备1000沿三个正交轴的位置变化和绕该三个正交轴的设备朝向变化的三个加速度计和三个陀螺仪。
头部跟踪系统10014还可支持其他合适的定位技术,诸如GPS或其他全球导航系统。此外,尽管描述了位置传感器系统的具体示例,但将理解,任何其他合适的位置传感器系统可被使用。例如,头部姿势和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定,包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、GPS设备、气压计、磁力计、相机(例如,可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如,WIFI天线/接口)等。
在一些示例中,HMD设备1000还可包括使用一个或多个面朝外的传感器(诸如HMD设备1000上的光学传感器1018)来捕捉图像数据的光学传感器系统。面朝外的传感器可检测其视野内的移动,诸如视野内的由佩戴者或由人或物理对象所执行的基于姿势的输入或其他移动。面朝外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如,该面朝外的传感器可包括深度相机、可见光相机、红外光相机,和/或位置跟踪相机。
光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中,每个深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间解析图像可与彼此配准和/或与来自另一光学传感器(诸如可见光谱相机)的图像配准,并且可被组合以产生深度解析视频。
在其他示例中,结构化光深度相机可被配置成投射结构化红外照明,并且对从照明被投射到其之上的场景所反射的该照明进行成像。可基于所成像的场景的各个区域内邻近特征之间的间隔来构造该场景的深度图。在其他示例中,深度相机可采用飞行时间深度相机的形式,其被配置成将脉冲式红外照明投射到场景上并且检测从该场景被反射的照明。例如,照明可由红外光源1020提供。将理解,在本公开的范围内可使用任何其他合适的深度相机。
面朝外的传感器可捕捉HMD设备的佩戴者位于其中的物理环境的图像。关于HMD设备1000,在一个示例中,增强现实显示增强程序可包括使用这样的捕获图像来生成对HMD设备的佩戴者周围的物理环境进行建模的虚拟环境的3D建模系统。在一些实施例中,光学传感器1018可与IMU合作以在六个自由度上确定HMD设备1000的位置和方向。这样的位置和朝向信息可被用来经由透明显示器1004来显示具有世界锁定位置的一个或多个虚拟对象,其中每个虚拟对象的位置相对于通过透明显示器可见的现实世界对象而言看上去是固定的,并且每个虚拟对象的位置相对于透视显示器的佩戴者而言看上去是可移动的。
HMD设备1000还可包括话筒系统,该话筒系统包括捕捉音频数据的一个或多个话筒,诸如话筒1022。在其他示例中,音频可经由一个或多个扬声器(诸如HMD设备1000上的扬声器1024)被呈现给佩戴者。
HMD设备1000还可包括控制器,诸如控制器1026。如下文参考图12更详细地讨论的,控制器1026可包括与HMD设备1000的各种传感器和系统进行通信的逻辑子系统和存储子系统。在一个示例中,存储子系统可包括能由逻辑子系统执行以接收来自传感器的输入、确定HMD设备1000的姿势以及调整经由透明显示器1004所显示的内容的显示属性的指令。
图11A和11B解说了根据本公开的一实施例的用于导航视觉元素的分层结构的方法1100的流程图。参考以上所描述的并在图1-10中示出的系统100的软件和硬件组件来提供方法1100的以下描述。将理解,方法1100还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图11A,在1104,方法1100可包括从相机接收包括由眼镜的透镜所产生的多个透镜闪光的图像,其中该多个透镜闪光包括由位于与透镜的透镜平面间隔开的光源平面中的多个光源发射的光线,该光源平面与透镜平面间隔开8mm和12mm之间的偏移距离,该多个光源(1)与垂直于光源平面且延伸穿过相机的光轴的中心点的线垂直间隔开13mm和53mm之间的垂直光源距离,或者(2)与垂直于光源平面且延伸穿过相机的光轴的中心点的线水平间隔开13mm和80mm之间的水平光源距离。
在1108,方法1100可包括标识从相机接收到的图像中的多个透镜闪光中的每一者的图像位置。在1112,方法1100可包括使用多个透镜闪光在图像中的图像位置来输出包括眼镜的透镜的一个或多个特性的所估计的透镜形状模型。在1116,光源平面可与透镜平面间隔开30mm的偏移距离,且多个光源可(1)与垂直于光源平面且延伸穿过相机的光轴的中心点的线垂直间隔开20mm和80mm之间的垂直光源距离,或者(2)与垂直于光源平面且延伸穿过相机的光轴的中心点的线水平间隔开20mm和120mm之间的水平光源距离。
在1120,眼镜的透镜的一个或多个特性可包括透镜的光功率、透镜的折射率、透镜的曲率、透镜的位置、以及透镜的厚度中的至少一者。在1124,相机的光轴的中心点可与眼镜的透镜水平间隔开30mm。在1128,方法1100可包括使用透镜的一个或多个预定种子特性来确定多个透镜闪光中的每一者的预测位置。在1132,透镜的一个或多个预定种子特性可包括透镜的部分球面曲率或透镜的部分环面曲率。
现在参考图11B,在1136,方法1100可包括计算多个透镜闪光的预测位置中的每一者与该多个透镜闪光在图像中的诸图像位置中的对应一个图像位置之间的误差。在1140,方法1100可包括迭代地最小化该误差以针对眼镜的透镜的一个或多个特性进行优化,并从而生成所估计的透镜形状模型。
在1144,方法1100可包括,在该多个透镜闪光由眼镜的透镜在相对于相机的第一透镜位置处产生并且图像位置是初始图像位置的情况下,从相机接收包括由眼镜的透镜所产生的附加透镜闪光的一个或多个附加图像,其中附加透镜闪光由眼镜的透镜在相对于相机的第二透镜位置(它不同于第一透镜位置)处产生。例如,系统100可向用户提供命令以移动眼镜,此后相机可捕捉该一个或多个附加图像。在其他示例中,透镜闪光光源可相对于透镜移动,使得光线在相对于相机的第二透镜位置处创建附加透镜闪光。
在1148,方法1100可包括标识从相机接收到的一个或多个附加图像中的附加透镜闪光中的每一者的附加图像位置。在1152,方法1100可包括使用附加透镜闪光的附加图像位置和该多个透镜闪光的初始位置来输出包括眼镜的透镜的一个或多个特性的所估计的透镜形状模型。
在1156,多个光源可以是与垂直于光源平面且延伸穿过相机的光轴的中心点的线垂直间隔开13mm和53mm之间的垂直光源距离的透镜闪光光源,且一个或多个角膜闪光光源可与垂直于光源平面且延伸穿过相机的光轴的中心点的线垂直间隔开小于13mm或大于53mm的角膜闪光光源距离。在1160,方法1100可包括接收包括由一个或多个角膜闪光光源生成的一个或多个角膜闪光的另一图像。在1164,方法1100可包括确定一个或多个角膜闪光的位置。在1168,方法1100可包括使用所估计的透镜形状模型来将一个或多个角膜闪光中的每一者的位置调整成经调整位置。在1172,方法1100可包括将一个或多个角膜闪光中的每一者的经调整位置输出给眼睛跟踪系统。
将理解,方法1100是以举例方式提供的,并且不旨在为限制性的。因此,将理解,方法1100可包括相比于图11A和11B中示出的那些步骤而言附加的和/或替换的步骤。并且,应当理解,方法1100可以以任何合适的顺序来执行。此外,应当理解,在不脱离本公开的范围的情况下,可以从方法1100中省略一个或多个步骤。
图12示意性地示出了可执行一个或多个上述方法和过程的计算系统1200的非限制性实施例。计算设备22可采用计算系统1200的形式或包括计算系统1200的一个或多个方面。以简化形式示出了计算系统1200。应当理解,在不脱离本公开的范围的情况下,实际上可使用任何计算机架构。在不同的实施例中,计算系统1200可采用大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
如图12所示,计算系统1200包括逻辑子系统1204、存储子系统1208、以及传感器子系统1212。计算系统1200可任选地包括显示子系统1216、通信子系统1220、输入子系统1222和/或在图12中未示出的其他子系统和组件。计算系统1200还可包括计算机可读介质,其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统1200还可以任选地包括其他用户输入设备,诸如例如键盘、鼠标、游戏控制器,和/或触摸屏等等。此外,在某些实施例中,本文所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库,和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统1204可包括被配置成执行一个或多个指令的一个或多个物理设备。例如,逻辑子系统1204可被配置成执行一个或多个指令,该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、程序逻辑或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统1204可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地,逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统的处理器可以是单核或多核,并且在其上执行的程序可被配置成用于并行或分布式处理。逻辑子系统可任选地包括遍布两个或更多个设备分布的独立组件,该设备可被远程定位和/或被配置成用于进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统1208可包括被配置成保持可由逻辑子系统1204执行以实现本文所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现这样的方法和过程时,存储子系统1208的状态可以被变换(例如,以保持不同的数据)。
存储子系统1208可包括可移动介质和/或内置设备。存储子系统1208可包括光学存储设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁性存储设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统1208可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址,以及内容可寻址。
在一些实施例中,可以将逻辑子系统1204和存储子系统1208的各方面集成在一个或多个常见设备中,通过该一个或多个常见设备,可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括:例如,现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图12还示出以可移动计算机可读存储介质1224形式的存储子系统1208的一方面,该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质1224可采用CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等形式。
应当理解的是,存储子系统1208包括一个或多个物理持久设备。相比之下,在一些实施例中,本文中所描述的指令的各方面可通过纯信号(例如,电磁信号、光信号等)以暂态方式传播,该纯信号在至少有限持续时间内不由物理设备保持。此外,与本公开有关的数据和/或其他形式的信息可经由计算机可读通信介质通过纯信号来传播。
如上所述,传感器子系统1212可包括被配置成感测不同的物理现象(例如,可见光、红外光、声音、加速度、定向、位置等)的一个或多个传感器。传感器子系统1212例如可被配置成向逻辑子系统1204提供传感器数据。这样的数据可包括图像信息、环境光信息、深度信息、音频信息、位置信息、运动信息,用户位置信息,和/或可被用来执行上述方法和过程的任何其他合适的传感器数据。
当被包括时,显示子系统1216可被用来呈现由存储子系统1208保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统1208保持的数据,并由此变换了存储子系统的状态,因此同样可以转变显示子系统1216的状态以在视觉上表示底层数据的改变。显示子系统1216可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统1204和/或存储子系统1208组合在共享封装中,或此类显示设备可以是外围显示设备。
当被包括时,通信子系统1220可被配置成将计算系统1200与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统1220可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统1220可被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中,通信子系统可允许计算系统1200经由诸如互联网之类的网络发送消息至其他设备和/或从其他设备接收消息。
当被包括时,输入子系统1222可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或者与它们对接。在某些实施例中,输入子系统1222可包括所选的自然用户输入(NUI)部件或者与其对接。这样的部件可以是集成的或外围的,并且输入动作的转换和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒;用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机;用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪;以及用于评估脑部活动的电场感测部件。
术语“程序逻辑”可用于描述被实现来执行一个或多个特定功能的系统100的一方面。在某些情况下,可以经由逻辑子系统1204执行存储子系统1208所保持的指令来实例化这样的程序逻辑。将理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序逻辑。同样,相同的程序逻辑可以由不同的应用、服务、代码块、对象、例程、API、功能等来实施例化。术语“程序逻辑”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解,此处所述的配置和/或方法在本质上是示例性的,并且这些具体实施例或示例不应被认为是局限性的,因为多个变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此,所例示的各个动作可以按所例示的顺序执行、按其他顺序执行、并行地执行,或者在某些情况下被省略。同样,上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合,以及其任何和所有等同物。

Claims (13)

1.一种用于确定眼镜的透镜的一个或多个特性的系统,所述系统包括:
计算设备;
头戴式显示设备,包括:
框架;
装载到所述框架且通信耦合到所述计算设备的相机,所述相机包括包含中心点的光轴;以及
多个光源,所述多个光源被装载到所述框架且被配置成朝所述透镜发射光线以产生来自所述透镜的多个透镜闪光,所述多个光源位于与所述透镜的透镜平面间隔开8mm和12mm之间的偏移距离的光源平面中,所述多个光源(1)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线垂直间隔开13mm和53mm之间的垂直光源距离,或者(2)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线水平间隔开13mm和80mm之间的水平光源距离;以及
由所述计算设备的处理器执行的透镜表征程序逻辑,其中所述透镜表征程序逻辑被配置成:
标识所述多个透镜闪光中的每一者在由所述相机捕捉的图像中的图像位置;以及
使用所述多个透镜闪光在所述图像中的图像位置,来输出包括所述眼镜的透镜的一个或多个特性的所估计的透镜形状模型。
2.如权利要求1所述的系统,其特征在于,所述光源平面与所述透镜平面间隔开30mm的偏移距离,且所述多个光源(1)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线垂直间隔开20mm和80mm之间的垂直光源距离,或者(2)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线水平间隔开20mm和120mm之间的水平光源距离。
3.如权利要求1所述的系统,其特征在于,所述光源平面与所述透镜平面间隔开10mm的偏移距离。
4.如权利要求1所述的系统,其特征在于,所述眼镜的透镜的一个或多个特性可包括所述透镜的光功率、所述透镜的折射率、所述透镜的曲率、所述透镜的位置、以及所述透镜的厚度中的至少一者。
5.如权利要求1所述的系统,其特征在于,所述相机的光轴的中心点被配置成与所述眼镜的透镜水平间隔开30mm。
6.如权利要求1所述的系统,其特征在于,所述透镜表征程序逻辑还被配置成:
使用所述透镜的一个或多个预定种子特性来确定所述多个透镜闪光中的每一者的预测位置;
计算所述多个透镜闪光的预测位置中的每一者与所述多个透镜闪光在所述图像中的图像位置中的对应一个图像位置之间的误差;以及
迭代地最小化所述误差以针对所述眼镜的透镜的一个或多个特性进行优化,并从而生成所估计的透镜形状模型。
7.如权利要求6所述的系统,其特征在于,所述透镜的一个或多个预定种子特性包括所述透镜的部分球面曲率或所述透镜的部分环面曲率。
接收包括由一个或多个角膜闪光光源生成的一个或多个角膜闪光的另一图像;
确定所述一个或多个角膜闪光的位置;
使用所估计的透镜形状模型来将所述一个或多个角膜闪光中的每一者的位置调整成经调整位置;以及
将所述一个或多个角膜闪光中的每一者的经调整位置输出给眼睛跟踪系统。
8.一种用于确定眼镜的透镜的一个或多个特性的方法,所述方法包括:
从相机接收包括由所述眼镜的透镜所产生的多个透镜闪光的图像,其中所述多个透镜闪光包括由位于与所述透镜的透镜平面间隔开的光源平面中的多个光源发射的光线,所述光源平面与所述透镜平面间隔开8mm和12mm之间的偏移距离,所述多个光源(1)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线垂直间隔开13mm和53mm之间的垂直光源距离,或者(2)与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线水平间隔开13mm和80mm之间的水平光源距离;
标识所述多个透镜闪光中的每一者在从所述相机接收到的图像中的图像位置;以及
使用所述多个透镜闪光在所述图像中的图像位置,来输出包括所述眼镜的透镜的一个或多个特性的所估计的透镜形状模型。
9.如权利要求8所述的方法,其特征在于,进一步包括:
使用所述透镜的一个或多个预定种子特性来确定所述多个透镜闪光中的每一者的预测位置;
计算所述多个透镜闪光的预测位置中的每一者与所述多个透镜闪光在所述图像中的图像位置中的对应一个图像位置之间的误差;以及
迭代地最小化所述误差以针对所述眼镜的透镜的一个或多个特性进行优化,并从而生成所估计的透镜形状模型。
10.如权利要求9所述的方法,其特征在于,所述透镜的一个或多个预定种子特性包括所述透镜的部分球面曲率或所述透镜的部分环面曲率。
11.如权利要求8所述的方法,其特征在于,所述多个透镜闪光由所述眼镜的透镜在相对于所述相机的第一透镜位置处产生,且所述图像位置是初始图像位置,所述方法进一步包括:
从所述相机接收包括由所述眼镜的透镜产生的附加透镜闪光的一个或多个附加图像,其中所述附加透镜闪光由所述眼镜的透镜在相对于所述相机的第二透镜位置处产生,所述第二透镜位置不同于所述第一透镜位置;
标识所述附加透镜闪光中的每一者在从所述相机接收到的所述一个或多个附加图像中的附加图像位置;以及
使用所述附加透镜闪光的附加图像位置和所述多个透镜闪光的初始位置来输出包括所述眼镜的透镜的一个或多个特性的所估计的透镜形状模型。
12.如权利要求8所述的方法,其特征在于,所述多个光源是与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线垂直间隔开13mm和53mm之间的垂直光源距离的透镜闪光光源,且一个或多个角膜闪光光源与垂直于所述光源平面且延伸穿过所述相机的光轴的中心点的线间隔开小于13mm或大于53mm的角膜闪光光源距离。
13.如权利要求12所述的方法,其特征在于,进一步包括:
接收包括由一个或多个角膜闪光光源生成的一个或多个角膜闪光的另一图像;
确定所述一个或多个角膜闪光的位置;
使用所估计的透镜形状模型来将所述一个或多个角膜闪光中的每一者的位置调整成经调整位置;以及
将所述一个或多个角膜闪光中的每一者的经调整位置输出给眼睛跟踪系统。
CN201580043500.6A 2014-08-11 2015-08-10 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器 Active CN106575039B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/456,723 US9465991B2 (en) 2014-08-11 2014-08-11 Determining lens characteristics
US14/456,723 2014-08-11
PCT/US2015/044401 WO2016025351A1 (en) 2014-08-11 2015-08-10 Head up display with eye tracking device determining user spectacles characteristics

Publications (2)

Publication Number Publication Date
CN106575039A true CN106575039A (zh) 2017-04-19
CN106575039B CN106575039B (zh) 2019-04-05

Family

ID=53872186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580043500.6A Active CN106575039B (zh) 2014-08-11 2015-08-10 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器

Country Status (5)

Country Link
US (1) US9465991B2 (zh)
EP (1) EP3180674A1 (zh)
KR (1) KR102460047B1 (zh)
CN (1) CN106575039B (zh)
WO (1) WO2016025351A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108398788A (zh) * 2018-03-23 2018-08-14 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
CN108646413A (zh) * 2018-05-13 2018-10-12 深圳纬目信息技术有限公司 一种含多层自由曲面光波导的眼球追踪装置的头戴式设备
TWI691738B (zh) * 2019-03-20 2020-04-21 宏碁股份有限公司 近眼顯示裝置
CN111317438A (zh) * 2018-12-17 2020-06-23 托比股份公司 通过追踪光路来进行注视跟踪
CN115032788A (zh) * 2021-03-05 2022-09-09 大立光电股份有限公司 头戴装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10054802B2 (en) 2011-10-17 2018-08-21 Eydeal Scanning, LLC Topology guided ocular lens design
EP2857810A1 (en) * 2013-10-02 2015-04-08 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Monolith spectrometer
JP6251073B2 (ja) * 2014-02-05 2017-12-20 浜松ホトニクス株式会社 分光器、及び分光器の製造方法
KR102230691B1 (ko) * 2014-07-09 2021-03-23 삼성전자주식회사 생체정보를 인식하는 방법 및 장치
US9622654B2 (en) * 2014-12-10 2017-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Device for and method of corneal imaging
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
GB2559978A (en) 2017-02-22 2018-08-29 Fuel 3D Tech Limited Systems and methods for obtaining eyewear information
EP3372966B1 (en) * 2017-03-10 2021-09-01 Hitachi High-Tech Analytical Science Limited A portable analyzer using optical emission spectoscopy
US10474231B2 (en) 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
JP7247890B2 (ja) * 2017-10-19 2023-03-29 ソニーグループ株式会社 電子機器及び信号処理装置
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10324529B1 (en) 2018-05-31 2019-06-18 Tobii Ab Method and system for glint/reflection identification
US10288879B1 (en) 2018-05-31 2019-05-14 Tobii Ab Method and system for glint/reflection identification
WO2019228634A1 (en) * 2018-05-31 2019-12-05 Tobii Ab Method and system for glint/reflection identification
US10747310B1 (en) * 2018-06-19 2020-08-18 Facebook Technologies, Llc Time of flight based eye tracker
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技(成都)有限公司 眼动追踪装置及应用其的电子装置
WO2023014185A1 (ko) * 2021-08-05 2023-02-09 삼성전자 주식회사 사용자의 시선을 검출하는 증강 현실 장치 및 방법
US20240094809A1 (en) * 2022-09-16 2024-03-21 Meta Platforms Technologies, Llc Eye tracking system with in- plane illumination

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006101941A2 (en) * 2005-03-16 2006-09-28 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
WO2007062478A1 (en) * 2005-11-30 2007-06-07 Seeing Machines Pty Ltd Visual tracking of eye glasses in visual head and eye tracking systems
EP2499969A1 (en) * 2005-06-21 2012-09-19 DexCom, Inc. Analyte sensor
WO2013070788A1 (en) * 2011-11-07 2013-05-16 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
WO2013122711A1 (en) * 2012-02-15 2013-08-22 Google Inc. Heads-up display including eye tracking

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742621B2 (en) 2006-06-13 2010-06-22 Delphi Technologies, Inc. Dynamic eye tracking system
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US20110170061A1 (en) * 2010-01-08 2011-07-14 Gordon Gary B Gaze Point Tracking Using Polarized Light
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
EP2499964B1 (en) 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006101941A2 (en) * 2005-03-16 2006-09-28 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
EP2499969A1 (en) * 2005-06-21 2012-09-19 DexCom, Inc. Analyte sensor
WO2007062478A1 (en) * 2005-11-30 2007-06-07 Seeing Machines Pty Ltd Visual tracking of eye glasses in visual head and eye tracking systems
WO2013070788A1 (en) * 2011-11-07 2013-05-16 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
WO2013122711A1 (en) * 2012-02-15 2013-08-22 Google Inc. Heads-up display including eye tracking

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108398788A (zh) * 2018-03-23 2018-08-14 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
CN108398788B (zh) * 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
CN108646413A (zh) * 2018-05-13 2018-10-12 深圳纬目信息技术有限公司 一种含多层自由曲面光波导的眼球追踪装置的头戴式设备
CN111317438A (zh) * 2018-12-17 2020-06-23 托比股份公司 通过追踪光路来进行注视跟踪
CN111317438B (zh) * 2018-12-17 2021-07-27 托比股份公司 通过追踪光路来进行注视跟踪
TWI691738B (zh) * 2019-03-20 2020-04-21 宏碁股份有限公司 近眼顯示裝置
CN115032788A (zh) * 2021-03-05 2022-09-09 大立光电股份有限公司 头戴装置
CN115032788B (zh) * 2021-03-05 2023-11-24 大立光电股份有限公司 头戴装置

Also Published As

Publication number Publication date
US20160042221A1 (en) 2016-02-11
WO2016025351A1 (en) 2016-02-18
US9465991B2 (en) 2016-10-11
EP3180674A1 (en) 2017-06-21
KR102460047B1 (ko) 2022-10-27
KR20170041862A (ko) 2017-04-17
CN106575039B (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
CN103091843B (zh) 透视显示器亮度控制
CN106462733B (zh) 一种用于视线检测校准的方法和计算设备
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN106575156B (zh) 虚拟对象的智能放置以停留在头戴式显示器的视野中
CN105900141B (zh) 将闪光映射到光源
CN106575357B (zh) 瞳孔检测
CN105247448B (zh) 眼睛位置的校准
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN105393284B (zh) 基于人类身体数据的空间雕刻
US10636193B1 (en) Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
CN102419631B (zh) 虚拟内容到现实内容中的融合
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
CN107408314A (zh) 混合现实系统
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
CN103635849A (zh) 用于头戴式显示器的总视野分类
CN105264548A (zh) 用于生成增强现实体验的难以察觉的标签
CN106575153A (zh) 虚拟现实环境内基于注视的对象放置
CN105992965A (zh) 响应于焦点移位的立体显示
CN103064188A (zh) 基于头戴式显示器的教育和指导
CN106489171A (zh) 立体图像显示器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant