CN108701227B - 用于生物安全的蓝光调节 - Google Patents

用于生物安全的蓝光调节 Download PDF

Info

Publication number
CN108701227B
CN108701227B CN201780015543.2A CN201780015543A CN108701227B CN 108701227 B CN108701227 B CN 108701227B CN 201780015543 A CN201780015543 A CN 201780015543A CN 108701227 B CN108701227 B CN 108701227B
Authority
CN
China
Prior art keywords
blue light
eye
image
display system
pupillary response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780015543.2A
Other languages
English (en)
Other versions
CN108701227A (zh
Inventor
A·克勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210053565.0A priority Critical patent/CN114399831A/zh
Publication of CN108701227A publication Critical patent/CN108701227A/zh
Application granted granted Critical
Publication of CN108701227B publication Critical patent/CN108701227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Input (AREA)
  • User Interface Of Digital Computer (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

提供了一种使用可穿戴显示系统进行蓝光调节的系统和方法。用于蓝光调节的系统和方法的实施例可以包括:接收暴露于调节的水平的蓝光的眼睛的眼睛图像;通过将接收的眼睛图像与第一图像进行比较来检测瞳孔响应的变化;确定瞳孔响应对应于人类个体的生物特性;以及基于瞳孔响应确定允许对生物应用进行访问。

Description

用于生物安全的蓝光调节
相关申请的交叉引用
本申请要求依据35U.S.C.§119(e)的2016年3月7日提交的名称为“用于生物识别的蓝光调节(BLUE LIGHT ADJUSTMENT FOR BIOMETRIC IDENTIFICATION)”的美国临时申请No.62/304,556和2016年3月7日提交的名称为“用于生物识别的蓝光调节(BLUE LIGHTADJUSTMENT FOR BIOMETRIC IDENTIFICATION)”的美国临时申请No.62/304,573的优先权,其公开内容通过引用整体并入本文。
技术领域
本公开一般涉及用于处理眼睛图像的系统和方法。
背景技术
人类虹膜能够被用作生物信息的来源。生物信息能够提供个体的认证或识别。提取生物信息的过程(泛称为生物模板)一般存在许多挑战。
发明内容
此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中,其他特征、方面以及优势将变得显而易见。本发明内容和之后的具体实施方式都不旨在限定或限制本发明主题的范围。
在一方面,公开了一种用于调节暴露于眼睛的蓝光水平的方法。该方法在硬件计算机处理器的控制下执行。该方法包括接收由图像捕捉装置获得的初始眼睛图像、调节与初始眼睛图像相关联的暴露于眼睛的蓝光水平、接收暴露于调节的水平的蓝光的眼睛的调节眼睛图像、检测调节眼睛图像相对于初始眼睛图像的瞳孔响应的变化、确定检测到的瞳孔响应的变化超过生物应用阈值、以及执行生物应用。该方法可以由头戴式显示系统执行,该头戴式显示系统包括被配置为调节蓝光水平的处理器。
在另一方面,描述了一种用于识别人类个体的方法。该方法在硬件计算机处理器的控制下执行。该方法包括调节蓝光水平、接收暴露于调节的水平的蓝光的眼睛的眼睛图像、通过将接收的眼睛图像与参考图像进行比较来检测瞳孔响应的变化、确定瞳孔响应对应于人类个体的生物特性(characteristic)、以及基于瞳孔响应确定允许对生物应用进行访问。该方法可以由头戴式显示系统执行,该头戴式显示系统包括被配置为识别人类个体的处理器。
因此,提供了用于使用可穿戴显示系统进行蓝光调节的系统和方法。用于蓝光调节的系统和方法的实施例可包括接收由图像捕捉装置获得的初始眼睛图像;调节与初始眼睛图像相关联的暴露于眼睛的蓝光的水平;接收暴露于调节的水平的蓝光的眼睛的调节眼睛图像;检测调节眼睛图像相对于初始眼睛图像的瞳孔响应的变化;确定检测到的瞳孔响应的变化超过生物应用阈值;以及利用眼睛图像或检测到的瞳孔响应的变化用于生物应用。
用于蓝光调节的系统和方法的实施例可以包括接收暴露于调节的水平的蓝光的眼睛的眼睛图像;通过将接收的眼睛图像与参考图像进行比较来检测瞳孔响应的变化;确定瞳孔响应对应于人类个体的生物特性;以及基于瞳孔响应确定允许对生物应用进行访问或基于瞳孔响应确定执行生物安全应用。
提供了一种头戴式、可穿戴增强现实装置,其被配置为执行所公开的蓝光调节方法的实施例。
附图说明
图1A-1B示意性地示出了经历蓝光调节的眼睛的示例。
图2示意性地示出了可穿戴显示系统的示例。
图3示意性地示出了使用多个深度平面模拟三维图像的方法的方面。
图4示意性地示出了用于将图像信息输出给用户的波导堆叠的示例。
图5示出了可以由波导输出的示例性出射光束。
图6是示出了光学系统的示意图,该光学系统包括波导装置、用于将光光学耦合到波导装置或光学耦合来自波导装置的光的光学耦合器子系统、以及用于产生多焦点体积显示、图像或光场的控制子系统。
图7示意性地示出了示例性的对光调节的瞳孔响应。
图8示意性地示出了蓝光瞳孔响应例程的示例。
图9示意性地示出了蓝光识别例程的示例。
图10示意性地示出了蓝光瞳孔响应例程的示例。
在整个附图中,可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例,而不是为了限制本公开的范围。
具体实施方式
概述
从眼睛提取生物信息一般包括用于在眼睛图像内分割虹膜的过程。虹膜分割可涉及包括定位虹膜边界的操作,包括找到瞳孔和虹膜的边缘边界,如果上眼睑或下眼睑遮挡虹膜,则定位上眼睑或下眼睑,检测并排除睫毛的遮挡、阴影或反射等。例如,眼睛图像能被包括在脸部的图像中,或可以是眼周区域的图像。为了执行虹膜分割,瞳孔的边界(虹膜的内边界)和角膜缘(虹膜的外边界)都能被识别。除了虹膜的此分割之外,还能估计被眼睑(上眼睑或下眼睑)遮挡的虹膜部分。因为在正常人类活动期间,很少可见人的整个虹膜,所以执行此估计。换句话说,整个虹膜通常不能摆脱眼睑和睫毛的遮挡。此外,在昏暗或黑暗的光照环境中,瞳孔扩张并且虹膜的面积小。在这种昏暗或黑暗的光照环境中,获得虹膜的高质量图像并识别虹膜图像内的生物特征(feature)可能是具有挑战性的。
人类眼睛的瞳孔响应对眼睛接收的蓝光的水平的变化特别敏感。通过增加传输到眼睛的蓝光水平,瞳孔将收缩。当瞳孔收缩时拍摄的虹膜图像更可能具有较高的质量,因为虹膜区域更大并且虹膜的更多生物特征将是显而易见的。对于给定的相机分辨率,当虹膜扩大(例如,由于蓝光水平增加)和瞳孔收缩时拍摄的虹膜图像将具有比在虹膜收缩(并且瞳孔扩大)时拍摄的图像更高的分辨率,因为扩大的虹膜为相机提供了更大的虹膜区域。可以从这样的图像获得更多的虹膜特征,并且可以从这样的图像生成更好质量的虹膜代码。
此外,有生命的人类眼睛的瞳孔对光水平的变化,特别是蓝光水平的变化具有独特的生物响应。例如,瞳孔扩张(响应于光水平的降低)或收缩(响应于光水平的增加)所需的时间不仅是可测量的,而且可以对于每个特定个体是特定的。通过测量由改变光水平(特别是蓝光)引起的随时间变化的瞳孔响应,下面更详细描述的系统不仅可以识别特定个体,还可以确定眼睛图像来自有生命的个体(瞳孔尺寸将以特定方式改变)而不是来自个体眼睛的静止图像或3D模型(其中瞳孔尺寸是固定的)。因此,这些系统的实施例可以提供增加的安全性,因为它们降低了未经授权的人可以通过呈现授权用户的虹膜的静止图像或3D模型来尝试愚弄(或“欺骗”)系统以允许访问的可能性。当个体受到酒精或药物的影响时,个体可能会使瞳孔经历不同响应。这些系统的实施例可以用于确定个体的瞳孔响应是不同的(例如,来自个体在非酒精或非药物状态下的瞳孔响应)或者是来自正常的瞳孔响应,正常的瞳孔响应对于相关类别的个体是典型的(例如,身份识别、年龄、性别、种族、家庭响应、健康、身体能力等),以及从而可以帮助识别受酒精或药物影响的个体。
经历蓝光调节的眼睛的示例
图1A-1B示意性地示出了可能由于瞳孔光反射(PLR)或光瞳反射而经历蓝光调节的眼睛的示例。图1A示出了具有眼睑110、虹膜112和瞳孔114的眼睛102的图像。在图1A中,瞳孔114具有半径r1 119a。瞳孔边界114a位于瞳孔114和虹膜112之间,并且角膜缘边界112a位于虹膜112和巩膜113之间(眼睛的“白色”)之间。眼睑110包括上眼睑110a和下眼睑110b。当人类眼睛暴露在光线或黑暗中时,瞳孔表现出生理响应-瞳孔响应。瞳孔响应包括收缩和扩张响应。例如,暴露于光可能引起瞳孔收缩响应(例如,减小瞳孔的尺寸)。这可以称为瞳孔缩小。另一方面,黑暗环境可能引起瞳孔扩张响应(例如,扩大瞳孔的尺寸)。这可以称为瞳孔散大。尺寸的改变可以指眼睛102的要素的直径、半径、周长和/或面积的变化经历该变化(例如,增大尺寸或减小瞳孔或虹膜的尺寸)。
术语瞳孔响应可以指来自眼睛特征的眼睛图像的测量(例如,瞳孔或虹膜尺寸)或者在两个或更多图像之间计算的眼睛特征的改变(例如,瞳孔虹膜尺寸的改变)。当提到光时,术语“水平”可以指特定波长范围的绝对强度或与不同波长范围相比的波长范围的相对强度(例如,强度的比例、强度的比率)。术语“水平”还可以指光被引导的方向和/或光被引导到哪个波导中。例如,当光被引导到眼睛的更敏感区域中或者当更大比例的颜色(例如,波长范围)被引导到调谐至该颜色的波导中时,可以将光称为处于更高水平。通过将光的一个或多个波长调谐到更完全或直接落在给定波长范围内,可以增加光的一定水平的颜色(例如,蓝色)。例如,蓝光可以指400nm和525nm之间的波长。然而,可以说通过将波长从450nm改变到470nm来增加蓝光水平,因为据说470nm在蓝色范围内更“深”或更“中心”。通过相对于其他可见波长带的光(例如,从525nm到600nm的绿光和从600nm到750nm的红光)的量改变蓝光的量,可以说蓝色水平增加。即使范围部分重叠,一个波长范围也可以与另一个波长范围不同。
人类眼睛包括有助于瞳孔响应的固有光敏视网膜神经节细胞(ipRGC或pRGC)。例如,响应于由色素黑视蛋白(pigment melonopsin)吸收的光的这种细胞主要对带宽范围在约445nm和525nm之间的光敏感。这样的带宽范围包括紫色光和蓝色光。ipRGC可以在蓝光色带的中间具有在488nm附近的峰值接收性。ipRGC的敏感范围内的任何光可以被称为蓝光。
当人类眼睛暴露于光,特别是增加的水平的蓝光时,瞳孔114的尺寸可能减小。例如,图1B示出了相对于图1A中的半径r1 119a减小的半径r2 119b。因此,图1B示意性地示出了经历蓝光调节的眼睛的示例。图1B中增加的水平的蓝光相对于图1A中暴露于眼睛102的光使瞳孔114的尺寸收缩。进而,图1B中的虹膜112相对于图1A而言,尺寸和面积增加了。由此,这种增加的水平的蓝光曝光可以增强眼睛图像中的虹膜的分辨率(因为向眼睛成像相机呈现更大的虹膜区域),可以在较大的虹膜识别允许给出更多虹膜特征的增强的虹膜代码生成。本文描述了用于调节蓝光水平以增强虹膜代码生成、识别个体、识别个体的生物响应、或减少或防止系统欺骗的系统和方法。例如,从Munsell颜色系统的角度来看,颜色由三个光谱属性表示:色度、亮度(或值)和色调。继续说明使用图1A-1B的这个示例,眼睛102暴露于图1A中的光;以及,在图1B中,增加的蓝光意味着与增加的“蓝色”对应的增加的色度(或饱和度)值。
可以以各种方式实现增加暴露于眼睛102的蓝光的水平。例如,显示器可以相对于较早的时间的蓝光的水平而增加蓝光的水平(例如,闪光蓝光持续特定时间段)。例如,通过增加像素的数量或输出蓝光的显示区域的量,可以使一些或所有光源在短时间段内主要输出蓝光。光源可以通过激励(actuate)或增加蓝色像素的强度来输出蓝光。或者作为另一示例,光源可以通过去激励(de-actuate)或减小来自红色和绿色像素的强度来增加蓝光的感知输出。还可以实现其他变型或控制以增加来自光源的蓝光水平。相对于非蓝光水平,显示的像素可以移动到增加的蓝光水平。作为又一示例,可以在向用户显示的图像上显示蓝色图形以增加蓝光量。例如,蓝色蝴蝶(或任何其他合适的图形)可以叠加在图像上,使得用户的眼睛感知到比从没有蓝色图形的图像将感知到的更多的蓝光。这种蓝色蝴蝶可能出现在可穿戴显示系统的启动时间时。例如,在用于用户识别的可穿戴显示系统的启动期间使可穿戴显示系统显示的场景(例如,具有蓝色蝴蝶)具有增加的蓝光可能是有利的。如本文所述(例如,关于下面的“具有瞳孔响应的个体识别的示例”),可以在生物识别系统中利用对蓝光的瞳孔响应(例如,具有蓝色蝴蝶和/或越来越蓝的天的场景)。蓝光水平(例如,蓝色图形的亮度或面积)可以随时间变化,从而在显示系统的观看者中引起随时间变化的瞳孔响应。
显示器中的像素可以由显示红色(R)、绿色(G)、蓝色(B)的子像素表示。因此,通过例如改变B子像素的强度,可以将由蓝色值、红色值和绿色值表示的显示像素移动到改变(增加或减少)的蓝色值的量。例如,通过改变由装置投射的蓝色,耦合到可穿戴显示系统的装置(例如,参考图4描述的图像注入装置200、202、204、206、208)也可以改变蓝光水平。在一些实施例中,可穿戴显示系统可包括单独的光源,该光源能够主要地朝向佩戴者的一只或两只眼睛投射蓝光。
目镜可以包括在头戴式显示系统中。该目镜可以被配置为将来自一个或多个光源的光作为图像传输给用户。在一些实施例中,目镜是光学透射的并且被配置为将来自用户环境的光传输给用户。目镜可以包括被配置为显示通过目镜的光的一个或多个光源。
可以以随时间变化的方式增加或减少蓝光水平以引起来自个体的相应瞳孔响应。个体的对随时间变化的光水平的瞳孔响应可用于本文所述的生物应用。
可以拍摄虹膜的图像并使其规范化(regularize)。在一些实施例中,当虹膜图像已被规范化时,图像数据可用于将虹膜分解成单个单元。例如,Gabor(或类似的)滤波器卷积方法可用于计算每个单元的主导取向。计算出取向后,可以对其进行分级(bin)。在一些实施例中,使用四个级,其中可以分配关于每个单元的两比特的标记。该两比特可以称为级ID。
在一些实现方式中,可以从25000到60000像素之间计算1000个单元(或更多)的级ID。在一些实施例中,使用少于25000个像素来计算用于单元的级ID。
跨规范化的图像传播的信息量可取决于瞳孔的扩张状态。在一些实施例中,规范化的图像是矩形图像,其中像素从虹膜映射,使得像素在原始虹膜中的角位置被映射到矩形的长轴(例如,“水平”或“x”轴),而从瞳孔向外到角膜缘边界的径向距离被映射到短轴(例如,“垂直”或“y”轴)。当瞳孔强烈扩张时,输入图像中可用于映射到规范化的图像上的像素数量可能比瞳孔收缩时少得多。虹膜的失真可能不是线性的。
使用蓝光调节的可穿戴显示系统示例
在一些实施例中,显示系统可以是可穿戴的,其可以有利地提供更加投入式的虚拟现实(VR)或增强现实(AR)体验,其中数字再现的图像或其部分以仿佛是或者可能被认为是真实的方式呈现给佩戴者。
不受理论的限制,据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此,通过向眼睛提供与这些有限数量的深度平面中的每一个相对应的图像的不同呈现,可以实现高度可信的感知深度模拟。例如,包含波导堆叠的显示器可以被配置为佩戴定位在用户或观看者的眼睛前方。波导堆叠可以被用来通过使用多个波导将来自图像注入装置(例如,分离显示器或经由一个或多个光纤传输图像信息的多路复用显示器的输出端)的光以特定的角度(和发散量)引导至观看者的眼睛,来向眼睛/大脑提供三维感知,该特定的角度与特定波导相关联的深度平面对应。
在一些实施例中,可以利用两个波导堆叠(观看者的每只眼睛一个)来向每只眼睛提供不同的图像。作为一个示例,增强现实场景可以使得AR技术的佩戴者看到以人、树木、背景中的建筑物和混凝土平台为特征的真实世界公园状设置。除了这些项目之外,AR技术的佩戴者可以同样感知到他“看到”站在真实世界平台上的机器人雕像,以及飞过的卡通式化身角色,该化身角色看起来是大黄蜂的化身,即使机器人雕像和大黄蜂在真实世界中不存在。一个或多个波导堆叠可用于产生与输入图像对应的光场,并且在一些实现方式中,可穿戴显示器包括可穿戴光场显示器。用于提供光场图像的可穿戴显示装置和波导堆叠的示例在美国专利公开No.2015/0016777中描述,该专利公开的全部内容通过引用合并于此。
图2示出了可用于向佩戴者呈现VR或AR体验的可穿戴显示系统100的示例。提供多个深度平面虚拟或增强现实体验的VR和AR系统也可以称为混合现实(MR)系统或体验。可穿戴显示系统100可以被编程为执行蓝光调节以提供本文描述的任何应用或实施例。显示系统100包括显示器62、以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以与框架64耦接,该框架可以由显示系统佩戴者或观看者60佩戴并且被配置为将显示器62定位在佩戴者60的眼睛前方。在一些实施例中,显示器62可以是光场显示器。在一些实施例中,扬声器66被耦接到框架64并且位于用户的耳道附近(在一些实施例中,另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制)。显示系统100可以包括面向外的成像系统,其在佩戴者周围的环境中观察世界(例如,参见图4中所示的成像系统502)。面向外的成像系统502可以包括配备有可以检测蓝光的光传感器的相机。显示系统100还可以包括面向内的成像系统,其可以跟踪佩戴者的眼睛运动(例如,参见图4中所示的成像系统500)。面向内的成像系统可以跟踪一只眼睛的运动或两只眼睛的运动。显示器62可操作地(诸如通过有线引线或无线连接)被耦接68到本地数据处理和模块70,本地数据处理和模块70可以以各种配置安装,诸如被固定地附到框架64上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户(例如,以背包式配置、以带耦接式配置)。本地数据处理模块70可以包括一个或多个硬件处理器(例如,可编程电子器件、微处理器、微控制器等)。
框架64可以具有附到或安装到框架64上的一个或多个相机,以获得佩戴者一只或两只眼睛的图像。在一个实施例中,相机可以在佩戴者眼睛前方安装到框架64,以便可以直接对眼睛进行成像。在其他实施例中,相机可以沿着框架62的干(stem)(例如,靠近佩戴者的耳朵)安装。在这样的实施例中,显示器62可以涂覆有将来自佩戴者的眼睛的光反射回相机的材料。光可以是红外光,因为虹膜特征在红外图像中是突出的。
在诸如可穿戴显示系统100的可佩戴头戴式显示器(HMD)的上下文中,相机可以比耦接到用户的监视器的相机更靠近用户的眼睛。例如,相机可以安装在可穿戴HMD上,该可穿戴HMD本身佩戴在用户的头上。眼睛与这种相机的接近能够导致更高分辨率的眼睛图像。因此,计算机视觉技术可以从用户的眼睛中提取视觉特征,特别是在虹膜(例如,虹膜特征)或虹膜周围的巩膜(例如,巩膜特征)中。例如,当被靠近眼睛的相机观察时,眼睛的虹膜将显示详细的结构。当在红外照射下观察时,这种虹膜特征尤其明显,并且可用于生物识别。这些虹膜特征在用户与用户之间是唯一的,并且以指纹的方式可以用于唯一地识别用户。眼睛特征可包括眼睛巩膜中(虹膜外)的血管,当在红光或红外光下观察时,其也可能显得特别明显。以更高分辨率观察的这种独特的虹膜特征可能导致为各种眼睛姿态(pose)图像生成更多唯一的或准确的虹膜代码。例如,利用本文公开的技术,可以使用蓝光调节来显著增强用于虹膜代码生成的眼睛图像的分辨率。
本地处理和数据模块70可以包括硬件处理器以及诸如非易失性存储器(例如,闪速存储器)的非暂时性数字存储器,这两者都可用于辅助处理、高速缓存和存储数据。该数据包括:(a)从传感器(其例如可以可操作地耦接到框架64或者其它的可操作地附到佩戴者60)捕捉的数据,所述传感器例如为图像捕捉装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪;和/或(b)使用远程处理模块72和/或远程数据储存库74获取和/或处理的数据,这些数据可以在这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以诸如经由有线或无线通信链路可操作地通过通信链路76、78耦接到远程处理模块72和远程数据储存库74,使得这些远程模块72、74可操作地彼此耦接并且可用作本地处理和数据模块70的资源。图像捕捉装置可用于捕捉在蓝光调节过程中使用的眼睛图像。
在一些实施例中,远程处理模块72可以包括一个或多个硬件处理器(例如,服务器),这些硬件处理器被配置为分析和处理数据和/或图像信息,诸如由图像捕捉装置捕捉的视频信息。视频数据可以被本地存储在本地处理和数据模块70中和/或远程数据储存库74中。如本文所使用的,视频以其普通意义(in its ordinary sense)被使用,并且包括但不限于视觉图像的序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括具有或不具有音频通道的多个连续帧。视频可以包括多个帧,这些帧按时间排序。因此,视频中的图像可以被称为眼睛图像帧或眼睛图像。
在一些实施例中,远程数据储存库74可以包括数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中,在本地处理和数据模块70中存储所有数据并且执行所有计算,从而允许从远程模块完全自主的使用。
在一些实现方式中,本地处理和数据模块70和/或远程处理模块72被编程以执行如本文中所描述的获得眼睛图像或处理眼睛图像的实施例。例如,本地处理和数据模块70和/或远程处理模块72可以被编程以执行分别参考图8、9和10描述的例程800、900或1000的实施例。本地处理和数据模块70和/或远程处理模块72可以被编程以在生物提取中使用本文公开的蓝光调节技术,例如以识别或认证佩戴者60的身份,或者在估计姿态中使用本文公开的蓝光调节技术,例如以确定每只眼睛看的方向。图像捕捉装置可以捕捉用于特定应用的视频(例如,用于眼睛跟踪应用的佩戴者眼睛的视频)。可以通过处理模块70、72中的一个或两个使用各种眼睛图像处理技术来分析视频。通过该分析,处理模块70、72可以执行蓝光调节。作为示例,本地处理和数据模块70和/或远程处理模块72可以被编程以从附到框架64上的相机接收初始眼睛图像(例如,例程900或950)。另外,本地处理和数据模块70和/或远程处理模块72可以被编程,例如,以确定检测到的变化是否超过生物应用阈值(例如,例程800),或者作为另一示例,以确定瞳孔响应(例如,瞳孔响应的特定状态)是否基于与可穿戴显示系统100相关地调节的蓝光水平来识别个体的特性(例如,例程900)。在一些情况下,将本文描述的至少一些技术卸载到远程处理模块(例如,在“云”中)可以提高计算的效率或速度,例如,蓝光瞳孔响应例程(例如,例程800)可以被卸载到远程处理模块。或者作为另一示例,可以将这些技术的一些部分卸载到远程处理模块,诸如蓝光识别例程(例如,例程900)。
视频分析的结果(例如,估计的眼睛姿态)可以由处理模块70、72中的一个或两个使用以用于附加操作或处理。例如,在各种应用中,可以通过可穿戴显示系统100使用生物识别、眼睛跟踪、辨识或对象分类、姿势等。例如,佩戴者的眼睛的视频可以用于获得眼睛图像,其进而又可以由处理模块70、72使用,以通过显示器62确定佩戴者60的眼睛的虹膜代码。可穿戴显示系统100的处理模块70、72可以是用蓝光调节的一个或多个实施例编程,以执行本文所述的任何视频或图像处理应用。
人类视觉系统是复杂的并且提供对深度的真实感知是具有挑战性的。不受理论的限制,据信对象的观看者可能由于聚散和适应的组合而将对象感知为三维的。两只眼睛相对于彼此的聚散运动(即,瞳孔向着彼此或远离彼此以会聚眼睛的视线来注视对象的转动动作)与眼睛的晶状体的聚焦(或“适应”)紧密相关。在正常情况下,改变眼睛的晶状体的聚焦或者使眼睛适应以将聚焦从一个对象改变到位于不同距离处的另一对象,将会在被称为“适应-聚散度反射(accommodation-vergence reflex)”的关系下自动导致到相同距离的聚散度的匹配变化。同样,在正常情况下,聚散度的变化将引发适应的匹配变化。提供适应与聚散度之间的更好匹配的显示系统可以形成更逼真和更舒适的三维图像模拟。
图3示出了示出了使用多个深度平面模拟三维图像的方法的方面。参考图3,在z轴上距眼睛302和304的不同距离处的对象由眼睛302和304适应,以使得那些对象对焦(infocus)。眼睛302和304呈现特定的适应状态,以使沿着z轴的不同距离处的对象进入焦点。因此,可以说特定的适应状态与深度平面306中的特定一个深度平面相关联,该特定深度平面具有相关联的焦距,以使得当眼睛处于该深度平面的适应状态时,特定深度平面中的对象或对象的部分对焦。在一些实施例中,可以通过为眼睛302和304中的每一者提供图像的不同呈现来模拟三维图像,并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的,但应理解的是,例如,随着沿着z轴的距离增加,眼睛302和304的视场可以重叠。另外,虽然为了便于说明而示出为平坦的,但应理解的是,深度平面的外形可以在物理空间中是弯曲的,使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。不受理论的限制,据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此,通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现,可以实现高度可信的感知深度模拟。
波导堆叠组件
图4示出了示出了用于向用户输出图像信息的波导堆叠的示例。显示系统100包括可以用于采用多个波导182、184、186、188、190向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件178。在一些实施例中,显示系统100可对应于图2的系统100,其中图4更详细地示意性地示出了该系统100的一些部分。例如,在一些实施例中,波导组件178可以集成到图2的显示器62。
继续参考图4,波导组件178可以还包括位于波导之间的多个特征198、196、194、192。在一些实施例中,特征198、196、194、192可以是透镜。波导182、184、186、188、190和/或多个透镜198、196、194、192可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联,并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置200、202、204、206、208可以用于将图像信息注入到波导182、184、186、188、190中,其中的每个波导可以被配置为分配入射光穿过每个相应的波导,用于向眼睛304输出。光离开图像注入装置200、202、204、206、208的输出表面并被注入到波导182、184、186、188、190的相应输入边缘。在一些实施例中,可以将单个光束(例如,准直光束)注入到每个波导中,以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛304定向的克隆准直光束的整个视场。
在一些实施例中,图像注入装置200、202、204、206、208是分立的显示器,每个显示器产生用于分别注入到相应波导182、184、186、188、190中的图像信息。在一些其它实施例中,图像注入装置200、202、204、206、208是单个复用显示器的输出端,其可以例如经由一个或多个光导管(诸如,光纤线缆)向图像注入装置200、202、204、206、208中的每一个图像注入装置用管输送图像信息。图像注入装置200、202、204、206、208可以被配置为分别向波导182、184、186、188、190产生与蓝光的调节对应的增加水平的蓝光,如本文的系统和方法中所述。在一个实施例中,图像注入装置200、202、204、206、208被配置为持续短时间段(例如,从大约10ms到大约1000ms)产生对应于蓝色的波长的光。在一些实施例中,可以显示一次或多次短暂闪光的蓝光。一次或多次短暂闪光每次可以持续少于约1000ms。在一些实施例中,一次或多次闪光每次持续约50ms至800ms。光可以以规则(或不规则)间隔“脉冲”。每个脉冲可持续在约10ms至500ms之间。每个脉冲之间的时间可以类似地短(例如,在10ms至500ms之间、在50ms至800ms之间)。脉冲持续的总时间长度可小于100毫秒、小于500毫秒和/或小于2000毫秒。
控制器210控制堆叠波导组件178和图像注入装置200、202、204、206、208的操作。在一些实施例中,控制器210包括编程(例如,非暂时性计算机可读介质中的指令),该编程调整图像信息到波导182、184、186、188、190的定时和提供。例如,相对于本文描述的蓝光调节技术,控制器210可以通过图像注入装置200、202、204、206、208对提供至波导182、184、186、188、190的蓝光的定时和提供进行调整。在一些实施例中,控制器可以是单个整体装置,或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中,控制器210可以是处理模块71或72(在图2中示出)的部分。
波导182、184、186、188、190可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导182、184、186、188、190可以各自是平面的或具有其它形状(例如,曲面的),其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中,波导182、184、186、188、190可以各自包括光提取学元件282、284、286、288、290,这些耦出光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外,以向眼睛304输出图像信息。所提取的光也可以被称为耦出光,并且光提取光学元件也可以被称为耦出光学元件。所提取的光束在波导中传播的光照射到光重定向元件。光提取光学元件(82、284、286、288、290可以例如为反射和/或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导182、184、186、188、190的底部主表面处,但是在一些实施例中,光提取光学元件282、284、286、288、290可以设置在顶部和/或底部主表面处,和/或可以直接设置在波导182、184、186、188、190的体积中。在一些实施例中,光提取光学元件282、284、286、288、290可以形成在被附接到透明基板的材料层中以形成波导182、184、186、188、190。在一些其它实施例中,波导182、184、186、188、190可以是单片材料,并且光提取光学元件282、284、286、288、290可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图4,如本文所讨论的,每个波导182、184、186、188、190被配置为输出光以形成与特定深度平面对应的图像。例如,最接近眼睛的波导182可以被配置为将如注入到这种波导182中的准直光传送到眼睛304。准直光可以代表光学无限远焦平面。下一个上行波导184可以被配置为将穿过第一透镜192(例如,负透镜)的准直光在其可以到达眼睛304之前发送出。第一透镜192可以被配置为产生轻微凸面的波前曲率,使得眼睛/大脑将来自下一个上行波导184的光解释为来自第一焦平面,该第一焦平面从光学无限远处更靠近向内朝向眼睛304。类似地,第三上行波导186使其输出光在到达眼睛4之前穿过第一透镜192和第二透镜194;第一和第二透镜192和194的组合光焦度(optical power)可被配置为产生另一增量的波前曲率,以使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面,该第二焦平面从光学无穷远比来自下一个上行波导184的光更靠近向内朝向人。
其它波导层(例如,波导188、190)和透镜(例如,透镜196、198)被类似地配置,其中堆叠中的最高波导190通过它与眼睛之间的所有透镜发送其输出,用于代表最靠近人的焦平面的聚合焦度(aggregate focal power)。当在堆叠波导组件178的另一侧上观看/解释来自世界144的光时,为了补偿透镜198、196、194、192的堆叠,补偿透镜层180可以设置在堆叠的顶部处以补偿下面的透镜堆叠198、196、194、192的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如,不是动态的或电活性的)。在一些替代实施例中,两者之一或两者都可以是使用电活性特征而动态的。
显示系统100可包括对世界144的一部分成像的面向外的成像系统502(例如,数码相机)。世界144的该部分可被称为视场(FOV),并且成像系统502有时被称为FOV相机。可供观看者观看或成像的整个区域可被称为注视场(field of regard)(FOR)。在一些HMD实现方式中,FOR可以包括围绕HMD的佩戴者的基本上所有立体角,因为佩戴者可以移动他们的头部和眼睛以观察佩戴者周围的对象(在佩戴者的前方、后方、上方、下方或者两侧)。从面向外的成像系统502获得的图像可用于跟踪佩戴者做出的手势(例如,手或手指手势)、检测佩戴者前方的世界144中的对象等等。
显示系统100可以包括用户输入装置504,用户可以通过该用户输入装置504向控制器210输入命令以与系统100交互。例如,用户输入装置504可以包括轨迹垫(trackpad)、触摸屏、操纵杆、多自由度(DOF)控制器、电容感应装置、游戏控制器、键盘、鼠标、方向垫(D-pad)、棒(wand)、触觉装置、图腾(totem)(例如,用作虚拟用户输入装置)等等。在一些情况下,用户可以使用手指(例如,拇指)在触控敏感输入装置上按压或滑动以向系统100提供输入(例如,向系统100提供的用户界面提供用户输入)。在使用系统100期间,用户输入装置504可以由用户的手握持。用户输入装置504可以与显示系统100进行有线或无线通信。
继续参考图4,光提取光学元件282、284、286、288、290可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果,具有不同相关联深度平面的波导可具有不同的光提取光学元件的配置,这些耦出光学元件依赖于相关联的深度平面而输出具有不同发散量的光。在一些实施例中,如本文所讨论的,光提取光学元件282、284、286、288、290可以是体积或表面特征,其可以被配置为以特定角度输出光。例如,光提取光学元件282、284、286、288、290可以是体积全息图、表面全息图和/或衍射光栅。诸如衍射光栅光提取光学元件在2015年6月25日公开的美国专利公开No.2015/0178939中有所描述,该专利公开的全部内容通过引用合并于此。在一些实施例中,特征198、196、194、192可以不是透镜。相反,它们可以简单地是间隔物(例如,用于形成空气间隙的包覆层和/或结构)。
在一些实施例中,光提取光学元件282、284、286、288、290是形成衍射图案的衍射特征,或者说“衍射光学元件”(在此也称为“DOE”)。优选地,DOE具有相对低的衍射效率,以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛304,而其余部分经由全内反射而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束,这些出射光束在多个位置处离开波导,并且结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。
在一些实施例中,一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如,可切换的DOE可以包括聚合物分散液晶层,其中微滴在主体介质中包含衍射图案,并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下,图案不会明显地衍射入射光),或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下,该图案活跃地衍射入射光)。
在一些实施例中,深度平面和/或景深的数量和分布可以基于观看者的眼睛的瞳孔尺寸和/或取向动态地改变。在一些实施例中,成像系统500(例如,数字相机)可用于捕捉眼睛304的图像以确定眼睛304的瞳孔的尺寸和/或取向。成像系统500可用于获得用于确定佩戴者60正在看的方向的图像(例如,眼睛姿态)。在一些实施例中,成像系统500可以附到框架64(如图2所示)并且可以与能够处理来自相机50的图像信息的处理模块71和/或72电通信以确定例如用户60的眼睛或眼睛姿态的瞳孔直径和/或取向。在一些实施例中,每只眼睛可以利用一个成像系统500,以分别确定每只眼睛的瞳孔尺寸和/或取向,从而允许向每只眼睛呈现图像信息以动态地为该眼睛设计。在一些其他实施例中,仅确定单个眼睛304的瞳孔直径和/或取向(例如,每对眼睛仅使用单个成像系统500)并且假设观看者60的双眼是类似的。
例如,景深可以与观看者的瞳孔尺寸成反比地改变。结果,随着观看者眼睛的瞳孔的尺寸减小,景深增加使得一个平面不可辨别,因为该平面的位置超出眼睛的焦深,随着瞳孔尺寸的减少和相应的景深增加,该平面可能变得可辨别并且看起来更加对焦。同样地,用于向观看者呈现不同图像的间隔开的深度平面的数量可以随着瞳孔尺寸的减小而减小。例如,在不调节眼睛离开一个深度平面并到另一个深度平面的适应的情况下,观看者可能无法以一个瞳孔尺寸清楚地感知第一深度平面和第二深度平面的细节。然而,这两个深度平面可以在不改变适应的情况下以另一瞳孔尺寸同时充分地对焦于用户。
在一些实施例中,显示系统可以基于瞳孔尺寸和/或取向的确定或者在接收到指示特定瞳孔尺寸和/或取向的电信号之后,改变接收图像信息的波导的数量。例如,如果用户的眼睛不能区分与两个波导相关联的两个深度平面,则控制器210可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地,这可以减少系统上的处理负担,从而增加系统的响应性。在用于波导的DOE可在接通和断开状态之间切换的实施例中,当波导确实接收图像信息时,DOE可以切换到断开状态。
在一些实施例中,可以期望使出射光束满足直径小于观看者眼睛直径的条件。然而,考虑到观看者瞳孔尺寸的变化,满足这种条件可能是具有挑战性的。在一些实施例中,通过响应于观看者瞳孔的尺寸的确定而改变出射光束的尺寸,在宽范围的瞳孔尺寸上满足该条件。例如,随着瞳孔尺寸减小,出射光束的尺寸也可能减小。在一些实施例中,可以使用可变孔径来改变出射光束尺寸。
图5示出了由波导输出的出射光束的示例。示出了一个波导,但是应该理解,波导组件178中的其它波导可以类似地起作用,其中波导组件178包括多个波导。光400在波导182的输入边缘382处被注入到波导182中,并且通过TIR在波导182内传播。在光400照射在DOE 282上的点处,一部分光如出射光束402离开波导。出射光束402被示出为基本上平行,但是依赖于与波导182相关联的深度平面,出射光束402也可以以一角度(例如,形成发散的出射光束)被重定向以传播到眼睛304。应该理解,基本上平行的出射光束可以指示具有光提取光学元件的波导,所述耦出光学元件将光耦出以形成看起来被设置在距眼睛304较大距离(例如,光学无穷远)处的深度平面上的图像。其它波导或者其它光提取光学元件组可以输出更加发散的出射光束图案,这将需要眼睛304适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛304的距离的光。
图6示出了光学显示系统100的另一示例,该光学显示系统100包括波导装置、将光光学耦合到波导装置或光学耦合来自波导装置的光的光学耦合器子系统以及控制子系统。光学系统100可用于产生多焦点体积、图像或光场。光学系统可以包括一个或多个主平面波导1(图6中仅示出一个)和与至少一些主波导10中的每一个相关联的一个或多个DOE 2。平面波导1可以类似于参考图4讨论的波导182、184、186、188、190。光学系统可采用分布波导装置,以沿第一轴(图6的视图中的垂直或Y轴)中继(relay)光并沿第一轴(例如,Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导3和与分布平面波导3相关联的至少一个DOE 4(由双点划线示出)。分布平面波导3在至少一些方面可以与主平面波导1相似或相同,具有与其不同的取向。同样地,所述至少一个DOE 4在至少一些方面可以与DOE2相似或相同。例如,分布平面波导3和/或DOE 4可以分别由与主平面波导1和/或DOE 2相同的材料构成。图6所示的光学系统可以集成到图2所示的可穿戴显示系统100中。
中继和出射光瞳扩展光被从分布波导装置光学耦合到一个或多个主平面波导10中。主平面波导1沿第二轴中继光,该第二轴优选地与第一轴正交,(例如,考虑图6的水平或X轴)。值得注意的是,第二轴可以是与第一轴的非正交轴。主平面波导10沿着第二轴(例如,X轴)扩展光的有效出射光瞳。例如,分布平面波导3可以沿垂直或Y轴中继和扩展光,并将该光传递到沿水平或X轴中继和扩展光的主平面波导1。
光学系统可以包括一个或多个彩色光源(例如,红色、绿色和蓝色激光)110,其可以光学耦合到单模光纤9的近端。光纤9的远端可以通过压电材料的中空管8穿过或接收。远端作为固定的自由柔性悬臂7从管8突出。压电管8可以与四个象限电极(未示出)相关联。例如,电极可以镀在管8的外部、外表面或外周或直径上。芯电极(未示出)也位于管8的芯、中心、内周或内径中。
例如经由导线10电耦合的驱动电子器件12驱动相对的电极对以独立地在两个轴上弯曲压电管8。光纤7的突出远端尖端具有机械共振模式。共振频率可以取决于光纤7的直径、长度和材料特性。通过在光纤悬臂7的第一机械共振模式附近振动压电管8,使光纤悬臂7振动,并且可以扫过(sweep)大的偏转(deflection)。
通过在两个轴上刺激共振,在面积填充二维(2-D)扫描中双轴扫描光纤悬臂7的尖端。通过与光纤悬臂7的扫描同步地调制光源11的强度,从光纤悬臂7出射的光形成图像。在美国专利公开No.2014/0003762中提供了对这种设置的描述,该公开的全部内容通过引用合并于此。
光耦合器子系统的部件使从扫描光纤悬臂7射出的光准直。准直光被镜面5反射到包含至少一个衍射光学元件(DOE)4的窄分布平面波导3中。准直光通过全内反射沿着分布平面波导3垂直地(相对于图6的视图)传播,由此与DOE 4重复交叉。DOE 4优选地具有低衍射效率。这导致光的部分(例如,10%)在与DOE 4的每个交叉点处朝向较大的主平面波导1的边缘衍射,并且光的部分经由TIR继续在其原始轨迹上向下行进分布平面波导3的长度。
在与DOE 4的每个交叉点处,附加光朝向主波导1的入口衍射。通过将入射光分成多个耦出(outcouple)组,光的出射光瞳在分布平面波导3中被DOE 4垂直扩展。这种从分布平面波导3耦出的垂直扩展的光进入主平面波导1的边缘。
进入主波导1的光经由TIR沿着主波导1水平传播(相对于图6的视图)。由于光在多个点处与DOE 2相交,它经由TIR沿着主波导10的至少部分长度水平传播。DOE 2可以有利地被设计或被配置为具有相位轮廓,该相位轮廓是线性衍射图案和径向对称衍射图案的总和,以产生光的偏转和聚焦。DOE 2可以有利地具有低衍射效率(例如,10%),使得在DOE2的每个交叉点处光束的仅部分光朝向视图的眼睛偏转,而其余的光继续经由TIR传播通过波导1。
在传播光和DOE 2之间的每个交叉点处,部分光朝向允许光从TIR逸出的主波导1的相邻面衍射,并从主波导的面出射。在一些实施例中,DOE 2的径向对称衍射图案另外赋予衍射光的聚焦水平,使单个光束的光波前成形(例如,赋予曲率)以及以与设计的聚焦水平相匹配的角度操纵光束。
因此,这些不同的路径可以使光通过多个DOE 2从主平面波导1耦出,所述多个DOE2具有不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案。出射光瞳处的不同填充图案可以有利地用于创建具有多个深度平面的光场显示。波导组件中的每个层或堆叠中的一组层(例如,3层)可用于产生相应的颜色(例如,红色、蓝色、绿色)。由此,例如,可以采用第一组三个相邻层在第一焦深处分别产生红色、蓝色和绿色光。可以采用第二组三个相邻层在第二焦深处分别产生红色、蓝色和绿色光。可以采用多个组来生成具有各种焦深的全3D或4D彩色图像光场。
关于蓝光调节的瞳孔响应的示例
图7示意性地示出了示例性的关于光调节的瞳孔响应。除了如上关于经历蓝光调节的眼睛的示例所描述的瞳孔的构造和扩张之外,眼睛的其他生理特性可能受到暴露于眼睛102的增加水平的光的暴露的影响。通过使用这样的生理特性,本文描述的系统和方法可以检测瞳孔响应的变化并将检测到的变化与生物应用阈值进行比较。如果检测到的变化超过生物应用阈值,则可穿戴显示系统可以利用眼睛图像或检测到的瞳孔响应变化用于生物应用。
瞳孔响应(例如,瞳孔参数、瞳孔参数的变化)可以包括各种生理特性,包括但不限于对于增加的光水平的瞳孔响应曲线的上升时间、对于降低的光水平的瞳孔响应曲线的衰减时间、对于增加的光水平的延迟时间、关于上升时间的上升曲线或关于衰减时间的衰减曲线。这种瞳孔响应可以通过耦合到处理模块(例如,图2中所示的可穿戴显示系统100或图4和6中的显示系统100)的可穿戴显示系统来测量。例如,处理模块70、72可以在蓝光水平被改变或修改的时间段期间处理从成像系统500(参见例如图4)获得的眼睛图像。例如,从成像系统500获得的眼睛图像可用于形成瞳孔响应的模型。该模型可以基于从眼睛图像导出或测量的任何参数,参数包括但不限于:瞳孔面积、瞳孔半径、瞳孔周长、瞳孔直径或相对于瞳孔半径的外部虹膜半径。另外或可选地,瞳孔响应的生理特性可以通过耦合到可穿戴显示系统100的各种仪器来测量或者从处理眼睛图像中导出。图7示意性地示出了表示基于处理模块70、72的眼睛图像分析的瞳孔响应的参数。
图7示出了示例性的对于光调节的瞳孔响应。瞳孔响应曲线109(r(t)))示出了对于瞳孔半径r(t)的光106(L)的变化的生理响应的示例。如图7所示,光水平瞬间从水平LA增加到更高水平LA+LB,然后又回到水平LA。响应于不同水平的光106的瞳孔响应曲线109包括上升曲线部分109b和衰减曲线部分109d。人类眼睛102可以在光水平增加之后经历延迟时间τ1 109a。上升曲线部分109b示出了关于上升时间τD 109c的对增加的光水平(例如,LA+LB)的瞳孔响应。在一个实施例中,增加的光水平可以对应于暴露于眼睛的蓝光总量的总体增加。
瞳孔对降低的光水平表现出特定的响应(例如,由于光水平LA+LB变为较低水平LA,眼睛102暴露于较暗的状态)。衰减曲线部分109d示出了关于衰减时间τC 109e的对降低的光水平的瞳孔响应。衰减时间延迟109f描述了在增加的光水平LA+LB返回到水平LA时与在瞳孔衰减响应开始时之间的经过时间。109g描述了在发光状态和较暗状态之间和/或在较暗和较亮状态之间的瞳孔响应的绝对水平的差。在一些实施例中,可以使用图7中所示的各种值的比率(例如,109a-109g)来确定是否已达到阈值瞳孔响应。可以通过由耦合到可穿戴显示系统100的处理模块70、72实现的计时器或时钟来测量与瞳孔响应相关联的各种时间。关于调节的蓝光水平的瞳孔响应可以包括各种生理特性,包括但不限于:关于调节的蓝光水平的瞳孔响应曲线的上升时间、关于调节的蓝光水平的瞳孔响应曲线的衰减时间、关于调节的蓝光水平的延迟时间、关于调节的蓝光水平的瞳孔响应曲线的上升曲线部分的形状或关于调节的蓝光水平的瞳孔响应曲线的衰减曲线部分的形状。瞳孔响应时间通常在约100ms至约500ms的范围内。尽管在图7中示出相对于瞳孔响应的七个参数(例如,109a、109g),瞳孔响应的其他生理特性可以被测量并可以被包括作为瞳孔响应的参数。例如,可以包括瞳孔的最小和最大半径作为瞳孔响应的参数。因此,图7中所示的生理参数仅用于说明,并且人类眼睛的实际瞳孔响应可能与上述示例不同。
实现本文所述的蓝光调节例程的可穿戴显示系统100可以检测瞳孔响应的变化。例如,处理模块70、72可以实现例程800以调节暴露于眼睛102的蓝光的水平并将从可穿戴显示系统100接收的后续调节眼睛图像与在到蓝光水平的调节发生之前接收的初始眼睛图像进行比较。例如,在一个实施例中,检测瞳孔响应的变化可以是调节眼睛图像的瞳孔半径与初始眼睛图像的瞳孔半径的比较。在另一实施例中,初始眼睛图像可以是存储在用于拥有或访问可穿戴显示系统100的特定个体的生物数据库中的参考眼睛图像。
系统可以使用图像捕捉装置(例如,相机)捕捉对象(例如,眼睛)的一个或多个图像。在一些实施例中,在正常光照条件(例如,导入眼睛中的未经修改或未调节的水平的蓝光)下捕捉第一图像,而在修改的光照条件(例如,导入眼睛中的增加的水平的蓝光)下捕捉第二(或第三、第四等)图像。在正常光照条件下捕捉的图像可以被称为控制图像,以及在修改的光照条件下捕捉的图像可以被称为修改的图像。类似地,正常光照条件可以称为控制光照条件。
检测到的瞳孔响应的变化,诸如例如基于调节的蓝光水平的变化,可以用于某些生物应用。检测到的上述任何生理特性的变化可以指示可以从调节眼睛图像生成增强的虹膜代码,因为当瞳孔较小时可以对虹膜的较大部分进行成像。因此,一些生物应用可能需要检测到的瞳孔响应的变化以超过生物应用阈值。继续在上面的瞳孔半径的相同示例中,确定检测到的变化是否超过生物应用阈值可以包括确定瞳孔半径的差超过生物应用阈值。在该示例中,瞳孔半径的差对应于与所比较的眼睛图像(例如,初始眼睛图像与调节眼睛图像)的图像质量因子相关的图像质量度量。其他图像质量度量是可能的,如下面关于生物应用阈值的示例所讨论的。
在一些实现方式中,在已经针对瞳孔响应的变化分析调节眼睛图像之后,通过递增地调节蓝光的水平(例如,迭代蓝光的水平)来达到瞳孔响应的目标状态。例如,瞳孔响应的目标状态可以是阈值瞳孔半径(例如,足够小以获得高质量虹膜图像)。如果调节眼睛图像不具有超过阈值瞳孔半径的瞳孔半径,则可以递增地调节蓝光的水平,例如,以进一步将瞳孔收缩到瞳孔响应的目标状态。从这个角度来看,所接收的每个调节眼睛图像可以被视为对优化瞳孔响应的目标状态的系统的反馈。
另外或可选地,例如每个调节图像的反馈可用于调整瞳孔响应。例如,可以在暴露于眼睛的不同光条件下使用若干眼睛图像形成用于特定个体的瞳孔响应的模型。一旦形成模型,本文所述的系统和方法可用于增加或降低蓝光水平以调整瞳孔响应,从而实现目标状态(例如,平衡状态)。可以通过迭代地修改蓝光水平来实现平衡状态。平衡状态可以指当通过给定输入(例如,蓝光水平)实现可预测响应时的状态。这样的目标状态可以有助于实现合适的结果,而不会由显示器产生不必要的高水平的蓝光。
瞳孔响应建模的示例
如上文在图1A-1B和7中所述,对光或调节的水平的蓝光的瞳孔响应可以用于为使用可穿戴显示系统100的个体形成单独的生物模型。例如,处理模块70、72可以利用可穿戴显示系统100为个体创建单独的生物模型。为了创建这个单独的生物模型中,从眼睛图像获得的信息可以用于对该模型做出贡献,包括但不限于:对于增加的光水平的瞳孔响应曲线的上升时间、对于降低的光水平的瞳孔响应曲线的衰减时间、对于增加和/或降低的光水平的延迟时间、关于上升时间的上升曲线或关于衰减时间的衰减曲线、对于调节的蓝光水平的瞳孔响应曲线的上升时间、关于调节的蓝光水平的瞳孔响应曲线的衰减时间、对于调节的蓝光水平的延迟时间、对于调节的蓝光水平的瞳孔响应曲线的上升曲线部分、或对于调节的蓝光水平的瞳孔响应曲线的衰减曲线部分。因此,个体生物模型可以包括在正常光条件(例如,环境光照条件)下的瞳孔响应和在调节的水平的蓝光下的瞳孔响应。个体生物模型还可以包括参考眼睛图像,诸如在正常光照条件下获得的眼睛图像。这样的参考眼睛图像可以用于与在调节的水平的蓝光期间或之后获得的眼睛图像进行比较。在具有存在于可穿戴装置上的光传感器(例如,作为面向外的成像系统502的部分)的相机的实施例中,这种相机可用于一般地或特别地关于与蓝光相关联的波长来测量环境光水平。一些这样的实施例可能是有利的,因为显示系统具有环境蓝光水平的测量并且可以相对于环境水平改变蓝光水平以在观看者中引起瞳孔响应。
认知负荷
另外或可选地,个体生物模型还可以包括由除光水平之外的环境条件定义的瞳孔响应。个体的精神状态可以影响个体的瞳孔响应。因此,瞳孔响应的测量可用于在测量时推断个体的精神状态。认知负荷是指个体工作记忆(例如,用于保存和处理信息的记忆)中使用的精力的总量。认知负荷可能影响瞳孔响应。增加的认知负荷可能增加瞳孔的扩张,对应于瞳孔半径随时间的增加。或者作为另一示例,在高认知负荷的条件下瞳孔响应的上升时间可以比在正常认知负荷条件下的上升时间短。在电子显示器上曝光基本上舒缓的场景可以减少认知负荷并且可以引起个体瞳孔响应的可测量的变化。因此,关于在高认知负荷的时间段(例如,解决问题、观察动作场景)和用户正经历较低认知负荷的时间段(例如,在暴露于基本上舒缓的场景之后)之间的瞳孔响应的变化,可以通过分析眼睛图像来测量认知负荷的变化。
作为由环境条件定义的瞳孔响应的其他示例,瞳孔响应可以与个体的状态相关,包括但不限于:快乐、悲伤、愤怒、厌恶、恐惧、暴力倾向、唤醒或其他情绪。例如,相对于正常光照条件的瞳孔收缩的较短延迟时间可以指示对特定个体的愤怒。作为另一示例,瞳孔扩张的急剧上升曲线可以表示唤醒(例如,来自另一个体)。关于不同情绪状态的瞳孔响应针对不同个体可能不同。这种瞳孔响应可以包括在个体生物模型中。
个体生物模型还可用于确定认知负荷水平。如上所述,在“正常”光照条件下,个体可能存在瞳孔响应,例如正常瞳孔响应。一旦该个体经历增加的认知负荷(例如,思考在可穿戴显示系统上显示的数学问题或在使用可穿戴显示系统时的课堂练习期间思考),可以确定认知负荷的水平。例如,可以通过眼睛成像确定个体的当前瞳孔响应。可以将当前的瞳孔响应与个体的正常瞳孔响应(例如,在正常认知负荷下和/或在正常光照条件下)进行比较。可以通过显示系统测量和存储正常的瞳孔响应。为了估计认知负荷,可以从当前的瞳孔响应中减去正常的瞳孔响应,以产生认知负荷瞳孔响应,其是个体当前经历的认知负荷量的测量。可以减去或补偿其他干扰物(例如,与正常条件下的光水平相比的当前光水平的差)。较大(较小)的认知负荷瞳孔响应倾向于表明个体正在经历较大(较小)的认知活动。可以基于认知负荷瞳孔响应来估计认知负荷水平。例如,基于认知负荷瞳孔响应确定认知负荷水平可以包括将瞳孔半径与认知负荷得分相关联。
在各种实施例中,系统可以监视佩戴者的眼睛以确定佩戴者的认知负荷。这种监测可以在特定时间(例如,当佩戴者正在研究时)或者在用户激活认知负荷测量应用之后连续发生。佩戴者的认知负荷可以由佩戴者(或佩戴者授权的人)存储和访问以进行分析。例如,教师可以在学习期间检查学生的认知负荷,以确定学生是在高效学习还是在做白日梦。在其他实施例中,该系统可以包括面向外的相机,其可以对佩戴者附近的个体的眼睛成像。可以分析这些个体的眼睛图像并估计认知负荷。系统可以向佩戴者显示指示其他个体的认知负荷的图形。例如,教师可以在课堂上查看学生并且能够获得认知负荷的估计,这将倾向于指示哪些学生在课堂上注意。
一旦构建,个体生物模型可以存储在生物数据库中。例如,处理模块70、72可以经由安全通信通道(例如,通道被加密)与主控(host)生物数据库的服务器通信。生物数据库可以将个体生物模型存储为与该特定个体相对应的数据记录。以这种方式,生物数据库可以存储从各种可穿戴显示系统100获得的若干生物模型。另外或可选地,可以在本地存储个体生物模型(例如,处理模块70)。在这种情况下,本地存储的个体生物模型可以用于利用可穿戴显示系统100识别个体。例如,可穿戴显示系统100可以仅允许对与本地存储的个体生物模型匹配的个体进行访问或部分访问。
使用瞳孔响应的个体识别的示例
上面在图1A-1B和7中描述的关于光或调节的水平的蓝光的瞳孔响应可以用于识别使用可穿戴显示系统100的个体。一旦识别出使用该可穿戴显示系统的个体,系统可以基于相关联的瞳孔响应允许对某些生物应用进行访问。例如,处理模块70、72可以单独或与其他生物或非生物因素一起确定瞳孔响应识别使用可穿戴显示系统100的个体。作为做出这个确定的处理模块70、72的一个示例,从使用可穿戴显示系统100的用户获得的眼睛图像被分析用于关于增加的光水平的瞳孔响应曲线的上升时间。将该分析与特定个体的存储的生物记录进行比较,以确定该上升时间是否对应于所存储的生物记录的上升时间。一旦确定上升曲线确实对应于所存储的生物记录的上升曲线,处理模块70、72就可以允许对某些生物应用进行访问。
示例性地,在识别人类个体的一种实现方式中,可以使用五个或更多生物特性来确定瞳孔响应识别特定的人类个体。这五个生物特性或更多特性可以包括对于增加的光水平的瞳孔响应曲线的上升时间、对于降低的光水平的瞳孔响应曲线的衰减时间、对于增加和/或降低的水平的延迟时间、最大瞳孔半径和/或最小瞳孔半径。当个人试图使用与具有这五个生物特性(例如,存储为本地处理模块70中的记录)的个体生物模型相关联的可穿戴显示系统100时,获得眼睛图像以确定这五个生物特性,同时防止对属于可穿戴显示系统的部分的任何生物应用的进一步访问。例如,可以在获得眼睛图像的同时调节蓝光的水平。一旦确定了该个体的瞳孔响应,就可以将每个生物特性与所存储的特性进行比较,以确定是否应该允许对生物应用进行访问,例如,通过将图像质量度量与生物应用阈值进行比较,如上所述。在一些实现方式中,一组生物特性,诸如所描述的五个或更多个生物特性,可称为生物向量。另外或可选地,一些实现方式可以获得扩展的生物向量,其包括每只眼睛的一组生物特性。这种生物测量(例如,生物向量)可以与其他生物或非生物度量结合使用,以验证用户的身份。
存储对应于特定人类个体的生物特性的一些优点可以包括提高可穿戴显示系统的安全性。例如,未经授权的个体可以通过模仿(也称为欺骗)实际授权用户的生物特性来试图获得对显示系统和/或系统应用的访问。例如,寻求实现对可穿戴显示系统的非法访问的未经授权的个人可以向显示系统呈现授权用户的虹膜的图片(或3D模型)。一个系统应用可以将图像投影到用户的显示器上,仿佛图像出现在距用户不同的距离处。其他示例可以包括允许用户与因特网互动的软件、软件应用(“应用”)、系统设置、系统安全特征等。显示系统可以对虹膜图片或模型进行成像并被愚弄以允许未经授权的人访问。作为提高可穿戴显示器的安全性的另一示例,可穿戴显示系统的启动例程可以包括刺激瞳孔响应的场景。例如,作为初始化可穿戴显示系统的启动例程的部分,显示器可以投影日出的图像,其中天空变得越来越蓝。这样的场景可以刺激或触发佩戴系统的个体的瞳孔响应,使得可穿戴显示器可以测量佩戴者的瞳孔响应(例如,响应于天空的蓝色)并且使用测量的响应来识别佩戴者或确定佩戴者是有生命的个体(例如,反欺骗)。这种“日出”场景不限于启动,并且可以在需要识别或其他生物应用的其他时间使用。此外,日出的图像是非限制性示例,并且在其他情况下,可以使用其他类型的图像(例如,具有随时间变化的蓝化)。然而,使用本文描述的系统和方法,可以减少这种欺骗。瞳孔响应识别特定的生理响应和参数,只有有生命的人类个体才能复制,而不是固定的图像或3D模型。此外,瞳孔响应可以特定于一个人类个体,而不是由另一个人复制,类似于人类指纹。因此,可以通过确定特定的、有生命的人类个体的眼睛的瞳孔响应和与该响应相关联的相应生物特性(诸如如上所述获得的用于构建个体生物模型的信息)来促进对特定的、有生命的人类个体的识别。
处理模块70、72还可以确定与特定个体或特定类型的个体对应的瞳孔响应。可以基于所识别的个体的类型来授予或拒绝对生物应用的访问。各种类型的个体可以通过它们各自的瞳孔响应来识别。在一个实现方式中,可以拒绝与某些生物特性匹配但不与其他生物特性匹配的人类眼睛的访问。例如,可以基于瞳孔响应将已故的人类眼睛与有生命的人类眼睛区分开。示例性地,来自已故人类的眼睛将不会对改变的光水平显示任何瞳孔响应,而有生命的人类眼睛将显示瞳孔响应。作为可通过瞳孔响应识别的个体类型的其他示例,瞳孔响应可指示个体的各种生理状态,包括但不限于:无意识的人类个体、睡眠个体、疲倦的个体、醉酒的个体、老年个体、受伤个体、承受压力或其他情绪的个体、或受反射或认知损害物质影响的个体。作为示例,对于醉酒的个体,在通过他们的瞳孔响应识别时,可能无法获得对金融生物应用的访问。
瞳孔响应也可用于帮助测量个体的其他生理状态,诸如进行医学诊断。例如,暴露于调节的水平的蓝光的眼睛的长延迟时间可指示某种眼睛疾病或人类疾病。因此,临床医生可以使用从瞳孔响应识别的一个或多个生物特性来辅助使用可穿戴显示系统100的个体的医学诊断。
蓝光瞳孔响应例程的示例
图8示意性地示出了蓝光瞳孔响应例程的示例。例程800描绘了用于调节蓝光水平、检测瞳孔响应的变化、在利用关于生物应用的检测到的瞳孔响应时确定检测到的瞳孔响应的变化是否超过生物应用阈值的示例流程。例如,例程800可以由可穿戴显示系统100经由处理模块70、72实现。
例程800开始于框804。在框808,接收初始眼睛图像。可以从各种源接收眼睛图像,包括但不限于:图像捕捉装置、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算装置(例如,智能手机)。在一些实现方式中,接收初始眼睛图像是可选步骤。初始眼睛图像可以是参考图像,诸如存储在生物数据库中作为生物记录的参考眼睛图像。
在例程800中继续,在框812,调节暴露于眼睛102的蓝光的水平。例如,可以调节可穿戴显示系统100的显示器,以便显示更多蓝色。示例性地,显示器的某些区域可以从另一个非蓝色像素转换为蓝色像素。调节蓝光水平的其他方式是可能的,如上面关于经历蓝光调节的眼睛的示例所描述的。在该蓝光调节期间或在蓝光调节之后,可以接收另外的眼睛图像。在该实现方式中,在框816,接收调节眼睛图像。也就是说,在蓝光调节期间或之后接收的眼睛图像由可穿戴显示系统100接收,例如,经由图像捕捉装置。例如,可以如上关于在框808接收初始眼睛图像所描述的那样接收调节眼睛图像。
在框820,检测瞳孔响应的变化。如上面关于对蓝光调节的瞳孔响应的示例所描述的,可以通过分析各种生理响应来检测瞳孔响应的变化,诸如关于增加的光水平的瞳孔响应曲线的上升时间。例如,可以通过将初始眼睛图像与调节眼睛图像进行比较来检测瞳孔响应的变化。一旦检测到瞳孔响应的变化,例程800的流程就前进到判定框824。在判定框824,将检测到的变化与生物应用阈值进行比较,以确定检测到的变化是否超过该阈值。如上面关于对蓝光调节的瞳孔响应的示例所描述的,各种图像质量度量可以表示检测到的变化的瞳孔响应。另外,对应于各个图像质量度量的各种生物应用阈值是可能的。如果表示检测到的变化的图像质量度量确实没有超过生物应用阈值,则流程返回到块812,其中可以进一步调节蓝光的水平。然而,如果表示检测到的变化的图像质量度量超过生物应用阈值,则流程进行到框828。
在框828,表示检测到的变化的图像质量度量或包括调节眼睛图像的接收到的眼睛图像可以用于生物应用。例如,在一个实施例中,检测到的瞳孔响应的变化可用于识别个体是否是人类。作为又一示例,可以利用瞳孔响应的生物特性来识别特定的人类个体。在其他实施例中,所接收的眼睛图像可以用于确定相关眼睛的眼睛姿态或虹膜代码。生物特性可以包括个体的状态,诸如,例如个体是否醉酒、部分或完全清醒、是否处于部分或重度认知负荷下、是否受到改变思维或改变意识的物质的影响、和/或是否无意识。之后,在块828,例程800结束。
在各种实施例中,例程800可以由诸如显示系统100的实施例的显示系统的硬件处理器(例如,处理模块70、72或控制器210)来执行。在其他实施例中,具有计算机可执行指令的远程计算装置可以使头戴式显示系统执行例程800。例如,在框820,可以使远程计算装置检测瞳孔响应的变化,同时可以使本地处理模块70执行例程800中的其他步骤。
蓝光识别例程的示例
图9示意性地示出了蓝光识别例程的示例。例程900描绘了用于调节蓝光水平、检测瞳孔响应的变化、确定瞳孔响应的生物特性是否识别个体、以及基于瞳孔响应识别允许对生物应用的访问的示例流程。例如,例程900可以由可穿戴显示系统100经由处理模块70、72实现。
例程900开始于框904。在框908,调节暴露于眼睛102的蓝光的水平。例如,可以调节可穿戴显示系统100的显示器,以便显示更多蓝色。示例性地,显示器的某些区域可以从另外的非蓝色像素转换为蓝色像素。调节蓝光水平的其他方式是可能的,如上面关于经历蓝光调节的眼睛的示例所描述的。在该蓝光调节期间和/或在蓝光调节之后,接收眼睛图像。
在该实现方式中,在框912,接收眼睛图像。例如,可以从各种源接收眼睛图像,包括但不限于:图像捕捉装置、头戴式显示系统、服务器、非暂时性计算机可读介质或客户端计算装置(例如,智能手机)。可选地,可以在一段时间内接收若干眼睛图像。例如,时间段可以对应于蓝光逐渐增加的时段。作为另一示例,时间段可以对应于蓝光调节之后的有限时段。
在框916,检测瞳孔响应的变化。如上面关于对蓝光调节的瞳孔响应的示例所描述的,可以通过分析各种生理响应来检测瞳孔响应的变化,诸如对于增加的光水平的瞳孔响应曲线的上升时间。例如,可以通过将接收的眼睛图像与参考眼睛图像进行比较来检测瞳孔响应的变化。在一个实施例中,可以将接收的眼睛图像与若干参考眼睛图像进行比较,以检测在一时间段内瞳孔响应的变化。一旦检测到瞳孔响应的变化,例程900的流程就前进到判定框920。在判定框920,将检测到的瞳孔响应或瞳孔响应本身的变化与个体的生物特性进行比较。例如,可以将检测到的瞳孔响应的变化与作为生物数据库中的记录而存储的若干生物模型进行比较。如上面关于使用瞳孔响应的个体识别的示例所描述的,各种个体识别是可能的,包括但不限于:人类个体的识别、个体的类型和/或类别的识别、以及与瞳孔响应相关联的某些生物特性的识别。如果瞳孔响应对应于个体的生物特性,则流程返回到框908,其中可以进一步调节蓝光的水平。然而,如果瞳孔响应不对应于人类个体的生物特性,则流程进行到框920。
在框924,将生物特性对应于特定个体的瞳孔响应确定可以允许对生物应用的访问。例如,在一个实施例中,人类个体的识别允许对与可穿戴显示系统100相关联的所有生物应用的访问。作为又一示例,醉酒个体的识别仅允许对非金融生物应用的访问。之后,在块924,例程900结束。
在各种实施例中,例程900可以由诸如显示系统100的实施例的显示系统的硬件处理器(例如,处理模块70、72或控制器210)来执行。在其他实施例中,具有计算机可执行指令的远程计算装置可以使头戴式显示系统执行例程900。例如,在块916,可以使远程计算装置检测瞳孔响应的变化,同时可以使本地处理模块70执行例程900中的其他步骤。
蓝光瞳孔响应例程的附加示例
图10示意性地示出了蓝光瞳孔响应例程的示例。例程1000描绘了用于调节蓝光水平、测量瞳孔响应、执行生物应用的示例流程。例如,例程1000可以由可穿戴显示系统100经由处理模块70、72实现。
例程1000开始于框1004。在框1008,调节暴露于眼睛102的蓝光的水平。例如,可以调节可穿戴显示系统100的显示器,以便显示更多蓝色。示例性地,显示器的某些区域可以从另外的非蓝色像素转换为蓝色像素。调节蓝光水平的其他方式是可能的,如上面关于经历蓝光调节的眼睛的示例所描述的。在一些实施例中,在框1008,在一时间段内接收眼睛图像。例如,该时间段可以对应于蓝光调节的时段。作为另一示例,该时间段可以对应于在蓝光调节之后的有限时段。可以从各种源接收眼睛图像,包括但不限于:图像捕捉装置、头戴式显示系统、服务器,非暂时性计算机可读介质或客户端计算装置(例如,智能电话)。
在框1012,测量瞳孔响应。如上面关于对蓝光调节的瞳孔响应和经历蓝光调节的眼睛的示例所述,可以通过检测各种生理响应来测量瞳孔响应,诸如对于增加的光水平或瞳孔的最大半径的瞳孔响应曲线的上升时间。一旦测量到,例程1000的流程进行到判定框1016。在一些实现方式中,测量的瞳孔响应可以由图像质量度量表示,用于与生物应用阈值的比较或生物特性的识别。在一些实现方式中,框1012是可选步骤。
在框1016,执行生物应用。例如,可穿戴显示系统100的本地处理模块70可以利用在蓝光调节期间获得的眼睛图像来实现虹膜代码生成例程。作为又一示例,处理模块70可以利用在蓝光调节期间获得的眼睛图像来执行生物识别例程。生物应用的示例包括但不限于生成虹膜代码、确定认知响应、授权对头戴式显示系统的访问、识别头戴式显示系统的佩戴者、显示与确定的瞳孔响应相关联的个体相关联的信息、或确定头戴式显示系统的佩戴者的生理状态。例如,通过使用本文描述的蓝光调节技术,显示系统可以能够识别佩戴者是被授权使用显示系统并且(例如,通过显示器或音频装置)呈现消息的个体(例如,“欢迎,Adrian”)。如果确定佩戴者是未被授权使用该装置的个体,则系统可以呈现不同的消息(例如,“您未被授权使用该显示器”,或者,如果该用户被识别但未被授权,则“Andrew,这是Adrian的显示器”)。之后,在块1020,例程1000结束。
在各种实施例中,例程1000可以由诸如显示系统100的实施例的显示系统的硬件处理器(例如,处理模块70、72或控制器210)来执行。在其他实施例中,具有计算机可执行指令的远程计算装置可以使头戴式显示系统执行例程1000。例如,在框1008,可以使得远程计算装置调节蓝光的水平,同时在框1016,可以使本地处理模块70执行生物应用。
生物应用例程阈值的示例
如本文所述,通过增加到眼睛的蓝光的水平,瞳孔收缩以及虹膜的面积增加,这允许虹膜的更好的成像。当拍摄眼睛图像直到眼睛图像超过生物应用质量阈值时,可以改变蓝光的水平,以便获得用于各种生物应用(例如,虹膜代码)的高质量虹膜图像。
生物应用阈值(Q)可以共享与眼睛图像的图像质量度量的特定质量水平的关系。眼睛图像可以具有与图像相关联的各种质量因素,包括但不限于:分辨率(例如,虹膜分辨率)、聚焦、散焦、清晰度、模糊、未被遮挡的像素或被遮挡的像素(例如,被眼睫毛或眼睑遮挡)、眩光、闪光(例如,来自自然或人工源的角膜反射)、噪声、动态范围、色调再现、亮度、对比度(例如,伽玛)、色彩准确度、色彩饱和度、白度、失真、渐晕、曝光精度、横向色差、透镜眩光、伪影(例如,在RAW转换期间的软件处理伪像)和彩色莫尔条纹。这些图像质量因子中的一个或多个可具有与质量因子的测量相关联的图像质量度量。可以在处理模块70、72中计算或处理多个眼睛图像的图像质量度量。仅作为一个示例,处理模块70、72可以确定与调节眼睛图像(例如,在关于蓝光水平的调节之后获得的眼睛图像)相关联的图像质量度量。因此,可以确定某个质量度量与由至少两个眼睛图像表示的瞳孔响应之间的关系(例如,通过使用标准或控制眼睛图像的校准)。例如,一个或多个图像质量度量可以具有相关联的生物应用阈值Q。在一些实施例中,参考眼睛图像可以用于确定生物应用阈值Q。
示例性地,眼睛图像的分辨率(例如,质量度量)可以用虹膜的分辨率表示,虹膜的分辨率表示为像素中的距离。在许多应用中,为了捕捉虹膜细节,虹膜的径向分辨率大于约70个像素并且可以在80到200个像素的范围内。例如,生物应用阈值可以是关于虹膜的半径的130个像素。在一个实施例中,可以从参考眼睛图像确定130像素的该生物应用阈值。例如,阈值可以设置为观察(测量)的虹膜半径的部分。继续在该示例中,可以将虹膜半径为110个像素的初始眼睛图像与虹膜半径为130个像素的生物应用阈值进行比较。这样的图像不会超过阈值,由此不能用于生物应用或用于眼睛图像处理。然而,如果调节眼睛图像(例如,调节为具有增加的蓝光水平)具有150个像素的虹膜半径(例如,由于瞳孔的收缩),则调节眼睛图像可能超过生物应用阈值并且可用于生物应用或用于眼睛图像处理。例如,调节眼睛图像可用于生成虹膜代码。在一些实现方式中,图像质量度量可以是在眼睑之间可见的虹膜的百分比。例如,低于50%的百分比可以指示眼睛处于眨眼状态或者用户未处于完全功能性认知状态(例如,用户在认知负荷下处于睡眠、无意识、药物治疗、醉酒状态)。由此,如果图像质量度量超过图像质量阈值(例如,60%、70%、75%、80%、90%或更高),则可以选择图像。如这些示例所示,任何眼睛图像可用于计算反映眼睛图像的质量的图像质量度量(例如,实值数(real valued number))q。
因此,在使用生物应用阈值的情况下,可以使用具有计算的图像质量度量的任何眼睛图像来检测瞳孔响应的变化(例如,比较两个眼睛图像)或瞳孔响应的状态(例如,分析用于识别个体特性的单个眼睛图像)。在许多情况下,对于更高质量的图像,q更大(例如,未被遮挡的像素的q可以随着未被遮挡的像素的量增加而增加),并且高质量图像包括具有超过生物应用阈值Q(在生物应用阈值Q之上增加)的q值的那些图像。在其他情况下,对于更高质量的图像,q更小(例如,对于被遮挡的像素的q可以随着被遮挡的像素的量减少而减小),并且高质量图像包括具有超过生物应用阈值Q(在生物应用阈值Q之下减小)的q值的那些图像。
在一些实现方式中,眼睛图像的质量度量可以是关于图像而计算的多个分量质量度量的组合。例如,眼睛图像的质量度量可以是各种分量质量度量的加权和。这样的质量度量可以有利地将不同类型的图像质量(例如,未被遮挡的像素的量、分辨率和聚焦)量化为图像质量的单个整体测量。
在一些情况下,可以将透视校正应用于眼睛图像(例如,以减少成像相机和眼睛之间的透视效果)。例如,可以对眼睛图像进行透视校正,使得眼睛看起来是直视而不是从角度观看。透视校正可以提高眼睛图像的质量,并且在一些情况下,从透视校正的眼睛图像计算质量度量。
从这些示例中可以看出,生物应用阈值可以将调节眼睛图像的图像质量与生物应用中的该眼睛图像的后续利用相关联。例如,可以在生物应用中利用超过生物应用阈值的调节眼睛图像,而不利用未超过生物应用阈值的调节眼睛图像。例如,在调节眼睛图像已超过生物应用阈值的情况下,可以在生物应用中利用调节眼睛图像,诸如对一组眼睛图像执行生物数据操作以获得生物信息。或者作为另一示例,生物应用可以基于调节眼睛图像执行姿态估计或虹膜代码生成。任何这样的生物应用技术可以与本文描述的技术和系统结合使用。例如,如上面在图8中所描述的,例程800描绘了用于处理这样的眼睛图像以确定它们是否超过生物应用阈值以及是否在生物应用中利用这样的图像(例如,个体的识别)的示例流程。
示例实施例
这里描述的蓝光调节技术可以应用于电子显示器或任何可佩戴的显示系统。蓝光调节技术可以一起被视为用于处理眼睛图像的单个过程和/或方法。
因此,预期至少以下实施例。
(1)一种装置,包括拍摄眼睛图像的相机。相机可以是数码相机。该装置还包括显示器和处理系统,它们协同工作以调节蓝光的水平。
(2)根据(1)所述的实施例,其中(a)显示器的越来越大的区域被转换为蓝色像素或(b)(2)显示器的所有像素从其现有的颜色移动成蓝色。
技术(2)(a)和(2)(b)可以顺序执行或作为同时组合的部分执行。
(3)根据(1)或(2)中任一项所述的实施例,其中处理系统控制蓝光作为明确控制用户的瞳孔扩张状态的手段。
(4)根据(1)至(3)中任一项所述的实施例,其中处理系统包括在(例如,通过分析来自用于虹膜代码提取的相同相机的图像)测量出瞳孔扩张状态时的反馈控制,并调节蓝光水平直到达到目标平衡状态。例如,可以从用于虹膜代码提取的相机分析眼睛图像。
(5)根据(1)至(4)中任一项所述的实施例,其中处理系统在虹膜代码构造中需要高置信度。例如,生物系统中的原始登记或者正在进行金融交易时可能需要高置信度。也就是说,生物系统或此类金融交易中的原始登记的置信度超过置信度阈值。
(6)根据(1)至(5)中任一项所述的实施例,其中处理系统测量瞳孔响应或最大扩张状态(或两者),作为验证用户身份的手段。
(7)根据(1)至(6)中任一项所述的实施例,其中处理系统(a)测量瞳孔响应,测量为五个参数的测量,五个参数包括最大和最小扩张半径、瞳孔响应延迟、以及表征在光水平升高或降低时瞳孔的适应曲线的两个参数;(b)验证五个参数是否在人类主体的可能范围内,作为验证有生命的人类是虹膜识别系统的主体的手段。
(8)根据(1)至(7)中任一项所述的实施例,其中处理系统使用五个参数作为识别手段。
(9)根据(1)至(8)中任一项所述的实施例,其中处理系统对瞳孔的行为进行建模,包括瞳孔在照明的改变之后其作为时间的函数而适应的行为。
(10)根据(1)至(9)中任一项所述的实施例,其中处理系统识别用于瞳孔的行为的模型的参数。
(11)根据(1)至(10)中任一项所述的实施例,其中处理系统针对人类个体的每只眼睛计算关于瞳孔的行为的所识别的模型参数。
(12)根据(1)至(11)中任一项所述的实施例,其中处理系统使用瞳孔光反射(例如,瞳孔响应)作为区分有生命的人与已故者的手段。
(13)根据(1)至(12)中任一项所述的实施例,其中处理系统使用瞳孔光反射(例如,瞳孔响应)作为识别无意识、睡眠、疲倦、醉酒或在反射或认知损害物质的影响下的人的手段。
其他方面
在第1方面,公开了一种头戴式显示系统,其被配置为将可变水平的蓝光投射到用户的眼睛。该显示系统包括:框架,其被配置为可佩戴在用户的头部上;显示器,其被配置为至少将蓝光投射到用户的眼睛中并且相对于非蓝光的强度来修改蓝光的强度;相机,其被配置为在显示器将具有蓝光与非蓝光的强度的第一比率的光投射到眼睛时捕捉眼睛的第一图像,并被配置为在显示器将与第一比率不同的蓝光与非蓝光的强度的第二比率投射到眼睛中时捕捉眼睛的第二图像;以及硬件处理器,其被编程为:分析来自相机的图像,以确定参考图像和调查图像之间的瞳孔参数的变化超过生物应用阈值;至少部分地基于所确定的变化,指示显示器修改蓝光与非蓝光强度的比率;确定第二图像和第一图像之间的瞳孔参数的变化与人类个体的生物特性匹配;以及确定人类个体的身份。
在第2方面,根据方面1所述的头戴式显示系统,其中显示器包括扫描光纤投影仪。
在第3方面,根据方面1或方面2所述的头戴式显示系统,其中如果个体的身份与被授权使用系统应用的个体的身份不匹配,则硬件处理器被编程为限制对系统应用的访问。
在第4方面,根据方面3所述的头戴式显示系统,其中系统应用包括仿佛在多个深度处显示图像。
在第5方面,根据方面1至4中任一项所述的头戴式显示系统,其中显示器被配置为修改波长范围在约445nm和525nm之间的光的强度。
在第6方面,根据方面1至5中任一项所述的头戴式显示系统,其中显示器被配置为通过闪烁蓝光超过10ms来增加蓝光与非蓝光强度的第二比率。
在第7方面,根据方面1至6中任一项所述的头戴式显示系统,其中显示器被配置为投射两种或更多种颜色的光。
在第8方面,根据方面1至7中任一项所述的头戴式显示系统,其中显示器被配置为仿佛在距用户的多个深度处显示内容。
在第9方面,根据方面1至8中任一项所述的头戴式显示系统,其中显示器包括多个堆叠波导。
在第10方面,根据方面1至9中任一项所述的头戴式显示系统,其中为了指示显示器修改蓝光相对于非蓝光的强度,硬件处理器被编程为指示图像注入装置以增加注入到多个堆叠波导的相应堆叠波导中的蓝光的比例。
在第11方面,根据方面1至10中任一项所述的头戴式显示系统,其中硬件处理器还被配置为形成个体生物模型,所述个体生物模型包括以下中的至少一个:对于蓝光强度与非蓝光强度的第一比率的瞳孔响应的第一上升时间、对于蓝光强度与非蓝光强度的第一比率的瞳孔响应的第一衰减时间、对于蓝光强度与非蓝光强度的第一比率的瞳孔响应的第一延迟时间、对于蓝光强度与非蓝光强度的第一比率的瞳孔响应的第一上升曲线、对于蓝光强度与非蓝光强度的第一比率的瞳孔响应的第一衰减曲线、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的第二上升时间、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的第二衰减时间、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的第二延迟时间、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的第二上升曲线、或对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的第二衰减曲线。
在第12方面,根据方面1至11中任一项所述的头戴式显示系统,其中硬件处理器被编程为基于瞳孔参数的变化来计算认知负荷得分。
在第13方面,根据方面1至12中任一项所述的头戴式显示系统,其中瞳孔参数的变化包括增加的瞳孔半径。
在第14方面中,根据方面1至13中任一项所述的头戴式显示系统,其中硬件处理器被编程为:确定佩戴头戴式显示系统的个体的瞳孔参数的当前变化;将瞳孔参数的当前变化与个体生物特征模型的瞳孔参数的建模变化相关联以生成认知负荷瞳孔响应,其中建模变化包括正常认知负荷下的瞳孔参数的变化;基于认知负荷瞳孔响应确定认知负荷水平。
在第15方面,公开了一种使用包括耦合到计算硬件的相机的可穿戴显示系统识别人类个体的方法,该可穿戴显示系统包括被配置为将光引导到眼睛中的波导堆叠。该方法包括:将包括蓝光强度与非蓝光强度的第一比率的参考光引导到眼睛中;使用相机,在参考光被引导到眼睛中时捕捉眼睛的第一图像;引导修改光进入眼睛,该修改光包括不同于第一比率的蓝光强度与非蓝光的强度的第二比率;使用相机,在修改光被引导到眼睛中时捕捉眼睛的第二图像;检测第一图像和第二图像之间的眼睛的瞳孔参数的变化;确定检测到的瞳孔参数的变化与人类个体的生物特性匹配;以及识别人类个体。
在第16方面,根据方面15所述的方法还包括步骤:基于检测到的瞳孔参数的变化允许对系统应用进行访问。
在第17方面,根据方面16或方面15所述的方法,其中基于检测到的瞳孔参数的变化允许对系统应用进行访问包括以下中的至少一个:确定认知负荷、估计眼睛姿态、生成虹膜代码、或确定情绪响应。
在第18方面,根据方面15至17中任一项所述的方法,其中瞳孔参数包括以下中的至少一个:瞳孔的最大半径、瞳孔的最小半径、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的上升时间、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的衰减时间、或对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的延迟时间。
在第19方面,根据方面15至18中任一项所述的方法,还包括确定检测到的瞳孔参数的变化与以下中的至少一个的瞳孔参数的变化相匹配:无意识的人类个体、睡眠个体、疲倦的个体、醉酒的个体、或在认知损害物质影响下的个体。
在第20方面,根据方面15至19中任一项所述的方法,还包括确定从第二图像测量的图像质量度量超过图像质量阈值的步骤,图像质量度量包括眼睛的一部分和眼睑之间的距离。
在第21方面,公开了一种头戴式显示系统,其被配置为将可变水平的蓝光投射到用户的眼睛。该显示系统包括:框架,其被配置为可佩戴在用户的头部上;显示器,包括被配置为至少将蓝光投射到用户的眼睛中并且相对于非蓝光的强度来修改蓝光的强度;相机,其被配置为在显示器将具有蓝光与非蓝光的强度的第一比率的光投射到眼睛时捕捉眼睛的第一图像,并被配置为在显示器将与第一比率不同的蓝光与非蓝光的强度的第二比率投射到眼睛中时捕捉眼睛的第二图像;以及硬件处理器,其被编程为:分析来自相机的图像,以确定第二图像和第一图像之间的瞳孔参数的变化超过生物应用阈值;至少部分地基于所确定的变化,指示显示器修改蓝光与非蓝光强度的比率;确定第二图像和第一图像之间的瞳孔参数的变化超过生物应用阈值;以及响应于该确定执行生物应用。
在第22方面,根据方面21所述的头戴式显示系统,其中显示器被配置为修改波长范围在约445nm和525nm之间的光的强度。
在第23方面,根据方面21或方面22所述的头戴式显示系统,其中硬件处理器被编程为相对于在第二张图像期间投射蓝光的显示器的像素的数量,增加在第一图像期间投射蓝光的显示器的像素的数量。
在第24方面,根据方面21至23中任一项所述的头戴式显示系统,其中显示器被配置为仿佛在距用户的多个深度处显示内容。
在第25方面,根据方面21至24中任一项所述的头戴式显示系统,其中显示器包括扫描光纤投影仪。
在第26方面中,根据方面21至25中任一项所述的头戴式显示系统,其中显示器被配置为向用户呈现光场图像。
在第27方面,根据方面21至26中任一项所述的头戴式显示系统,其中所述系统包括多个堆叠波导。
在第28方面,根据方面21至27中任一项所述的头戴式显示系统,其中为了指示显示器相对于非蓝光修改蓝光的强度,硬件处理器被编程为指示图像注入装置以增加注入到多个堆叠波导的相应堆叠波导中的蓝光的比率。
在第29方面,根据方面21至28中任一项所述的头戴式显示系统,其中所述瞳孔参数包括以下中的至少一个:瞳孔的最大半径、瞳孔的最小半径、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的上升时间、对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的衰减时间、或对于蓝光强度与非蓝光强度的第二比率的瞳孔响应的延迟时间。
在第30方面,根据方面21至29中任一项所述的头戴式显示系统,其中瞳孔参数包括瞳孔的周长。
在第31方面,根据方面21至30中任一项所述的头戴式显示系统,其中瞳孔参数的变化包括意向中的至少一个:关于蓝光强度与非蓝光强度的第二比率的瞳孔响应的上升时间的上升曲线、或关于蓝光强度与非蓝光强度的第二比率的瞳孔响应的衰减时间的衰减曲线。
在第32方面,根据方面21至31中任一项所述的头戴式显示系统,其中生物应用包括以下中的至少一个:生成虹膜代码、确定认知响应、授权对头戴式显示系统进行访问、识别头戴式显示系统的用户、显示与确定的瞳孔响应相关联的个体相关的信息、或确定头戴式显示系统的用户的生理状态。
在第33方面,根据方面21至32中任一项所述的头戴式显示系统,其中硬件处理器被编程为在头戴式显示系统的软件启动期间呈现蓝光强度变化的图像。
在第34方面,根据方面33所述的头戴式显示系统,其中硬件处理器被编程为在软件启动期间测量瞳孔参数的变化,并执行生物识别动作。
在第35方面,根据方面34所述的头戴式显示系统,其中执行生物识别动作包括以下中的至少一个:识别显示系统的用户、确定显示系统的用户是有生命的个体、确定显示系统的用户被授权使用显示系统、或显示与具有测量的瞳孔参数变化的个体相关联的信息。
在第36方面,公开了一种使用包括耦合到计算硬件的相机的可穿戴显示系统识别人类个体的方法,该可穿戴显示系统包括被配置为将光引导到眼睛中的波导堆叠。该方法包括:将包括蓝光强度与非蓝光强度的第一比率的参考光引导到眼睛中;使用相机,在参考光被引导到眼睛中时捕捉眼睛的第一图像;引导修改的光进入眼睛,该修改的光包括不同于第一比率的蓝光强度与非蓝光的强度的第二比率;使用相机,在修改光被引导到眼睛中时捕捉眼睛的第二图像;检测第二图像和第一图像之间的眼睛的瞳孔参数的变化;确定检测到的瞳孔参数的变化超过生物应用阈值;以及执行生物应用。
在第37方面,根据方面36所述的方法,其中将修改的光引导到眼睛中包括相对于参考光增加蓝光的强度。
在第38方面,根据方面36或方面37所述的方法,其中增加蓝光的强度包括使蓝光闪烁超过10ms。
在第39方面,根据方面36至38中任一项所述的方法,其中检测第二图像和第一图像之间的眼睛的瞳孔参数的变化包括将第一图像的瞳孔半径与第二图像的瞳孔半径进行比较,其中确定检测到的瞳孔参数的变化超过生物应用阈值包括确定瞳孔半径的差超过生物应用阈值。
在第40方面,根据方面36至40中任一项所述的方法,还包括确定从第一图像测量的图像质量度量超过图像质量阈值的步骤,图像质量度量包括眼睛的一部分和眼睑之间的距离。
在第41方面,公开了一种用于调节暴露于眼睛的蓝光的水平的方法。该方法包括:在计算硬件的控制下,接收由图像捕捉装置获得的初始眼睛图像;调节与初始眼睛图像相关联的暴露于眼睛的蓝光的水平;接收暴露于调节的水平的蓝光的眼睛的调节眼睛图像;检测调节眼睛图像相对于初始眼睛图像的瞳孔响应的变化;确定检测到的瞳孔响应的变化超过生物应用阈值;以及执行生物应用。
在第42方面,根据方面41所述的方法,其中调节暴露于眼睛的蓝光的水平包括增加蓝光的水平。
在第43方面,附件方面41或方面42所述的方法,其中增加蓝光的水平对应于以下中的至少一个:持续时间段闪烁蓝光、持续时间段使蓝光脉冲、增加显示器的为蓝色像素的面积、将显示器的显示像素移动到增加的蓝色值、或增加显示器中的蓝色像素的量。
在第44方面,根据方面41-43中任一项所述的方法,其中检测调节眼睛图像相对于初始眼睛图像的瞳孔响应的变化包括将调节眼睛图像的瞳孔半径与初始眼睛图像的瞳孔半径进行比较。
在第45方面,根据方面44所述的方法,其中确定检测到的瞳孔响应的变化超过生物应用阈值包括确定瞳孔半径的差超过生物应用阈值,其中生物应用阈值将瞳孔半径的差与图像质量度量相关联。
在第46方面,根据方面41-45中任一项所述的方法,其中图像质量度量包括与以下中的一个或多个相关的测量:眨眼、眩光、散焦、分辨率、遮挡的像素、未遮挡的像素、噪声、伪影或模糊。
在第47方面,根据方面41-46中任一项所述的方法,其中执行生物应用包括确定认知负荷或确定情绪响应。
在第48方面,根据方面41-47中任一项所述的方法,其中执行生物应用包括估计眼睛姿态或生成虹膜代码。
在第49方面,根据方面41-48中任一项所述的方法,其中在反馈回路中执行调节蓝光水平,直到达到眼睛的目标平衡状态。
在第50方面,一种硬件处理器,其被编程为执行根据方面41-49中任一项所述的方法。
在第51方面,公开了一种用于执行生物应用的可穿戴显示系统。该可穿戴显示系统包括:根据方面50所述的硬件处理器;以及图像装置,其被配置为将可穿戴显示系统的佩戴者的眼睛图像发送到硬件处理器。
在第52方面,根据方面51所述的可穿戴显示系统,其中硬件处理器还被编程为执行根据方面41-49中任一项所述的方法,以调节暴露于眼睛的蓝光的水平。
在第53方面,一种头戴式显示系统,包括:显示器;图像捕捉装置,其被配置为捕捉眼睛的图像;以及硬件处理器,其被编程为:调节蓝光的水平以及执行生物应用。
在第54方面,根据方面53所述的头戴式显示系统,其中调节蓝光的水平包括调节波长范围在445nm至525nm内的光。
在第55方面,根据方面53或方面54所述的头戴式显示系统,其中为了调节蓝光的水平,硬件处理器被编程为:调节显示器的像素以增加像素的相对于其他颜色值的蓝色值。
在第56方面,根据方面53-55中任一项所述的头戴式显示系统,其中显示器被配置为向佩戴者呈现多个深度平面。
在第57方面,根据方面53-56中任一项所述的头戴式显示系统,其中显示器被配置为向佩戴者呈现光场图像。
在第58方面,根据方面53-57中任一项所述的头戴式显示系统,其中显示器包括多个堆叠波导。
在第59方面,根据方面53-58中任一项所述的头戴式显示系统,其中为了调节蓝光的水平,硬件处理器被编程为:调节图像注入装置以增加注入到多个堆叠波导的相应堆叠波导的蓝光的水平。
在第60方面,根据方面53-59中任一项所述的头戴式显示系统,其中硬件处理器被编程为:测量暴露于调节的水平的蓝光的眼睛的瞳孔响应。
在第61方面,根据方面53-60中任一项所述的头戴式显示系统,其中瞳孔响应包括瞳孔的最大半径、瞳孔的最小半径、对于调节的蓝光水平的瞳孔响应的上升时间、对于调节的蓝光水平的瞳孔响应的衰减时间、或对于调节的蓝光水平的瞳孔响应的延迟时间。
在第62方面,根据方面53-61中任一项所述的头戴式显示系统,其中瞳孔响应包括瞳孔的周长。
在第63方面,根据方面53-62中任一项所述的头戴式显示系统,其中瞳孔响应包括关于调节的蓝光水平的瞳孔响应的上升时间的上升曲线或者关于调节的蓝光水平的瞳孔响应的衰减时间的衰减曲线。
在第64方面,根据方面53-63中任一项所述的头戴式显示系统,其中生物应用包括以下中的一个或多个:生成虹膜代码、确定认知响应、授权对头戴式显示系统进行访问、识别头戴式显示系统的佩戴者、显示与确定的瞳孔响应相关联的个体相关的信息、或者确定头戴式显示系统的佩戴者的生理状态。
在第65方面,根据方面53-64中任一项所述的头戴式显示系统,其中硬件处理器被编程为:在头戴式显示系统的启动期间,呈现在启动期间改变蓝光水平的图像。
在第66方面,根据方面65所述的头戴式显示系统,其中硬件处理器被编程为在启动期间测量瞳孔响应并执行生物识别动作。
在第67方面,根据方面66所述的头戴式显示系统,其中生物识别动作包括识别显示系统的佩戴者、确定显示系统的佩戴者是有生命的个体、确定显示系统的佩戴者被授权使用显示系统、或者显示与具有测量的瞳孔响应的个体相关联的信息。
在第68方面,公开了一种用于识别人类个体的方法。该方法包括:在计算硬件的控制下,调节蓝光的水平;接收暴露于调节的水平的蓝光的眼睛的眼睛图像;通过将接收的眼睛图像与参考图像进行比较来检测瞳孔响应的变化;确定瞳孔响应对应于人类个体的生物特性;以及基于瞳孔响应确定允许对生物应用进行访问。
在第69方面,根据方面68所述的方法还包括:测量暴露于调节的水平的蓝光的眼睛的瞳孔响应。
在第70方面,根据方面68或方面69所述的方法,其中测量的瞳孔响应包括瞳孔的最大半径、瞳孔的最小半径、关于调节的蓝光水平的瞳孔响应曲线的上升时间、关于调节的蓝光水平的瞳孔响应曲线的衰减时间、或关于调节的蓝光水平的延迟时间。
在第71方面,根据方面68-70中任一项所述的方法,其中瞳孔响应曲线包括关于调整的蓝光水平的瞳孔响应的上升时间的上升曲线或关于调整的蓝光水平的瞳孔响应的衰减时间的衰减曲线。
在第72方面,根据方面68-71中任一项所述的方法,其中人类个体的生物特性对应于生物数据库中的个体的特性。
在第73方面,根据方面68-72中任一项所述的方法,其中确定瞳孔响应对应于人类个体的生物特性包括确定瞳孔响应对应于有生命的人类个体。
在第74方面,根据方面68-73中任一项所述的方法,还包括:确定瞳孔响应是否对应于无意识的人类个体、睡眠个体、疲倦的个体、醉酒的个体、受反射或认知损害物质影响的个体、或经历相应水平的认知负荷的个体。
在第75方面,根据方面68-74中任一项所述的方法,其中生物特性数据库包括多个个体数据记录,每个个体数据记录包括与个体相关联的至少一个生物特征。
在第76方面,根据方面68-75中任一项所述的方法,还包括:形成包括以下中的至少一个的个体生物模型:瞳孔的最大半径、瞳孔的最小半径、对于调节的蓝光水平的瞳孔响应曲线的上升时间、对于调节的蓝光水平的瞳孔响应曲线的衰减时间、或对于调节的蓝光水平的延迟时间。
在第77方面,根据方面68-76中任一项所述的方法,其中调节暴露于眼睛的蓝光的水平包括增加蓝光的水平。
在第78方面,根据方面68-77中任一项所述的方法,其中增加蓝光水平对应于以下中的至少一个:持续时间段闪烁蓝光、持续时间段使蓝光脉冲、增加显示器的为蓝色像素的面积、将显示器的显示像素移动到增加的蓝色值、或增加显示器中的蓝色像素的量。
在第79方面,根据方面68-78中任一项所述的方法,其中检测调节眼睛图像相对于初始眼睛图像的瞳孔响应的变化包括将调节眼睛图像的虹膜半径与初始眼睛图像的虹膜半径进行比较。
在第80方面,根据方面68-75中任一项所述的方法,其中确定检测到的瞳孔响应的变化超过生物应用阈值包括确定虹膜半径的差超过生物应用阈值,其中生物应用阈值将虹膜半径的差与图像质量度量相关联。
在第81方面,根据方面68-80中任一项所述的方法,其中图像质量度量包括与以下中的一个或多个相关的测量:眨眼、眩光、散焦、分辨率、遮挡的像素、未遮挡的像素、噪声、伪影或模糊。
在第82方面,根据方面68-81中任一项所述的方法,其中允许的生物应用包括确定认知负荷或确定情绪响应。
在第83方面,根据方面68-82中任一项所述的方法,其中允许的生物应用包括估计眼睛姿态或生成虹膜代码。
在第84方面,根据方面68-83中任一项所述的方法,其中所述方法由虹膜识别系统执行。
在第85方面,一种硬件处理器,其被编程为执行方面68-84中任一项所述的方法。
在第86方面,一种用于执行生物应用的可穿戴显示系统,所述可穿戴显示系统包括:根据方面85所述的硬件处理器;以及图像装置,其被配置为将可穿戴显示系统的佩戴者的眼睛图像发送到硬件处理器。
在第87方面,根据方面86所述的可穿戴显示系统,其中硬件处理器还被编程为执行根据方面68-83中任一项所述的方法,以调节暴露于眼睛的蓝光的水平。
在第88方面,一种头戴式显示系统,包括:显示器;图像捕捉装置,其被配置为捕捉眼睛的图像;以及硬件处理器,其被编程为调节蓝光的水平、以及执行生物应用。
在第89方面,根据方面88所述的头戴式显示系统,其中为了调节蓝光的水平,硬件处理器被编程为:调节波长范围在445nm至525nm内的光。
在第90方面,根据方面88或方面89所述的头戴式显示系统,其中为了调节蓝光的水平,硬件处理器被编程为:调整显示器的像素以增加像素的蓝色值。
在第91方面,根据方面88-90中任一项所述的头戴式显示系统,其中显示器被配置为向佩戴者呈现多个深度平面。
在第92方面,根据方面88-91中任一项所述的头戴式显示系统,其中显示器被配置为向佩戴者呈现光场图像。
在第93方面,根据方面88-92中任一项所述的头戴式显示系统,其中显示器包括多个堆叠波导。
在第94方面,根据方面88-93中任一项所述的头戴式显示系统,其中为了调节蓝光的水平,硬件处理器被编程为:调节图像注入装置以增加注入到多个堆叠波导的相应堆叠波导的蓝光的水平。
在第95方面,根据方面88-94中任一项所述的头戴式显示系统,其中硬件处理器还被编程为:在正常光条件下获得眼睛图像;以及在调整的水平的蓝光下获得眼睛图像。
在第96方面,根据方面88-95中任一项所述的头戴式显示系统,其中硬件处理器还被编程为:形成包括以下中的至少一个的个体生物特征模型:关于正常光条件的增加的水平的瞳孔响应曲线的第一上升时间、关于正常光条件的降低的水平的瞳孔响应曲线的第一衰减时间、关于正常光条件的增加的水平的第一延迟时间、关于第一上升时间的第一上升曲线、关于第一衰减时间的第一衰减曲线、关于调节的蓝光水平的瞳孔响应曲线的第二上升时间、关于调节的蓝光水平的瞳孔响应曲线的第二衰减时间、关于调节的蓝光水平的第二延迟时间、关于调节的蓝光水平的瞳孔响应曲线的第二上升曲线部分、或关于调节的蓝光水平的瞳孔响应曲线的第二衰减曲线部分。
在第97方面,根据方面88-96中任一项所述的头戴式显示系统,其中硬件处理器被编程为:获得在经历认知负荷的同时使用头戴式显示系统的个体的眼睛图像。
在第98方面,根据方面97所述的头戴式显示系统,其中硬件处理器被编程为:检测使用头戴式显示器的个体在经历认知负荷的同时的瞳孔响应的变化。
在第99方面,根据方面97-98中任一项所述的头戴式显示系统,其中硬件处理器被编程为:将检测到的瞳孔响应的变化与认知负荷得分相关联。
在第100方面,根据方面99所述的头戴式显示系统,其中检测到的瞳孔响应的变化与相对于在正常光照条件下的瞳孔半径增加的瞳孔半径对应。
在第101方面,根据方面97-100中任一项所述的头戴式显示系统,其中硬件处理器被编程为:确定使用头戴式显示系统的个体的当前瞳孔响应;将当前瞳孔响应与个体生物特征模型相关联以产生认知负荷瞳孔响应,其中个体生物特征模型包括正常认知负荷下的瞳孔响应;基于认知负荷瞳孔响应确定认知负荷水平。
结论
本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行;和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中,安装在动态链接库中,或可用解释性编程语言编写。在一些实施方式中,特定操作和方法可由特定于给定功能的电路来执行。
此外,本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂,以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果,专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如,视频可包括多个帧,每帧具有数百万个像素,为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用,专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储器,包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其他模拟或数字传播信号的一部分)传输,所述传输介质包括基于无线的介质和基于有线/电缆的介质,且可采取多种形式(例如,作为单一或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中,或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分,它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中,额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序,且与其相关的框、步骤或状态能以适当的其他顺序来执行,例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外,本文所述的实施方式中的分离各种系统组件是出于说明的目的,且不应被理解为在所有实施方式中都需要这样的分离。应该理解,所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的,且在不脱离此公开的精神或范围的情况下,可将本文中限定的一般原理应用于其他实施方式。因此,权利要求不旨在限于本文所示的实施方式,而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反,在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外,尽管上文可将特征描述为以某些组合执行,甚至最初这样要求保护,但在一些情况下,来自所要求保护的组合的一个或多个特征能被从该组合中删除,且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语,诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤,另有具体说明或在上下文中另有理解除外。因此,这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,且以开放式的方式包含性地使用,且不排除额外的元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而不是其专有性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”,另有具体说明除外。
如本文所使用的,涉及项目列表的“至少一个”的短语指这些项目的任何组合,包括单个成员。作为示例,“A、B或C中的至少一个”旨在覆盖:A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解,以表达项目、术语等可以是X、Y或Z中的至少一个。因此,这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。
类似地,虽然操作在附图中可以以特定顺序描绘,但应认识到,这样的操作不需要以所述特定顺序或以相继顺序执行,或执行所有例示的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而,未示出的其他操作能并入示意性地示出的示例方法和过程中。例如,能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外,在其他实施方式中,操作可被重新排列或重新排序。在某些情况下,多任务和并行处理可具有优势。此外,上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离,且应该理解,所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外,其他实施方式处于以下权利要求的范围内。在一些情况下,权利要求中列举的动作能以不同的顺序执行,且仍实现期望的结果。

Claims (20)

1.一种头戴式显示系统,其被配置为将可变水平的蓝光投射到用户的眼睛,所述显示系统包括:
框架,其被配置为可穿戴在所述用户的头部上;
显示器,其被配置为至少将蓝光投射到所述用户的所述眼睛并且相对于非蓝光的强度来修改所述蓝光的强度;
相机,其被配置为在所述显示器将具有蓝光与非蓝光的强度的第一比率的光投射到所述眼睛时捕捉所述眼睛的第一图像,并被配置为在所述显示器将不同于所述第一比率的蓝光与非蓝光的强度的第二比率投射到所述眼睛时捕捉所述眼睛的第二图像;以及
硬件处理器,其被编程为:
分析来自所述相机的图像以确定所述第二图像和所述第一图像之间的瞳孔参数的变化超过生物应用阈值;
至少部分地基于所确定的变化,指示所述显示器修改蓝光与非蓝光的强度的比率;
确定所述第二图像和所述第一图像之间的所述瞳孔参数的所述变化与人类个体的生物特性相匹配;以及
确定所述人类个体的身份。
2.根据权利要求1所述的头戴式显示系统,其中所述显示器包括扫描光纤投影仪。
3.根据权利要求1所述的头戴式显示系统,其中所述硬件处理器被编程为如果所述个体的所述身份与被授权使用系统应用的个体的身份不匹配,则限制对所述系统应用进行访问。
4.根据权利要求3所述的头戴式显示系统,其中所述系统应用包括在多个深度处显示图像。
5.根据权利要求1所述的头戴式显示系统,其中所述显示器被配置为修改波长范围在约445nm和525nm之间的光的强度。
6.根据权利要求1所述的头戴式显示系统,其中所述显示器被配置为通过使蓝光闪烁超过10ms来增加蓝光与非蓝光的强度的所述第二比率。
7.根据权利要求1所述的头戴式显示系统,其中所述显示器被配置为投射两种或更多种颜色的光。
8.根据权利要求1所述的头戴式显示系统,其中所述显示器被配置为在距用户的多个深度处显示内容。
9.根据权利要求1所述的头戴式显示系统,其中所述显示器包括多个堆叠波导。
10.根据权利要求9所述的头戴式显示系统,其中为了指示所述显示器相对于非蓝光修改蓝光的强度,所述硬件处理器被编程为指示图像注入装置以增加注入到所述多个堆叠波导的相应堆叠波导中的蓝光的比例。
11.根据权利要求1所述的头戴式显示系统,其中所述硬件处理器还被配置为形成个体生物模型,所述个体生物模型包括以下中的至少一个:对于蓝光强度与非蓝光强度的所述第一比率的瞳孔响应的第一上升时间、对于蓝光强度与非蓝光强度的所述第一比率的所述瞳孔响应的第一衰减时间、对于蓝光强度与非蓝光强度的所述第一比率的瞳孔响应的第一延迟时间、对于蓝光强度与非蓝光强度的所述第一比率的所述瞳孔响应的第一上升曲线、对于蓝光强度与非蓝光强度的所述第一比率的瞳孔响应的第一衰减曲线、对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的第二上升时间、对于蓝光强度与非蓝光强度的所述第二比率的所述瞳孔响应的第二衰减时间、对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的第二延迟时间、对于蓝光强度与非蓝光强度的所述第二比率的所述瞳孔响应的第二上升曲线、或对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的第二衰减曲线。
12.根据权利要求1所述的头戴式显示系统,其中所述硬件处理器被编程为基于所述瞳孔参数的所述变化来计算认知负荷得分。
13.根据权利要求1所述的头戴式显示系统,其中所述瞳孔参数的所述变化包括增加的瞳孔半径。
14.根据权利要求1至13中任一项所述的头戴式显示系统,其中所述硬件处理器被编程为:
确定佩戴所述头戴式显示系统的所述个体的所述瞳孔参数的当前变化;
将所述瞳孔参数的所述当前变化与个体生物模型的所述瞳孔参数的建模变化相关联以生成认知负荷瞳孔响应,其中所述建模变化包括正常认知负荷下的瞳孔参数的变化;以及
基于所述认知负荷瞳孔响应确定认知负荷水平。
15.一种使用包括耦合到计算硬件的相机的可穿戴显示系统识别人类个体的方法,所述可穿戴显示系统包括被配置为将光引导到眼睛中的波导堆叠,所述方法包括:
将包括蓝光强度与非蓝光强度的第一比率的参考光引导到所述眼睛中;
使用所述相机,在参考光被引导到所述眼睛中时捕捉所述眼睛的第一图像;
引导修改光进入所述眼睛,所述修改光包括不同于所述第一比率的蓝光强度与非蓝光强度的第二比率;
使用所述相机,在修改光被引导到所述眼睛中时捕捉所述眼睛的第二图像;
检测所述第一图像和所述第二图像之间的所述眼睛的瞳孔参数的变化;
确定所检测到的瞳孔参数的变化与人类个体的生物特性匹配;以及
识别所述人类个体。
16.根据权利要求15所述的方法,还包括步骤:基于所检测到的瞳孔参数的变化允许对系统应用进行访问。
17.根据权利要求16所述的方法,其中基于所检测到的瞳孔参数的变化允许对系统应用进行访问包括以下中的至少一个:确定认知负荷、估计眼睛姿态、生成虹膜代码、或确定情绪响应。
18.根据权利要求15至17中任一项所述的方法,其中所述瞳孔参数包括以下中的至少一个:所述瞳孔的最大半径、所述瞳孔的最小半径、对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的上升时间、对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的衰减时间、或对于蓝光强度与非蓝光强度的所述第二比率的瞳孔响应的延迟时间。
19.根据权利要求15至17中任一项所述的方法,还包括确定所检测到的瞳孔参数的变化与以下中的至少一个的瞳孔参数的变化相匹配:无意识的人类个体、睡眠个体、疲倦的个体、醉酒的个体、或在认知损害物质影响下的个体。
20.根据权利要求15至17中任一项所述的方法,还包括确定从所述第二图像测量的图像质量度量超过图像质量阈值的步骤,所述图像质量度量包括所述眼睛的一部分和眼睑之间的距离。
CN201780015543.2A 2016-03-07 2017-03-03 用于生物安全的蓝光调节 Active CN108701227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053565.0A CN114399831A (zh) 2016-03-07 2017-03-03 用于生物安全的蓝光调节

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662304573P 2016-03-07 2016-03-07
US201662304556P 2016-03-07 2016-03-07
US62/304,573 2016-03-07
US62/304,556 2016-03-07
PCT/US2017/020767 WO2017155826A1 (en) 2016-03-07 2017-03-03 Blue light adjustment for biometri security

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210053565.0A Division CN114399831A (zh) 2016-03-07 2017-03-03 用于生物安全的蓝光调节

Publications (2)

Publication Number Publication Date
CN108701227A CN108701227A (zh) 2018-10-23
CN108701227B true CN108701227B (zh) 2022-01-14

Family

ID=59722761

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780015543.2A Active CN108701227B (zh) 2016-03-07 2017-03-03 用于生物安全的蓝光调节
CN202210053565.0A Pending CN114399831A (zh) 2016-03-07 2017-03-03 用于生物安全的蓝光调节

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210053565.0A Pending CN114399831A (zh) 2016-03-07 2017-03-03 用于生物安全的蓝光调节

Country Status (10)

Country Link
US (4) US10089453B2 (zh)
EP (2) EP4451237A2 (zh)
JP (3) JP6920329B2 (zh)
KR (2) KR102358677B1 (zh)
CN (2) CN108701227B (zh)
AU (2) AU2017228989B2 (zh)
CA (1) CA3016189A1 (zh)
IL (3) IL261407B (zh)
NZ (1) NZ746021A (zh)
WO (1) WO2017155826A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10176377B2 (en) 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
JP6920329B2 (ja) 2016-03-07 2021-08-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. バイオメトリックセキュリティのための青色光調節
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10339659B2 (en) * 2016-06-13 2019-07-02 International Business Machines Corporation System, method, and recording medium for workforce performance management
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) * 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10614586B2 (en) * 2017-03-31 2020-04-07 Sony Interactive Entertainment LLC Quantifying user engagement using pupil size measurements
JP6996114B2 (ja) * 2017-05-29 2022-01-17 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
CN116784795A (zh) * 2017-11-30 2023-09-22 思维有限公司 用于评估与多发性硬化症相关的神经功能受损的方法
US10685101B1 (en) 2017-11-30 2020-06-16 Wells Fargo Bank, N.A. Pupil dilation response for authentication
CN108272434B (zh) * 2017-12-07 2020-06-19 柯鑫 对眼底图像进行处理的方法及装置
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
CN112689752A (zh) * 2018-09-20 2021-04-20 美国西门子医学诊断股份有限公司 用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置
EP3859665A4 (en) * 2018-09-26 2021-11-24 NEC Corporation INFORMATION PROVIDING DEVICE, INFORMATION PROVISION METHOD AND STORAGE MEDIUM
FR3086781B1 (fr) * 2018-09-27 2020-10-30 Univ Sorbonne Procede et dispositif d'observation oculaire, et application biometrique
KR20210097190A (ko) 2018-12-07 2021-08-06 아브간트 코포레이션 조향 가능한 위치 설정 요소
CN113383295A (zh) * 2019-02-01 2021-09-10 苹果公司 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
US11586049B2 (en) 2019-03-29 2023-02-21 Avegant Corp. Steerable hybrid display using a waveguide
CN110135370B (zh) 2019-05-20 2022-09-09 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
JP2021018729A (ja) * 2019-07-23 2021-02-15 株式会社ソニー・インタラクティブエンタテインメント 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法
CN110428794A (zh) * 2019-08-06 2019-11-08 广东小天才科技有限公司 一种调节屏幕蓝光的方法、装置及系统
US11256894B2 (en) * 2019-12-04 2022-02-22 Qualcomm Incorporated Multi-stage biometric authentication
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
US11741204B2 (en) 2020-07-06 2023-08-29 Bank Of America Corporation Intelligent real time resource instrument activation using electroencephalogram signals
JP7125626B2 (ja) * 2020-07-29 2022-08-25 富士通クライアントコンピューティング株式会社 情報処理装置
US11949790B2 (en) 2020-10-01 2024-04-02 Bank Of America Corporation Intelligent tactile resource instrument activation using electroencephalogram signals
US11755277B2 (en) * 2020-11-05 2023-09-12 Harman International Industries, Incorporated Daydream-aware information recovery system
CN112987853B (zh) * 2021-02-05 2021-12-10 读书郎教育科技有限公司 一种基于视觉算法的早教平板
CN112966721B (zh) * 2021-02-06 2021-11-09 北京优彩科技有限公司 一种蓝光检测方法及装置
CN117296054A (zh) * 2021-05-13 2023-12-26 维萨国际服务协会 多因素认证系统和方法
US12073634B2 (en) * 2021-08-06 2024-08-27 Rockwell Collins, Inc. Cockpit display ambient lighting information for improving gaze estimation
KR102587942B1 (ko) 2021-12-31 2023-10-11 주식회사 삼광 홍채 인증 기능을 구비한 vr hmd
CN116382475B (zh) * 2023-03-24 2024-05-14 北京百度网讯科技有限公司 视线方向的控制、视线交流方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963300A (en) * 1998-02-17 1999-10-05 Amt Technologies, Corp. Ocular biometer
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP3902664B2 (ja) 1996-06-06 2007-04-11 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 個人識別
US6247813B1 (en) 1999-04-09 2001-06-19 Iritech, Inc. Iris identification system and method of identifying a person through iris recognition
US6116736A (en) 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
DE10046309C1 (de) * 2000-09-19 2001-10-31 Siemens Ag Sensoranordnung zur Bilderkennung
NL1021847C2 (nl) * 2002-11-05 2004-05-11 Joh Enschede B V Irisidetectie.
CN102068237A (zh) * 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US7801335B2 (en) 2005-11-11 2010-09-21 Global Rainmakers Inc. Apparatus and methods for detecting the presence of a human eye
KR101308368B1 (ko) * 2006-03-03 2013-09-16 허니웰 인터내셔널 인코포레이티드 홍채 품질 측정을 갖는 홍채 인식 시스템
US8051468B2 (en) * 2006-06-14 2011-11-01 Identity Metrics Llc User authentication system
US8280120B2 (en) * 2006-10-02 2012-10-02 Eyelock Inc. Fraud resistant biometric financial transaction system and method
US9036871B2 (en) * 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
JP5607640B2 (ja) * 2008-10-15 2014-10-15 オプティブランド リミティド,リミティド ライアビリティ カンパニー 眼の特徴の画像を得る方法と装置
US10278579B2 (en) 2008-11-17 2019-05-07 Eyes4Lives, Inc. Vision protection method and system thereof
EP2437213A1 (en) * 2009-06-16 2012-04-04 Intel Corporation Camera applications in a handheld device
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元仮想現実および拡張現実表示システム
KR101597616B1 (ko) * 2011-12-30 2016-02-25 인텔 코포레이션 디지털 문서에 대한 인지 부하 평가
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ, インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
CN104903818B (zh) * 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US9101297B2 (en) * 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
ES2478693B1 (es) * 2012-12-21 2015-04-29 Universidad Complutense De Madrid Elemento bloqueante de longitudes de onda corta en fuentes de iluminación de tipo led
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
KR102507206B1 (ko) 2013-01-15 2023-03-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
KR102067759B1 (ko) * 2013-02-15 2020-01-17 삼성전자주식회사 파이버 스캐닝 프로젝터
US20140240842A1 (en) * 2013-02-22 2014-08-28 Ian Nguyen Alignment-insensitive image input coupling
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
EP3712680B1 (en) 2014-01-31 2022-07-13 Magic Leap, Inc. Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
WO2015127313A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
WO2015131067A1 (en) * 2014-02-28 2015-09-03 Board Of Regents, The University Of Texas System System for traumatic brain injury detection using oculomotor tests
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN106662754B (zh) 2014-05-30 2021-05-25 奇跃公司 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US20170091550A1 (en) 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US9367677B1 (en) * 2014-09-26 2016-06-14 The Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for user authentication using eye movement and pupil size change matching
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US9794260B2 (en) 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
JP6920329B2 (ja) 2016-03-07 2021-08-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. バイオメトリックセキュリティのための青色光調節
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963300A (en) * 1998-02-17 1999-10-05 Amt Technologies, Corp. Ocular biometer
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置

Also Published As

Publication number Publication date
US10664582B2 (en) 2020-05-26
US20170255814A1 (en) 2017-09-07
EP3427185A1 (en) 2019-01-16
JP2023022047A (ja) 2023-02-14
AU2021290350A1 (en) 2022-02-03
US20190065722A1 (en) 2019-02-28
US10127369B2 (en) 2018-11-13
IL261407A (en) 2018-10-31
EP3427185A4 (en) 2019-09-25
AU2017228989A1 (en) 2018-09-27
AU2017228989B2 (en) 2021-09-30
US20170255766A1 (en) 2017-09-07
IL280959A (en) 2021-04-29
IL291497B2 (en) 2023-02-01
CN108701227A (zh) 2018-10-23
EP4451237A2 (en) 2024-10-23
JP2021183143A (ja) 2021-12-02
JP6920329B2 (ja) 2021-08-18
KR20180121594A (ko) 2018-11-07
WO2017155826A8 (en) 2018-10-04
KR102358677B1 (ko) 2022-02-03
JP2019511272A (ja) 2019-04-25
JP7174815B2 (ja) 2022-11-17
US11288350B2 (en) 2022-03-29
US10089453B2 (en) 2018-10-02
IL291497B (en) 2022-10-01
NZ746021A (en) 2020-02-28
IL291497A (en) 2022-05-01
EP3427185B1 (en) 2024-07-31
KR20220017535A (ko) 2022-02-11
IL280959B (en) 2022-04-01
IL261407B (en) 2021-02-28
CA3016189A1 (en) 2017-09-14
WO2017155826A1 (en) 2017-09-14
CN114399831A (zh) 2022-04-26
US20200272720A1 (en) 2020-08-27
JP7252407B2 (ja) 2023-04-04
KR102495139B1 (ko) 2023-02-06

Similar Documents

Publication Publication Date Title
CN108701227B (zh) 用于生物安全的蓝光调节
US11892636B2 (en) Systems and methods for operating a display system based on user perceptibility
JP7405800B2 (ja) 眼画像の収集、選択および組み合わせ
NZ785743A (en) Blue light adjustment for biometric security
NZ785748A (en) Blue light adjustment for biometric security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant