CN103778602A - 色觉缺陷校正 - Google Patents

色觉缺陷校正 Download PDF

Info

Publication number
CN103778602A
CN103778602A CN201310757256.2A CN201310757256A CN103778602A CN 103778602 A CN103778602 A CN 103778602A CN 201310757256 A CN201310757256 A CN 201310757256A CN 103778602 A CN103778602 A CN 103778602A
Authority
CN
China
Prior art keywords
virtual image
real world
site
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310757256.2A
Other languages
English (en)
Inventor
T·安布鲁斯
A·史密斯-基普尼斯
S·拉塔
D·麦卡洛克
B·芒特
K·盖斯那
I·麦克恩特瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Priority to CN201310757256.2A priority Critical patent/CN103778602A/zh
Publication of CN103778602A publication Critical patent/CN103778602A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

公开了与改善透视显示设备的用户的颜色分辨能力有关的各实施例。例如,所公开的一个实施例包括在透视显示设备上构造并显示虚拟图像以叠加在用户透过透视显示设备看见的现实图像上。虚拟图像被配置为加强现实图像中用户不好分辨的颜色的位点。随后通过将这样的虚拟图像在用户的视野中以与现实图像配准的方式叠加在现实图像中来显示该虚拟图像。

Description

色觉缺陷校正
背景技术
许多人对于将颜色彼此区分开具有困难。这种状况被称为“色觉缺陷”,并且俗称为“色盲”。若干不同形式的色觉缺陷被识别出,包括红绿双色色盲(红色盲、绿色盲)、异常的红绿三色色盲(红色弱和绿色弱)、蓝黄双色色盲(蓝黄色盲)和异常的蓝黄三色盲(蓝黄色弱)。每种形式均由隐性基因特征的表达而引起,所述隐性基因性状减少了受影响的人眼睛内的视网膜锥细胞的种类,或者使得这些锥细胞中的一些变得更不敏感性。这些特征主要在Y染色体上携带,因此可以影响7%到10%的男性人口,以及约0.5%的女性人口。全色盲(单色色盲)也被识别为是与伤害相关的色觉缺陷。
在社会中,色觉缺陷可造成一定程度的残疾。例如,它可能会给受影响者辨认交通信号或其它标志的能力带来负担。它可能使得在需要灵敏色觉的领域就业的人丧失资格。此外,色觉缺陷可能会阻碍受影响者对于视觉世界的总体感知和享受。不幸的是,对于色觉缺陷不存在医学疗法或治疗。
发明内容
本发明的一个实施例提供用于改善透视显示设备的用户的色彩分辨能力的方法。该方法在透视显示设备内实施,并包括构造和显示虚拟图像,以叠加到用户透过透视显示设备看见的现实图像上。虚拟图像被配置为加强现实图像中用户不好分辨的颜色的位点(locus)。随后通过以下方式显示这样的虚拟图像:将该虚拟图像以在用户视野中与现实图像配准的方式叠加到现实图像上。
提供本发明内容以便以简化形式介绍在以下具体实施方式中进一步描述的选择的概念。本发明内容并不旨在标识出所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开内容的任何部分中提到的任何缺点的实现方式。
附图说明
图1A示出了根据本发明实施例的增强现实环境的各方面。
图1B示出了用户在图1A的增强现实环境中的示例视野。
图2和3示出了根据本发明的各实施例的示例透视显示设备。
图4示出了根据本发明的一实施例的透视显示设备的示例光学部件的各方面。
图5示出了根据本发明的一实施例的用于改善透视显示设备的用户的色彩分辨能力的示例方法。
图6表示在应用本文所描述的方法之前,所选择的现实图像对于绿色弱者而言看上去如何。
图7到图13示出在应用了本文所描述方法之后,图6的现实图像对于绿色弱者而言看上去如何的示例。
图14示出了根据本发明的一实施例的用于改善透视显示设备的用户的颜色分辨能力的另一示例方法。
图15示意性地示出了根据本发明的一实施例的示例计算系统的各方面。
具体实施方式
现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤、以及其它元素被协调地标识并以重复最小的方式描述。然而,应当注意到,协调地标识的元素也可能在某种程度上存在区别。还可以注意到,本发明中包括的附图是示意性的并且通常未按照比例绘制。相反,附图中所示出的各种绘制比例、纵横比和组件数量可以有目的地失真,以使特定特征或关系更加显而易见。
本发明描述了用于改善人的色彩分辨能力的增强现实(AR)方法的实施例。AR使得人能够查看现实世界图像以及计算机生成的虚拟图像。AR系统可以包括透视显示设备,人佩戴该透视显示设备,并且透过该透视显示设备,现实图像和虚拟图像被组合在同一视野中。这样的设备可以被合并在护目镜、头盔、眼镜或其它佩戴在眼睛上的物品中。
在详细讨论这些实施例之前,首先参考图1A描述示例AR环境10的各方面。为了体验增强的现实,用户12可以采用具有合适的显示器、传感器和计算硬件的AR系统。在图1A所示的实施例中,AR系统包括云14和透视显示设备16。“云”是用于描述可通过网络访问并且被配置为提供计算服务的计算机系统的术语。在当前上下文中,云可包括在任何数量的计算机。
透视显示设备16是可佩戴的设备,该设备被配置为向其佩戴者(即用户12)呈现现实图像和虚拟图像。更具体地,透视显示设备使得用户能够将现实世界图像和计算机生成的虚拟图像结合在一起查看。来自两个源的图像都被呈现在用户的视野中,并且可表现为共享同一物理空间。该场景被表示在图1B中,其示出了用户12的示例视野,该视野包括可以与现实世界对象一同被查看到的虚拟图像(龙)。如以下将更详细描述的,透视显示设备可以包括计算机。因此,提供该AR环境的计算机程序中的一些可以在透视显示设备中执行。其他计算机程序可以在云14内执行,云14通过一个或多个无线通信链路操作地耦合到透视显示设备。这样的链路可以包括蜂窝、Wi-Fi和其它。
在一些场景中,提供AR体验的计算机程序可以包括游戏。更一般地,该程序可以是将计算机生成的虚拟图像和现实世界图像结合的任意程序。逼真的AR体验可以通过每个用户透过透视显示设备的透明光学元件自然地查看其周围环境而获得。虚拟图像同时被投影在接收现实图像的同一视野中。
图2图示在一个实施例中的示例透视显示设备16。透视显示设备16是具有帽舌形式的可控调光滤光器18的头盔。调光滤光器可以被配置用于使透过透视显示设备接收到的现实图像眩光减少和/或亮度减少。在调光滤波器和佩戴者的每个眼镜之间具有微显示器20和眼镜跟踪器22。微显示器20A和眼镜跟踪器22A布置在右眼的前部;而微显示器20B和眼镜跟踪器22B则被安排在左眼的前部。尽管在附图中眼镜跟踪器被安排在微显示器的后部,但是它们也可以被改为被安排在微显示器的前部,或者分布在透视显示设备内的各个位置。透视显示设备16还包括计算机24。计算机可操作地耦合到两个微显示器以及两个眼镜跟踪器。
每个微显示器20可以至少部分透明,从而提供使用户能够直接观察其周围的物理环境的基本上不受遮挡的视野。每个微显示器被配置为将计算机生成的显示图像形式的虚拟图像呈现在同一视野中。将该虚拟图像叠以与透视显示设备的用户所看见的现实图像配准的方式叠加在该现实图像上面。换言之,现实图像和虚拟图像共享公共坐标系,使得例如盘旋在现实建筑物以北50米处的虚拟龙即使在用户转动了他的头时也逗留在相对于该建筑物的正确位置处。
继续参照图2,计算机24控制微显示器20A和20B的内部组件以形成所需的显示图像。在一实施例中,计算机24可以使得微显示器20A和20B同时显示相同的图像,使得佩戴者的右眼和左眼在相同的时间接收相同的图像。在另一实施例中,微显示器可以同时投影立体上相关的图像,使得佩戴者感知到三维图像。在一个场景中,计算机生成的显示图像和透过微显示器看见的对象的各个现实图像可以占据不同的焦平面。据此,观察现实世界对象的佩戴者可能必须变换他的角膜焦点以辨认显示图像。在其它情况下,显示图像和至少一现实图像可以共享公共焦平面。
每个眼镜跟踪器22包括检测器,所述检测器配置为检测透视显示设备16的佩戴者的视觉状态。眼镜跟踪器可以确定佩戴者眼镜的瞳孔的位置、定位佩戴者的视线和/或测量虹膜关闭的程度。如果包括两个基本上相同的眼镜跟踪器(每个眼镜一个),则它们可以被一起用于基于佩戴者左眼和右眼的视线的汇聚点来确定佩戴者的焦平面。这一信息可以用于例如一个或多个虚拟图像的放置。
图3示出了另一示例透视显示设备16’。透视显示设备16’是AR眼镜的示例。AR眼镜可能可能与一副普通的眼镜或太阳镜非常相似,但是却还包括了被安排在调光滤光器18A和18B的后部的微显示器20A和20B以及眼镜跟踪器22A和22B。透视显示设备16’包括可佩戴安装件26,其将微显示器和眼镜跟踪器定位佩戴者的眼镜前方的短距离处。在图3的实施例中,可佩戴安装件采用传统的眼镜镜架的形式。
图2或3的任何方面都不旨在以任何意义进行限制,因此多个变形也被实现。在一些实施例中,可以使用例如在两个眼睛上方延伸的双眼微显示器,而非附图中所示的单眼微显示器。同样,透视显示设备可以包括双眼眼镜跟踪器。在一些实施例中,眼镜跟踪器和微显示器可以集成在一起,或者可共享一个或多个组件。
图4示出了透视显示设备16的示例光学组件方面。在所示的实施例中,微显示器20包括照明器28和图像生成器30。照明器可以包括白光源,诸如白发光二极管(LED)。照明器还可以包括适于准直白光源的发射并将该发射引导到图像生成器中的光学器件。图像生成器还包括矩形光阀阵列,诸如液晶显示(LCD)阵列。该阵列中的各光阀可被安排成在空间上变化并在时间上对发射通过该光阀阵列的经准直光进行调制,以便形成显示图像32的各像素。此外,图像生成器可以包括与光阀配准的合适的滤光元件,使得所生成的显示图像为彩色图像。显示图像32的信息内容与任何合适的数据结构(例如数字图像或数字视频数据结构)一样可适用于微显示器20。
在另一实施例中,照明器28可以包括一个或多个调制激光器,而图像生成器30可以是移动光学器件,其被配置为与调制同步地光栅化激光器的发射以形成显示图像32。在又一实施例中,图像生成器30可以包括调制色彩LED矩形阵列,其被安排为形成显示图像。当每个彩色LED阵列发出其自身的光时,可以从该实施例中省略照明器28。微显示器20的各个有源组件(包括图像生成器30)操作地耦合到计算机24。特别地,计算机提供合适的控制信号,该控制信号在被图像生成器接收时,导致形成所需的显示图像。
继续参照图4,微显示器20包括多径光学器件34。多径光学器件是适当地透明的,从而允许透过它直接看见外部图像-例如现实对象的现实图像36。图像生成器30被安排为将显示图像32投射到多径光学器件中。多径光学器件被配置为将显示图像反射到透视显示设备16的佩戴者的瞳孔38中。为了反射显示图像并将现实图像发送到瞳孔38,多径光学器件34可以包括部分反射、部分透明的结构。
在一些实施例中,多径光学器件34可以被配置为具有光功率。其可以被用来以受控的聚散度将显示图像32引导到瞳孔38,使得将该显示图像作为所需焦平面中的虚拟图像来提供。在其它实施例中,可以通过透镜40的汇聚能力来确定虚拟显示图像的位置。在一实施例中,透镜40的焦距可以是可调的,使得显示图像的焦平面可以在佩戴者的视野中前后移动。在图4中,在42处通过示例示出了虚拟显示图像32的视位置。在其它实施例中,透镜40的焦距可以是固定的,使得显示图像的焦平面被维持在无限远处或接近无限远处。然而,显示图像的视焦平面仍然可以通过向每只眼睛的微显示器提供立体上相关的图像而前后移动。
图4还示出了相机44,该相机接收透视显示设备16的佩戴者透过该透视显示设备16看见的现实图像。在图4所示的实施例中,相机通过多径光学器件34接收现实图像,该多径光学器件将现实图像分解成通过瞳孔38的第一部分以及聚焦在相机上的第二部分。在该配置中,相机44可以被称为“前向”摄像机,而与光圈的实际定向无关。
图4还示出了包括照明器46和检测器48的眼镜跟踪器22的各方面。照明器可以包括低功率红外LED或二极管激光器。在一实施例中,照明器可以提供窄脉冲形式的周期性照明-例如,间隔50微秒的各个1微秒脉冲。检测器可以是适于以对于分辨瞳孔而言的足够细节来对佩戴者眼镜进行成像的任何相机。更具体的,检测器的分辨率对于使得能够估计瞳孔相对于眼眶的位置以及虹膜关闭的程度而言是足够的。在一实施例中,检测器的光圈配备有波长滤波器,该波长滤波器在透光率方面与照明器的输出波长带宽匹配。而且,检测器可以包括与照明器的脉冲输出同步的电子“快门”。
图4还示出了其上安排有正交偏振层50的可调控光滤光器18的各个方面。正交偏振层被配置为减少透视显示设备对佩带者看见的现实图像的透光率。在一个实施例中,正交偏振层可以包括电可偏振液晶;透光率可以通过增加应用在该液晶上的偏振而减少。
除了提供优质的AR体验之外,如上所述的配置还可以用于某些其它目的。例如,恰当配置的透视显示设备可以用于矫正色觉缺陷或者向其佩带者提供扩展的色觉。更特别的,本文所描述的配置允许用于改善透视显示设备的用户的色彩分辨能力的各种方法。现在继续参照以上配置,通过示例来描述一些这样的方法。然而,应当理解,本文所描述的方法以及完全落在本发明保护范围中的其他等效方案也可以通过其它配置实现。而且,在一些实施例中,可以省略在本文中所描述和/或所示出的某些方法步骤,而不背离本发明的保护范围。同样,方法步骤的所指示的顺序并不是达成预期的结果所必需的,而是为了说明和描述的方面而提供的。取决于所使用的特定策略,可以反复执行所示出的动作、功能或操作中的一个或多个。
图5示出了用于改善透视显示设备(例如透视显示设备16)的用户的颜色分辨能力的示例方法52。该方法可以在透视显示设备中实施、至少部分地在云中实施或者以任何其它合适的方式实施。
在方法52的开始处,来自用户的输入可被透视显示设备接受以帮助确定如何为用户增强各色彩表现。该输入可以直接或间接的控制哪种或哪些色彩要被透视显示设备加强。本文设想了各种操作模式。例如,在一实施例中,在54处,用户可以指定他或她所经历的色觉缺陷的特定类型-例如,红色盲、绿色盲、红色弱、绿色弱、蓝黄色盲、或者蓝黄色弱。可选的,输入还可以指定色觉缺陷的程度或敏感度。在另一实施例中,在56处,用户可以指定现实图像中应该被加强的一种或多种颜色-例如,红色、绿色、蓝色、黄色或者没有任何颜色。在典型的场景中,所指定的颜色将是用户的无辅助眼镜不好分辨的颜色。
在又一些实施例中,在57处,用户输入可以响应于向用户呈现的视觉测试而被接收,以允许透视显示设备确定要校正的条件。作为更具体的示例,透视显示设备可以显示用于测试色觉缺陷的一个或多个图像,诸如石原氏颜色测试图像,并且那些图像的响应形式的一个或多个用户输入可以被接收。基于这样的颜色测试的结果,透视显示设备可以被调节成适合于特定用户的一个或多个色觉缺陷。
在又一些实施例中,透视显示设备可以被配置为间接地且在用户不知情的情况下辨别色觉缺陷。例如,该设备可以被配置成测量与选择红色地铁瓦片上的蓝色图标相比,用户选择红色地铁瓦片上的绿色图标花了多长时间。选择绿色图标的延长的时间可以指示某种形式的红绿色缺陷。另外地或替换地,该设备可以被配置为测量用户看场景的所选方面(即,具有色觉缺陷的人难以分辨的那些方面)所花的时间长度。可将这一延迟时间与用户查看相同或相似场景的平均延迟时间进行比较。有效地,该设备能够评估建筑物上的标记对于该用户而言是否像它对普通人一样突出。如果为否,则色觉缺陷可以被指示。
在本文所考虑的各实施例中,方法52中接受的用户输入可以指定色觉缺陷、要加强的颜色、缺陷和颜色两者、或者两者均不。此外,用户输入可以采用任意合适形式-来自语音输入、如上所述经由朝向外的图像传感器接收到的姿势输入、来自存储在可移动存储器或云14中的偏好文件、和/或任何其它合适的形式。
继续参照图5,在58处,用户看见的现实图像的图像被获得。在一个实施例中,该图像可使用如上所述的透视显示设备的朝向前的摄像机来获得。
在60处,用户不好分辨的颜色的位点从所获得的图像中被标识出并被提交以供进一步处理。本文所提及的位点可以是被标识出并被提交以供进一步处理的多个连续或非连续位点中的一个。在用户输入指定了特定颜色的各实施例中,可以标识出该颜色的一个或多个位点。例如,如果用户输入说“向我显示所有红色的事物”,则包括所获得的图像的所有红色像素的位点可以被标识出。在用户输入指定特定色觉缺陷的各实施例中,位点可以基于缺陷的特性而被标识出。例如,如果用户将其自己标识为表现出绿色弱,则可以实施两个可能场景中的一个。包括该图像的所有红色像素或所有绿色像素的位点可以被标识出并且被提交以供进一步处理。在一实施例中,可以基于用户的偏好来决定标识出红色像素还是绿色像素。在另一实施例中,可以基于红色和绿色在现实图像中的相对普遍性来决定标识出红色像素还是绿色像素。例如,可能期望标识出现实图像中较不普遍的那种颜色。
在这些和其它实施例,标识出用户不好分辨的颜色的位点可以包括识别所获得的图像中的对象。在典型场景中,要识别的对象可以包括各种种类的符号-道路标志、警告标志、停止标志等等。例如,可以从所获得的图像中标识出任何具有停止标志的八角形形状的的位点,这与透视显示设备是否能够辨认着有红色的位点无关。在某些情况下,机器视觉可能难于在低亮度条件下,或者在强镜面反射的情况下可靠地确定颜色。
在方法52的62处,构将被叠加到用户透过透视显示设备看见的现实图像上的虚拟图像。该虚拟图像可以被配置为加强现实图像中如上标识出的位点-即,用户不好分辨的颜色的位点。更具体地,可以基于58处获得的现实图像的图像来构造该虚拟图像。
在一个实施例中,虚拟图像可以被配置为将位点的颜色变换为用户可更好区分的颜色。该方法利用了将现实图像和虚拟图像均添加在透视显示设备中。例如,通过覆盖合适强度的着有一致紫色的位点,可以使绿色位点表现为较偏蓝。表现出任何形式的红绿色觉缺陷的用户将会发现与原始的着有绿色的位点相比,增强后的位点更易于尤其从红色背景中区分出。该方法在图6和图7中示出,其中图6表示冬青树在加强红色浆果之前对于绿色弱的人而言可看上去如何,而图7表示冬青树在加强之后可看上去如何。在这样的实施例中,安排在透视显示设备中的可控调光滤光器可以被配置为可控制地减少现实图像的亮度,以获得所需的整体亮度级别。在一些场景中,对用于颜色变换的调光滤光器的明智使用可以使微显示器能够以更低的功率操作,由此延长了电池寿命。
在另一实施例中,虚拟图像可被配置为仅增加标识出的位点的亮度,而不改变颜色。该方法可能对具有轻微色觉障碍的用户有用。该方法可以涉及使每个红色位点变亮以使其变得更红,和/或使每个绿色位点更亮以使其变得更绿。通过增加这些颜色的亮度,有轻微障碍的用户可以发现这些颜色变得更易于区分。该方法在图8中示出。
在另一实施例中,虚拟图像可以被配置为对右眼和左眼不同地变换颜色或增加标识出的位点的亮度。例如,虚拟图像可以加亮左眼的绿色以及右眼的红色,或反之亦然。具有红绿色觉缺陷的用户可能能够随时间知道将不同的加亮和不同的颜色相关联,就像人们在仅几分钟之后就知道使红绿偏振适应红/绿3D眼镜一样。在包括减法显示器的实施例中,可以使标识出的位点中的红色和绿色变暗,而非变亮。
在另一实施例中,虚拟图像可以被配置为勾画位点的周界。如果现实图像的位点是例如红色位点,则虚拟图像可以包括以蓝绿色(与红色相补偿的颜色)呈现的窄线。如果虚拟图像的强度被选择以与现实图像的强度平衡,则红色位点将表现为叠加有白色轮廓,如图9所示。然而,应当理解,根据本方法,可以获得比原始位点更亮的任何颜色的周界。同样,可控调光滤光器在某些情况下可用于减少现实图像的亮度。
在另一实施例中,虚拟图像可以被配置为用文本-例如,使用与虚拟图像中的位点的颜色相补偿的白色文本、或者用与在特定色觉缺陷的用户看来为原始的位点相比更亮和/或与其具有合适的对比度的任何颜色的文本来盖写这些位点。该方法在图10中示出。在另一实施例中,虚拟图像可以被配置为用符号或分割图来盖写位点,如图11和图12分别示出的。
在又一实施例中,虚拟图像可以被配置为将文本和/或符号写在位点附近。该方法如图13所示。应当理解,虚拟图像可以被配置为实施以上标识出的各位点加强方法的各种组合。例如,如果需要的话,可以将给定位点呈现为经颜色变换和和分割的。
如上所述,在经由对象识别来标识出位点的各实施例中,可以进一步基于识别出的对象的特性来构造虚拟图像。尤其地,虚拟图像可以被构造为在该虚拟图像所加强的其它位点之上和之外加强识别出的对象。秋天的叶子可以例如是红色的,但停止标志也可以是红色的。在所有红色像素都被加强的场景中,停止标志可以被不同地加强、或者被更高度地加强、或者一般来说可以以叶子的加强所没有包括的方式来进行加强。通过这种方式,用户分辨与安全性有关的识别出对象的能力被给予更高优先级。
现在转回至图5,在64处,佩戴者看见的现实图像的亮度经由透视显示设备的调光滤光器被可选地减少。亮度减少的量可根据需要来影响经增强图像中用户所感知整体亮度的期望水平,以便以减少的功率来提供颜色变换等等。在66处,显示如上所述构造的虚拟图像。更具体地,将虚拟图像以在用户视野中与透视显示设备的用户所看见的现实图像配准的方式叠加在该现实图像上。
图5的任何方面都不应该以限制意义来理解,因为多个变型和扩展也被考虑。例如,透视显示设备的用户可能在某些场景中——例如在衣柜中识别匹配颜色时需要帮助。这里,可以以如下这样的方式来构造虚拟图像:即通过用文本、符号和分割图中的一个或多个盖写现实图像中的多个匹配色的位点以指示出这些匹配色,来增强这样的颜色的位点。
在其它实施例中,本文中呈现的方法可以在安排在透视显示设备中的眼镜跟踪器的帮助下被细调。在一个实施例中,眼镜跟踪器可以被配置为跟踪用户的聚焦点。在上述方法的62处构造的虚拟图像可以被配置为:在不好分辨的位点较靠近该聚焦点时,将该位点加强到与该位点较远离该聚焦点时相比更大的程度。该方法对于减少用户视野中的虚拟“杂乱”,或者对于使计算努力针对实际上看见的区域可以是有用的。
图14示出了用于改善透视显示设备的用户的颜色分辨能力的另一示例方法68。类似于图5的方法52,该方法可以通过在透视显示设备中或者以任何其它合适的方式来实施。
在58处,获得被用户看见的现实图像的图像。在60处,从所获得的图像中标识出用户不好分辨的颜色的位点。在62处,构造第一虚拟图像。这样的图像可能与之前提到的虚拟图像——亦即,要叠加在用户透过透视显示设备看见的现实图像上的虚拟图像——基本上相同。如此前所述,该虚拟图像可以被配置为增强现实图像中用户不好分辨的颜色的位点。
在步骤70处,接收对第二虚拟图像的请求。该请求可以从透视显示设备上运行的应用或操作系统或者AR环境中的别处发起。第二虚拟图像可以包括实际上任何所需图像-文本或图形;它可以或可以不与用户看见的现实图像相关。在72处,构造第二虚拟图像。
在本文所考虑的各实施例中,第二虚拟图像可以被配置为使得当它被叠加在用户看见的现实图像上时,是用户可分辨的。假设,例如,绿色弱的用户正在看以绿色为主的现实图像。该用户可能难以分辨覆盖在这样的背景上的红色虚拟图像。因此,在一实施例中,透视显示设备可以被配置为改变所请求的第二虚拟图像的显示颜色,以使它变得对色觉障碍的用户更易于分辨。因此,在一个实施例中,所请求的第二虚拟图像的红色像素可以被呈现为紫色。在更具体的实施例中,可以选择第二虚拟图像使在与第一虚拟图像一起被叠加在现实图像上时是用户可分辨的。
在66处,显示如上所述构造的第一和第二虚拟图像。更具体地,将第一和第二虚拟图像以在用户视野中与透视显示设备的用户所看见的现实图像配准的方式叠加在该现实图像上。
在一些实施例中,上述方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地,这样的方法和过程可以被实现为计算机应用程序或服务、应用编程接口(API)、库、和/或其它计算机程序产品。
图15示意性示出了可以实施以上所述的方法或过程中的一个或多个的计算系统24’的非限制性实施例。以简化形式示出计算系统24’。应该理解,可以使用实际上任何计算机架构,而不偏离本发明的范围。在不同的实施例中,计算系统24’可以采用大型计算机、服务器计算机、台式机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、可移动计算设备、可移动通信设备(例如,智能电话)等形式。
计算系统24’包括逻辑子系统74和存储子系统76。计算系统24’可选地包括显示子系统20’、输入子系统22’、通信子系统78和/或图15中未示出的其他组件。
逻辑子系统74包括被配置为执行指令的一个或多个物理设备。例如,逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个组件的状态、或者以其它方式达到所需的结果。
逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加的或可替代地,逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或者多核的,而其上执行的程序可以被配置为进行串行、并行或者分布式处理。逻辑子系统可以任选地包括分布在两个或更多个设备之间的独立组件,这些独立组件在一些实施例中可以位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可以由云计算配置中配置的可远程访问的网络计算设备来虚拟化和执行。
存储子系统76包括一个或多个物理、非瞬时设备,该设备被配置为保持逻辑子系统可执行来实现此处所述的的方法和过程的数据和/或指令。在实现此类方法和过程时,存储子系统76的状态可以变换-例如,以保持不同的数据。
存储子系统76可以包括可移动计算机可读存储介质和/或内置设备。存储子系统76可以包括光学存储设备(例如,CD、DVD、HD-DVD、蓝光盘,等)、半导体存储器设备(例如RAM,EPROM,EEPROM,等)和/或磁存储设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统76可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
在一些实施例中,可以将逻辑子系统74和存储子系统76的各方面一起集成在一个或多个硬件逻辑组件中,通过该一个或多个硬件逻辑组件可以至少部分地实施本文所描述的功能。这样的硬件逻辑组件可以包括:例如,现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑设备(CPLD)。
应理解,存储子系统76包括一个或多个物理、非瞬时设备。然而,在一些实施例中,本文所描述的指令的各方面可以通过物理设备不会保持达有限持续时间的单纯信号——例如,电磁信号或光信号等——以瞬时方式传播。此外,与本公开有关的数据和/或其它形式的信息可以通过单纯信号来传播。
术语“程序”可以用于描述被实现来执行特定功能的计算系统24′的一方面。在一些情况下,程序可以经由执行存储子系统76所保持的指令的逻辑子系统74来实例化。应该理解,不同的程序可以由相同的应用、服务、代码块、对象、库、例程、API、功能等来实例化。同样,相同的程序可以由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“程序”可以包括单独的可执行文件、数据文件、库、驱动器、脚本、数据库记录等或它们的集合。
应该理解,此处所使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在一些实现中,服务可以在一个或多个服务器计算设备上运行。
在显示子系统20’在被包括时可用于呈现存储子系统76所保持的数据的视觉表示。该视觉表示可以采取图形用户界面(GUI)的形式。由于此处所描述的方法和步骤改变了存储子系统所保持的数据,并由此变换了存储子系统的状态,因此同样可以将显示子系统20’的状态变换为可视地表示底层数据的变化。显示子系统20’可以包括实际上利用任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统74和/或存储子系统76一起组合在共享封装中,或者此类显示设备可以是外围触摸显示设备。
输入子系统22’在被包括时可以包括诸如键盘、鼠标、触摸屏或者游戏控制器之类的一个或多个用户输入设备或者与其互连。在一些实施例中,输入子系统可以包括所选择的自然用户界面(NUI)部件或与其结合。这样的部件可以是集成式的或者是外设,并且输入动作的转换和/或处理可以在板上或板外处理。NUI部件的示例可以包括用于语言和/或语音识别的话筒;用于机器视觉和/或姿势识别的红外、颜色、超声波和/或深度相机;用于运动检测和/或意图识别的头部跟踪器、眼镜跟踪器、加速度计和/或陀螺仪;以及用于评估脑部活动的电场感测量部件。
通信子系统78在被包括时可以被配置为使计算系统24’与一个或多个其它计算设备通信地耦合。通信子系统78可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可以被配置为用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,通信子系统可以允许计算系统24’通过诸如因特网之类的网络将消息发送到其它设备和/或从其它设备接收消息。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作和/或特性,以及其任何和全部等效物。

Claims (10)

1.在透视显示设备(16)中,一种用于基于所述透视显示设备的用户(12)的色觉缺陷来改善所述用户的颜色分辨能力的方法(52),所述方法包括:
构造(62)要叠加在透过所述透视显示设备可看见的现实图像(36)上的虚拟图像,所述虚拟图像被被配置为基于所述色觉缺陷来加强所述现实图像中不好分辨的颜色的位点;以及
显示(66)所述虚拟图像,使得所述虚拟图像在所述透视现实设备的视野中以与所述现实图像配准的方式被叠加在所述现实图像上。
2.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为变换所述位点的颜色。
3.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为增加所述位点的亮度。
4.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为勾画所述位点的周界。
5.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为用文本盖写所述位点。
6.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为用符号和分割图中的一个或多个来盖写所述位点。
7.如权利要求1所述的方法,其特征在于,所述虚拟图像被配置为在所述位点附近写入文本和符号中的一个或多个。
8.一种被配置为改善具有色觉缺陷的用户(12)的颜色分辨能力的透视显示设备(16),所述透视显示设备包括:
朝向前的相机(44),该相机被配置为获得透过所述透视显示设备可见的现实图像(36)的图像;
逻辑子系统(74),该逻辑子系统操作地耦合到存储子系统(76),所述存储子系统存储使得所述逻辑子系统构造要叠加在所述现实图像上的虚拟图像的指令,所述虚拟图像被配置为基于所述色觉缺陷来加强所述现实图像中不好分辨的颜色的位点;以及
微显示器(20),该微显示器被配置为显示所述虚拟图像,使得所述虚拟图像在所述透视现实设备的视野中以与所述现实图像配准的方式被叠加到在所述现实图像上。
9.如权利要求8所述的设备,其特征在于,还包括眼镜跟踪器,该眼镜跟踪器被配置为跟踪所述用户的聚焦点,其中所述虚拟图像被配置为在所述位点较接近所述聚焦点时,将所述位点加强到与所述位点较远离所述聚焦点时相比更大的程度。
10.如权利要求8所述的设备,其特征在于,还包括可控的调光滤光器,该调光滤光器被配置为通过控制减少所述用户看见的现实图像的亮度。
CN201310757256.2A 2013-12-17 2013-12-17 色觉缺陷校正 Pending CN103778602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310757256.2A CN103778602A (zh) 2013-12-17 2013-12-17 色觉缺陷校正

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310757256.2A CN103778602A (zh) 2013-12-17 2013-12-17 色觉缺陷校正

Publications (1)

Publication Number Publication Date
CN103778602A true CN103778602A (zh) 2014-05-07

Family

ID=50570801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310757256.2A Pending CN103778602A (zh) 2013-12-17 2013-12-17 色觉缺陷校正

Country Status (1)

Country Link
CN (1) CN103778602A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794700A (zh) * 2015-05-15 2015-07-22 京东方科技集团股份有限公司 色盲辅助系统
CN105572877A (zh) * 2016-02-03 2016-05-11 陈超平 一种头戴式增强现实智能显示装置
CN106326582A (zh) * 2016-08-30 2017-01-11 喻阳 优化人类色觉感知的光学装置设计方法、光谱及亮度测量方法
CN107329573A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 控制方法及电子设备
CN108563023A (zh) * 2018-04-25 2018-09-21 京东方科技集团股份有限公司 增强现实处理方法、系统、控制设备和增强现实设备
CN109151446A (zh) * 2018-09-25 2019-01-04 联想(北京)有限公司 控制方法和电子设备
CN113016011A (zh) * 2018-09-26 2021-06-22 佳殿玻璃有限公司 用于基底、涂覆品、中空玻璃单元等的增强现实系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043644A1 (en) * 2008-04-02 2011-02-24 Esight Corp. Apparatus and Method for a Dynamic "Region of Interest" in a Display System
US20120147163A1 (en) * 2010-11-08 2012-06-14 DAN KAMINSKY HOLDINGS LLC, a corporation of the State of Delaware Methods and systems for creating augmented reality for color blindness
KR20130030667A (ko) * 2011-09-19 2013-03-27 최재순 증강 현실을 이용한 자동차 운행 보조 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043644A1 (en) * 2008-04-02 2011-02-24 Esight Corp. Apparatus and Method for a Dynamic "Region of Interest" in a Display System
US20120147163A1 (en) * 2010-11-08 2012-06-14 DAN KAMINSKY HOLDINGS LLC, a corporation of the State of Delaware Methods and systems for creating augmented reality for color blindness
KR20130030667A (ko) * 2011-09-19 2013-03-27 최재순 증강 현실을 이용한 자동차 운행 보조 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794700A (zh) * 2015-05-15 2015-07-22 京东方科技集团股份有限公司 色盲辅助系统
US10049599B2 (en) 2015-05-15 2018-08-14 Boe Technology Group Co., Ltd System and method for assisting a colorblind user
CN105572877A (zh) * 2016-02-03 2016-05-11 陈超平 一种头戴式增强现实智能显示装置
CN105572877B (zh) * 2016-02-03 2018-11-09 上海群英软件有限公司 一种头戴式增强现实智能显示装置
CN106326582A (zh) * 2016-08-30 2017-01-11 喻阳 优化人类色觉感知的光学装置设计方法、光谱及亮度测量方法
CN107329573A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 控制方法及电子设备
CN107329573B (zh) * 2017-06-30 2020-09-25 联想(北京)有限公司 控制方法及电子设备
CN108563023A (zh) * 2018-04-25 2018-09-21 京东方科技集团股份有限公司 增强现实处理方法、系统、控制设备和增强现实设备
US11448875B2 (en) 2018-04-25 2022-09-20 Beijing Boe Technology Development Co., Ltd. Method, system and control device for controlling display of augmented reality device, and augmented reality device
CN109151446A (zh) * 2018-09-25 2019-01-04 联想(北京)有限公司 控制方法和电子设备
CN113016011A (zh) * 2018-09-26 2021-06-22 佳殿玻璃有限公司 用于基底、涂覆品、中空玻璃单元等的增强现实系统和方法

Similar Documents

Publication Publication Date Title
US9398844B2 (en) Color vision deficit correction
Koulieris et al. Near‐eye display and tracking technologies for virtual and augmented reality
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
CN103778602A (zh) 色觉缺陷校正
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
CN105992965B (zh) 响应于焦点移位的立体显示
CN106133674B (zh) 透视计算机显示系统
TWI597623B (zh) 可穿戴基於行爲的視覺系統
JP2021518679A (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
KR101960980B1 (ko) 증강 현실 디스플레이용 최적화 초점 영역
JP2023543557A (ja) ニアアイディスプレイの光源を駆動する方法
KR102599889B1 (ko) 가상 포커스 피드백
EP2886039B1 (en) Method and see-thru display device for color vision deficit correction
CN106662750A (zh) 透视计算机显示系统
CN104871068A (zh) 自动立体增强现实显示器
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
CN107111136B (zh) 包括单眼显示装置的双眼装置
US10523930B2 (en) Mitigating binocular rivalry in near-eye displays
US11774764B2 (en) Digital glasses having display vision enhancement
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
EP3420889B1 (en) Apparatus for checking the eyesight of a user
JP2018191079A (ja) 多焦点視覚出力方法、多焦点視覚出力装置
WO2023102500A1 (en) Methods for controlling performance of extended reality display systems
TW202216103A (zh) 改善雙眼視覺的系統與方法
GB2603483A (en) Holographic imaging system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1195383

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150730

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150730

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

RJ01 Rejection of invention patent application after publication

Application publication date: 20140507

RJ01 Rejection of invention patent application after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1195383

Country of ref document: HK