CN117555631A - 图像显示方法、装置、近眼显示设备及存储介质 - Google Patents
图像显示方法、装置、近眼显示设备及存储介质 Download PDFInfo
- Publication number
- CN117555631A CN117555631A CN202210939472.8A CN202210939472A CN117555631A CN 117555631 A CN117555631 A CN 117555631A CN 202210939472 A CN202210939472 A CN 202210939472A CN 117555631 A CN117555631 A CN 117555631A
- Authority
- CN
- China
- Prior art keywords
- color
- eye
- information
- target
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008859 change Effects 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 5
- 238000013461 design Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 36
- 239000003086 colorant Substances 0.000 description 13
- 230000001276 controlling effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002570 electrooculography Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本申请公开了一种图像显示方法、装置、电子设备及存储介质,涉及图像显示技术领域。该方法应用于近眼显示设备,包括:获取近眼显示设备对应的佩戴者的人眼注视区域,其中,人眼注视区域为佩戴者的人眼注视点在显示单元上的位置;获取人眼注视区域显示的实际颜色信息,以及目标白平衡下人眼注视区域对应的显示画面的预设颜色信息;确定实际颜色信息与预设颜色信息之间的颜色偏差信息;根据颜色偏差信息,调整光源投射单元投影时光束的颜色信息,以使光源投射单元投影时人眼注视区域的显示画面达到目标白平衡。如此,使得人眼注视区域的白平衡达到最佳状态,提升了人眼感受的颜色均匀性,且没有给近眼显示设备带来额外的设计或者制造的负担。
Description
技术领域
本申请涉及图像显示技术领域,尤其涉及一种图像显示方法、装置、近眼显示设备及存储介质。
背景技术
近年来,体验虚拟世界的虚拟现实(Virtual Reality,VR)技术和将显示内容与真实环境相互融合的增强现实(Augmented Reality,AR)技术的发展,逐渐满足人们对于视觉体验的追求。但随着计算机技术和成像技术的发展,人们对沉浸式体验的需求越来越高,对AR技术、VR技术等近眼显示设备的轻薄性和成像质量的要求也越来越高。
在相关技术中,为提高近眼显示设备的轻薄性和成像质量,引入了全息光学元件、衍射光波导等衍射元件。但是,由于不同波长的光波的衍射效率不均匀,导致显示画面存在颜色不均匀的问题,影响了近眼显示设备的显示效果和用户的使用佩戴体验。
发明内容
有鉴于此,本申请提出了一种图像显示方法、装置、近眼显示设备及存储介质。
第一方面,本申请实施例提供了一种图像显示方法,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元,所述方法包括:获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置;获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息;确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息;根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
第二方面,本申请实施例提供了一种图像显示装置,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元,所述装置包括:注视区域获取模块,用于获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置;颜色信息获取模块,用于获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息;颜色偏差确定模块,用于确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息;颜色校正模块,用于根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
第三方面,本申请实施例提供了一种近眼显示设备,包括:一个或多个处理器;存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。
本申请提供的方案中,获取近眼显示设备对应的佩戴者的人眼注视区域,其中,人眼注视区域为佩戴者的人眼注视点在显示单元上的位置;获取人眼注视区域显示的实际颜色信息,以及目标白平衡下人眼注视区域对应的显示画面的预设颜色信息;确定实际颜色信息与预设颜色信息之间的颜色偏差信息;根据颜色偏差信息,调整光源投射单元投影时光束的颜色信息,以使光源投射单元投影时人眼注视区域的显示画面达到目标白平衡。可见,利用人眼对注视点附近的区域具有更加灵敏的感知能力,对于远离注视点的区域具有弱感知的特性,在确定人眼注视区域之后,确定人眼注视区域显示的实际颜色信息以及预设颜色信息之间的颜色偏差信息;并根据颜色偏差信息,动态调节光源的白平衡系统。如此,在保证近眼显示设备的显示效率和显示亮度的同时,保证了近眼显示设备在人眼注视区域的显示画面的颜色均匀性,即使得人眼注视区域的白平衡达到最佳状态,提升了人眼感受的颜色均匀性,且没有给近眼显示设备带来额外的设计或者制造的负担。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的图像显示方法的流程示意图。
图2示出了本申请提供的一种近眼显示设备的示意图。
图3示出了图1中步骤S130在一实施方式中的子步骤的流程示意图。
图4示出了本申请另一实施例提供的图像显示方法的流程示意图。
图5示出了本申请一实施例提供的图像显示系统的系统架构图。
图6是根据本申请一实施例提供的一种图像显示装置的框图。
图7是本申请实施例的用于执行根据本申请实施例的图像显示方法的近眼显示设备的框图。
图8是本申请实施例的用于保存或者携带实现根据本申请实施例的图像显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在相关技术中,AR近眼显示设备中的AR显示系统通常包含微型光机(opticalengine)和光学组合器(optical combiner)两部分。其中,AR近眼显示设备中采用的微型光机是用于生成图像光线的器件,主要技术路线包括但不限于LCoS、Laser Beam Scanning、Micro LED、Micro OLED等。光学组合器的作用是将实际环境光线和图像光线进行组合,使得人眼同时能够观察到环境和光机产生的图像信息。由于对AR近眼显示设备有小体积、轻薄化的高要求,为了实现该目标,AR近眼显示设备引入了全息光学元件、衍射光波导等衍射元件,实现形态上的突破。但与此同时,衍射元件的对不同颜色的光波有衍射效率不均匀的问题,从而导致AR近眼显示设备所显示的画面存在颜色不均匀的问题。
针对上述问题,发明人提出一种图像显示方法、装置、电子设备及存储介质,根据人眼注视区域显示的实际颜色信息和预设颜色信息,确定存在的颜色偏差信息,并根据颜色偏差信息调整光源投射单元投影时光束的颜色信息,以使光源投射单元投影时人眼注视区域的显示画面达到目标白平衡。下面对该内容进行详细描述。
请参照图1,图1为本申请一实施例提供的一种图像显示方法的流程示意图,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元。下面将结合图1对本申请实施例提供的图像显示方法进行详细阐述。该图像显示方法可以包括以下步骤:
步骤S110:获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置。
在本实施例中,近眼显示设备包括但不限于VR眼镜、AR眼镜、混合现实(MixedReality,MR)眼镜等设备,当然也可以是可支持VR技术、AR技术或MR技术的其他设备,例如,头戴式显示设备、智能手机、平板电脑以及笔记本电脑等,本实施例对此不作限制。
在实际应用中,人眼对注视点附近的区域具有更加灵敏的感知能力,对于远离注视点的区域具有弱感知的特性,该特性针对近眼显示设备的佩戴者来说更为明显。也就是说,人眼注视点附近的区域存在显示颜色不均匀时,人眼会主观感知到颜色不均匀的问题,进而影响佩戴者的佩戴使用体验;而远离注视点附近的区域即使存在显示颜色不均匀时,人眼不容易感知到颜色不均匀的问题。因此,针对近眼显示设备的显示画面存在颜色不均匀的问题,可以仅对人眼注视点附近的区域的显示画面进行调整,即可提升人眼主观感受的颜色均匀性。本实施例中的人眼注视区域即为上述人眼注视点附近的区域,也可以理解为佩戴者的人眼注视点在近眼显示设备的显示单元(如显示屏幕)上的位置。
可选地,人眼注视区域可以是显示单元上与人眼注视点之间的距离在预设距离之内的区域。其中,预设距离可以是近眼显示设备默认的数值,也可以是佩戴者根据自身需求进行调整设定的数值,本实施例对此不作限制。
在一些实施方式中,近眼显示设备包括红外追踪光源以及红外摄像头,示例性地,请参阅图2,图2中的AR眼镜包括多个红外追踪光源21以及多个红外摄像头22。基于此,近眼显示设备可以通过控制红外追踪光源发出红外光束,再利用红外摄像头拍摄佩戴者的眼部图像,其中,眼部图像包括红外光束聚焦在佩戴者的眼部中的投影点;根据投影点与佩戴者的瞳孔的相对位置,确定人眼注视区域,具体地,获取眼部图像中瞳孔的中心位置,再将投影点作为红外摄像头与眼部的相对位置的基点,进而根据瞳孔的中心位置可以计算出佩戴者的视线向量坐标,进而确定出人眼注视点,最后,根据人眼注视点以及前述预设距离,确定人眼注视区域。
当然,上述人眼注视区域还可以通过机械记录法、眼电记录法、电磁感应法、眼电法、红外边缘反射法、搜索线圈法或基于视频的眼动追踪法中的一种或多种组合方法确定得到,实际应用中可以用于计算人眼注视区域的方法均在本申请的保护范围内,在此不再赘述。
步骤S120:获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息。
在实际应用中,红(Red,R)、绿(Green,G)、蓝(Blue,B)三基色为RGB颜色空间的三种基本色,人类视力所能感知的所有颜色均可以通过红、绿、蓝三基色互相叠加得到;在RGB颜色空间中,每一种颜色按照亮度可以分为256个等级(0~255),将三种基色按照不同的亮度混合比例进行叠加混合,即可得到各种不同的颜色。基于此,上述实际颜色信息可以是多种颜色分量的实际亮度比例,预设颜色信息可以是多种颜色分量的预设亮度比例,其中,多种颜色分量即为R、G、B三种颜色分量。
可以理解地,红、绿、蓝三基色的光束的波长不同,并且在不同角度下通过衍射元件后,也会存在不同程度的能量损耗,进而导致显示画面中不同区域的颜色不均匀程度也不同,即近眼显示设备的不同显示区域存在程度不同的色散现象。因此,可以预先测量的在光源投射单元的投射下,近眼显示设备的显示单元中的不同显示区域的多种颜色分量的实际亮度比例,并保存不同显示区域对应的多种颜色分量的实际亮度比例。进一步地,在获取到人眼注视区域之后,即可将人眼注视区域与预先存储的不同的显示区域进行匹配,并将匹配成功的显示区域对应的实际亮度比例,作为人眼注视区域显示的实际颜色信息。如此,实现了快速确定人眼注视区域显示的实际亮度比例。
可见,按照实际亮度比例进行显示,会导致显示画面存在颜色不均匀的情况。因此,还可以获取目标白平衡下人眼注视区域对应的显示画面的预设颜色信息,即获取目标白平衡下人眼注视区域对应的显示画面的多种颜色分量的预设亮度比例。其中,白平衡从字面上可以理解为白色的平衡,即不管在任何光源下,都能将白色物体还原为白色,其可以作为描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。目标白平衡可以是国际标准定义下的标准值;由于在现实环境中,当近眼显示设备所处的地域、季节、地面环境、天气、早晚等等因素都会对色温造成影响,还有大量的人工光源,色温也不尽相同,因此,目标白平衡也可以是根据近眼显示设备当前所处的环境参数计算的最优白平衡。其中,目标白平衡下的人眼注视区域对应的显示画面的多种颜色分量的预设亮度比例均是已知的。
在一些实施方式中,近眼显示设备中可以预先存储多种环境参数与对应的最优白平衡之间的映射关系,进而近眼显示设备可以在使用过程中确定自身当前所处的环境参数之后,即可根据该映射关系确定与当前环境参数相匹配的最优白平衡,作为上述目标白平衡。如此,可以提高获取目标白平衡下的人眼注视区域对应的显示画面的预设颜色信息的效率,进而提高近眼显示设备的显示效率。
步骤S130:确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息。
在本实施例中,实际颜色信息包括多种颜色分量的实际亮度比例,预设颜色信息包括多种颜色分量的预设亮度比例,可以根据实际亮度比例以及预设亮度比例,确定亮度偏差信息作为上述颜色偏差信息。
在一些实施方式中,请参阅图3,步骤S130可以包括步骤S131至步骤S132的内容:
步骤S131:根据所述实际颜色信息与所述预设颜色信息,确定多种颜色分量中存在颜色偏差的颜色分量,作为目标颜色分量。
可选地,根据多种颜色分量的实际亮度比例以及预设亮度比例,确定多种颜色分量中存在颜色偏差的颜色分量,作为目标颜色分量。
示例性地,以多种颜色分量为R、G、B三基色为例,R、G、B实际亮度比例为1:2:1,R、G、B的预设亮度比例为1:1:1,可见,存在颜色偏差的颜色分量为绿色,进而可以将绿色作为上述目标颜色分量。
步骤S132:根据所述实际颜色信息中的所述目标颜色分量与所述预设颜色信息中的所述目标颜色分量之间的差异,确定所述颜色偏差信息。
进一步地,在确定出目标颜色分量之后,即可根据实际亮度比例中的目标颜色分量的占比与预设亮度比例中的目标颜色分量的占比之间的差异,确定偏差倍数,作为上述颜色偏差信息。
示例性地,以多种颜色分量为R、G、B三基色为例,R、G、B实际亮度比例为1:2:1,R、G、B的预设亮度比例为1:1:1,进而可以确定存在颜色偏差的颜色分量为绿色,即目标颜色分量为绿色。可以确定目标颜色分量在实际亮度比例中的占比是目标颜色分量在预设亮度比例中的占比的2倍,因此,则可以确定偏差倍数为1/2倍。
步骤S140:根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
在本实施例中,在确定出颜色偏差信息之后,即可通过对光源投射单元投影是光束的颜色信息进行调整,进而使得光源投射单元投影时,叠加在人眼注视区域的光束所形成的显示画面达到前述目标白平衡,即使得人眼注视区域的显示画面颜色均匀,保证人眼的主观视觉上的颜色均匀性。
在一些实施方式中,根据所述颜色偏差信息,确定所述目标颜色分量对应的目标占空比;控制所述光源投射单元中的目标驱动电路按照所述目标占空比进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。其中,颜色偏差信息可以为目标颜色分量在实际亮度比例中的占比相较于其在预设亮度比例中的占比的偏差倍数;进而可以基于该偏差倍数,计算出目标颜色分量对应的目标占空比。最后,控制光源投射单元中的用于驱动目标颜色分量的光源的目标驱动电路按照计算出的目标占空比进行驱动,目标颜色分量的光源的亮度与目标占空比的大小呈正相关,即目标占空比越大,目标颜色分量的光源所发出的光束的亮度越高。请参阅图2,上述目标驱动电路位于图2中的硬件电路23中。
其中,占空比为一个脉冲周期内光源的电量时长与脉冲周期的比值,通常条件下,人眼的识别连贯图像的速度是24帧/秒,也就是1000毫秒/24帧,大约为40毫秒。当达到或者超过这个速度的连贯图像,人眼观看时就不会形成卡顿的感觉,对应地,当光源在40毫秒内进行多次点亮和熄灭,人眼无法察觉到该光源在40毫秒内进行了闪烁,例如,若在1毫秒内,控制光源的点亮时长为0.1毫秒,熄灭时长为0.9毫秒,由于光源的闪烁频率超过了人眼察觉的频率,人眼观看则无法察觉到光源的闪烁,仅能看到光源的发光亮度是总亮度的十分之一。因此,可以通过控制用于驱动目标颜色分量的光源的目标驱动电路按照目标占空比进行驱动,进而实现对目标颜色分量的光源所发出光束的亮度进行改变,以调整人眼注视区域的显示画面达到目标白平衡。
示例性地,若确定目标颜色分量在实际亮度比例中的占比相较于其在预设亮度比例中的占比的偏差倍数为1/2,进而则可以确定出目标颜色分量对应的目标占空比为原始占空比的1/2。也就是说,造人眼注视区域颜色不均匀是由于目标颜色分量的亮度过高所导致的,因此,控制用于驱动目标颜色分量的光源的目标驱动电路按照目标占空比进行驱动,进而实现将投射到人眼注视区域的目标颜色分量的亮度调低至原始亮度的1/2,即可使得人眼注视区域的显示画面达到目标白平衡,即使得人眼注视区域的显示画面的颜色变均匀。
在另一些实施方式中,根据所述颜色偏差信息,确定所述目标颜色分量对应的目标电流;控制所述光源投射单元中的目标驱动电路按照所述目标电流进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。其中,目标颜色分量的光源的亮度与目标电流的大小呈正相关,即目标电流越大,目标颜色分量的光源的亮度越高。
示例性地,若确定目标颜色分量在实际亮度比例中的占比相较于其在预设亮度比例中的占比的偏差倍数为1/2,进而则可以确定出目标颜色分量对应的目标电流为原始电流的1/2。也就是说,造人眼注视区域颜色不均匀是由于目标颜色分量的亮度过高所导致的,因此,控制用于驱动目标颜色分量的光源的目标驱动电路按照目标电流进行驱动,进而实现将投射到人眼注视区域的目标颜色分量的亮度调低至原始亮度的1/2,即可使得人眼注视区域的显示画面达到目标白平衡,即使得人眼注视区域的显示画面的颜色变均匀。
在一些实施方式中,根据多种颜色分量的实际亮度比例以及预设亮度比例,可以确定出两组存在颜色偏差的颜色分量;进而可以确定包含的颜色分量的数量最少的那一组颜色分量作为上述目标颜色分量。
示例性地,以多种颜色分量为R、G、B三基色为例,R、G、B实际亮度比例为1:2:1,R、G、B的预设亮度比例为1:1:1,可见,存在颜色偏差的颜色分量为绿色,进而可以将绿色作为上述目标颜色分量;换个角度,也可以将红色和蓝色作为存在颜色偏差的目标颜色分量,即一组存在颜色偏差的颜色分量为绿色,一组存在颜色偏差的颜色分量为红色和蓝色。为减少需要调节的目标颜色分量对应的光源数量,即保证动态调节显示画面的白平衡的效率,将包含颜色分量的数量最少的那一组颜色分量作为目标颜色分量,即将绿色作为上述目标颜色分量。
在另一些方式中,根据多种颜色分量的实际亮度比例以及预设亮度比例,可以确定出两组存在颜色偏差的颜色分量,可以进一步获取每种颜色分量的实际亮度和预设亮度,将两组存在颜色偏差的颜色分量中与其对应的预设亮度之间的亮度差值大于预设亮度阈值的作为目标颜色分量。如此,可以使得根据颜色偏差信息,调整光源投射单元投影时光束的投影至人眼注视区域的颜色均匀同时,亮度也符合预设亮度,提高人眼的视觉效果。
在本实施例中,利用人眼的特殊性,人眼对注视点附近的区域具有更加灵敏的感知能力,对于远离注视点的区域具有弱感知的特性;通过牺牲远离人眼注视区域的白平衡,来保证人眼注视区的白平衡效果,虽然人眼注视区域外的白平衡可能会更加失调,但是注视区的白平衡效果达到最佳,提高了人眼视觉感受。同时,也保证了近眼显示设备的显示效率以及显示亮度,并且,在提升了人眼感受的颜色均匀性的基础上,没有给近眼显示设备带来额外的设计或者增加硬件制造成本的负担。
请参照图4,图4为本申请另一实施例提供的一种图像显示方法的流程示意图,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元。下面将结合图4对本申请实施例提供的图像显示方法进行详细阐述。该图像显示方法可以包括以下步骤:
步骤S210:获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置。
步骤S220:获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息。
步骤S230:确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息。
步骤S240:根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
在本实施例中,步骤S210至步骤S240的具体实施方式可以参阅前述实施例中的内容,在此不再赘述。
步骤S250:若检测到所述佩戴者的人眼注视区域发生变化,获取区域变化信息。
在本实施例中,近眼显示设备可以实时监控人眼的注视的位置,即可以实时获取佩戴者的人眼注视区域,进而根据实时获取到的人眼注视区域,判断每个时刻相较于上一次获取到的人眼注视区域是否发生变化;若发生变化,则获取区域变化信息。其中,区域变化信息可以是人眼的注视点的移动距离,也可以是人眼的视场角的变化角度,本实施例对此不作限制。
在一些实施方式中,可以每隔预设时长,获取佩戴者的人眼注视区域。其中,预设时长可以是近眼显示设备默认的时长,当然,佩戴者也可以根据实际需求对默认的时长进行调整,本实施例对此不作限制。
步骤S260:判断所述区域变化信息是否满足预设变化条件,若是,返回步骤S220;若否,执行步骤S270。
在实际应用中,人眼注意力在某个画面的时候,其注视点仅会在某个小区域漂移,因此,当人眼注视点在小区域内移动时,近眼显示设备不需要特别快的响应速度,即无需针对人眼注视点在小区域内移动时,去调整光源投射单元。基于此,可以在获取到区域变化信息之后,可以判断区域变化信息是否满足预设变化条件。若满足,则返回步骤S220,即实时针对变化后的人眼注视区域,调整光源投射单元投影时的光束的颜色信息,使得光源投射单元投影时人眼注视区域的显示画面达到目标白平衡;也就是说,保证了每时每刻人眼注视区域的显示画面均可以达到目标白平衡,即实现显示画面的颜色的均匀性,提高人眼视觉效果,同时也避免了针对每次获取到的人眼注视区域,均调整光源投射单元投影时的光束的颜色信息,避免了计算资源的浪费。
在一些实施方式中,区域变化信息可以是人眼注视点的移动距离,对应地,预设变化条件可以为移动距离大于预设距离;也就是说,当人眼注视点的移动距离大于预设距离时,表征人眼注视点并非在小区域内移动,而是在较大的范围内移动,此时,再实时针对变化后的人眼注视区域,调整光源投射单元投影时的光束的颜色信息。其中,预设距离可以是近眼显示设备默认的数值,当然,佩戴者也可以根据实际需求对默认的数值进行调整,本实施例对此不作限制。
在另一些实施方式中,区域变化信息可以为人眼的视场角的变化角度,可以理解地,人眼注视点移动时,其对应的人眼的视场角的角度也会发生变化。此时,预设变化条件可以是视场角的变化角度大于预设角度。基于此,当人眼的视场角的变化角度大于预设角度时,也能表征人眼注视点并非在小区域内移动,而是在较大的范围内移动。此时,再实时针对变化后的人眼注视区域,调整光源投射单元投影时的光束的颜色信息。
步骤S270:控制光源投射单元按照当前投影的光束的颜色信息进行投影。
可以理解地,若区域变化信息不满足预设变化条件,表征人眼注视点的在小区域内移动,由于移动幅度较小,即使不对光源投射单元投影时的光束的颜色信息进行调整,对于佩戴者来说,人眼注视区域的颜色仍是均匀的。因此,若区域变化信息不满足预设变化条件,则无需对光源投射单元投影时的光束的颜色信息进行调整,即控制光源投射单元按照当前投影的光束的颜色信息进行投影。
在本实施例中,实时地监控人眼注视区域,当确定人眼注视区域的区域变化信息满足预设变化条件时,即人眼注视点并非在小区域的范围内移动,而是移动幅度较大时,再根据实时监控到的人眼注视区域,调整光源投射单元投影时的光束的颜色信息,使得光源投射单元投影时人眼注视区域的显示画面达到目标白平衡。如此,动态调节了人眼注视区域的显示画面的颜色均匀性的同时,也避免了不必要的计算资源的浪费。
请参照图5,图5为本申请一实施例提供的一种图像显示系统的系统架构图。下面将结合图5对本申请实施例提供的图像显示方法进行详细阐述。该图像显示方法可以包括以下内容:
在本实施例中,图像显示系统包括处理器51、光源投射单元52、眼动追踪单元53以及显示单元54。眼动追踪单元53可以包括前述实施例中提到的红外追踪光源以及红外摄像头。
在一些实施方式中,处理器51从眼动追踪单元53处获取近眼显示设备对应的佩戴者的人眼注视区域,其中,人眼注视区域为佩戴者的人眼注视点在显示单元54上的位置;处理器51获取人眼注视区域显示的实际颜色信息,以及目标白平衡下人眼注视区域对应的显示画面的预设颜色信息,确定实际颜色信息与预设颜色信息之间的颜色偏差信息;处理器51再根据颜色偏差信息,调整光源投射单元52投影时RGB光源的颜色信息,以使所述光源投射单元52投影时人眼注视区域的显示画面达到所述目标白平衡。
请参照图6,其中示出了本申请一实施例提供的一种图像显示装置300的结构框图,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元。该装置300可以包括:注视区域获取模块310、颜色信息获取模块320、颜色偏差确定模块330和颜色校正模块340。
注视区域获取模块310用于获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置。
颜色信息获取模块320用于获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息。
颜色偏差确定模块330用于确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息。
颜色校正模块340用于根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
在一些实施方式中,颜色偏差确定模块330可以包括:目标颜色确定单元以及颜色偏差确定单元。其中,目标颜色确定单元可以用于根据所述实际颜色信息与所述预设颜色信息,确定多种颜色分量中存在颜色偏差的颜色分量,作为目标颜色分量。颜色偏差确定单元可以用于根据所述实际颜色信息中的所述目标颜色分量与所述预设颜色信息中的所述目标颜色分量之间的差异,确定所述颜色偏差信息。
在该方式下,颜色校正模块340可以具体用于:根据所述颜色偏差信息,确定所述目标颜色分量对应的目标占空比;控制所述光源投射单元中的目标驱动电路按照所述目标占空比进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。
在该方式下,颜色校正模块340还可以具体用于:根据所述颜色偏差信息,确定所述目标颜色分量对应的目标电流;控制所述光源投射单元中的目标驱动电路按照所述目标电流进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。
在一些实施方式中,所述实际颜色信息包括多种颜色分量的实际亮度比例,所述预设颜色信息包括多种颜色分量的预设亮度比例,颜色偏差确定模块330可以具体用于:根据所述实际亮度比例以及所述预设亮度比例,确定亮度偏差信息作为所述颜色偏差信息。
在一些实施方式中,所述近眼显示设备包括红外追踪光源以及红外摄像头,注视区域获取模块310可以具体用于:控制所述红外追踪光源发出红外光束;利用所述红外摄像头拍摄所述佩戴者的眼部图像,所述眼部图像包括所述红外光束聚焦在所述佩戴者的眼部中的投影点;根据所述投影点与所述佩戴者的瞳孔的相对位置,确定所述人眼注视区域。
在一些实施方式中,图像显示装置300可以包括区域变化检测模块,区域变化检测模块可以具体用于:若检测到所述佩戴者的人眼注视区域发生变化,获取区域变化信息;判断所述区域变化信息是否满足预设变化条件;若是,执行所述获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息至所述根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请实施例提供的方案中,获取近眼显示设备对应的佩戴者的人眼注视区域,其中,人眼注视区域为佩戴者的人眼注视点在显示单元上的位置;获取人眼注视区域显示的实际颜色信息,以及目标白平衡下人眼注视区域对应的显示画面的预设颜色信息;确定实际颜色信息与预设颜色信息之间的颜色偏差信息;根据颜色偏差信息,调整光源投射单元投影时光束的颜色信息,以使光源投射单元投影时人眼注视区域的显示画面达到目标白平衡。可见,利用人眼对注视点附近的区域具有更加灵敏的感知能力,对于远离注视点的区域具有弱感知的特性,在确定人眼注视区域之后,确定人眼注视区域显示的实际颜色信息以及预设颜色信息之间的颜色偏差信息;并根据颜色偏差信息,动态调节光源的白平衡系统。如此,在保证近眼显示设备的显示效率和显示亮度的同时,保证了近眼显示设备在人眼注视区域的显示画面的颜色均匀性,即使得人眼注视区域的白平衡达到最佳状态,提升了人眼感受的颜色均匀性,且没有给近眼显示设备带来额外的设计或者制造的负担。。
下面将结合图7对本申请提供的一种近眼显示设备进行说明。
参照图7,图7示出了本申请实施例提供的一种近眼显示设备400的结构框图,本申请实施例提供的上述方法可以由该近眼显示设备400执行。
本申请实施例中的近眼显示设备400可以包括一个或多个如下部件:处理器401、存储器402、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器402中并被配置为由一个或多个处理器401执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器401可以包括一个或者多个处理核。处理器401利用各种接口和线路连接整个近眼显示设备400内的各个部分,通过运行或执行存储在存储器402内的指令、程序、代码集或指令集,以及调用存储在存储器402内的数据,执行近眼显示设备400的各种功能和处理数据。可选地,处理器401可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器401可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以集成到处理器401中,单独通过一块通信芯片进行实现。
存储器402可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器402可用于存储指令、程序、代码、代码集或指令集。存储器402可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储近眼显示设备400在使用中所创建的数据(比如上述的各种对应关系)等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图8,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质500中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
在一些实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种图像显示方法,其特征在于,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元,所述方法包括:
获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置;
获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息;
确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息;
根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
2.根据权利要求1所述的方法,其特征在于,所述确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息,包括:
根据所述实际颜色信息与所述预设颜色信息,确定多种颜色分量中存在颜色偏差的颜色分量,作为目标颜色分量;
根据所述实际颜色信息中的所述目标颜色分量与所述预设颜色信息中的所述目标颜色分量之间的差异,确定所述颜色偏差信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,包括:
根据所述颜色偏差信息,确定所述目标颜色分量对应的目标占空比;
控制所述光源投射单元中的目标驱动电路按照所述目标占空比进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。
4.根据权利要求2所述的方法,其特征在于,所述根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,包括:
根据所述颜色偏差信息,确定所述目标颜色分量对应的目标电流;
控制所述光源投射单元中的目标驱动电路按照所述目标电流进行驱动,以调整所述光源投射单元投影时所述目标颜色分量的光束的颜色信息,所述目标驱动电路用于驱动所述目标颜色分量的光源。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述实际颜色信息包括多种颜色分量的实际亮度比例,所述预设颜色信息包括多种颜色分量的预设亮度比例,所述确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息,包括:
根据所述实际亮度比例以及所述预设亮度比例,确定亮度偏差信息作为所述颜色偏差信息。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述近眼显示设备包括红外追踪光源以及红外摄像头,所述获取所述近眼显示设备对应的佩戴者的人眼注视区域,包括:
控制所述红外追踪光源发出红外光束;
利用所述红外摄像头拍摄所述佩戴者的眼部图像,所述眼部图像包括所述红外光束聚焦在所述佩戴者的眼部中的投影点;
根据所述投影点与所述佩戴者的瞳孔的相对位置,确定所述人眼注视区域。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息之后,所述方法还包括:
若检测到所述佩戴者的人眼注视区域发生变化,获取区域变化信息;
判断所述区域变化信息是否满足预设变化条件;
若是,执行所述获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息至所述根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息的步骤。
8.一种图像显示装置,其特征在于,应用于近眼显示设备,所述近眼显示设备包括光源投射单元以及显示单元,所述装置包括:
注视区域获取模块,用于获取所述近眼显示设备对应的佩戴者的人眼注视区域,所述人眼注视区域为所述佩戴者的人眼注视点在所述显示单元上的位置;
颜色信息获取模块,用于获取所述人眼注视区域显示的实际颜色信息,以及目标白平衡下所述人眼注视区域对应的显示画面的预设颜色信息;
颜色偏差确定模块,用于确定所述实际颜色信息与所述预设颜色信息之间的颜色偏差信息;
颜色校正模块,用于根据所述颜色偏差信息,调整所述光源投射单元投影时光束的颜色信息,以使所述光源投射单元投影时所述人眼注视区域的显示画面达到所述目标白平衡。
9.一种近眼显示设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210939472.8A CN117555631A (zh) | 2022-08-05 | 2022-08-05 | 图像显示方法、装置、近眼显示设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210939472.8A CN117555631A (zh) | 2022-08-05 | 2022-08-05 | 图像显示方法、装置、近眼显示设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117555631A true CN117555631A (zh) | 2024-02-13 |
Family
ID=89819221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210939472.8A Pending CN117555631A (zh) | 2022-08-05 | 2022-08-05 | 图像显示方法、装置、近眼显示设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117555631A (zh) |
-
2022
- 2022-08-05 CN CN202210939472.8A patent/CN117555631A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11686945B2 (en) | Methods of driving light sources in a near-eye display | |
US11714487B2 (en) | Gaze and smooth pursuit based continuous foveal adjustment | |
US20140292637A1 (en) | Method for adjusting head-mounted display adaptively and head-mounted display | |
JP6160020B2 (ja) | 透過型表示装置、表示方法および表示プログラム | |
US11211030B2 (en) | Electronic device with adaptive display | |
US10725300B2 (en) | Display device, control method for display device, and program | |
KR101520778B1 (ko) | 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램 | |
US20200049946A1 (en) | Display apparatus and method of displaying using gaze prediction and image steering | |
JP2013114123A (ja) | 透過型表示装置、表示方法および表示プログラム | |
CN111601373B (zh) | 背光亮度控制方法、装置、移动终端及存储介质 | |
CN111214205B (zh) | 控制发光器以获得最佳闪光 | |
US20130207991A1 (en) | Wearable displays methods, and computer-readable media for determining display conditions | |
JP6036291B2 (ja) | 表示装置、表示システム、および、表示装置の制御方法 | |
WO2022265770A1 (en) | Variable intensity distributions for gaze detection assembly | |
CN112596247A (zh) | 图像显示方法、装置以及头戴显示设备 | |
JP6561606B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
US20200359008A1 (en) | Information processing apparatus, information processing method, and recording medium | |
CN111179877A (zh) | 一种屏幕显示效果的调节方法、移动设备及存储装置 | |
CN113534949A (zh) | 头戴式显示设备及其控制方法 | |
US10930244B2 (en) | Data processing systems | |
CN117555631A (zh) | 图像显示方法、装置、近眼显示设备及存储介质 | |
JP7145944B2 (ja) | 視覚キューを提供する手段を用いる表示装置および表示方法 | |
CN114816065A (zh) | 屏幕背光的调节方法、虚拟现实设备以及可读存储介质 | |
CN111856759B (zh) | 镜片参数调整方法及装置 | |
CN116413915A (zh) | 一种近眼显示设备的亮度调节方法、近眼显示设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |