CN114035335B - 显示装置及其控制方法、显示系统 - Google Patents
显示装置及其控制方法、显示系统 Download PDFInfo
- Publication number
- CN114035335B CN114035335B CN202111436875.2A CN202111436875A CN114035335B CN 114035335 B CN114035335 B CN 114035335B CN 202111436875 A CN202111436875 A CN 202111436875A CN 114035335 B CN114035335 B CN 114035335B
- Authority
- CN
- China
- Prior art keywords
- pupil
- display
- light
- display device
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 210000001747 pupil Anatomy 0.000 claims abstract description 158
- 210000001508 eye Anatomy 0.000 claims abstract description 104
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000000712 assembly Effects 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本公开提供一种显示装置,包括:显示面板,被配置为:提供显示画面;瞳孔信息采集模块,被配置为:采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置;透镜组件,位于所述显示面板的出光方向一侧,并被配置为:根据所述瞳孔位置调节所述显示画面对应的光线到达所述人眼的光路。
Description
技术领域
本公开涉及显示技术领域,尤其涉及一种显示装置及其控制方法、显示系统。
背景技术
近场显示装置(例如,虚拟现实设备或增强现实设备),可以基于光场成像来实现具有立体感的显示。
在相关技术中,光场显示方案的视点位置一般是固定的,通常均匀分布在视窗(Eyebox)区域内。在人眼转动的过程中,可能只能看到部分视点,这就导致立体感有所降低。
发明内容
本公开提出一种显示装置及其控制方法、显示系统。
本公开第一方面,提供了一种显示装置,包括:
显示面板,被配置为:提供显示画面;
瞳孔信息采集模块,被配置为:采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置;
透镜组件,位于所述显示面板的出光方向一侧,并被配置为:根据所述瞳孔位置调节所述显示画面对应的光线到达所述人眼的光路。
本公开第二方面,提供了一种显示系统,包括:
如第一方面所述的显示装置;
控制设备,与所述显示装置电耦接,并被配置为:
接收瞳孔信息采集模块采集的与人眼的瞳孔对应的图像;
根据所述图像计算得到瞳孔位置;
根据所述瞳孔位置控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路。
本公开第三方面,提供了一种显示装置的控制方法,包括:
利用显示装置的显示面板提供显示画面;
利用所述显示装置的瞳孔信息采集模块采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置;
利用控制设备根据所述图像计算得到瞳孔位置;
利用所述控制设备根据所述瞳孔位置控制所述显示装置的透镜组件,以调节所述显示画面对应的光线到达所述人眼的光路。
本公开提供的显示装置及其控制方法、显示系统,利用瞳孔信息采集模块采集与人眼的瞳孔对应的图像,然后利用该图像计算得到瞳孔位置,进而基于瞳孔位置来控制透镜组件调节显示画面对应的光线到达人眼的光路,在保证立体显示效果的基础上无需牺牲屏幕分辨率。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A示出了一种基于微透镜阵列的光场显示原理示意图。
图1B示出了根据本公开实施例的辐辏冲突原理的示意图。
图2示出了本公开实施例所提供的示例性显示系统的示意图。
图3A示出了本公开实施例所提供的示例性显示装置的示意图。
图3B示出了本公开实施例所提供的示例性显示装置的另一示意图。
图3C示出了本公开实施例所提供的示例性显示装置的又一示意图。
图3D示出了根据本公开实施例的一种示例性显示原理的示意图。
图3E示出了根据本公开实施例的另一示例性显示原理的示意图。
图4示出了本公开实施例所提供的示例性方法的流程示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
光场是指空间中的所有光线的所有属性的集合,包含七个维度:位置坐标x、y、z,水平夹角θ与垂直夹角光线的波长λ,时间参数t。这七个维度组成了全光函数,用来表示人眼接收到的所有光线或物体发出或反射的所有光线。
在相关技术中,显示屏一般是二维(2D)显示屏,显示屏中没有光场中的深度z的信息,像素点具备接近180°的发光角,相应地也就没有光场中的水平夹角θ与垂直夹角的信息。因此,2D显示屏只能表征出光场中的四个参数(即平面坐标x、y、波长λ、时间参数t)的信息。但是,若在前述四个参数(即平面坐标x、y、波长λ、时间参数t)的基础上,将光场中的七个维度中的其他任意一个维度的信息增加进来,就可以提升显示的立体感。
基于微透镜阵列的光场采集与显示,是一种光场的实现方式。图1A示出了一种基于微透镜阵列的光场显示原理示意图。
如图1A所示,通过在成像传感器与主透镜之间引入一个微透镜阵列来实现光场显示。以图1A的A点为例,A点发出或反射的一定角度范围内(图示为4个角度)的光线经过主透镜,之后会聚于微透镜阵列的某一个的微透镜,微透镜的作用是将这组一定角度范围内的光线进行离散化解耦,并在成像传感器上成像。图1A所示成像为4×4个像素。整体而言,物体的一个点发出或反射的一定角度范围内的光线,在成像传感器上成像为一个4×4的像素区域。换言之,一个4×4的像素区域只能表达物体的一个点,但这个4×4的像素区域却可以表达该物体的点的较多参数信息,从而能够更容易实现立体显示。这样,物体的一个点最终被多少个像素成像,就是多少个视点的光场,图1A所示即为4×4视点的光场。如果成像传感器的图像分辨率为4096×2160,那么视点的图像分辨率只有1024×540。
利用微透镜阵列采集光场,具有系统体积小、单次拍摄即可完成成像等优点,但也存在一些缺点:由于屏幕的像素数量是一定的,因此视点的数量与单个视点的图像分辨率是一对矛盾参数,即要增加光场中的视点数量,则图像分辨率必然降低。例如,假设物体的一个点对应为16×16个视点的光场,且成像传感器的图像分辨率为4096×2160,则单个视点的分辨率为(4096/16)×(2160/16),即256×135。
在相关技术中,光场显示方案的视点位置是固定的,一般均匀分布在视窗(Eyebox)区域内。在人眼转动的过程中,一般只能看到部分视点,这就导致立体感有所降低,如果想要提升立体感,就需要增加屏幕分辨率。一些相关技术中,通过牺牲屏幕分辨率来补充光场的水平夹角θ与垂直夹角的信息,但位置的深度信息z并不补充。在近场显示装置(例如,虚拟现实设备VR)中,深度信息z可以通过双目视差来实现,从而产生立体感,但由于辐辏深度和聚焦深度的不一致性,会导致辐辏冲突问题,如图1B所示。
鉴于此,本公开实施例提供了一种显示装置及其控制方法、显示系统,利用瞳孔信息采集模块采集与人眼的瞳孔对应的图像,然后利用该图像计算得到瞳孔位置,进而基于瞳孔位置来控制透镜组件调节显示画面对应的光线到达人眼的光路,在保证立体显示效果的基础上无需牺牲屏幕分辨率。
图2示出了本公开实施例所提供的示例性显示系统100的示意图。
如图2所示,显示系统100可以包括控制设备200和显示装置300。该控制设备200可以作为该显示装置300的上位机,并可以通过连接线与显示装置300实现电耦接,以向显示装置300提供供电电压和驱动信号。在一些实施例中,显示装置300可以是近场显示装置或近眼光场显示装置,例如,AR或VR设备。该控制设备200,可以是个人电脑(PC)、手机等设备。控制设备200,作为显示系统100的主控部分,可以是显示装置300的显示内容来源,并可以为显示装置300提供运算支持,同时给显示装置300提供电源(Power)供应。在一些实施例中,该显示系统100可以是一体机,该控制设备200与显示装置300设置为一体,共同作为一个产品。
图3A示出了本公开实施例所提供的示例性显示装置300的示意图。图3B示出了本公开实施例所提供的示例性显示装置300的另一示意图。
如图3A和图3B所示,在一些实施例中,显示装置300可以包括显示面板302、瞳孔信息采集模块304、透镜组件306。其中,显示面板302可以根据控制设备200提供的显示信号202来提供显示画面。瞳孔信息采集模块304可以用于采集与人眼400的瞳孔对应的图像,该图像可以用于计算得到人眼400的瞳孔位置。透镜组件306,位于显示面板的出光方向一侧,并可以用于根据计算得到的瞳孔位置调节透镜组件306中各透镜的光学参数(例如,通过调节透镜的厚薄来调节透镜的焦距),进而调节显示面板302的显示画面对应的光线到达人眼400的光路。在一些实施例中,如图3B所示,透镜组件306可以包括主透镜3062和微透镜阵列3064,微透镜阵列3064设置在主透镜3062和显示面板302之间。在一些实施例中,微透镜阵列3064可以贴合在显示面板302的出光表面。微透镜阵列3064可以包括微透镜的阵列,该阵列中的微透镜可以分别被单独控制(例如,通过电压进行控制)而改变参数(例如,形状、尺寸、焦距等),这样,通过调节该微透镜阵列3064中各微透镜的参数可以相应调节显示画面对应的光线到达人眼400的光路。例如,可以通过调节该微透镜阵列3064中的各微透镜的形状、尺寸、焦距等来实现光路调节。
在一些实施例中,如图2所示,瞳孔信息采集模块304采集的与人眼400的瞳孔对应的图像308可以发送给控制设备200,控制设备200可以根据该图像308计算得到瞳孔位置。然后,控制设备200可以根据该瞳孔位置来控制透镜组件306以调节显示面板302的显示画面对应的光线到达人眼400的光路。
为了实现对人眼400的眼球追踪,以得到较为准确的瞳孔位置,在一些实施例中,提供了一种更为具体的瞳孔信息采集模块304的结构设计。图3C示出了本公开实施例所提供的示例性显示装置300的又一示意图。
如图3C所示,在一些实施例中,瞳孔信息采集模块304可以进一步包括红外光源(例如,红外二极管(LED))3042a~3042h、红外传感器(例如,感光sensor)3044a~3044h和红外相机(例如,红外camera)3046a~3046d。
红外光源3042a~3042h可以布设在透镜组件306的外围,并可以朝向人眼400发出红外光。在一些实施例中,为了使红外光源3042a~3042h发出的红外光能够更好地在人眼400上发生反射,红外光源3042a~3042h可以设置在透镜组件306中更靠近人眼400的主透镜3062的外围。如图3C所示,在一些实施例中,红外光源的数量可以有多个,多个红外光源3042a~3042h可以等间隔地布设在透镜组件306的外围,使得射向人眼400的红外光是基本均匀的。可以理解的是,图3C中所示的红外光源的数量为8个,但这只是示例性的,根据实际需要和实际测试结果,红外光源的数量是可以调整的。在一些实施例中,控制设备200可以与各红外光源3042a~3042h电耦接,以向这些红外光源发送开启指令或关闭指令进而控制红外光源发光或熄灭。
红外传感器3044a~3044h可以布设在显示面板302的外围,并可以根据接收到的红外光输出对应的电信号,该电信号可以用于计算得到人眼400的瞳孔的朝向。在一些实施例中,如图3C所示,红外传感器的数量为多个,显示面板302被划分为四个显示分区,每个显示分区包括两个朝向外侧的侧边,每个显示分区的每个侧边分别设置一个红外传感器(如图3C所示)。其中,通过在每个显示分区的横向侧边和纵向侧边上分别设置一个红外传感器,使得采集的红外光能够更好地反映瞳孔朝向。
由于瞳孔相对于眼球其它区域的颜色更深,因此它可以吸收大部分的红外光,而反射较少的红外光。因此,当红外光源3042a~3042h朝向人眼400发射的红外光在人眼400上反射后被红外传感器3044a~3044h所接收时,如果该红外传感器接收到的红外光少,则会输出较低的电压VL,反之输出较高的电压VH。这样,控制设备200通过采集每个红外传感器3044a~3044h因为接收到的红外光而输出的电信号,基于这些电信号就可以计算得到人眼400的瞳孔的朝向。例如,假设瞳孔某一时刻在朝向左下的显示分区,那么红外传感器3044a和3044b接收到的红外光就会较少,红外传感器3044a和3044b输出的电压相对于其它红外传感器就会较低。各红外传感器3044a~3044h输出的电压值经过放大与滤波、A/D转换等处理,再通过与电压阈值进行比较或在各传感器输出的电压间进行比较,就可以判断出瞳孔位于朝向左下的显示分区,如图3C所示。可以理解的是,为了接收红外传感器3044a~3044h输出的电信号,控制设备200可以与红外传感器3044a~3044h电耦接。
红外相机3046a~3046d可以布设在透镜组件306的外围,并可以根据接收到的触发信号拍摄人眼400的瞳孔对应的图像,该触发信号可以是根据前述计算得到的瞳孔的朝向而生成的。在一些实施例中,所述红外相机的数量为多个,所述人眼对应的视窗被划分为四个子视窗,每个所述子视窗对应一个所述红外相机。控制设备200则可以根据红外传感器3044a~3044h的电信号所确定的人眼400的瞳孔朝向来确定需要触发的红外相机(目标红外相机)并向其发送触发信号。例如,控制设备200判断出瞳孔位于朝向左下的显示分区,因此,对应地,控制设备200可以向左下的子视窗对应的红外相机3046a发送触发信号,进而触发该红外相机3046a拍摄人眼400的图像。控制设备200再接收该红外相机3046a拍摄的图像并根据该图像计算出瞳孔位置。在一些实施例中,控制设备200可以将该图像中的瞳孔位置由图像坐标系转到相机坐标系,最后转到Eyebox坐标系,从而最终得到瞳孔在Eyebox区域的位置402,如图3C所示。
可以理解的是,为了向红外相机3046a~3046d发送触发信号以及接收红外相机3046a~3046d拍摄的图像,控制设备200可以与红外相机3046a~3046d电耦接。并且,可以理解的是,可根据实际需求适当增减红外光源、红外传感器和红外相机的数量,并重新设计位置分布。
由于红外传感器(感光Sensor)具有高报点率的特点,可以快速地粗定位瞳孔位置,进而触发指定红外相机,每个红外相机可以仅拍摄一个子视窗对应的区域,结合图像处理与瞳孔定位方法,可以精确地定位瞳孔位置。
本实施例的眼球追踪方式,可以实时获取瞳孔在Eyebox区域的位置。整个执行步骤可以分为粗定位与精定位两部分,粗定位由于使用了感光Sensor,具有响应速度快,低功耗的特点;精定位通过触发对应的红外Camera拍摄瞳孔图像完成瞳孔定位,即保证了定位精度,又降低了对Camera的视场角(FOV)或分辨率等方面的需求,降低成本及功耗。
在一些实施例中,如图2所示,若所述显示装置是VR/AR眼镜等具有双屏幕的设备,则显示装置300可以包括两个显示面板302、两个瞳孔信息采集模块304和两组透镜组件306。其中,第一显示面板用于为左眼提供第一显示画面,第一瞳孔信息采集模块用于采集左眼的瞳孔对应的第一图像,第一透镜组件用于根据左眼的瞳孔位置调节第一显示画面对应的光线到达左眼的光路。第二显示面板用于为右眼提供第二显示画面,第二瞳孔信息采集模块用于采集右眼的瞳孔对应的第二图像,第二透镜组件用于根据右眼的瞳孔位置调节第二显示画面对应的光线到达右眼的光路。这样,通过设置两组图3B所示的结构,实现双眼接收的光线的调节。
在确定人眼400的瞳孔位置之后,控制设备200可以根据该瞳孔位置来调节透镜组件的相关参数,进而调节显示面板302发出的光线达到人眼400的光路。
在一些实施例中,控制设备200可以根据所述瞳孔位置确定所述瞳孔在所述人眼对应的视窗(Eyebox)310上的视点位置3102(如图3D所示),然后控制设备200可以根据视点位置生成控制透镜组件306的光学参数的第一控制信号,该第一控制信号可以控制微透镜阵列3064中的微透镜的形状、尺寸、焦距等参数,从而改变光线经过微透镜的光路。基于第一控制信号,控制设备200控制透镜组件306以调节显示画面对应的光线到达人眼的光路,以使显示面板302上的与人眼对应的视点的信息能够全部进入到人眼的瞳孔之中。这样,随着对眼球的追踪而改变光路,使得视点跟随瞳孔移动,进而保证所有视点的信息均进入瞳孔,在不增加屏幕分辨率或降低单个视点图像分辨率的前提下,提升立体感。可以看到,在本实施例中包含了光场信息的七个维度,显示面板302本身提供了位置信息x/y、波长信息λ、时间信息t,多视点成像提供了水平夹角信息θ与垂直夹角信息微透镜+主透镜的调焦与左右屏幕的视差,提供了位置深度信息z,从而提升了画面立体感。
在另一些实施例中,为了解决辐辏冲突问题,控制设备200还可以接收第一瞳孔信息采集模块采集的与左眼的瞳孔对应的第一图像以及第二瞳孔信息采集模块采集的与右眼的瞳孔对应的第一图像;然后根据第一图像和第二图像分别计算得到左眼对应的第一瞳孔位置和右眼对应的第二瞳孔位置;接着根据第一瞳孔位置和第二瞳孔位置,计算得到聚焦深度和辐辏深度;根据聚焦深度和辐辏深度,生成控制透镜组件的光学参数的第二控制信号,该第二控制信号可以控制微透镜阵列3064中的微透镜的形状、尺寸、焦距等参数,从而改变光线经过微透镜的光路。基于第二控制信号,控制设备200可以控制透镜组件以调节所述显示画面对应的光线到达人眼的光路,以使聚焦深度和辐辏深度相匹配,从而减少眩晕感。如图3E所示,显示内容首先在屏幕后方的不同位置成不同深度的虚像面,这些虚像面又被主透镜再次成更远处的虚像,人眼在透过主透镜观看时,通过单眼即可达到调焦的效果,再结合VR中左右屏幕的视差原理,使辐辏深度与聚焦深度保持一致,很好地解决了辐辏冲突问题,降低观看时眼睛的不适感。
本公开实施例提出的显示装置及显示系统,对眼球进行追踪,得到瞳孔在Eyebox区域的实际位置。在屏幕上贴合可调节的微透镜阵列,通过调节微透镜来调节光路,一方面使所有视点都跟随瞳孔运动,保证所有视点的信息均进入瞳孔;另一方面,调节微透镜可对屏幕图像的不同位置成不同深度的虚像,实现单眼的调焦效果,解决辐辏冲突问题。
本发明提出的基于眼球追踪的近眼光场显示装置及显示系统,基于主透镜与微透镜阵列产生多个视点,在近眼端实现光场显示。其中,瞳孔定位模块通过红外感光Sensor与红外Camera共同定位与跟踪瞳孔在Eyebox区域的位置。微透镜调节模块用于调节光路,一方面使视点位置跟随瞳孔运动,提升立体感,解决视点数量与单视点图像分辨率的矛盾,提升VR的立体感;另一方面用于呈现图像的深度信息,获得多个不同深度的虚像面,实现单眼调焦的效果,改善VR的眩晕感。
本公开实施例还提供了一种显示装置的控制方法。图4示出了本公开实施例所提供的示例性方法500的流程示意图。该方法500可以由显示系统100来实现。如图4所示,该方法500可以包括以下步骤。
在步骤502,利用显示装置的显示面板提供显示画面。
在步骤504,利用所述显示装置的瞳孔信息采集模块采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置。
在步骤506,利用控制设备根据所述图像计算得到瞳孔位置。
在步骤508,利用所述控制设备根据所述瞳孔位置控制所述显示装置的透镜组件,以调节所述显示画面对应的光线到达所述人眼的光路。
在一些实施例中,利用所述显示装置的瞳孔信息采集模块采集与人眼的瞳孔对应的图像,包括:控制所述瞳孔信息采集模块的红外光源发出红外光;接收所述瞳孔信息采集模块的红外传感器根据接收到的红外光输出的电信号;根据所述电信号计算得到所述瞳孔的朝向;根据所述瞳孔的朝向确定所述瞳孔信息采集模块中的目标红外相机并生成触发信号;向所述目标红外相机发送所述触发信号,并接收所述目标红外相机根据所述触发信号拍摄的所述人眼的瞳孔对应的图像。
在一些实施例中,利用所述控制设备根据所述瞳孔位置控制所述显示装置的透镜组件,以调节所述显示画面对应的光线到达所述人眼的光路,包括:根据所述瞳孔位置确定所述瞳孔在所述人眼对应的视窗上的视点位置;根据所述视点位置生成控制所述透镜组件的光学参数的第一控制信号;基于所述第一控制信号,控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路,以使所述显示面板上的与所述人眼对应的视点的信息能够进入所述人眼。
在一些实施例中,利用所述控制设备根据所述瞳孔位置控制所述显示装置的透镜组件,以调节所述显示画面对应的光线到达所述人眼的光路,包括:接收第一瞳孔信息采集模块采集的与左眼的瞳孔对应的第一图像以及第二瞳孔信息采集模块采集的与右眼的瞳孔对应的第一图像;根据所述第一图像和所述第二图像分别计算得到左眼对应的第一瞳孔位置和右眼对应的第二瞳孔位置;根据所述第一瞳孔位置和所述第二瞳孔位置,计算得到聚焦深度和辐辏深度;根据所述聚焦深度和辐辏深度,生成控制所述透镜组件的光学参数的第二控制信号;基于所述第二控制信号,控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路,以使所述聚焦深度和所述辐辏深度相匹配。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (14)
1.一种显示装置,包括:
显示面板,被配置为:提供显示画面;
瞳孔信息采集模块,被配置为:采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置;
透镜组件,位于所述显示面板的出光方向一侧,并被配置为:根据所述瞳孔位置调节所述显示画面对应的光线到达所述人眼的光路;
其中,所述瞳孔信息采集模块,包括:
红外光源,布设在所述透镜组件的外围,并被配置为:朝向所述人眼发出红外光;
红外传感器,布设在所述显示面板的外围,并被配置为:根据接收到的红外光输出对应的电信号,所述电信号用于计算得到所述瞳孔的朝向;
红外相机,布设在所述透镜组件的外围,并被配置为:根据接收到的触发信号拍摄所述人眼的瞳孔对应的图像,所述触发信号是根据所述瞳孔的朝向而生成的。
2.如权利要求1所述的显示装置,其中,所述红外光源为红外发光二极管且数量为多个,多个所述红外发光二极管等间隔布设在所述透镜组件的外围。
3.如权利要求2所述的显示装置,其中,所述红外传感器的数量为多个,所述显示面板被划分为四个显示分区,每个所述显示分区包括两个朝向外侧的侧边,每个所述显示分区的每个所述侧边分别设置一个所述红外传感器。
4.如权利要求3所述的显示装置,其中,所述红外相机的数量为多个,所述人眼对应的视窗被划分为四个子视窗,每个所述子视窗对应一个所述红外相机。
5.如权利要求1所述的显示装置,其中,所述透镜组件包括主透镜和微透镜阵列,所述微透镜阵列设置在所述主透镜和所述显示面板之间,所述微透镜阵列被配置为:根据所述瞳孔位置调节所述显示画面对应的光线到达所述人眼的光路。
6.如权利要求1所述的显示装置,其中,所述显示装置包括两个所述显示面板、两个所述瞳孔信息采集模块和两组所述透镜组件;其中,第一显示面板用于为左眼提供第一显示画面,第一瞳孔信息采集模块用于采集左眼的瞳孔对应的第一图像,第一透镜组件用于根据左眼的瞳孔位置调节第一显示画面对应的光线到达左眼的光路;第二显示面板用于为右眼提供第二显示画面,第二瞳孔信息采集模块用于采集右眼的瞳孔对应的第二图像,第二透镜组件用于根据右眼的瞳孔位置调节第二显示画面对应的光线到达右眼的光路。
7.如权利要求1-6任一项所述的显示装置,其中,所述显示装置为近场显示装置。
8.如权利要求1-6任一项所述的显示装置,其中,所述显示装置为虚拟现实设备或增强现实设备。
9.一种显示系统,包括:
如权利要求1-8任一项所述的显示装置;
控制设备,与所述显示装置电耦接,并被配置为:
接收瞳孔信息采集模块采集的与人眼的瞳孔对应的图像;
根据所述图像计算得到瞳孔位置;
根据所述瞳孔位置控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路。
10.如权利要求9所述的显示系统,其中,所述控制设备,被配置为:
控制所述瞳孔信息采集模块的红外光源发出红外光;
接收所述瞳孔信息采集模块的红外传感器根据接收到的红外光输出的电信号;
根据所述电信号计算得到所述瞳孔的朝向;
根据所述瞳孔的朝向确定所述瞳孔信息采集模块中的目标红外相机并生成触发信号;
向所述目标红外相机发送所述触发信号,并接收所述目标红外相机根据所述触发信号拍摄的所述人眼的瞳孔对应的图像。
11.如权利要求9所述的显示系统,其中,所述控制设备,被配置为:
根据所述瞳孔位置确定所述瞳孔在所述人眼对应的视窗上的视点位置;
根据所述视点位置生成控制所述透镜组件的光学参数的第一控制信号;
基于所述第一控制信号,控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路,以使所述显示面板上的与所述人眼对应的视点的信息能够进入所述人眼。
12.如权利要求9所述的显示系统,其中,所述控制设备,被配置为:
接收第一瞳孔信息采集模块采集的与左眼的瞳孔对应的第一图像以及第二瞳孔信息采集模块采集的与右眼的瞳孔对应的第一图像;
根据所述第一图像和所述第二图像分别计算得到左眼对应的第一瞳孔位置和右眼对应的第二瞳孔位置;
根据所述第一瞳孔位置和所述第二瞳孔位置,计算得到聚焦深度和辐辏深度;
根据所述聚焦深度和辐辏深度,生成控制所述透镜组件的光学参数的第二控制信号;
基于所述第二控制信号,控制所述透镜组件以调节所述显示画面对应的光线到达所述人眼的光路,以使所述聚焦深度和所述辐辏深度相匹配。
13.一种显示装置的控制方法,包括:
利用显示装置的显示面板提供显示画面;
利用所述显示装置的瞳孔信息采集模块采集与人眼的瞳孔对应的图像,所述图像用于计算得到瞳孔位置;
利用控制设备根据所述图像计算得到瞳孔位置;
利用所述控制设备根据所述瞳孔位置控制所述显示装置的透镜组件,以调节所述显示画面对应的光线到达所述人眼的光路。
14.如权利要求13所述的方法,其中,利用所述显示装置的瞳孔信息采集模块采集与人眼的瞳孔对应的图像,包括:
控制所述瞳孔信息采集模块的红外光源发出红外光;
接收所述瞳孔信息采集模块的红外传感器根据接收到的红外光输出的电信号;
根据所述电信号计算得到所述瞳孔的朝向;
根据所述瞳孔的朝向确定所述瞳孔信息采集模块中的目标红外相机并生成触发信号;
向所述目标红外相机发送所述触发信号,并接收所述目标红外相机根据所述触发信号拍摄的所述人眼的瞳孔对应的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111436875.2A CN114035335B (zh) | 2021-11-29 | 2021-11-29 | 显示装置及其控制方法、显示系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111436875.2A CN114035335B (zh) | 2021-11-29 | 2021-11-29 | 显示装置及其控制方法、显示系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114035335A CN114035335A (zh) | 2022-02-11 |
CN114035335B true CN114035335B (zh) | 2023-08-08 |
Family
ID=80145893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111436875.2A Active CN114035335B (zh) | 2021-11-29 | 2021-11-29 | 显示装置及其控制方法、显示系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114035335B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995356A (zh) * | 2014-05-30 | 2014-08-20 | 北京理工大学 | 一种真实立体感的光场头盔显示装置 |
CN104204904A (zh) * | 2012-01-24 | 2014-12-10 | 亚利桑那大学评议会 | 紧凑式眼睛跟踪头戴式显示器 |
CN105717640A (zh) * | 2014-12-05 | 2016-06-29 | 北京蚁视科技有限公司 | 基于微透镜阵列的近眼显示器 |
CN111638799A (zh) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | 一种视线追踪方法、视线追踪装置、计算机设备和介质 |
CN113359292A (zh) * | 2021-06-30 | 2021-09-07 | 京东方科技集团股份有限公司 | 一种显示模组及其制作方法、头戴式显示设备 |
CN113703572A (zh) * | 2021-08-25 | 2021-11-26 | 京东方科技集团股份有限公司 | 电子设备、控制方法、控制装置和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10845872B2 (en) * | 2018-02-09 | 2020-11-24 | Ricoh Company, Ltd. | Eye-gaze tracker, eye-gaze tracking method, and recording medium |
-
2021
- 2021-11-29 CN CN202111436875.2A patent/CN114035335B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104204904A (zh) * | 2012-01-24 | 2014-12-10 | 亚利桑那大学评议会 | 紧凑式眼睛跟踪头戴式显示器 |
CN103995356A (zh) * | 2014-05-30 | 2014-08-20 | 北京理工大学 | 一种真实立体感的光场头盔显示装置 |
CN105717640A (zh) * | 2014-12-05 | 2016-06-29 | 北京蚁视科技有限公司 | 基于微透镜阵列的近眼显示器 |
CN111638799A (zh) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | 一种视线追踪方法、视线追踪装置、计算机设备和介质 |
CN113359292A (zh) * | 2021-06-30 | 2021-09-07 | 京东方科技集团股份有限公司 | 一种显示模组及其制作方法、头戴式显示设备 |
CN113703572A (zh) * | 2021-08-25 | 2021-11-26 | 京东方科技集团股份有限公司 | 电子设备、控制方法、控制装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114035335A (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100519864B1 (ko) | 화상정보입력장치및그방법 | |
US9373023B2 (en) | Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor | |
CN108446648B (zh) | 一种虹膜采集系统及虹膜识别系统 | |
US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
US20170061210A1 (en) | Infrared lamp control for use with iris recognition authentication | |
CN108174180B (zh) | 一种显示装置、显示系统及三维显示方法 | |
KR20200023305A (ko) | 외부 장면과 가상 이미지 사이를 등록하기 위한 방법 및 시스템 | |
US10715711B2 (en) | Adaptive three-dimensional imaging system and methods and uses thereof | |
CN106412433A (zh) | 基于rgb‑ir深度相机的自动对焦方法及系统 | |
US9253470B2 (en) | 3D camera | |
WO2019184185A1 (zh) | 目标图像获取系统与方法 | |
WO2019184183A1 (zh) | 目标图像获取系统与方法 | |
WO2019184184A1 (zh) | 目标图像获取系统与方法 | |
CN108924408B (zh) | 一种深度成像方法及系统 | |
CN103019001A (zh) | 自动对焦方法与装置 | |
CN108881717B (zh) | 一种深度成像方法及系统 | |
CN112782854B (zh) | 头戴式显示设备以及距离测量器 | |
KR102001950B1 (ko) | 시선 추적 장치 및 이의 시선 추적 방법 | |
CN214670651U (zh) | 虹膜图像采集设备和虹膜识别设备 | |
CN111800588A (zh) | 基于三维光场技术的光学无人机监测系统 | |
US20210012531A1 (en) | Imaging system and method for producing images using means for adjusting optical focus | |
KR20090037247A (ko) | 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체 | |
CN110136203B (zh) | Tof设备的标定方法及其标定系统 | |
CN114035335B (zh) | 显示装置及其控制方法、显示系统 | |
CN108924407B (zh) | 一种深度成像方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |