CN106054386A - 一种自适应近眼显示装置 - Google Patents

Abstract

本发明提供一种自适应近眼显示装置，包括光学系统、摄像单元、处理单元和运动单元，所述摄像单元和所述运动单元分别与所述处理单元电性连接，所述光学系统包括透镜单元和显示单元，所述处理单元根据所述摄像单元拍摄的图像信息命令所述运动单元调整所述光学单元的位置，所述运动单元可以驱动所述透镜单元进行纵向移动并且可以驱动所述光学系统进行横向移动。与现有技术相比，本发明采用自动调焦的方法使近眼显示系统的使用更加方便。横向调整和纵向调整相结合，使光学系统可以完美适配不同视力状况的使用者，使得显示更加清晰，增加了虚拟现实设备的沉浸感。

Description

一种自适应近眼显示装置

技术领域

本发明涉及近眼显示装置领域，更具体地说，涉及一种自适应近眼显示装置。

背景技术

近眼显示装置包括可将图像直接投射到观察者眼中的头戴显示器(HMD)，这种近眼显示装置是目前虚拟现实(VR)或增强现实(AR)领域常用的装置。一般情况下，近眼显示装置的显示屏距离使用者的眼球不到十厘米，通过特殊的光学处理，近眼显示装置可以将图像清晰地投射在人的视网膜上，在用户眼前呈现出虚拟大幅面图像，由此用于虚拟现实或增强现实。

不同的用户在使用近眼显示装置前必须调整光学系统，使用户可以看到清晰的显示图像。现有技术多通过手动调整光学镜片的方法来调整光学系统，这种方法调整的光学系统精度较差，而且不方便。

发明内容

为了解决当前近眼显示装置调整精度较差而且不方便的缺陷，本发明提供一种精度较高而且使用方便的自适应近眼显示装置。

本发明解决其技术问题所采用的技术方案是：提供一种自适应近眼显示装置，所述近眼显示装置包括光学系统、摄像单元、处理单元和运动单元，所述摄像单元和所述运动单元分别与所述处理单元电性连接，所述光学系统包括透镜单元和显示单元，所述处理单元根据所述摄像单元拍摄的图像信息命令所 述运动单元调整所述光学单元的位置，所述运动单元可以驱动所述透镜单元进行纵向移动并且可以驱动所述光学系统进行横向移动。

优选地，所述运动单元包括横向电机和纵向电机，所述横向电机可以驱动所述光学系统进行横向移动，所述纵向电机可以驱动所述透镜单元进行纵向移动。

优选地，所述摄像单元包括固定焦距和朝向的摄像装置，所述摄像装置包括左摄像装置和右摄像装置，所述左摄像装置可以拍摄使用者左侧眼球图像，所述右摄像装置可以拍摄使用者右侧眼球图像，所述摄像单元可以将拍摄到的图像信息传输至所述处理单元，所述处理单元根据接收到的信息判断使用者单侧眼球瞳孔的横坐标，所述横向电机根据使用者单侧眼球瞳孔横坐标调整对应侧光学系统的位置。

优选地，所述摄像单元包括红外补光装置和至少两个摄像装置，所述显示单元包括显示屏，所述摄像装置和所述红外补光装置设置在所述显示屏的边缘，所述红外补光装置在所述摄像装置拍摄使用者眼球图像信息时可以对使用者眼球位置进行补光。

优选地，在所述透镜单元与所述显示单元之间设置有一密闭空间，所述摄像单元置于该密闭空间中。

优选地，自适应调整开始后，首先进行横向调整，所述摄像单元拍摄使用者眼部图像并传输至所述处理单元，所述处理单元据此测算出使用者左眼瞳孔和右眼瞳孔的横向位置，并根据该位置命令所述运动单元调整所述光学系统的横向位置，横向调整完成后进行纵向调整，摄像单元再次拍摄使用者眼部图像并传输至所述处理单元，所述处理单元命令所述运动单元调整所述透镜单元的纵向位置，直至所述摄像单元拍摄的图像足够清晰，当所述摄像单元拍摄的图 像足够清晰时，关闭所述摄像单元和所述运动单元。

优选地，在横向调整时，所述处理单元定义一个坐标轴，以使用者右眼到左眼的方向为正方向，在使用者两眼之间定义一个虚拟的中心点作为原点，所述瞳孔上任一点的横坐标为瞳孔上该点到坐标轴的垂线所对应的横坐标，所述处理单元根据接收到的图片信息分别标定使用者瞳孔左侧横坐标和瞳孔右侧横坐标，并根据使用者瞳孔左侧横坐标和瞳孔右侧横坐标确定使用者瞳孔的横坐标。

优选地，在纵向调整时，所述显示单元显示一个“十”字，根据所述摄像单元拍摄到的使用者眼球反射图像中“十”字横线和竖线的像素来判断所述摄像单元拍摄的图像是否足够清晰。

优选地，在横向调整时，所述处理系统根据使用者左眼瞳孔和右眼瞳孔的横向位置调整虚拟摄像头在所述显示单元中的位置，使之与所述透镜单元和所述显示单元相配合。

优选地，所述近眼显示装置为虚拟现实头盔。

与现有技术相比，本发明采用自动调焦的方法使近眼显示系统的使用更加方便。横向调整和纵向调整相结合，使光学系统可以完美适配不同视力状况的使用者，使得显示更加清晰，增加了虚拟现实设备的沉浸感。将摄像单元设置在显示屏的边缘，较好地利用了反向畸变带来的显示盲区，使摄像单元有更大的角度和焦距空间来拍摄使用者的眼球图像。采用固定焦距和朝向的摄像装置，防止了整体图像像素最高而眼球成像被虚化的情况，进而防止处理单元产生误判。步进电机和MCU的使用使控制更加精确。在透镜单元与显示单元之间设置有一密闭空间容纳摄像单元，避免灰尘等进入该空间对摄像装置的内外表面和透镜单元的内表面造成污染，影响对眼球图像的判断。通过摄像单元拍 摄使用者眼球的成像信息，并通过处理单元判定接收到的图像足够清晰的方法来判断图像在使用者眼中成像是否清晰的方法，结合运动单元控制显示单元的方法较好地实现了自动调焦。单独测量和调整单侧瞳孔坐标位置的方法不仅可以测量使用者的瞳距，还可以测量使用者单侧瞳孔偏离中心位置的位移并根据测量结果单独调整对应侧光学系统，使测量和调整更加精确，保证了更好的显示效果，也避免了仅仅测量瞳距来调整可能产生的偏差。红外补光装置的设置可以保证摄像装置拍摄到足够清晰的眼球图像，更增加了自动调焦的精准度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明近眼显示装置结构位置示意图；

图2是近眼显示装置成像原理示意图；

图3是本发明近眼显示装置模块结构示意图。

图4是本发明近眼显示装置摄像装置具体位置示意图；

图5是本发明近眼显示装置具体结构示意图；

图6是本发明近眼显示装置摄像装置拍摄图像示意图；

图7是本发明近眼显示装置右摄像装置拍摄图像示意图；

图8是本发明近眼显示装置右眼瞳孔横坐标标定示意图；

图9是本发明近眼显示装置左眼瞳孔横坐标标定示意图。

具体实施方式

为了解决当前近眼显示装置调整精度较差而且不方便的缺陷，本发明提供一种精度较高而且使用方便的可以自动调焦的近眼显示装置及方法。

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1，本发明近眼显示装置包括近眼显示系统10，近眼显示系统10可以是虚拟现实头盔。近眼显示系统10包括光学系统20、摄像单元14、处理单元15和运动单元16，光学系统20包括显示单元13、透镜单元12和虚拟摄像机(图未示)，显示单元13包括至少一显示屏23。显示屏23为OLED(Organic Light-Emitting Diode，有机电激光显示)屏或LCD(Liquid Crystal Display，液晶显示器)屏。在近眼显示系统10中，摄像单元14、运动单元16与处理单元15电性连接，处理单元15包括MCU(Micro Controller Unit，微控制单元)，MCU可以控制摄像单元14和运动单元16的工作状态。运动单元16包括横向电机261和纵向电机262，处理单元15可以命令横向电机261和纵向电机262分别带动光学系统20和透镜单元12运动。我们规定x方向为横向，y方向为纵向。横向电机261可以带动光学系统20沿横向运动，纵向电机262可以带动透镜单元12沿纵向运动。透镜单元12与显示单元13之间的空间为密闭空间，摄像单元14安装在该密闭空间中。在透镜单元12与显示单元13之间设置密闭空间可以防止该空间与外界发生接触，避免灰尘等进入该空间对摄像单元14的内外表面和透镜单元12的内表面造成污染，影响对眼球图像的判断。

本发明自适应近眼显示装置在使用者佩戴近眼显示系统10后会根据使用者独特的视力参数对近眼显示系统10的光学系统20进行调整，使使用者可以观察到清晰的显示图像。近眼显示系统10的调整分为横向调整和纵向调整，首先进行横向调整，根据使用者瞳孔的位置信息对应调整光学系统20，使其与使用者瞳孔位置相对应。然后进行纵向调整，调节透镜单元12与使用者眼 球之间的距离，使显示图像在使用者的视网膜上成像清晰。

请参阅图2—图3。显示单元13发出平行光线，光线经透镜单元12的光学处理，射入使用者眼球中，经晶状体折射后在视网膜上成像。若成像清晰，使用者可以看到清晰的场景，其眼球中反射的图像也是清晰的。因此，通过监测使用者眼球反射图像的清晰程度即可知道使用者是否可以清晰观看显示单元13发出的图像。显示单元13包括至少一显示屏23。显示屏23可以为OLED(Organic Light-Emitting Diode；有机电激光显示)屏或LCD(LiquidCrystal Display；液晶显示器)屏。

请参阅图4—图5，摄像单元14包括固定焦距和朝向的摄像装置24和红外补光装置28。为了防止使用过程中漏光影响显示效果，虚拟现实头盔多在透镜单元12的周围设置软质的密封材料，使在使用者佩戴好近眼显示装置后眼部仅能接收到显示屏23发射的光线。这样就使得眼部光线很暗，自动调焦过程中摄像装置24工作时很难捕捉到眼球的图像。我们可以通过提高显示屏23亮度的方法来使使用者眼部被照亮，但这需要较高的光强，而较高的光强对使用者的视力会造成很大的损害。因此，我们在摄像装置24的旁边设置红外补光装置28，在摄像装置24准备开始工作时，红外补光装置28启动，对使用者眼部进行补光，这样一方面保护了使用者的视力，另一方面使摄像装置24可以拍摄到清晰的图像。

在近眼显示装置的成像中，由于透镜单元12的影响，显示屏23上的图像经过透镜单元12时会出现枕形畸变，消除这种畸变是近眼显示领域必须解决的问题。现在一般会通过更改显示屏23显示图像的方式，对其进行反向畸变。图3中显示屏23显示的图像即为反向畸变后的图像，该图像通过透镜单元12后会还原成正常的图像模式。在反向畸变的过程中，由于显示图像的变化，在 显示屏23的边缘会出现一部分不显示的区域，这部分区域始终不显示图像，是显示盲区。我们将摄像装置24和红外补光装置28设置在这部分显示盲区中，这样既没有影响显示屏23的显示效果，又充分利用了显示屏23的空间，更重要的是，这样一个较远的距离和较大的拍摄角度使拍摄眼球的图像变得更加容易，对摄像装置24本身的参数要求也降低很多。

请参阅图6，由于摄像装置24设置在透镜单元12与显示单元13之间的密闭空间中，其采集眼球的图像信息必须通过透镜单元12的光学处理，因此需要精确其朝向，使使用者眼球的图像光线经透镜单元12处理后可以射入摄像装置24。我们可以通过实验的方式确定其朝向信息，使摄像装置24可以拍摄到使用者眼球的图像，这个朝向对于不同的使用者是相同的。在透镜单元12不运动的情况下，根据光路可逆原理，摄像装置24拍摄到图像唯一确定。当透镜单元12运动时，由于运动幅度很小，摄像装置24拍摄的图像信息会发生小幅度的移动，但是仍然可以保证拍摄到使用者眼球的图像。

请参阅图7，图7是近眼显示装置测量瞳距原理示意图。左摄像装置241和右摄像装置242固定在近眼显示系统10上，当使用者佩戴好近眼显示系统10后，其两个眼睛所在的直线为m，m到透镜单元12的距离为d1，左摄像装置241和右摄像装置242所在的直线为n，n与透镜单元12之间的距离为定值d2。由于在眼部结构方面人类种群之间的差异性很小，所以d1对于不同的使用者差异性很小，不影响最终的瞳距测量数据。因此，我们在这里认为d1是固定的常量。在d1为固定常量、d2为定值的情况下，右摄像装置242所拍摄的图像20中每两个点之间的实际距离唯一确定，通过提前标定图像20中两点之间距离与实际距离之间的换算关系，即可通过图像20上的两点之间的距离计算出这两点之间的实际距离。同样，由于d1为固定常量、d2为定值，所以 我们没有使用带自动测量瞳距功能的摄像机而选用固定焦距和朝向的摄像装置24。

请参阅图8—图9，图8为使用者右眼瞳孔横坐标标定的示意图。处理单元15定义一个坐标轴x，定义一个在使用者两眼之间中心点O为坐标轴原点，该中心点O可以在近眼显示系统10的中轴线上。瞳孔上任一点的横坐标为瞳孔上该点到坐标轴的垂线所对应的坐标。图像20是右摄像装置242所拍摄的图像，图像20中瞳孔最左侧的点对应使用者右眼瞳孔最右侧位置，该位置坐标为A，因此，使用者右眼瞳孔最右侧横坐标为(-丨OA丨)。为了得到瞳孔精确的位置坐标，我们需要测量瞳孔最左侧位置坐标和瞳孔最右侧的位置坐标，取其平均值为瞳孔的位置坐标。在图像20中，瞳孔最右侧的点对应使用者右眼瞳孔最左侧位置，该位置坐标为A’，因此，使用者右眼瞳孔最右侧横坐标为(-丨OA’丨)。综合这两个坐标，使用者的右眼瞳孔坐标为(-(丨OA丨+丨OA'丨)/2)。图9示出的是左摄像装置241拍摄图像的处理方法，与右摄像装置242拍摄图像的处理方法相似，使用者左眼瞳孔坐标为((丨OB丨+丨OB'丨)/2)。由此可以计算出，使用者的瞳距为(丨OA丨+丨OA'丨)/2+(丨OB丨+丨OB'丨)/2。用这种方法不但可以测出使用者的瞳距，还可以单独标定出使用者单侧的眼部瞳孔距离中心点的位置，对于瞳孔不对称的使用者来说可以更精确地测量其视力信息。在调整光学体统时，可以分左侧和右侧根据瞳孔坐标分别调整光学系统的位置，使调整更加精确。

在近眼显示领域中，当透镜中心、显示屏中心和虚拟摄像头中心位于同一条直线时，显示效果最佳，我们称之为理想光学。因此我们在调整透镜单元12和显示单元13位置的同时，处理单元15要调整虚拟摄像头在显示屏23上的位置，使其与透镜单元12和显示单元13相配合，达到理想光学的状态。

本发明自适应近眼显示装置自动调整的过程是：在使用者佩戴好近眼显示系统10后，近眼显示系统10首先进行横向调整。显示屏23播放虚拟的远景图像，调动使用者视线方向朝向正前方，处于相对自然状态，随后红外补光装置28启动，摄像装置24拍摄使用者眼部图像并传输至处理单元15，处理单元15分别测出使用者左眼瞳孔坐标与右眼瞳孔坐标，并根据使用者的左眼瞳孔坐标和右眼瞳孔坐标命令运动单元调整对应侧光学系统20的横向位置，同时，处理单元15调节显示屏23中虚拟摄像头的位置，使之与光学系统20的位置配合，达到理想光学状态，横向调整完成。横向调整完成后，近眼显示系统10开始进行纵向调整，显示屏23播放一个“十”字图像，同时，红外补光装置28启动，摄像装置24采集使用者眼部图像，并将图像信息传输至处理单元15中。处理单元15对接收到的信息进行处理，并根据处理结果传输命令至运动单元16，运动单元16驱动透镜单元12纵向运动，当处理单元15判定接收到的“十”字图像足够清晰时，关闭摄像单元14和运动单元15，纵向调整完成。判断“十”字是否清晰可以借助横线和竖线具体像素的分析等方式来判断。

与现有技术相比，本发明采用自动调焦的方法使近眼显示系统10的使用更加方便。横向调整和纵向调整相结合，使光学系统20可以完美适配不同视力状况的使用者，使得显示更加清晰，增加了虚拟现实设备的沉浸感。将摄像单元14设置在显示屏23的边缘，较好地利用了反向畸变带来的显示盲区，使摄像单元14有更大的角度和焦距空间来拍摄使用者的眼球图像。采用固定焦距和朝向的摄像装置24，防止了整体图像像素最高而眼球成像被虚化的情况，进而防止处理单元15产生误判。步进电机和MCU的使用使控制更加精确。在透镜单元12与显示单元13之间设置有一密闭空间容纳摄像单元14，避免 灰尘等进入该空间对摄像装置24的内外表面和透镜单元12的内表面造成污染，影响对眼球图像的判断。通过摄像单元14拍摄使用者眼球的成像信息，并通过处理单元15判定接收到的图像足够清晰的方法来判断图像在使用者眼中成像是否清晰的方法，结合运动单元16控制显示单元13的方法较好地实现了自动调焦。单独测量和调整单侧瞳孔坐标位置的方法不仅可以测量使用者的瞳距，还可以测量使用者单侧瞳孔偏离中心位置的位移并根据测量结果单独调整对应侧光学系统，使测量和调整更加精确，保证了更好的显示效果，也避免了仅仅测量瞳距来调整可能产生的偏差。红外补光装置28的设置可以保证摄像装置24拍摄到足够清晰的眼球图像，更增加了自动调焦的精准度。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种自适应近眼显示装置，其特征在于，所述近眼显示装置包括光学系统、摄像单元、处理单元和运动单元，所述摄像单元和所述运动单元分别与所述处理单元电性连接，所述光学系统包括透镜单元和显示单元，所述处理单元根据所述摄像单元拍摄的图像信息命令所述运动单元调整所述光学单元的位置，所述运动单元可以驱动所述透镜单元进行纵向移动并且可以驱动所述光学系统进行横向移动。

2.根据权利要求1所述的近眼显示装置，其特征在于，所述运动单元包括横向电机和纵向电机，所述横向电机可以驱动所述光学系统进行横向移动，所述纵向电机可以驱动所述透镜单元进行纵向移动。

3.根据权利要求2所述的近眼显示装置，其特征在于，所述摄像单元包括固定焦距和朝向的摄像装置，所述摄像装置包括左摄像装置和右摄像装置，所述左摄像装置可以拍摄使用者左侧眼球图像，所述右摄像装置可以拍摄使用者右侧眼球图像，所述摄像单元可以将拍摄到的图像信息传输至所述处理单元，所述处理单元根据接收到的信息判断使用者单侧眼球瞳孔的横坐标，所述横向电机根据使用者单侧眼球瞳孔横坐标调整对应侧光学系统的位置。

4.根据权利要求1所述的近眼显示装置，其特征在于，所述摄像单元包括红外补光装置和至少两个摄像装置，所述显示单元包括显示屏，所述摄像装置和所述红外补光装置设置在所述显示屏的边缘，所述红外补光装置在所述摄像装置拍摄使用者眼球图像信息时可以对使用者眼球位置进行补光。

5.根据权利要求1所述的近眼显示装置，其特征在于，在所述透镜单元与所述显示单元之间设置有一密闭空间，所述摄像单元置于该密闭空间中。

6.根据权利要求1所述的近眼显示装置，其特征在于，自适应调整开始后，首先进行横向调整，所述摄像单元拍摄使用者眼部图像并传输至所述处理单元，所述处理单元据此测算出使用者左眼瞳孔和右眼瞳孔的横向位置，并根据该位置命令所述运动单元调整所述光学系统的横向位置，横向调整完成后进行纵向调整，摄像单元再次拍摄使用者眼部图像并传输至所述处理单元，所述处理单元命令所述运动单元调整所述透镜单元的纵向位置，直至所述摄像单元拍摄的图像足够清晰，当所述摄像单元拍摄的图像足够清晰时，关闭所述摄像单元和所述运动单元。

7.根据权利要求6所述的近眼显示装置，其特征在于，在横向调整时，所述处理单元定义一个坐标轴，以使用者右眼到左眼的方向为正方向，在使用者两眼之间定义一个虚拟的中心点作为原点，所述瞳孔上任一点的横坐标为瞳孔上该点到坐标轴的垂线所对应的横坐标，所述处理单元根据接收到的图片信息分别标定使用者瞳孔左侧横坐标和瞳孔右侧横坐标，并根据使用者瞳孔左侧横坐标和瞳孔右侧横坐标确定使用者瞳孔的横坐标。

8.根据权利要求6所述的近眼显示装置，其特征在于，在纵向调整时，所述显示单元显示一个“十”字，根据所述摄像单元拍摄到的使用者眼球反射图像中“十”字横线和竖线的像素来判断所述摄像单元拍摄的图像是否足够清晰。

9.根据权利要求6所述的近眼显示装置，其特征在于，在横向调整时，所述处理系统根据使用者左眼瞳孔和右眼瞳孔的横向位置调整虚拟摄像头在所述显示单元中的位置，使之与所述透镜单元和所述显示单元相配合。

10.根据权利要求1—9任一项所述的近眼显示装置，其特征在于，所述近眼显示装置为虚拟现实头盔。