CN108828779A - 一种头戴式显示设备 - Google Patents

Abstract

本发明实施例公开了一种头戴式显示设备，包括显示屏、光学装置、驱动装置和眼球追踪模块，显示屏包括第一显示屏和第二显示屏，第一显示屏的画面通过光学装置在第二显示屏上成像，像的大小不小于用户眼睛的分辨视域在显示屏的对应区域大小，驱动装置与处理器相连，若第一显示屏的画面通过光学装置形成的像的几何中心与注视点位置不一致，处理器发出控制指令至驱动装置，以使得驱动装置调整光学装置中的至少一个光学部件的位置，直至几何中心与注视点位置重合，用户在使用本发明实施例的头戴式显示设备时，用户仅仅关注到的是第一显示屏的画面，该高分辨率画面的存在使得用户感知不到纱窗效应的存在，大大提高了头戴式显示设备的用户体验。

Description

一种头戴式显示设备

技术领域

本发明实施例涉及头戴式显示设备技术领域，尤其涉及一种头戴式显示设备。

背景技术

VR(Virtual Reality，虚拟现实)设备随着万物互联时代的到来，逐渐成为电子设备发展的方向。虚拟现实是指通过使用三维图像技术重现真实环境的具体环境或场景。

现有的头戴式显示设备，由于显示屏技术的限制以及高分辨率的画面对硬件需求的限制，现有的头戴式显示设备还存在纱窗效应，现有技术中还没有特别好的办法解决这一问题。

发明内容

本发明提供一种头戴式显示设备，以解决现有的头戴式显示设备在使用时存在的纱窗效应的问题。

本发明实施例提供了一种头戴式显示设备，所述头戴式显示设备包括显示屏、光学装置、驱动装置和眼球追踪模块；

所述显示屏包括第一显示屏和第二显示屏，所述第一显示屏的画面通过光学装置在所述第二显示屏上成像，所述像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率；

所述眼球追踪模块与处理器相连，用于获取用户视线在所述显示屏上对应的注视点位置信息，并发送至所述处理器；

所述驱动装置与所述处理器相连，用于接收所述处理器在所述第一显示屏的画面通过光学装置形成的像的几何中心与所述注视点位置不一致时发出的控制指令，并根据所述控制指令调整所述光学装置位置状态，直至所述几何中心与所述注视点位置重合。

本发明实施例提供的一种头戴式显示设备，包括显示屏、光学装置、驱动装置和眼球追踪模块，所述显示屏包括第一显示屏和第二显示屏，所述第一显示屏的画面通过光学装置在所述第二显示屏上成像，所述像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率，所述驱动装置用于调整所述光学装置中的至少一个光学部件的位置，所述眼球追踪模块用于获取用户视线在所述显示屏上对应的注视点位置信息，所述驱动装置与所述处理器相连，用于接收所述处理器在所述第一显示屏的画面通过光学装置形成的像的几何中心与所述注视点位置不一致时发出的控制指令，并根据所述控制指令调整所述光学装置中的至少一个光学部件的位置，直至所述几何中心与所述注视点位置重合，用户在使用本发明实施例的头戴式显示设备时，用户仅仅关注到的是第一显示屏的画面，该高分辨率画面的存在使得用户感知不到纱窗效应的存在，大大提高了头戴式显示设备的用户体验。

附图说明

图1为本发明实施例一的一种头戴式显示设备的结构示意图；

图2是本发明实施例的第一驱动电机和第二驱动电机与光学装置中的组成部件的连接关系示意图；

图3本发明实施例的一种阵列基板上用来显示图像的像素单元和获取用户眼球图像信息的像素单元的分布示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一的一种头戴式显示设备的结构示意图，该头戴式显示设备10可以包括显示屏11、光学装置12、驱动装置13和眼球追踪模块14。

其中，所述显示屏11包括第一显示屏111和第二显示屏112，所述第一显示屏111的画面通过光学装置12在所述第二显示屏112上成像，所述像111’的大小不小于用户眼睛的分辨视域在所述显示屏11的对应区域大小，且使得第一显示屏111的角度分辨率大于标准角度分辨率。

所述眼球追踪模块14与处理器15相连，用于获取用户视线在所述显示屏11上对应的注视点位置信息，并发送至所述处理器15。其中处理器15可以集成于头戴式显示设备之内，也可以是设置于与头戴式显示设备连接的计算机端。在图1所示的方案中，只呈现了各个部件之间的连接关系，并未限定处理器15的具体布局方式。

所述驱动装置13与所述处理器15相连，用于接收所述处理器15在所述第一显示屏111的画面通过光学装置12形成的像111’的几何中心与所述注视点位置不一致时发出的控制指令，并根据所述控制指令调整所述光学装置12中的至少一个光学部件的位置，直至所述几何中心与所述注视点位置重合。

一般而言，映在人眼视网膜上的图像，只有中心部分能分辨清楚，这部分通常叫分辨视域，约视场角8度到15度。从视场角15到30度之间部分称为有效视域，在有效视域中用户能看清物体的存在和动作，虽然不需要转动头部也能看清楚，但是分辨力已经下降了。视场角超过30度的周边部分称为诱导视野，只能感觉物体的存在，不能看清楚是什么物体。

通常，人眼在观察物体或画面时，对分辨视域的物体或画面最为关心，当一个头戴式显示设备被设计制造后，当用户使用该头戴式显示设备时，由于人眼距离该头戴式显示设备的显示屏的距离几乎已经确定，显示屏的哪些区域映在人眼的分辨视域也已经确定，因此可以确定用户眼睛的分辨视域在所述显示屏的对应区域大小。

在本发明实施例中，第一显示屏是一块特制的高分辨率显示屏，由于技术的限制，这种特制的高分辨率显示屏的大小做大有难度，但是，本发明实施例对该第一显示屏的大小有要求，具体的要求是该第一显示屏的画面在第二显示屏上成的像的大小不小于分辨视域在所述显示屏的对应区域大小，这样设置的目的是为了使得用户在观看头戴式显示设备的显示画面时，由于人眼对分辨视域更为关注，从而更加关注的是第一显示屏的画面，而不容易注意到第二显示屏的画面。

需要说明的是，为了“第一显示屏的画面在第二显示屏上成的像的大小不小于分辨视域在所述显示屏的对应区域大小”这一要求是一个综合的要求，这是因为像的大小与第一显示屏本体的大小和光学装置成像时的放大或缩小的倍率都有关。

不仅如此，除了对第一显示屏的大小有要求，对第一显示屏的分辨率的大小也有要求，在本发明实施例中，为了使得用户在使用该头戴式显示设备不能感知到纱窗效应，第一显示屏的角度分辨率需要大于标准角度分辨率。

具体的，角度分辨率是人眼视场角单位角度下具有的像素点，可以分为水平方向和垂直方向两个方向，由于用户在使用本发明实施例的头戴式显示设备时，所最关注的画面是第一显示屏的画面在第二显示屏上所形成的像，第一显示屏的角度分辨率应该理解为“第一显示屏的像的角度分辨率”，由于人眼距离头戴式显示设备的显示屏距离已经确定，该像的视场角也已经确定，当第一显示屏的分辨率确定后，“第一显示屏的像的角度分辨率”也已确定，本发明实施例要求“第一显示屏的像的角度分辨率”在水平方向和垂直方向上两个方向上都大于标准角度分辨率，其中标准角度分辨率为人眼所能感知到纱窗效应的极限，通常医学上认为标准角度分辨率为60像素点/度。

需要说明的是，为了降低本发明实施例对第一显示屏的高分辨率要求，可以设置第一显示屏的画面通过光学装置在所述第二显示屏上成像小于第一显示屏本体的大小，即光学装置成像时缩小第一显示屏的画面，这样可以使得在满足“所述像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率”这一条件时，对第一显示屏的分辨率的要求降低，即可以使用相对较低的分辨率即可满足要求。

在本发明实施例中，除了满足上述要求外，本发明实施例的头戴式显示设备还包括眼球追踪模块，该眼球追踪模块用于获取用户视线在所述显示屏上对应的注视点位置信息，并发送至所述处理器，具体可以选用现有技术中成熟商业化的用来实现追踪功能的设备。

在具体实现本方案时，光学装置12中的光学部件可以有不同的配置方式，例如所述光学部件包括平面镜121、透镜122和棱镜123中的至少一种，所述驱动装置13用于调整所述光学装置12中的至少一个光学部件的位置状态。

光学装置通常包括平面镜、透镜和棱镜中的至少一种，优选是三者的组合来实现对第一显示屏的画面在第二显示屏上成像，其中第一显示屏的画面在第二显示屏上成的像的大小，相比第一显示屏的画面而言，既可以是放大、也可以是缩小、甚至还可以是大小保持不变，具体是如何选择，取决于本领域技术人员的自行选择。

驱动装置是用来调整光学装置中的至少一个光学部件位置的设备，其作用是通过调整光学装置中的光学部件的位置，来实现第一显示屏的画面在第二显示屏上成的像的具体位置的调整，具体是如何确定调整哪一个光学部件，怎么调整，本领域技术人员可以根据光路分析、光学设计软件仿真计算或者光学试验来确认，本发明实施例不作具体描述，驱动装置可以由各类微型电机来实现，通过电机转动来调整光学装置中的各个光学部件的位置。

在本发明实施例中，驱动装置、眼球追踪模块分别与所述处理器相连，若所述第一显示屏的画面通过光学装置形成的像的几何中心与所述注视点位置不一致，所述处理器发出控制指令至所述驱动装置，以使得所述驱动装置调整所述光学装置中的至少一个光学部件的位置，直至所述几何中心与所述注视点位置重合，从而使得用户在使用本发明实施例的头戴式显示设备时，随着用户视线的转移，第一显示屏的画面通过光学装置在第二显示屏上形成的像的位置也随之变动，同时由于像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率，从而使得用户在使用本发明实施例的头戴式显示设备时，用户仅仅关注到的是第一显示屏的画面，该高分辨率画面的存在使得用户感知不到纱窗效应的存在，大大提高了头戴式显示设备的用户体验。

需要说明的是，本发明实施例前文一直描述了第一显示屏的画面通过光学装置所成的像，对于第二显示屏画面，没有具体做过多描述，第二显示屏可以利用常规的显示屏，例如较为常规的1080P、2K分辨率的显示屏等。

在本发明实施例中，考虑到实际的显示效果，对于一个完整的画面，除去第一显示屏的画面显示的部分外，剩余的部分均由第二显示屏来显示，第一显示屏的画面经过光学装置成像之后与第二显示屏的画面完美拼接成完整的画面，用户感觉不到二者画面的交接处。

或者，对于一个完整的画面，除去第一显示屏的画面显示的部分之外，完整的画面第二显示屏仍然完全显示，只是完整画面实际在展示给用户时，高分辨率的第一显示屏的画面的像遮挡住了第二显示屏对应的部分，用户观看时最关注的仍然是第一显示屏的画面的像。

更进一步需要说明的是，本发明实施例的第一显示屏的画面是随着用户视线的转移而有所变化的，具体变化的方法前文已有所描述，在此不作赘述。

综上所述，本发明实施例提供的一种头戴式显示设备，包括显示屏、光学装置、驱动装置、眼球追踪模块和处理器，所述显示屏包括第一显示屏和第二显示屏，所述第一显示屏的画面通过光学装置在所述第二显示屏上成像，所述像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率，所述驱动装置用于调整所述光学装置中的至少一个光学部件的位置，所述眼球追踪模块用于获取用户视线在所述显示屏上对应的注视点位置信息，所述驱动装置、眼球追踪模块分别与所述处理器相连，若所述第一显示屏的画面通过光学装置形成的像的几何中心与所述注视点位置不一致，所述处理器发出控制指令至所述驱动装置，以使得所述驱动装置调整所述光学装置中的至少一个光学部件的位置，直至所述几何中心与所述注视点位置重合，用户在使用本发明实施例的头戴式显示设备时，用户仅仅关注到的是第一显示屏的画面，该高分辨率画面的存在使得用户感知不到纱窗效应的存在，大大提高了头戴式显示设备的用户体验。

在本发明的一种优选实施例中，驱动装置包括第一驱动电机和第二驱动电机，所述第一驱动电机用于控制所述至少一个光学部件的平移，所述第二驱动电机用于控制所述至少一个光学部件的旋转，由于光学装置的光学部件可能有多个，对应地，第一驱动电机和第二驱动电机也有多个，每一个驱动电机分别控制一个光学部件的平移或者旋转，使得光学装置的每个光学部件的平移或旋转的调整都可以单独调整，而不互相受影响。

作为一种示例，参照图2示出的本发明实施例的第一驱动电机和第二驱动电机与光学装置中的光学部件的连接关系示意图，第一驱动电机131的第一输出轴与皮带传送机构132连接，所述皮带传送机构132带动所述至少一个光学部件133(至少一个光学部件具体可以包括前文的平面镜121、透镜122和棱镜123)平移，所述第二驱动电机134的第二输出轴与至少两个滚动轴承相连，其中一个滚动轴承135的滚动带动所述至少一个光学部件133的前后旋转，剩余的滚动轴承136的滚动带动所述至少一个光学部件133的左右旋转。

具体而言，作为一种示例，参照图2，至少一个光学部件133底部是半球形133’，安装在头戴式显示设备中的某一固定部件17中，固定部件中设置有与半球形133’匹配的凹槽18，滚动轴承135嵌在凹槽底部，滚动轴承136嵌在凹槽侧边，第二驱动电机134的第二输出轴的转动带动滚动轴承135前后转动，第二驱动电机134的第二输出轴的转动带动滚动轴承136左右转动。

在本发明的一种优选实施例中，第一驱动电机的第一输出轴与丝杠机构连接，所述丝杠机构带动所述至少一个光学部件平移，通过丝杠机构将电机的输出轴的转动转换成直线运动，利用丝杠机构的高精度控制的特性可以提升驱动装置控制光学装置各光学部件的精度。

在本发明的一种优选实施例中，眼球追踪模块除了前文所述的利用现有技术中的成熟商业化的用来实现追踪功能的设备，眼球追踪模块还可以集成在第二显示屏和/或第一显示屏的阵列基板上，即眼球追踪模块包括所述第二显示屏和/或第一显示屏的阵列基板上设置的像素单元，所述像素单元用于获取用户眼球图像信息，并将所述眼球图像信息发送至所述处理器，所述处理器用于根据所述眼球图像信息计算用户的所述注视点位置信息，优选地，眼球追踪模块集成在第二显示屏上，第二显示屏相对于第一显示屏更方便获取用户的眼球图像信息。

具体的，用于获取用户眼球图像信息的设置在阵列基板上的像素单元的位置与现有的阵列基板上用来显示图像的像素单元的位置关系(即两者是如何排列的)是不作限制的，其个数可以为一个，也可以是多个，作为一种示例，参照图3示出的本发明实施例的一种阵列基板上用来显示图像的像素单元和获取用户眼球图像信息的像素单元的分布示意图，获取用户眼球图像信息的像素单元23和用来显示图像的像素单元24混合布置，每一个获取用户眼球图像信息的像素单元23设置于相邻的两个用来显示图像的像素单元24之间。在本方案中，头戴式显示设备根据具体的应用方式可以有不同的呈现方式，例如作为VR设备呈现。

当然，图3中像素单元23和用来显示图像的像素单元24的排列方式不限于此，本领域技术人员可以根据其需要，更改像素单元的排列方式。

本发明实施例通过将像素单元23设置在现有的用来显示图像的像素单元24之间的方式，使得现有的VR显示设备的显示屏集成了采集用户眼球图像信息的功能，且能够不增加现有显示屏的阵列基板的面积的情况下，实现更多的功能。

不仅如此，本发明实施例的头戴式显示设备的显示屏在集成用户眼球图像信息采集功能后，处理器可以根据用户眼球图像信息获取用户眼睛的视线信息和用户眼睛在所述显示屏上的注视点位置信息。具体是如何获取的，作为一种示例，可以采用瞳孔角膜向量反射法。

具体的，用户眼睛在显示屏上的注视点位置可以看作是人眼球中心和人眼虹膜中心的连线与显示屏平面之间的交点，当人的头部静止不动时，人眼眼球中心的位置是不变的，这时唯一在动的就是虹膜中心，映射到眼图中，可以认为虹膜中心在眼图中的坐标和注视点在显示屏平面上的位置是一一对应的。注视点估计方法就是基于这一点，在开始确定人眼的注视点位置之前，先让用户注视几个校准点，获取对应时刻眼图中的虹膜中心坐标，计算得到注视点和虹膜中心坐标之间的对应关系，之后，可以利用这个映射关系，实现注视点的标定。

可以认为虹膜中心坐标和注视点坐标之间满足二阶多项式关系：

X0＝f(xe,ye)＝a₀+a₁xe+a₂ye+a₃xeye+a₄xe2+a₅ye²

Y0＝f(xe,ye)＝b₀+b₁xe+b₂ye+b₃xeye+b₄xe2+b₅ye²

其中(X0,Y0)表示注视点坐标，(xe，ye)表示相应时刻虹膜中心在眼图中的坐标。校准开始后，用户需要保持头部静止，然后按照提示依次注视这几个校正点，计算机会实时记录记录人眼注视点坐标和相应时刻图片中的虹膜中心坐标，然后利用最小二乘法计算参数a₀a₁a₂a₃a₄a₅b₀b₁b₂b₂b₃b₄b₅的取值，从而得到映射函数。

需要说明的是，上述映射函数的确定过程是在人头部保持不变的情况下的过程，但这种过程是适合VR显示设备实现眼球追踪过程的，这是因为当用户佩戴头戴式显示设备时，基本佩戴完成后，每次用户的眼睛与显示屏的位置都是相对比较固定的位置。当然，具体在实现过程中，映射函数的确定过程仍然可以考虑人头部相对于显示屏变化的情况，可以用户多佩戴几次头戴式显示设备，得到用户眼球相对显示屏在不同位置下的映射函数，然后经过插值算法即可获得用户头部在任意位置下的映射函数。

当得到映射函数后，像素单元23在实时采集用户眼球图像信息，经过图像处理，可以从眼球图像信息中获取用户眼球中心坐标和虹膜中心坐标，两者的连线即为用户眼球的视线，并根据虹膜中心坐标在映射函数中查询获得注视点位置信息。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括显示屏、光学装置、驱动装置和眼球追踪模块；

所述显示屏包括第一显示屏和第二显示屏，所述第一显示屏的画面通过光学装置在所述第二显示屏上成像，所述成像的大小不小于用户眼睛的分辨视域在所述显示屏的对应区域大小，且使得第一显示屏的角度分辨率大于标准角度分辨率；

所述眼球追踪模块与处理器相连，用于获取用户视线在所述显示屏上对应的注视点位置信息，并发送至所述处理器；

所述驱动装置与所述处理器相连，用于接收所述处理器在所述第一显示屏的画面通过光学装置形成的像的几何中心与所述注视点位置不一致时发出的控制指令，并根据所述控制指令调整所述光学装置中的至少一个光学部件的位置状态，直至所述几何中心与所述注视点位置重合。

2.根据权利要求1所述的头戴式显示设备，其特征在于，所述光学装置在所述第二显示屏上成像时缩小所述第一显示屏的画面。

3.根据权利要求1所述的头戴式显示设备，其特征在于，所述驱动装置包括第一驱动电机和第二驱动电机，所述第一驱动电机用于控制所述至少一个光学部件的平移，所述第二驱动电机用于控制所述至少一个光学部件的旋转。

4.根据权利要求3所述的头戴式显示设备，其特征在于，所述第一驱动电机的第一输出轴与皮带传送机构连接，所述皮带传送机构带动所述至少一个光学部件平移，所述第二驱动电机的第二输出轴与至少两个滚动轴承相连，其中一个滚动轴承的滚动带动所述至少一个光学部件的前后旋转，剩余的滚动轴承的滚动带动所述至少一个光学部件的左右旋转。

5.根据权利要求4所述的头戴式显示设备，其特征在于，所述第一驱动电机的第一输出轴与丝杠机构连接，所述丝杠机构带动所述至少一个光学部件平移。

6.根据权利要求1至5任一项所述的头戴式显示设备，其特征在于，所述眼球追踪模块包括所述第二显示屏和/或第一显示屏的阵列基板上设置的像素单元，所述像素单元用于获取用户眼球图像信息，并将所述眼球图像信息发送至所述处理器，所述处理器用于根据所述眼球图像信息计算用户的所述注视点位置信息。

7.根据权利要求1至5任一项所述的头戴式显示设备，其特征在于，所述标准角度分辨率为60像素/度。

8.根据权利要求6所述的头戴式显示设备，其特征在于，所述处理器用于根据所述眼球图像信息确定用户的虹膜中心在预设坐标系中的虹膜中心坐标，并根据所述虹膜中心坐标在预设虹膜中心坐标与注视点位置信息映射关系中查询获得所述虹膜中心坐标匹配的注视点位置信息。

9.根据权利要求1所述的头戴式显示设备，其特征在于，所述光学部件包括平面镜、透镜和棱镜中的至少一种；

所述驱动装置用于根据所述控制指令调整至少一个所述光学部件的位置状态。