CN105866949B - 能自动调节景深的双目ar头戴设备及景深调节方法 - Google Patents

Abstract

本发明公开了一种双目AR头戴设备的景深调节方法，在头戴设备内预置图像显示源上左右两组有效显示信息的等效中心距离dn与虚像距人眼距离Ln之间的映射关系；使用者通过头戴设备看外界环境时，头戴设备获取目标物到人眼的距离Dis；将Ln赋值为Dis，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；以ds为等效中心间距，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。相应的，本发明还公开了一种能自动调节景深的双目AR头戴设备，实现将虚拟信息精确叠加到人眼注视点位置附近，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。

Description

能自动调节景深的双目AR头戴设备及景深调节方法

技术领域

本发明涉及头戴显示设备领域，尤其涉及一种能自动调节景深的双目AR头戴设备及其景深调节方法。

背景技术

随着穿戴设备的兴起，各种头戴显示设备成为各大巨头公司的研发热点，逐渐进入人们的视野。头戴显示设备是增强现实技术(Augmented Reality Technique，简称AR)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中，但是目前多数现有AR头戴显示设备，其AR信息叠加仅考虑与目标位置X、Y轴坐标的相关性，而未计算目标的深度信息，使得虚拟信息漂浮在人眼前方，与环境融合度不高，用户体验度欠佳。

现有技术中，也有在头戴设备上调节景深的方法，大多都是采用机械方式调节光学透镜组的光学结构，从而改变光学原件像距，进而实现虚像景深调节，这种方式使得头戴设备体积大、成本高且精度难控制。

发明内容

本发明的目的是提供一种能自动调节景深的双目AR头戴设备及其景深调节方法，解决现有头戴设备AR信息与环境融合度不高的问题。

为了实现上述发明目的，本发明提供了一种双目AR头戴设备的景深调节方法，所述头戴设备内预置有距离映射关系δ，所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像距人眼距离Ln之间的映射关系；使用者通过头戴设备看外界环境时，头戴设备获取目标物到人眼的距离Dis；将Ln赋值为Dis，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；以ds为等效中心间距，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

优选的，所述方法还包括：预设左侧/右侧图像显示源上虚拟信息的显示位置，根据得到的等效中心间距ds计算右侧/左侧虚拟信息的显示位置。

优选的，以ds为等效中心间距，以指定点为等效中心对称点，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

优选的，所述头戴设备通过双目立体视觉系统或景深摄像机获得目标物到人眼的距离Dis。

优选的，所述头戴设备通过视线追踪系统检测人眼注视目标物时空间视线信息数据，计算目标物到人眼的距离Dis。

优选的，所述头戴设备通过摄像机成像比例计算目标物到人眼的距离Di s。

优选的，所述距离映射关系δ为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d₀为头戴设备两组光学系统的等效光轴间距。

相应的，本发明还提供一种能自动调节景深的双目AR头戴设备，包括光学系统、图像显示源、距离数据采集模块和数据处理模块，数据处理模块内存储有距离映射关系δ,所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像距人眼距离Ln之间的映射关系；使用者通过头戴设备光学系统看外界环境时，距离数据采集模块获取可计算目标物到人眼距离Dis的数据，并将这些数据传送至数据处理模块；数据处理模块根据距离数据采集模块传来的数据计算Dis，并将Dis赋值予Ln，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；数据处理模块控制图像显示源，以ds为等效中心间距，以指定点为等效中心对称点，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

优选的，所述距离数据采集模块为单个摄像机、双目立体视觉系统、景深摄像机、视线追踪系统中的一种。

优选的，所述距离映射关系δ为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d0为头戴设备两组光学系统的等效光轴间距。

本发明根据“虚拟画面距离人眼的距离Ln等于目标距使用者的垂直距离dis时，虚拟画面与目标物即具有一致的空间位置”这一理论，实现将虚拟信息精确叠加到人眼注视点位置附近，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。本发明方案简单，在头戴设备内预置离映射关系δ的前提下，只需要获取目标物到人眼的距离即可，而该距离测试方式多样，可通过双目测距，景深摄像头等实现，硬件技术成熟，可靠性高且成本低。传统景深调节均是从改变光学原件像距入手，本发明打破传统思维，不改变光学器件结构，通过调节图像显示源上左右两组有效显示信息的等效中心距离实现调节景深，具有开创性，且相比改变光学焦距，更具有实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为人眼空间视线路径示意图；

图2为本发明实施例双目AR头戴设备的景深调节方法流程示意图；

图3为透镜成像原理图一；

图4为透镜成像原理图二；

图5为摄像头成像示意图；

图6为头戴显示设备光学模块布局方式一示意图；

图7为图6的图像源有效显示信息等效中心距离示意图；

图8为头戴显示设备光学模块布局方式二示意图；

图9为图8的图像源有效显示信息等效中心距离示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的发明人发现:当人眼(OL OR)注视不同空间区域的目标物时，左右眼(OLOR)的视线矢量是不一样的，图1中A/B/C/D分别代表空间中不同方位的目标物，当我们观察(注视)其中某一个目标物，如注视目标物A，左右眼的视线方向分别为OLA/ORA代表的空间矢量；注视目标物B，左右眼的视线方向分别为OLB/ORB代表的空间矢量。知道了注视某一目标物(如A)时左右眼的视线空间向量，可计算出目标物A距离人眼的距离。

设定：注视某一目标物(如A)时人眼的左右视线矢量在使用者坐标系内左矢量L表示为(Lx,Ly,Lz,Lα,Lβ,Lγ)，其中(Lx,Ly,Lz)为左矢量上的一点坐标，(Lα,Lβ,Lγ)为左矢量的方向角；同理右矢量R可表示为(Rx,Ry,Rz,Rα,Rβ,Rγ)；

根据空间解析学方法，可求解得到注视点(目标A)距使用者的垂直距离dis：

在增强现实头戴设备领域，佩戴者通过双目头戴设备左右眼分别观察到左右两幅虚拟图像，当左眼观察左侧虚拟图像的视线与右眼观察右侧虚拟图像的视线在空间区域相汇，双目观察到的将是一幅重叠的并距观察者一定距离的虚拟画面，此虚拟画面距离人眼的距离Ln是由左右虚拟图像分别与左右眼构成的空间视线矢量决定的。当虚拟画面距离人眼的距离Ln等于目标距使用者的垂直距离dis时，虚拟画面与目标物即具有一致的空间位置。

发明人进一步发现：左右眼构空间视线矢量是由其观看的目标所决定，因此在双目头戴设备上，左右两组有效显示信息的等效中心距离又可以决定用户左右眼构成的空间视线矢量，因此双目头戴设备中虚像的投影距离Ln与头戴设备图像源上左右两组有效显示信息的等效中心距离存在对应关系，本发明实施例称这一映射关系为：距离映射关系δ,所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像的投影距离Ln之间的映射关系。

所述距离映射关系δ可以为一个公式、也可以为离散数据对应关系、还可以为一个投影距离范围对应一个等效中心间距。

距离映射关系δ可通过多种方式获得，如通过试验数据拟合，其在出厂前存储于头戴设备内，后面将举例介绍一种距离映射关系δ获得方式。

由于本发明实施例提到了等效中心间距，下面对其进行定义：

等效光轴：以人眼为出瞳的目视光学系统采用逆向光路设计系统时，以过出瞳中心且垂直于出瞳面的轴线为等效光轴；

等效图象源显示屏：在以人眼为出瞳的目视光学系统中，逆向追迹一过光轴的光线，即此光线过出瞳中心且垂直于出瞳面，当此光线第一次与光学面相交时，在相交点处做一与此光学面相切的平面，此光学面之后的未追迹过的光学面以此平面为镜面展开(即以此平面为镜面，获得此光学面之后的未追迹过的光学面的对称像)，在展开后的光学系统中，在未追迹过的光学面组成的系统中继续追迹此光线；当此光线第二次与光学面相交时，在相交点处做一与此光学面相切的平面，此光学面之后的未追迹过的光学面以此平面为镜面展开，如此依次展开直至最后一面，至此可获得展开后的图象源显示屏的对称像，此对称像为等效图象源显示屏。

定义左右两组等效显示屏上有效显示信息的中心距离为等效中心距离dn。本领域技术人员可以理解，图像显示屏左右显示的信息需要能够叠加，必须使左右两组等效显示屏上有效显示信息的中心点连线与OS轴垂直，因此本发明提到的等效中心距离dn，均指与左右中心点连线与OS轴垂直情况下的间距。

参见图6～图9，若头戴显示光学模块采用图6所示的布局(图像显示源1位于人眼上方，图像显示源1发出的光线经放大系统2后，由可透可反镜3反射入人眼4)，则放大系统的等效中心距d₀，图像源有效显示信息等效中心距dn参见图7所示，其中11、12为左右图像显示源，21、21我左右放大系统，D为瞳距；若头戴显示光学模块采用图8所示的布局(图像显示源11、12位于人眼两侧)则放大系统的等效中心距d₀，图像源有效显示信息等效中心距dn参见图9所示。

实施例1：

参见图2，为本发明实施例双目AR头戴设备的景深调节方法流程示意图，本实施例方法需要预选在头戴设备内预置距离映射关系δ,所述距离映射关系δ可以为一个公式、也可以为离散数据对应关系、还可以为一个投影距离范围对应一个等效中心间距，距离映射关系δ获得方法将在后面段落进行举例描述。本发明实施例双目AR头戴设备的景深调节方法包括如下步骤：

S101:使用者通过头戴设备看外界环境时，头戴设备获取目标物到人眼的距离Dis；距离Dis获取方式可以为多种方式，在此不做限定；

S102：将Ln赋值为Dis，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；

S103：以ds为等效中心间距，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

本步骤中，左右虚拟信息的显示位置可以通过两种方式确定：1)预设左侧/右侧图像显示源上虚拟信息的显示位置，根据得到的等效中心间距ds计算右侧/左侧虚拟信息的显示位置；例如：预设左侧虚拟信息中心点坐标为：(x₁，y₁)，则可计算右侧虚拟信息中心点位置为：(x_r，y_r)＝(x_l+ds，y_l)；2)以指定点为等效中心对称点，然后根据ds可计算左右虚拟信息的显示位置，例如：若以左右两部分图像源的等效对称轴OS与左右两部分图像源的中心点连线交点为等效中心对称点，则虚像会显示在人眼正前方；若以该点一定偏移为等效中心对称点，则虚像也相对于人眼正前方有一定偏移。

所述距离映射关系δ可以为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d₀为头戴设备两组光学系统的等效光轴间距。当头戴设备结构固定后，D₀、L₁、L、f、d₀通常会为固定值，此时Ln就仅与dn相关。

在步骤S101中，头戴设备获取目标物到人眼的距离Dis可采用如下4种方法之一：

方法1：头戴设备通过双目立体视觉系统获得目标物到人眼的距离Dis；

双目立体视觉系统利用视差原理测距，双目立体视觉系统可以为两个焦距相同的摄像机或一运动的摄像机，目标物距人眼距离Dis用以下公式计算：

其中，h为摄像机距人眼距离，Z为目标物距摄像机距离，T为基线距，f为摄像机焦距，x^l、x^r分别为目标物在左图像和右图像中的x坐标。

方法2：头戴设备通过景深摄像机获得目标物到人眼的距离Dis；

景深的计算可用如下公式表示：

前景深△L1＝FδL2/(f2+FδL)

后景深△L2＝FδL2/(f2-FδL)

景深△L＝△L1+△L2＝2f2FδL2/(f4-F2δ2L2)

其中δ是允许弥散圆直径；f是镜头焦距；F是光圈值；L是对焦距离；△L即为我们需要的Dis。

方法3：头戴设备通过视线追踪系统检测人眼注视目标物时空间视线信息数据，计算目标物到人眼的距离Dis，参见图1及公式1.1。

方法4:头戴设备通过摄像机成像比例计算目标物到人眼的距离Dis，这种方法需要预先将目标物实际尺寸入库，然后采用摄像机拍摄包含目标物的图像，计算目标物在拍摄图像中的像素尺寸；用拍摄图像到数据库检索得到目标物入库的实际尺寸；然后用拍摄图像尺寸与实际尺寸计算出Dis。参见图5，为摄像头成像示意图，AB为物，A’B’为像，记物距OB为u，像距OB’为v，令物长AB＝，像长A’B’＝，则由三角形相似关系可得：

当摄像头焦距固定时，根据上式即可计算出物距。本实施例中：目标物到人眼的距离即为物距，目标物体的实际尺寸即为物长，目标物的像素尺寸即为像长。像距v由摄像头内部光学结构确定，摄像头光学结构确定后，像距v即为定值。

实施例2：

本发明实施例提供一种能自动调节景深的双目AR头戴设备，包括光学系统、图像显示源、距离数据采集模块和数据处理模块，光学系统包括一个或若干透镜，用户透过光学系统可以同时看见真实的外界环境和图像显示源上显示的虚拟信息；数据处理模块内存储有距离映射关系δ,所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像距人眼距离Ln之间的映射关系；距离映射关系δ中的等效中心距离dn范围为[0，d0]，d0为头戴设备两组光学系统的光轴的等效距离，可以表示为公式1.2；所述距离映射关系δ可以为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d₀为头戴设备两组光学系统的等效光轴间距。当头戴设备结构固定后，D₀、L₁、L、f、d₀通常会为固定值，此时Ln就仅与dn相关。

使用者通过头戴设备光学系统看外界环境时，距离数据采集模块获取可计算目标物到人眼距离Dis的数据，并将这些数据传送至数据处理模块；所述距离数据采集模块可以为单个摄像机、双目立体视觉系统、景深摄像机、视线追踪系统中的一种。当距离数据采集模块为单个摄像机时，通过摄像机成像比例计算目标物到人眼的距离Dis；当距离数据采集模块为双目立体视觉系统时，利用视差原理测距的方法，可获得目标物到人眼的距离Dis；当距离数据采集模块为视线追踪系统时，根据前述公式1.1计算目标物到人眼的距离Dis；景深摄像机能直接测得目标物到人眼的距离Dis。

数据处理模块根据距离数据采集模块传来的数据计算Dis，并将Dis赋值予Ln，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；

数据处理模块控制图像显示源，以ds为等效中心间距，以指定点为等效中心对称点，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上，若以OS与图像显示源左右中心点连线的交点为等效中心对称点，则虚像会显示在人眼正前方；若以该交点一定偏移为等效中心对称点，则虚像也相对于人眼正前方有一定的偏移。

本发明实施例所提到的距离映射关系可以为一个公式、也可以为离散数据对应关系、还可以为一个投影距离范围对应一个等效中心间距，为了更清楚的说明本发明，下面举例介绍一种距离映射关系δ的获得方式：

光学系统由若干透镜组成，根据物理光学理论，透镜的成像本领是透镜对入射光波的位相产生调制作用的结果；参见图3，设一点物S在距离透镜有限远距离，透镜对点物S发出的发散球面波进行调制，S发出的发散球面波在透镜前平面上的场分布，取傍轴近似为：

球面波通过透镜后的场分布为：

上式表示一个向距透镜为(-l')的平面上的虚像点发散的球面波。

如图1所示，当人眼(OL OR)注视不同空间区域的目标物时，左右眼(OL OR)的视线矢量是不一样的，图中A/B/C/D分别代表空间中不同方位的目标物，当我们观察(注视)其中某一个目标物，如注视目标物A，左右眼的视线方向分别为OLA/ORA代表的空间矢量；注视目标物B，左右眼的视线方向分别为OLB/ORB代表的空间矢量；根据空间解析学，由左右眼的视线矢量可获得注视点距离双目的垂直距离及空间视角。

参见图4，设理想镜组的焦距f，(S₁,S₂)为物面上一对点物，S₁,S₂之间的距离L，点物S₁,S₂到镜组的物方主面H的距离，即物距，为L，两组理想镜组等效光轴间距为d₀，使用者的瞳距为D₀，(S'₁,S'₂)为物点(S₁,S₂)经理想透镜组后在虚像面上对应的像点，根据物理光学理论，物点S₁发出的发散球面波经镜组调制后为距镜组像方主面H’距离L'的像面上的虚点S'₁发出的发散球面波；物点S₂发出的发散球面波经镜组调制后为距镜组像方主面H’距离L′的像面上的虚点S'₂发出的发散球面波；当双目通过镜组观察物点S₁和S₂时，相当于双目分别观察的是距双目距离为(L'+L₁)平面上的虚像点S'_1和S'_2，根据上述的人眼视觉理论，双目看到的将会是虚像点S'，虚像点S'是由e_1、S'₁确定的空间矢量和由e_2、S'₂确定的空间矢量的交叉点；虚像点S'距双目的距离Ln_：

由光学和空间几何学理论，可推导出虚点S'距双目的距离Ln与使用者瞳距D₀，左右镜组等效光轴间距d_0，物面上物点间距dn_，镜组焦距f_，物面距离镜组距离(物距)L_，双目距光学系统镜组的等效距离L₁之间的关系：

根据以上关系式，改变其中一个或若干个物理量，就可以改变虚点S'距离双目的距离。在双目头戴设备中，图像显示屏即为物面，当头戴设备结构固定后，使用者瞳距D₀、双目距光学系统镜组的等效距离L1、图像显示源距光学系统镜组的距离L、两组光学系统的等效光轴间距d0以及光学系统镜组焦距f通常会为固定值，此时虚像距人眼距离Ln就仅与左右两组有效显示信息的等效中心距离dn相关。

除了上述理论公式外,距离映射关系δ还可以通过试验数据总结得到,例如多个测试者测试看多个远近不同的目标物,并调节左右两组有效显示信息的等效中心距离dn,使虚像叠加到目标物深度,记录此时的dn，然后后多组试验数据拟合一个公式或则一组离散数据对应关系形成距离映射关系δ。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种双目AR头戴设备的景深调节方法，其特征在于，所述头戴设备内预置有距离映射关系δ,所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像距人眼距离Ln之间的映射关系；

使用者通过头戴设备看外界环境时，头戴设备获取目标物到人眼的距离Dis；

将Ln赋值为Dis，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；

以ds为等效中心间距，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

2.如权利要求1所述的方法，其特征在于，所述头戴设备通过双目立体视觉系统或景深摄像机获得目标物到人眼的距离Dis。

3.如权利要求1所述的方法，其特征在于，所述头戴设备通过视线追踪系统检测人眼注视目标物时空间视线信息数据，计算目标物到人眼的距离Dis。

4.如权利要求1所述的方法，其特征在于，所述头戴设备通过摄像机成像比例计算目标物到人眼的距离Dis。

5.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：预设左侧/右侧图像显示源上虚拟信息的显示位置，根据得到的等效中心间距ds计算右侧/左侧虚拟信息的显示位置。

6.如权利要求1至4任一项所述的方法，其特征在于，以ds为等效中心间距，以指定点为等效中心对称点，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

7.如权利要求1至4任一项所述的方法，其特征在于，所述距离映射关系δ为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d₀为头戴设备两组光学系统的等效光轴间距。

8.一种能自动调节景深的双目AR头戴设备，其特征在于，包括光学系统、图像显示源、距离数据采集模块和数据处理模块，数据处理模块内存储有距离映射关系δ,所述距离映射关系δ为头戴设备图像显示源上左右两组有效显示信息的等效中心距离dn与有效显示信息经光学系统所成虚像距人眼距离Ln之间的映射关系；

使用者通过头戴设备光学系统看外界环境时，距离数据采集模块获取可计算目标物到人眼距离Dis的数据，并将这些数据传送至数据处理模块；

数据处理模块根据距离数据采集模块传来的数据计算Dis，并将Dis赋值予Ln，在距离映射关系δ中获取与Dis对应的左右两组有效显示信息的等效中心距离ds；

数据处理模块控制图像显示源，以ds为等效中心间距，以指定点为等效中心对称点，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

9.如权利要求8所述的头戴设备，其特征在于，所述距离数据采集模块为单个摄像机、双目立体视觉系统、景深摄像机、视线追踪系统中的一种。

10.如权利要求9所述的头戴设备，其特征在于，所述距离映射关系δ为如下关系：

其中，D₀为使用者瞳距，L₁为双目距光学系统镜组的等效距离，L为图像显示源距光学系统镜组的距离，f为光学系统镜组焦距，d₀为头戴设备两组光学系统的等效光轴间距。