CN106199964A - 能自动调节景深的双目ar头戴设备及景深调节方法 - Google Patents

Abstract

一种能自动调节景深的双目AR头戴设备及景深调节方法，其中，该方法包括：获取目标物到人眼的距离dis；根据目标物到人眼的距离dis和预设距离映射关系δ，获取与目标物到人眼的距离dis对应的左右两组有效显示信息的中心点对坐标数据，其中，预设距离映射关系δ表示中心点对坐标数据与目标物到人眼的距离dis之间的映射关系；根据中心点对坐标数据，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。该方法能够实现将虚拟信息精确叠加到人眼注视点位置附近，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。

Description

能自动调节景深的双目AR头戴设备及景深调节方法

技术领域

本发明涉及头戴显示设备领域，尤其涉及一种能自动调节景深的双目AR头戴设备及其景深调节方法。

背景技术

随着穿戴设备的兴起，各种头戴显示设备成为各大巨头公司的研发热点，头戴显示设备也逐渐进入人们的视野。头戴显示设备是增强现实技术(Augmented Reality Technique，简称为AR)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中。

然而，多数现有的AR头戴显示设备对于AR信息的叠加仅仅考虑与目标位置X、Y轴坐标的相关性，而未考虑目标的深度信息，这样也就使得虚拟信息只是漂浮在人眼前方，而与环境融合度不高，导致AR头戴显示设备的用户体验度欠佳。

在现有技术中，也存在在头戴设备上调节景深的方法，然而这些方法大多都是采用机械调节的方式来调节光学透镜组的光学结构，从而改变光学原件像距，进而实现虚像景深调节。而这中景深调节方式会造成得头戴设备体积大、成本高且精度难以控制等问题。

发明内容

本发明所要解决的技术问题是为了。为解决上述问题，本发明的一个实施例首先提供了一种双目AR头戴设备的景深调节方法，所述方法包括：

获取目标物到人眼的距离dis；

根据目标物到人眼的距离dis和预设距离映射关系δ，获取与目标物到人眼的距离dis对应的左右两组有效显示信息的中心点对坐标数据，其中，所述预设距离映射关系δ表示所述中心点对坐标数据与目标物到人眼的距离dis之间的映射关系；

根据所述中心点对坐标数据，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

根据本发明的一个实施例，通过双目立体视觉系统获得目标物到人眼的距离dis。

根据本发明的一个实施例，根据如下表达式确定所述目标物到人眼的距离dis：

$dis=Z+h=\frac{fT}{x^l-x^r}+h$

其中，h表示双目立体视觉系统距人眼距离，Z表示目标物与双目立体视觉系统之间的距离，Z表示基线距，f表示焦距，x^l和x^r分别表示目标物在左图像和右图像中的x坐标。

根据本发明的一个实施例，通过视线追踪系统检测人眼注视目标物时空间视线信息数据，并根据所述空间视线信息数据确定目标物到人眼的距离dis。

根据本发明的一个实施例，根据如下表达式确定所述目标物到人眼的距离dis：

$dis=R_z+\frac{cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\β}}\right)*(L_x-R_x)+cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\α}}\right)*(R_y-L_y)}{\cos \left(L_{\mathrm{\β}}\right)*\cos \left(R_{\mathrm{\α}}\right)-cos\left(L_{\mathrm{\α}}\right)*cos\left(R_{\mathrm{\β}}\right)}$

其中，(L_x,L_y,L_z)和(L_α,L_β,L_γ)分别表示左视线矢量上目标点的坐标和方向角，(R_x,R_y,R_z)和(R_α,R_β,R_γ)分别表示右视线矢量上目标点的坐标和方向角。

根据本发明的一个实施例，通过摄像机成像比例来确定目标物到人眼的距离dis。

根据本发明的一个实施例，通过景深摄像机来确定目标物到人眼的距离dis。

根据本发明的一个实施例，在所述方法中，以中心点对坐标为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

根据本发明的一个实施例，在所述方法中，以偏移中心点对坐标预设方位的位置为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

根据本发明的一个实施例，所述方法还包括：当使用者初次使用所述头戴设备时和/或当所述使用者每次使用所述头戴设备时，修正所述预设距离映射关系δ。

根据本发明的一个实施例，修正所述预设距离映射关系δ的步骤包括：

控制头戴设备的图像显示源将预设信息源图像，分别显示在左右图像显示源上；

获取在观察到左右图像显示源上显示的预设信息源图像在人眼前方重叠在一起时人眼的视线空间矢量，并根据所述空间视线矢量得到第一距离；

根据所述预设信息源图像在所述左右图像显示源上的坐标数据，利用预设距离映射关系δ得到第二距离；

根据所述第一距离和第二距离，确定修正因子；

利用所述修正因子对所述预设距离映射关系δ进行修正。

根据本发明的一个实施例，所述预设距离映射关系δ表示为：

$dis\⇒h(SL,SR)$

其中，dis表示目标物到人眼的距离，h表示拟合曲线函数，(SL,SR)表示左右两组有效显示信息的中心点对的坐标数据。

根据本发明的一个实施例，在所述方法中，构建所述预设距离映射关系δ包括：

步骤一、在所述左右图像显示源的预设位置处显示预设测试图像；

步骤二、获取用户注视虚拟测试图时的视线空间矢量，根据所述视线空间矢量和所述预设测试图像的显示位置，确定一组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据；

步骤三、按预设规律依次缩小所述预设测试图像的中心距离，并重复步骤二，直至得到k组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据；

步骤四、对所述k组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据进行拟合，构建得到所述预设距离映射关系δ。

本发明还提供了一种能自动调节景深的双目AR头戴设备，其包括：

光学系统；

图像显示源，其包括左图像显示源和右图像显示源；

距离数据采集模块，其用于获取与目标物到人眼的距离dis有关的数据；

数据处理模块，其与所述距离数据采集模块连接，其用于根据所述与目标物到人眼的距离dis有关的数据确定目标物到人眼的距离dis，并结合预设距离映射关系δ，确定与目标物到人眼的距离dis对应的左右两组有效显示信息的中心点对坐标数据，并根据所述中心点对坐标数据，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上；

其中，所述预设距离映射关系δ表示所述中心点对坐标数据与目标物到人眼的距离dis之间的映射关系。

根据本发明的一个实施例，所述距离数据采集模块包括以下所列项中的任一项：

单个摄像机、双目立体视觉系统、景深摄像机和视线追踪系统。

根据本发明的一个实施例，所述数据处理模块配置为以偏移中心点对坐标预设方位的位置为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

根据本发明的一个实施例，所述数据处理模块配置为以中心点对坐标为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

根据本发明的一个实施例，所述双目AR头戴设备还在使用者初次使用所述头戴设备时和/或当所述使用者每次使用所述头戴设备时，修正所述预设距离映射关系δ。

根据本发明的一个实施例，所述预设距离映射关系δ表示为：

$dis\⇒h(SL,SR)$

其中，dis表示目标物到人眼的距离，h表示拟合曲线函数，(SL,SR)表示左右两组有效显示信息的中心点对的坐标数据。

本发明所提供的双目AR头戴设备及其景深调节方法能够实现将虚拟信息精确叠加到人眼注视点位置附近，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。

本发明方案简单，在头戴设备内预置离映射关系δ的前提下，只需要获取目标物到人眼的距离即可。而目标物到人眼的距离的获取方式多样，可通过双目测距会景深摄像头等设备或方法来实现，硬件技术成熟，可靠性高且成本低。

传统景深调节均是从改变光学原件像距入手，本发明打破传统思维，不改变光学器件结构，通过调节图像显示源上左右两组有效显示信息的等效中心距离实现调节景深，具有开创性，且相比改变光学焦距，更具有实用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为人眼空间视线路径示意图；

图2为本发明一个实施例的双目AR头戴设备的景深调节方法流程示意图；

图3为摄像头成像示意图；

图4为本发明一个实施例的左右两部分图像源的等效对称轴OS与两组光学系统的等效对称轴OA示意图；

图5为本发明一个实施例的标定距离映射关系δ时的测试图示意；

图6为本发明一个实施例的标定距离映射关系δ时的测试图的渐变示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当人眼(包括左眼OL和右眼OR)注视不同空间区域的目标物时，左眼OL与右眼OR的视线矢量是不一样的。图1示出了人眼空间视线路径示意图。在图1中，A、B、C和D分别代表空间中不同方位的目标物，当人眼观察或注视其中某一个目标物时，左右眼的视线方向分别为相应线段代表的空间适量。

例如，当人眼注视目标物A时，左眼OL和右眼OR的视线方向分别为线段OLA和线段ORA所代表的空间矢量；当人眼注视目标物B时，左眼OL和右眼OR的视线方向分别为线段OLB和线段ORB所代表的空间矢量。当获知了注视某一目标物(例如目标物A)时左右眼的视线空间向量后，可根据视线空间向量计算出该目标物与人眼之间的距离。

当人眼注视某一目标物(例如目标物A)时，在使用者坐标系内人眼的左右视线矢量中左视线矢量L可以表示为(L_x,L_y,L_z,L_α,L_β,L_γ)，其中(L_x,L_y,L_z)为左视线矢量上的一点坐标，(L_α,L_β,L_γ)为左视线矢量的方向角；同理，右视线矢量R可以表示为(R_x,R_y,R_z,R_α,R_β,R_γ)。

根据空间解析学方法，利用人眼的左右视线适量可以求解得到注视点(例如目标物A)距使用者的垂直距离dis：

$dis=R_z+\frac{cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\β}}\right)*(L_x-R_x)+cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\α}}\right)*(R_y-L_y)}{\cos \left(L_{\mathrm{\β}}\right)*\cos \left(R_{\mathrm{\α}}\right)-cos\left(L_{\mathrm{\α}}\right)*cos\left(R_{\mathrm{\β}}\right)}---\left(1\right)$

在增强现实头戴设备领域，通过双目头戴设备，佩戴者的左右眼能够分别观察到左右两幅虚拟图像。当左眼观察左侧虚拟图像的视线与右眼观察右侧虚拟图像的视线在空间区域相汇时，佩戴者的双目观察到的将是一幅重叠的并距佩戴者一定距离的虚拟画面。此虚拟画面距离人眼的距离是由左右虚拟图像分别与左右眼构成的视线空间矢量决定的。当虚拟画面距离人眼的距离等于目标距使用者的垂直距离dis时，虚拟画面便与目标物具有一致的空间位置。

左右眼构成的视线空间矢量是由其观看的目标物所决定，而在双目头戴设备上，左右两组有效显示信息的中心点对坐标又可以决定用户左右眼构成的视线空间矢量，因此双目头戴设备中虚像的投影距离L_n与头戴设备图像源上左右两组有效显示信息的中心点对坐标存在对应关系，当将虚拟画面距离人眼的距离L_n等于目标物距使用者的垂直距离dis时，该对应关系可转换为距离映射关系δ。即，距离映射关系δ表示头戴设备图像显示源上左右两组有效显示信息的中心点对坐标(也可以理解为图像显示源上的像素点对)与目标物到人眼的距离dis之间的映射关系。

需要指出的是，在本发明的不同实施例中，距离映射关系δ可以既为一个公式，也可以为离散数据对应关系，本发明不限于此。

还需要指出的是，在本发明的不同实施例中，距离映射关系δ可以通过多种不同的方式来获得(例如通过离线标定等方式确定出距离映射关系δ，并在出厂前将得到的距离映射关系δ存储于头戴设备内等)，本发明同样不限于此。

图2示出了本实施例所提供的双目AR头戴设备的景深调节方法的流程示意图。

本实施例所提供的双目AR头戴设备的景深调节方法，在步骤S201中，在用户使用头戴设备观看外接环境中的某目标物时，获取该目标物到人眼的距离dis。

本实施例中，头戴设备在步骤S201中通过双目立体视觉系统获得目标物到人眼的距离dis。双目立体视觉系统主要利用视差原理来进行测距。具体地，双目立体视觉系统可以根据如下表达式确定目标物距人眼的距离dis：

$dis=Z+h=\frac{fT}{x^l-x^r}+h---\left(2\right)$

其中，h表示双目立体视觉系统距人眼距离，Z表示目标物与双目立体视觉系统之间的距离，Z表示基线距，f表示双目立体视觉系统焦距，x^l和x^r分别表示目标物在左图像和右图像中的x坐标。

需要说明的是，在本发明的不同实施例中，双目立体视觉系统可以采用不同的具体器件来实现，本发明不限于此。例如在本发明的不同实施例中，双目立体视觉系统既可以为两个焦距相同的摄像机，也可以为一运动的摄像机，抑或是其他合理的器件。

同时，还需要说明的是，在本发明的其他实施例中，头戴设备还可以采用其他合理的方法来获得目标物到人眼的距离dis，本发明同样不限于此。例如在本发明的不同实施例中，头戴设备既可以通过景深摄像机获得目标物到人眼的距离dis，也可以通过视线追踪系统检测人眼注视目标物时空间视线信息数据并根据该信息数据来确定目标物到人眼的距离dis，还可以通过摄像机成像比例来确定目标物到人眼的距离dis。

当头戴设备通过景深摄像机获得目标物到人眼的距离dis时，头戴设备可以根据如下表达式计算得到景深△L：

${\mathrm{\ΔL}}_1=\frac{{\mathrm{F\δL}}^2}{f^2+F\mathrm{\δ}L}---\left(3\right)$

${\mathrm{\ΔL}}_2=\frac{{\mathrm{F\δL}}^2}{f^2-F\mathrm{\δ}L}---\left(4\right)$

$\mathrm{\Δ}L={\mathrm{\ΔL}}_1+{\mathrm{\ΔL}}_2=\frac{2f^2{\mathrm{F\δL}}^2}{f^4-F^2{\mathrm{\δ}}^2{L}^2}---\left(5\right)$

其中，△L₁和△L₂分别表示前景深和后景深，δ表示允许弥散圆直径，f表示镜头焦距，F表示光圈值，L表示对焦距离。此时，景深△L即为目标物到人眼的距离dis。

当头戴设备通过视线追踪系统检测人眼注视目标物时的空间视线信息数据来计算目标物到人眼的距离dis时，头戴设备可以采用图1以及表达式(1)所阐述的内容来确定目标物到人眼的距离dis，在此不再赘述。

当头戴设备通过摄像机成像比例计算目标物到人眼的距离dis时，需要预先将目标物的实际尺寸入库，然后采用摄像机拍摄包含目标物的图像，并计算目标物在拍摄图像中的像素尺寸；随后用拍摄图像到数据库检索得到目标物入库的实际尺寸；最后用拍摄图像尺寸与实际尺寸计算出目标物到人眼的距离dis。

图3示出了摄像头成像示意图，其中，AB表示物，A'B'表示像，记物距OB为u，像距OB'为v，则由三角形相似关系可得：

$\frac{x}{u}=\frac{y}{v}---\left(6\right)$

由表达式(6)可得：

$u=\frac{y}{x}\·v---\left(7\right)$

其中，x表示物长，y表示像长。

当摄像头焦距固定时，根据表达式(7)即可计算出物距。在该实施例中，目标物到人眼的距离即为物距u，目标物体的实际尺寸即为物长x，目标物的像素尺寸即为像长y。像距v由摄像头内部光学结构确定，摄像头光学结构确定后，像距v即为定值。

再次如图2所示，得到目标物到人眼的距离dis后，在步骤S202中根据目标物到人眼的距离dis，利用预设距离映射关系δ即可确定出左右两组有效显示信息的中心点对坐标数据。本实施例中，预设距离映射关系δ是在头戴设备内预置的，其既可以为一个公式，也可以为离散数据对应关系。

具体地，本实施例中，距离映射关系δ可以采用如下表达式进行表示：

$dis\⇒h(SL,SR)---\left(8\right)$

其中，dis表示目标物到人眼的距离，(SL,SR)表示有效显示信息的中心点对的坐标，h表示目标物到人眼的距离dis与有效显示信息的中心点对的坐标之间的拟合曲线函数。

需要说明的是，在本发明的其他实施例中，距离映射关系δ还可以表示为其他合理形式，本发明不限于此。

得到左右两组有效显示信息的中心点对坐标数据后，在步骤S203中，以该左右两组有效显示信息的中心点对坐标数据为参考位置，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。

本实施例中，以中心点对坐标为参考位置是指以对应的像素点对坐标为有效显示信息的中心位置，将需显示的虚拟信息的信息源图像，分别左右显示在图像显示源上。此时使用者通过头戴设备便可以在目标物位置上看到虚拟信息。

需要说明的是，在本发明的其他实施例中，还可以根据中心点对坐标为参考位置，以其他合理方式来显示虚拟信息的信息源图像，本发明不限于此。例如在发明的一个实施例中，以中心点对坐标为参考位置是指将与对应的像素点对的坐标具有一定偏移的位置作为有效显示信息的中心位置，将需显示的虚拟信息的信息源图像，分左右显示在图像显示源上。此时，使用者通过头戴设备便可以在目标物旁边看到虚拟信息。

在该实施例中，通过设置一定的偏移量可以将虚拟信息显示在目标物旁边，以免遮挡目标物，更符合用户习惯。

需要指出的是，在该实施例中，在偏移时左右虚拟信息的信息源图像优选地需要保持同步偏移，即左右信息源图像中心间距和相对位置保持不变，仅其在图像显示源上的位置发生改变。

本实施例中，距离映射关系δ是预置在头戴设备内部的，其可以通过离线标定测试得到。一般地，距离映射关系δ由厂家测试后，在出厂前存储于头戴设备内。距离映射关系δ与头戴设备的结构相关，结构固定后，距离映射关系δ差不多也就固定了。

然而，对于不同使用者，佩戴误差需要一定的修正系数进行修正。为了更充分公开本发明方案，下面举例说明距离映射关系δ的一种标定方法，需要指出的是，本处仅为举例，不限定标定方法仅为这一种。

距离映射关系δ可以通过视线追踪系统采集Q个测试用户数据，且每个测试用户观察k组测试图而获得。其中，Q为正整数，需要指出的是，在需要的情况下，Q的取值可以为1。

假设头戴设备的图像显示源左右两部分显示源区域的分辨率均为N*M，即水平和垂直分辨率分别是M和N，如图4所示，左右两部分图像源的等效对称轴OS与两组光学系统的等效对称轴OA一致。在图4中，OL和OR分别表示左眼和右眼，D表示瞳距，d₀表示两组光学系统主光轴距离。

在确定距离映射关系δ时，通过使每个测试用户观察k组测试图可以获得k组测试用户的视线空间矢量(即用户的空间视线信息数据)数据，根据这k组视线空间矢量数据可以得到k组图像显示源上测试图中心点坐标数据与视线空间矢量数据之间的对应关系。

具体地，本实施例中，基于每个用户获取k组图像显示源上测试图中心点坐标数据与空间视线信息数据之间的对应关系的步骤包括：

步骤一、测试者佩戴上头戴设备后，头戴设备上的图像显示源分左右显示两幅相同的测试图。如图5所示，本实施例中图像显示源所显示的测试图为十字叉图为例，两组十叉字图L₁和L₂的中心距离为d₁，且十字叉图的中心点关于OS对称(本实施例中，以虚拟图像以OS对称为例)，其中，两组十叉字图L₁和L₂的中心距离d₁小于两组光学系统主光轴距离d₀。

步骤二、当测试用户通过头戴设备窗口注视投影在人眼前方重叠在一起的虚拟十字叉图时，视线追踪系统记录测试用户注视虚拟十字叉图时的视线空间矢量，从而获得一组数据。

此虚拟画面距离人眼的距离是由左右虚拟图像分别与左右眼构成的视线空间矢量决定的。当虚拟画面距离人眼的距离等于目标距使用者的垂直距离dis时，虚拟画面便与目标物具有一致的空间位置。

本实施例中，记第1组测试图中图像源显示的左右十字叉图在图像源坐标系中的坐标分别为(SLX₁,SLY₁)和(SRX₁,SRY₁)。在图像源显示该十字叉图时，视线跟踪系统依次记录下当前测试用户透过头戴设备窗口注视经头戴设备光学系统投影后完全重叠的虚拟图时的左右眼视线矢量坐标，记测试用户在注视第1组测试图时左右眼视线矢量坐标分别为(ELX₁,ELY₁)和(ERX₁,ERY₁)。如此可获得一组图像源十字叉图位置和与之对应的左右眼视线矢量坐标的映射关系，即：

$\{({\mathrm{SLX}}_1,{\mathrm{SLY}}_1),({\mathrm{SRX}}_1,{\mathrm{SRY}}_1)\}\⇒\{({\mathrm{ELX}}_1,{\mathrm{ELY}}_1),({\mathrm{ERX}}_1,{\mathrm{ERY}}_1)\}---\left(9\right)$

本实施例中，将第1组测试图只用图像源显示的左右十字叉图在位置{(SLX₁,SLY₁),(SRX₁,SRY₁)}简记为(SL₁,SR₁)，而将此时测试用户的左右眼视线矢量坐标{(ELX₁,ELY₁),(ERX₁,ERY₁)}简记为(EL₁,ER₁)，那么表达式(8)便可以表示为：

$({\mathrm{SL}}_1,{\mathrm{SR}}_1)\⇒({\mathrm{EL}}_1,{\mathrm{ER}}_1)---\left(10\right)$

依据图1所示的人眼视觉理论及表达式(1)可知，由左右眼视线矢量可以获得此时注视点到人眼的距离L_{n_1}，因此也就可以得到使用者通过头戴设备窗口看到的图像信息经头戴设备投影后的虚拟画面距使用者的距离L_{n_1}与头戴设备图像源上左右显示信息的中心坐标(SL₁,SR₁)的映射关系，即：

$({\mathrm{SL}}_1,{\mathrm{SR}}_1)\⇒L_{n\_1}---\left(11\right)$

步骤三、按预设规律依次缩小图像显示源上显示的左右十字叉图的中心距离，参见图6，每次缩小该中心距离后，重复步骤二。

如此进行k次操作后，便共计可以获得k组数据。而每组数据为图像显示源上十字叉图中心点坐标数据与空间视线信息数据之间的对应关系，即：

$({\mathrm{SL}}_i,{\mathrm{SR}}_i)\⇒({\mathrm{EL}}_i,{\mathrm{ER}}_i),i=1,2,3,...k---\left(12\right)$

依据图1所示的视觉理论及表达式(1)可知，利用上述k组数据，可以得到k组使用者通过头戴设备窗口看到的图像信息经头戴设备投影后的虚拟画面距使用者的距离与头戴设备图像源上左右显示信息中心距离的映射关系，即：

$({\mathrm{SL}}_i,{\mathrm{SR}}_i)\⇒L_{n\_i},i=1,2,3,...k---\left(13\right)$

对Q个测试用户进行上述操作，便共可获得k*Q组映射关系，即：

$({\mathrm{SL}}_j,{\mathrm{SR}}_j)\⇒L_{n\_j},j=1,2,3,...k*Q---\left(14\right)$

对这k*Q组映射关系数据进行数据拟合可得到显示屏上左右点对坐标与人眼空间视线数据之间的拟合曲线函数h，依据获得的拟合曲线公式h以及已有的显示屏上左右点对的坐标数据，可以将此坐标数据代入拟合曲线公式计算得到对应的所需要的虚拟投影信息距人眼的距离如下式所示，即：

$L_{n\_p}\⇒h({\mathrm{SL}}_p,{\mathrm{SR}}_p),p\∈\[1:M\]---\left(15\right)$

其中，(SL_p,SR_p)表示头戴设备图像源上显示的其中一对左右对称信息的中心位置坐标，L_{n_p}表示虚拟画面距人眼的距离。

表达式(15)可以简化为：

$L_n\⇒h(SL,SR)---\left(16\right)$

其中，L_n表示虚拟画面到人眼的距离，(SL,SR)表示头戴设备图像源上显示的其中一对左右对称信息的中心位置坐标。当然，中心位置坐标(SL,SR)需要在相应的图像显示源内。

由于在头戴设备的使用过程中，为保证虚拟画面与目标物具有一致的空间景深，因此使用者通过头戴设备窗口看到的虚拟画面距人眼的距离L_n与目标物到人眼的距离dis是相等的。因此表达式(16)也就可以等同于：

$dis\⇒h(SL,SR)---\left(17\right)$

由于每个用户视线有差异性，因此在使用者初次使用所述头戴设备时，为了得到更好的显示效果，可以采用类似标定距离映射关系δ的方法，对距离映射关系δ做一次简单的标定，以使得距离映射关系δ更加适配于该使用者。同样，每个用户每次佩戴头戴设备时佩戴位置也会有微小偏差，在每次佩戴时，也可以采用类似的方法，对距离映射关系δ做修正。

具体地，本实施例中，基于不同使用者或使用者的不同使用状态来对距离映射关系δ进行修正方式是当使用者佩戴上头戴设备时，头戴设备启动，图像显示源显示左右对称十字叉图，眼动跟踪系统记录使用者注视投影在人眼前方的重叠十字叉图时的眼球的视线空间矢量，头戴设备依据此数据组对虚拟投影信息距人眼的距离L_{n_p}与设备上的图像显示源的左右对称像素点对(SL_p,SR_p)的映射关系δ做适配使用者的修正，具体可以表示为：

$L_{n\_p}\⇒h({\mathrm{SL}}_p,{\mathrm{SR}}_p,w),p\∈\[1:M\]---\left(18\right)$

其中，w表示修正因子。

同理，表达式(18)也可以等同为：

${\mathrm{dis}}_p\⇒h({\mathrm{SL}}_p,{\mathrm{SR}}_p,w),p\∈\[1:M\]---\left(19\right)$

在上述修正过程中，可获得一组使用者初次佩戴该设备进行校正测试系统记录的显示屏上左右对称十字叉图坐标及对应的使用者的视线空间矢量数据，而根据此视线空间矢量数据及表达式(1)可以计算得到对应的投影距离L_{n_x}，即第一距离；

同时，根据此时显示屏上左右对称十字叉图坐标，利用头戴设备所存储的映射关系δ，可得到该十字叉图坐标对应的投影距离数据L_{n_y}，即第二距离。将此第二距离L_{n_y}与前述第一距离L_{n_x}进行比较，便可以得到一补偿系数(即修正因子)w，从而使得计算数据与测试数据的均方根误差最小。

如果需要对离映射关系δ做适配于使用者的校正，则出厂设备上需要配置视线追踪系统；如果不需要对离映射关系δ做适配于使用者的校正，则出厂设备上可以不配置视线追踪系统。视线追踪是利用电子/光学等各种检测手段获取受试者当前“注视方向”的技术，它是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，而后通过几何模型或映射模型获取视线方向。

使用者通过本发明头戴设备看外界环境时，根据前述四中方法之一的方法获得人眼前方不同景深目标距使用者的距离，使用者可以通过外部控制(例如语音控制、按键控制等)给头戴设备下达指令，如要求显示其中一个目标物的信息(例如目标物A)，头戴设备获得指令后将依据使用者指定的目标物(例如目标物A)距使用者的距离将与目标物(例如目标物A)相关的信息在设备图像源上对应显示。即，根据目标物(例如目标物A)距使用者的距离，设备中央处理器可以获得一组像素点对的坐标(SL_p,SR_p)，与该目标物相关的需投影的信息在设备图像源上左右相同显示，并以(SL_p,SR_p)或以(SL_p,SR_p)一定偏移位置为中心。使用者通过头戴设备窗口便可以在距使用者一定距离(该距离即目标物距使用者的距离)处看到与指定目标物相关信息的虚拟投影。

本实施例还提供了一种能自动调节景深的双目AR头戴设备，其包括图像显示源、距离数据采集模块和数据处理模块，数据处理模块内存储有距离映射关系δ。其中，距离映射关系δ表示头戴设备图像显示源上左右两组有效显示信息的中心点对坐标与目标物距人眼的距离dis之间的映射关系。

使用者通过头戴设备看外界环境时，距离数据采集模块获取与目标物到人眼距离dis有关的数据，并将这些数据传送至数据处理模块。在本发明的不同实施例中，距离数据采集模块可以为单个摄像机、双目立体视觉系统、景深摄像机、视线追踪系统中的任一种。

当距离数据采集模块为单个摄像机时，距离数据采集模块可以通过摄像机成像比例来获取与目标物到人眼的距离dis有关的数据。当距离数据采集模块为双目立体视觉系统时，距离数据采集模块则可以利用视差原理测距的方法，来获得与目标物到人眼的距离dis有关的数据。当距离数据采集模块为视线追踪系统时，距离数据采集模块根据前述表达式(1)来获取与目标物到人眼的距离dis有关的数据。当距离数据采集模块为景深摄像机时，距离数据采集模块能够直接获取得到与目标物到人眼的距离dis有关的数据。

数据处理模块根据距离数据采集模块传来的数据计算目标物到人眼的距离dis，并根据在距离映射关系δ获取与目标物到人眼的距离dis相对应的左右两组有效显示信息的中心点对的坐标数据。数据处理模块控制图像显示源，以对应点对坐标数据为参考位置，将需显示的虚拟信息的信息源图像，分左右显示在图像显示源上。

需要说明的是，在本发明的不同实施例中，数据处理模块控制图像显示源以对应的点对坐标为参考位置来显示虚拟信息的信息源图像既可以是以对应的点对坐标为中心位置，将需显示的虚拟信息的信息源图像分左右显示在图像显示源上，也可以是在中心点对坐标一定偏移位置处将需显示的虚拟信息的信息源图像，分左右显示在图像显示源上，本发明不限于此。

头戴设备获取以及修正距离映射关系δ的原理以及过程在上述描述中已经进行了详细地阐述，在此不再赘述。需要说明的是，在本发明的其他实施例中，距离映射关系δ还可以通过其他合理方式来获得或进行修正，本发明同样不限于此。

从上述描述中可以看出，本发明所提供的双目AR头戴设备及其景深调节方法能够实现将虚拟信息精确叠加到人眼注视点位置附近，使虚拟信息与环境高度融合，实现真正意义上的增强虚拟现实。

本发明方案简单，在头戴设备内预置离映射关系δ的前提下，只需要获取目标物到人眼的距离即可。而目标物到人眼的距离的获取方式多样，可通过双目测距会景深摄像头等设备或方法来实现，硬件技术成熟，可靠性高且成本低。

传统景深调节均是从改变光学原件像距入手，本发明打破传统思维，不改变光学器件结构，通过调节图像显示源上左右两组有效显示信息的等效中心距离实现调节景深，具有开创性，且相比改变光学焦距，更具有实用性。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (19)

1.一种双目AR头戴设备的景深调节方法，其特征在于，所述方法包括：

获取目标物到人眼的距离dis；

根据目标物到人眼的距离dis和预设距离映射关系δ，获取与目标物到人眼的距离dis对应的左右两组有效显示信息的中心点对坐标数据，其中，所述预设距离映射关系δ表示所述中心点对坐标数据与目标物到人眼的距离dis之间的映射关系；

根据所述中心点对坐标数据，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

2.如权利要求1所述的方法，其特征在于，通过双目立体视觉系统获得目标物到人眼的距离dis。

3.如权利要求2所述的方法，其特征在于，根据如下表达式确定所述目标物到人眼的距离dis：

$dis=Z+h=\frac{fT}{x^l-x^r}+h$

其中，h表示双目立体视觉系统距人眼距离，Z表示目标物与双目立体视觉系统之间的距离，Z表示基线距，f表示焦距，x^l和x^r分别表示目标物在左图像和右图像中的x坐标。

4.如权利要求1所述的方法，其特征在于，通过视线追踪系统检测人眼注视目标物时空间视线信息数据，并根据所述空间视线信息数据确定目标物到人眼的距离dis。

5.如权利要求4所述的方法，其特征在于，根据如下表达式确定所述目标物到人眼的距离dis：

$dis=R_z+\frac{cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\β}}\right)*(L_x-R_x)+cos\left(R_{\mathrm{\γ}}\right)*cos\left(L_{\mathrm{\α}}\right)*(R_y-L_y)}{\cos \left(L_{\mathrm{\β}}\right)*\cos \left(R_{\mathrm{\α}}\right)-cos\left(L_{\mathrm{\α}}\right)*cos\left(R_{\mathrm{\β}}\right)}$

其中，(L_x,L_y,L_z)和(L_α,L_β,L_γ)分别表示左视线矢量上目标点的坐标和方向角，(R_x,R_y,R_z)和(R_α,R_β,R_γ)分别表示右视线矢量上目标点的坐标和方向角。

6.如权利要求1所述的方法，其特征在于，通过摄像机成像比例来确定目标物到人眼的距离dis。

7.如权利要求1所述的方法，其特征在于，通过景深摄像机来确定目标物到人眼的距离dis。

8.如权利要求1所述的方法，其特征在于，在所述方法中，以中心点对坐标为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

9.如权利要求1所述的方法，其特征在于，在所述方法中，以偏移中心点对坐标预设方位的位置为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：当使用者初次使用所述头戴设备时和/或当所述使用者每次使用所述头戴设备时，修正所述预设距离映射关系δ。

11.如权利要求1所述的方法，其特征在于，修正所述预设距离映射关系δ的步骤包括：

控制头戴设备的图像显示源将预设信息源图像，分别显示在左右图像显示源上；

获取在观察到左右图像显示源上显示的预设信息源图像在人眼前方重叠在一起时人眼的视线空间矢量，并根据所述空间视线矢量得到第一距离；

根据所述预设信息源图像在所述左右图像显示源上的坐标数据，利用预设距离映射关系δ得到第二距离；

根据所述第一距离和第二距离，确定修正因子；

利用所述修正因子对所述预设距离映射关系δ进行修正。

12.如权利要求1所述的方法，其特征在于，所述预设距离映射关系δ表示为：

$dis\⇒h(SL,SR)$

其中，dis表示目标物到人眼的距离，h表示拟合曲线函数，(SL,SR)表示左右两组有效显示信息的中心点对的坐标数据。

13.如权利要求1所述的方法，其特征在于，在所述方法中，构建所述预设距离映射关系δ包括：

步骤一、在所述左右图像显示源的预设位置处显示预设测试图像；

步骤二、获取用户注视虚拟测试图时的视线空间矢量，根据所述视线空间矢量和所述预设测试图像的显示位置，确定一组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据；

步骤三、按预设规律依次缩小所述预设测试图像的中心距离，并重复步骤二，直至得到k组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据；

步骤四、对所述k组所述预设测试图像位置和与对应的目标物距离人眼的距离的映射关系数据进行拟合，构建得到所述预设距离映射关系δ。

14.一种能自动调节景深的双目AR头戴设备，其特征在于，其包括：

光学系统；

图像显示源，其包括左图像显示源和右图像显示源；

距离数据采集模块，其用于获取与目标物到人眼的距离dis有关的数据；

数据处理模块，其与所述距离数据采集模块连接，其用于根据所述与目标物到人眼的距离dis有关的数据确定目标物到人眼的距离dis，并结合预设距离映射关系δ，确定与目标物到人眼的距离dis对应的左右两组有效显示信息的中心点对坐标数据，并根据所述中心点对坐标数据，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上；

其中，所述预设距离映射关系δ表示所述中心点对坐标数据与目标物到人眼的距离dis之间的映射关系。

15.如权利要求14所述的双目AR头戴设备，其特征在于，所述距离数据采集模块包括以下所列项中的任一项：

单个摄像机、双目立体视觉系统、景深摄像机和视线追踪系统。

16.如权利要求14所述的双目AR头戴设备，其特征在于，所述数据处理模块配置为以偏移中心点对坐标预设方位的位置为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

17.如权利要求14所述的双目AR头戴设备，其特征在于，所述数据处理模块配置为以中心点对坐标为中心位置，将需显示的虚拟信息的信息源图像，分别显示在左右图像显示源上。

18.如权利要求14所述的双目AR头戴设备，其特征在于，所述双目AR头戴设备还在使用者初次使用所述头戴设备时和/或当所述使用者每次使用所述头戴设备时，修正所述预设距离映射关系δ。

19.如权利要求14所述的双目AR头戴设备，其特征在于，所述预设距离映射关系δ表示为：

$dis\⇒h(SL,SR)$

其中，dis表示目标物到人眼的距离，h表示拟合曲线函数，(SL,SR)表示左右两组有效显示信息的中心点对的坐标数据。