CN110782499B - 一种增强现实设备的标定方法、标定装置及终端设备 - Google Patents

Abstract

本申请属于增强现实技术领域，提供一种增强现实设备的标定方法、标定装置及终端设备，通过增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像，通过位于显示模组的眼动范围区域内的标定用相机拍摄虚拟图像获得第一图像；通过标定用相机拍摄标定板图像获得第二图像；根据第一图像中标志点的坐标和第二图像中标志点的坐标获得虚拟图像的移动距离；根据移动距离移动虚拟图像使虚拟图像与标定板图像对齐；通过增强现实设备的跟踪相机拍摄标定板图像获得第三图像；根据第一图像中标志点的坐标和第三图像中标志点的三维坐标获得跟踪相机坐标系与显示模组坐标系之间的转换关系，通过标定用相机代替人眼，减少了利用人眼主观判断带来的系统误差。

Description

一种增强现实设备的标定方法、标定装置及终端设备

技术领域

本申请属于增强现实(Augmented Reality，AR)技术领域，尤其涉及一种增强现实设备的标定方法、标定装置及终端设备。

背景技术

增强现实，是通过电脑技术，将虚拟的信息应用到真实世界，使真实的环境和虚拟的物体实时地叠加到同一个画面或空间中，使之能够同时存在。通过增强现实技术，人们可以看到虚实结合的场景。光学透射式头盔显示器(optical see-through head-mounteddisplay)，具有一个半透半反的光学系统，它一方面像普通眼镜一样可以透过外部的环境光，使用户可以看到眼前的真实世界，另一方面可以反射来自微型显示模组的图像，叠加到人的视野中。光学透射式头盔显示器的一个典型特征，是可以实现虚拟和现实场景的组合。需要通过摄像头采集真实场景，并知道摄像头和现实场景的位置关系，通过坐标系的几何变换，获取虚拟物体在微型显示模组中的渲染位置。

目前，主要通过单点主动对准法(Single Point Active Alignment Method，SPAAM)或使用瞄准装置对准的方式来标定光学透射式头盔显示器。单点主动对准法需要在光学透射式头盔显示器上额外增加一个摄像头，摄像头与光学透射式头盔显示器之间的位置关系需要标定，要求用户佩戴光学透射式头盔显示器，并且将微型显示模组中的一些十字光标与现实世界中的物体进行多次对齐，多次对齐需要通过转动头部来完成，获取数据后通过直接线性变换(Direct Linear Transform，DLT)方法构建方程组求解投影矩阵。使用瞄准装置对准的方法需要将瞄准装置与微型显示模组中的十字叉丝对准，瞄准装置包括一个需要通过移动手臂来确认对准完成的触发器。单点主动对准法需要用户佩戴光学透射式头盔显示器并多次转动头部，不利于操作，；使用瞄准装置对准的方法需要用户多次移动手臂，来实现虚拟点和真实点对齐，并且二种方法都需要利用人眼主观判断，来实现虚拟点与真实点对齐，判断精度有限，易产生疲劳。

申请内容

有鉴于此，本申请实施例提供了一种增强现实设备的标定方法、标定装置及终端设备，以解决现有技术中单点主动对准法或使用瞄准装置对准的方法需要利用人眼主观判断，来实现虚拟点与真实点对齐，判断精度有限，易产生疲劳的问题。

本申请实施例的第一方面提供了一种增强现实设备的标定方法，包括：

在增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过位于所述显示模组的眼动范围区域内的标定用相机拍摄所述虚拟图像，获得第一图像；

通过所述标定用相机拍摄所述标定板图像，获得第二图像；

根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离；

根据所述移动距离移动所述虚拟图像；

在所述虚拟图像与所述标定板图像对齐时，通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像；

根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

本申请实施例的第二方面提供了一种增强现实设备的标定装置，包括：

标定用相机，位于增强现实设备的显示模组的眼动范围区域内；

标定板，位于所述标定用相机和所述增强现实设备的跟踪相机的视野范围内；

第一拍摄模块，用于在所述增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过所述标定用相机拍摄所述虚拟图像，获得第一图像；

第二拍摄模块，用于通过所述标定用相机拍摄所述标定板图像，获得第二图像；

第一获取模块，用于根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离；

移动模块，用于根据所述移动距离移动所述虚拟图像；

第三拍摄模块，用于在所述虚拟图像与所述标定板图像对齐时，通过所述跟踪相机拍摄所述标定板图像获得第三图像；

第二获取模块，用于根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

第三获取模块，用于根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例第一方面所述标定方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面所述标定方法的步骤。

本申请实施例通过在增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过位于显示模组的眼动范围区域内的标定用相机拍摄虚拟图像，获得第一图像；通过标定用相机拍摄标定板图像，获得第二图像；根据第一图像中标志点的坐标和第二图像中标志点的坐标，获得虚拟图像的移动距离；根据移动距离移动虚拟图像，使虚拟图像与标定板图像对齐；通过增强现实设备的跟踪相机拍摄标定板图像获得第三图像，并根据第三图像中标志点的坐标以及标定板图像所在平面与跟踪相机之间的距离，获得第三图像中标志点的三维坐标；在虚拟图像与标定板图像对齐之后，根据第一图像中标志点的坐标和第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系，通过标定用相机代替人眼，利用机器视觉检测方法实现虚拟图像与真实的标定板图像对齐，减少了利用人眼主观判断带来的系统误差，提高了精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的标定装置的结构示意图；

图2是本申请实施例提供的标定方法的第一种流程示意图；

图3是本申请实施例提供的棋盘格图像的示意图；

图4是本申请实施例提供的标定方法的第二种流程示意图；

图5是本申请实施例提供的标定方法的第三种流程示意图；

图6是本申请实施例提供的标定方法的第四种流程示意图；

图7是本申请实施例提供的坐标系的示意图；

图8是本申请实施例提供的标定装置的结构示意图；

图9是本申请实施例提供的终端设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

如图1所示，本申请实施例提供一种增强现实设备100的标定装置，包括标定用相机1和标定板2，标定用相机1位于增强现实设备100的显示模组10的眼动范围(eye-box，指的是显示模组与眼球之间的一块锥形区域，也是显示内容最清晰的区域，超出该区域的范围可能会呈现图像扭曲、显色错误，甚至不显示内容等问题)区域11内，标定板2位于标定用相机1和增强现实设备100的跟踪相机20的视野范围内。

在应用中，增强现实设备可以是光学透射式头盔显示器，也可以是其他类型的光学透射式增强现实设备。标定用相机可以是工业相机，也可以是任意具有摄像功能的摄像设备，例如手机、平板电脑或其他非工业相机。标定用相机和增强现实设备设置在同一侧，标定板设置在与标定用相机和增强现实设备相对的一侧，标定板图像朝向标定用相机和跟踪相机的镜头设置，位于标定用相机和跟踪相机的视野范围内，使得标定用相机和跟踪相机能够拍摄到清晰的标定板图像。标定用相机用于代替人眼来观察真实的标定板图像与显示模组显示的虚拟图像。

在一个实施例中，所述标定装置还包括固定夹具，用于将所述标定用相机固定在所述显示模组的眼动范围区域内。

在应用中，固定夹具可以根据实际需要设置为任意形状和构造，只要能起到将标定用相机固定在显示模组的眼动范围区域内的作用即可。标定板可以直接放置在任意的固定平台上，也可以通过固定夹具固定在标定用相机和跟踪相机的视野范围内。增强现实设备可以直接放置在任意的固定平台上，也可以通过固定夹具固定。

在一个实施例中，所述标定用相机的固定位置可调。

在应用中，固定夹具的形状和构造使得标定用相机在固定夹具的固定位置可调，例如，固定夹具可以包括滑轨，标定用相机可以通过在滑轨滑动以改变其固定位置。

在一个实施例中，所述标定板为反射式或透射式图卡。

在应用中，标定板可以根据实际需要选择反射式或透射式图卡，其中，透射式图卡使得标定用相机和跟踪相机可以获得锐度更高的图像，环境适应性较好，不易反光。

如图2所示，本申请实施例提供一种基于标定装置实现的增强现实设备的标定方法，该标定方法具体可以由标定用相机1来执行，也可以由与标定用相机1通信连接的具备控制功能的终端设备来执行，例如，上位机，具体可以是工业计算机、桌上型计算机、笔记本电脑、服务器等计算设备，也可以是手机、平板电脑、个人数字助理等移动终端。所述标定方法包括：

步骤S201、在增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过位于所述显示模组的眼动范围区域内的标定用相机拍摄所述虚拟图像，获得第一图像。

在应用中，步骤S201之前，包括：在增强现实设备的显示模组的显示区域点亮时，在显示模组的显示区域渲染一个与标定板图像尺度相同的虚拟图像。与标定板图像尺度相同是指与标定板图像的尺寸大小、比例以及内容完全一致的图像。

步骤S202、通过所述标定用相机拍摄所述标定板图像，获得第二图像。

在应用中，步骤S202中是在显示区域熄灭不显示任何图像时，通过标定用相机拍摄标定板图像，获得第二图像。

步骤S203、根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离。

在应用中，标定板图像和虚拟图像为棋盘格图像，标志点为棋盘格角点。标志点可以包括棋盘格图像中的全部或部分棋盘格角点，例如，标志点可以包括位于棋盘格图像中部区域的部分棋盘格角点。第一图像中标志点的坐标为标志点在标定用相机坐标系中的坐标，标定用相机坐标系是以标定用相机的成像平面作为XY平面的平面坐标系；第二图像中标志点的坐标为标志点在显示模组坐标系中的坐标，显示模组坐标系是以显示模组的成像平面作为XY平面的平面坐标系。

如图3所示，示例性的示出了一个棋盘格图像300，以及14个作为标志点的棋盘格角点301。

如图4所示，在一个实施例中，步骤S203包括：

步骤S401、获取所述第一图像中标志点的坐标，并计算所述第一图像中相邻两个标志点在标定用相机坐标系中的第一间距；

步骤S402、获取所述第二图像中标志点的坐标，并计算所述第二图像中相邻两个标志点在显示模组坐标系中的第二间距；

步骤S403、根据所述第一间距和所述第二间距，计算所述显示模组坐标系相对于所述标定用相机坐标系的尺度缩放因子；

步骤S404、根据所述第一图像中标志点的坐标、所述第二图像中标志点的坐标及所述尺度缩放因子，获得所述虚拟图像的移动距离。

在应用中，在步骤S401中，第一间距即为第一图像中相邻两个棋盘格角点之间的间距，例如，第一图像中两个相邻标志点的坐标分别为(x1，y1)和(x2，y2)，则第一间距d_Watch＝|x1-x2|＝|y1-y2|。同理，在步骤S402中，第二间距即为第二图像中相邻两个棋盘格角点之间的间距，例如，第二图像中两个相邻标志点的坐标分别为(x1’，y1’)和(x2’，y2’)，则第二间距d_Disp＝|x1’-x2’|＝|y1’-y2’|。在步骤S403中，尺度缩放因子等于第二间距与第一间距的比值，即尺度缩放因子coef＝d_Disp/d_Watch。在步骤S404中移动距离等于第一图像和第二图像中同名点之间的间距与尺度缩放因子的乘积，同名点是指实际场景中的同一个点在两幅不同图像中的像素点。

如图5所示，在一个实施例中，步骤S404包括：

步骤S501、根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得同名标志点之间的第三间距；

步骤S502、根据所述第三间距和所述尺度缩放因子，获得所述虚拟图像的移动距离。

在应用中，在步骤S501中，第三间距为二维坐标向量，可以根据第一图像和第二图像中两个同名标志点的坐标计算得到。例如，假设第一图像中标志点(x1，y1)和第二图像中标志点(x1’，y1’)为同名标志点，则第三间距d_samePoint(dx，dy)＝(x1’-x1，y1’-y1)，x1’-x1或y1’-y1中任一个为0时，第三间距为一维坐标向量，x1’-x1和y1’-y1均为0时，第三间距为0，对应的，虚拟图像的移动距离也为0。在步骤S502中，虚拟图像的移动距离等于第三间距与尺度缩放因子的乘积，即移动距离d_moveDisp(dx，dy)＝d_samePoint(dx，dy)×coef。

如图6所示，在一个实施例中，步骤S501之后，包括：

步骤S601、比较所述第三间距与预设门限值之间的大小；在所述第三间距大于所述预设门限值时，进入步骤S502；在所述第三间距小于或等于所述预设门限值时，进入步骤S205。

在应用中，第三间距大于预设门限值，表明虚拟图像未与标定板图像对齐，此时需要进入步骤S502获得移动距离，进而在步骤S204中根据移动距离移动虚拟图像；第三间距小于或等于预设门限值，表明虚拟图像与标定板图像对齐，无需移动虚拟图像，可进入步骤S205，继续执行后续步骤。

步骤S204、根据所述移动距离移动所述虚拟图像。

在一个实施例中，步骤S204包括：根据所述移动距离，以预设像素长度为单位移动所述虚拟图像。

在应用中，预设像素长度可以根据实际需要设置为虚拟图像中的一个像素长度或者一个以上像素长度，预设像素长度可调。在移动虚拟图像的过程中，可以实时重复执行前述步骤S201～S601，实时获得第三间距与预设门限值之间的大小关系，第三间距与预设门限值之间的差值较大，则以一个较大的预设像素长度为单位移动虚拟图像，反之则以一个较小的预设像素长度为单位移动虚拟图像，实现步进式调节。预设像素长度正比于第三间距与预设门限值之间的差值。

在应用中，根据移动距离移动虚拟图像，可由标定装置自动控制增强现实设备实现，也由用户控制与增强现实设备通信连接的鼠标、手柄或键盘，以移动显示模组中显示的虚拟鼠标来实现，鼠标、手柄或键盘可以作为增强现实设备的一部分，也可以作为标定装置的一部分。

在一个实施例中，步骤S204之后包括：

在所述虚拟图像未与所述标定板图像对齐时返回步骤S201；在所述虚拟图像与所述标定板图像对齐时进入步骤S205。

在应用中，在步骤S204之后，若虚拟图像未与标定板图像对齐，则需要返回步骤S201，重复执行步骤S201～S204，反复移动虚拟图像，直到虚拟图像与标定板图像对齐时，可进入步骤S205，继续执行后续步骤。

步骤S205、在所述虚拟图像与所述标定板图像对齐时，通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像；

步骤S206、根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标。

在应用中，第三图像也为棋盘格图像，第三图像中标志点的坐标为棋盘格角点的坐标。第三图像中标志点的三维坐标为第三图像中标志点在跟踪相机坐标系中的坐标，该跟踪相机坐标系是以跟踪相机的成像平面为XY平面、垂直于跟踪相机的成像平面且由跟踪相机的成像平面指向标定板的方向(或由标定板指向跟踪相机的成像平面)为Z轴方向建立的三维坐标系。标定板图像所在平面与跟踪相机之间的距离即为标定板所在平面与跟踪相机的成像平面之间的距离，该距离是已知的，可以根据实际测量获得，也可以通过深度相机来获得，以提高测量精度，深度相机可以作为增强现实设备的一部分，也可以作为标定装置的一部分。

步骤S207、根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

在一个实施例中，步骤S207包括：根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，通过奇异值分解算法获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

在应用中，第一图像中标志点的坐标为二维坐标，可以通过奇异值分解算法(Singular Value Decomposition，SVD)来进行坐标转换，得到跟踪相机坐标系与显示模组坐标系之间的转换关系。

在一个实施例中，通过奇异值分解算法来对增强现实设备进行标定的原理如下：

如图7所示，定义坐标系W表示世界坐标系，坐标系C表示跟踪相机坐标系，坐标系S表示显示模组坐标系，坐标系V表示人眼与光学透射式头盔显示器的成像平面组成的一个针孔模型的虚拟摄像机的坐标系统(相当于标定用相机坐标系)。

标定的目的是为了获得跟踪相机坐标系与显示模组坐标系之间的映射关系。

假设空间中任意一点P，在世界坐标系W中的坐标为Pw，在跟踪相机坐标系C中的坐标为Pc，通过显示模组的显示区域看点P，点P在显示模组坐标系中的坐标为Ps，则得到如下两个等式：

Pc＝[Rwc|Twc；0001]Pw；

Ps＝K[Rcv|Tcv]Pc；

其中，Pw和Pc是三维位置的齐次坐标(齐次坐标就是将一个原本是n维的向量用一个n+1维向量来表示，是用于投影几何中的坐标系统)，因此Pw和Pc都是四维向量。Ps是二维位置的齐次坐标，因此是三维向量。每一个出现的R都是3*3的旋转矩阵，每个T都是3*1的平移向量，T是包含3个元素的列向量。K是表示包含人眼的虚拟摄像机的内参数矩阵，是3*3矩阵。令Ps＝[u v 1]T，Pc＝[xc yc zc 1]T，G＝[g11 g12 g13 g14；g21 g22 g23 g24；g31g32 g33 g34]，则得到如下表达式：

我们要标定的是G，G表示踪相机坐标系与显示模组坐标系之间的映射关系，根据G实现从踪相机坐标系到显示模组坐标系之间的坐标转换，可以在显示模组的显示区域对现实中的真实物体做虚拟信息标注。G也可以分解成内参数矩阵和旋转矩阵、平移矩阵(平移矩阵是平移向量看成n*1时的矩阵)，这样，不仅可以进行文字标注，还可以根据虚拟摄像机和跟踪摄像机之间的空间位置关系，进行三维虚拟物体的叠加，从而可以实现在真实世界中叠加一些虚拟的人物、建筑等物体的效果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

如图8所示，在一个实施例中，标定装置还包括用于实现上述标定方法的如下功能模块：

第一拍摄模块801，用于在所述增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过所述标定用相机拍摄所述虚拟图像，获得第一图像；

第二拍摄模块802，用于通过所述标定用相机拍摄所述标定板图像，获得第二图像；

第一获取模块803，用于根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离；

移动模块804，用于根据所述移动距离移动所述虚拟图像；

第三拍摄模块805，用于在所述虚拟图像与所述标定板图像对齐时，通过所述跟踪相机拍摄所述标定板图像获得第三图像；

第二获取模块806，用于根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

第三获取模块807，用于根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

在一个实施例中，标定装置还包括比较模块，用于：

比较所述第三间距与预设门限值之间的大小；

在所述第三间距大于所述预设门限值时，执行根据所述第三间距和所述尺度缩放因子，获得所述虚拟图像的移动距离的操作；

在所述第三间距小于或等于所述预设门限值时，执行通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像，并根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标的操作。

在一个实施例中，所述移动模块还用于返回第一拍摄模块。

在应用中，标定装置所包括的上述模块可以是标定用相机的处理器中的软件程序模块，也可以是与标定用相机通信连接的具备控制功能的终端设备的处理器中的软件程序模块，比较模块可以是比较器。

本申请实施例通过在增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过位于显示模组的眼动范围区域内的标定用相机拍摄虚拟图像，获得第一图像；通过标定用相机拍摄标定板图像，获得第二图像；根据第一图像中标志点的坐标和第二图像中标志点的坐标，获得虚拟图像的移动距离；根据移动距离移动虚拟图像，使虚拟图像与标定板图像对齐；通过增强现实设备的跟踪相机拍摄标定板图像获得第三图像，并根据第三图像中标志点的坐标以及标定板图像所在平面与跟踪相机之间的距离，获得第三图像中标志点的三维坐标；在虚拟图像与标定板图像对齐之后，根据第一图像中标志点的坐标和第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系，通过标定用相机代替人眼，利用机器视觉检测方法实现虚拟图像与真实的标定板图像对齐，减少了利用人眼主观判断带来的系统误差，提高了精度。

如图9所示，本申请的一个实施例还提供的一种终端设备9，包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如标定程序。所述处理器90执行所述计算机程序92时实现上述各个标定方法实施例中的步骤，例如图2所示的步骤S201至S207。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块的功能，例如图8所示模块801至807的功能。

示例性的，所述计算机程序92可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器91中，并由所述处理器90执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成第一拍摄模块，第二拍摄模块，第一获取模块，移动模块，第三拍摄模块，第二获取模块，第三获取模块，各模块具体功能如下：

第一拍摄模块，用于在所述增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过所述标定用相机拍摄所述虚拟图像，获得第一图像；

第二拍摄模块，用于通过所述标定用相机拍摄所述标定板图像，获得第二图像；

第一获取模块，用于根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离；

移动模块，用于根据所述移动距离移动所述虚拟图像；

第三拍摄模块，用于在所述虚拟图像与所述标定板图像对齐时，通过所述跟踪相机拍摄所述标定板图像获得第三图像；

第二获取模块，用于根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

第三获取模块，用于根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器90可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91可以是所述终端设备9的内部存储模块，例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储模块也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块、模块完成，即将所述装置的内部结构划分成不同的功能模块或模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块、模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中模块、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种增强现实设备的标定方法，其特征在于，包括：

在增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过位于所述显示模组的眼动范围区域内的标定用相机拍摄所述虚拟图像，获得第一图像；

通过所述标定用相机拍摄所述标定板图像，获得第二图像；

根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离，包括：获取所述第一图像中标志点的坐标，并计算所述第一图像中相邻两个标志点在标定用相机坐标系中的第一间距；获取所述第二图像中标志点的坐标，并计算所述第二图像中相邻两个标志点在显示模组坐标系中的第二间距；根据所述第一间距和所述第二间距，计算所述显示模组坐标系相对于所述标定用相机坐标系的尺度缩放因子；根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得同名标志点之间的第三间距；比较所述第三间距与预设门限值之间的大小；在所述第三间距大于所述预设门限值时，执行根据所述第三间距和所述尺度缩放因子，获得所述虚拟图像的移动距离的操作；在所述第三间距小于或等于所述预设门限值时，执行通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像，并根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标的操作；第一图像中标志点的坐标为标志点在标定用相机坐标系中的坐标，第二图像中标志点的坐标为标志点在显示模组坐标系中的坐标；

根据所述移动距离移动所述虚拟图像；

返回执行通过位于所述显示模组的眼动范围区域内标定用相机拍摄所述虚拟图像，获得第一图像的操作；

在所述第三间距小于或等于所述预设门限值时，通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像；

根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

2.如权利要求1所述的增强现实设备的标定方法，其特征在于，根据所述移动距离移动所述虚拟图像，包括：

根据所述移动距离，以预设像素长度为单位移动所述虚拟图像。

3.如权利要求1所述的增强现实设备的标定方法，其特征在于，所述标定板图像和所述虚拟图像为棋盘格图像，所述标志点为棋盘格角点。

4.如权利要求1所述的增强现实设备的标定方法，其特征在于，根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系，包括：

根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，通过奇异值分解算法获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

5.一种增强现实设备的标定装置，其特征在于，包括：

标定用相机，位于增强现实设备的显示模组的眼动范围区域内；

标定板，位于所述标定用相机和所述增强现实设备的跟踪相机的视野范围内；

第一拍摄模块，用于在所述增强现实设备的显示模组显示与标定板图像尺度相同的虚拟图像时，通过所述标定用相机拍摄所述虚拟图像，获得第一图像；

第二拍摄模块，用于通过所述标定用相机拍摄所述标定板图像，获得第二图像；

第一获取模块，用于根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得所述虚拟图像的移动距离，包括：获取所述第一图像中标志点的坐标，并计算所述第一图像中相邻两个标志点在标定用相机坐标系中的第一间距；获取所述第二图像中标志点的坐标，并计算所述第二图像中相邻两个标志点在显示模组坐标系中的第二间距；根据所述第一间距和所述第二间距，计算所述显示模组坐标系相对于所述标定用相机坐标系的尺度缩放因子；根据所述第一图像中标志点的坐标和所述第二图像中标志点的坐标，获得同名标志点之间的第三间距；第一图像中标志点的坐标为标志点在标定用相机坐标系中的坐标，第二图像中标志点的坐标为标志点在显示模组坐标系中的坐标；

比较模块，用于比较所述第三间距与预设门限值之间的大小；在所述第三间距大于所述预设门限值时，执行根据所述第三间距和所述尺度缩放因子，获得所述虚拟图像的移动距离的操作；在所述第三间距小于或等于所述预设门限值时，执行通过所述增强现实设备的跟踪相机拍摄所述标定板图像获得第三图像，并根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标的操作；

移动模块，用于根据所述移动距离移动所述虚拟图像，用于返回第一拍摄模块；

第三拍摄模块，用于在所述虚拟图像与所述标定板图像对齐时，通过所述跟踪相机拍摄所述标定板图像获得第三图像；

第二获取模块，用于根据所述第三图像中标志点的坐标以及所述标定板图像所在平面与所述跟踪相机之间的距离，获得所述第三图像中标志点的三维坐标；

第三获取模块，用于根据所述第一图像中标志点的坐标和所述第三图像中标志点的三维坐标，获得跟踪相机坐标系与显示模组坐标系之间的转换关系。

6.如权利要求5所述的增强现实设备的标定装置，其特征在于，还包括固定夹具，用于将所述标定用相机固定在所述显示模组的眼动范围区域内，所述标定用相机的固定位置可调。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述标定方法的步骤。

Images