CN114663495A

CN114663495A - 校准方法和装置、头戴显示设备及计算机可读存储介质

Info

Publication number: CN114663495A
Application number: CN202210282102.1A
Authority: CN
Inventors: 王薪宇; 徐乃江; 尚晓明
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2022-06-24

Abstract

本申请公开一种头戴显示设备的校准方法、头戴显示设备的校准装置、头戴显示设备及非易失性计算机可读存储介质。校准方法包括：在显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机和参考标识的相对位姿；在相对位姿满足预定条件的情况下，获取参考标识在定位相机所在的相机坐标系内的坐标；利用头戴显示设备预设的初始校准参数，将参考标识在相机坐标系内的坐标投影到述显示器的虚拟平面上；及根据预设函数调整初始标准参数以得到目标校准参数，预设函数为关于：在虚拟平面所在的虚拟平面坐标系内，述设定标识的坐标与述参考标识的坐标之间的误差的函数。

Description

校准方法和装置、头戴显示设备及计算机可读存储介质

技术领域

本申请涉及头戴显示设备技术领域，更具体而言，涉及一种头戴显示设备的校准方法、头戴显示设备的校准装置、头戴显示设备及非易失性计算机可读存储介质。

背景技术

光学透明头戴式显示器(optical see-through head-mounted display，OSTHMD)是增强现实技术的主要输出介质，其基本结构由三个主要组件组成：图像发生器(即生成虚拟图像的微显示器)、将虚拟和真实内容合并在一起的光学组合器，以及在舒适的视距下放大和准直虚拟图像的成像光学元件。而用户在使用光学透明头戴式显示器前，需要对光学透明头戴式显示器进行校准，以获取较为舒适的视距。目前，在校准光学透明头戴式显示器，往往需要获取用户手指在空间中的位置，并不能很好的保证校准的精度。

发明内容

本申请实施方式提供一种头戴显示设备的校准方法、头戴显示设备的校准装置、头戴显示设备及非易失性计算机可读存储介质。

本申请实施方式的头戴显示设备的校准方法包括：在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿；在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标；利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上；及根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

本申请实施实施方式的头戴显示设备的校准装置包括位姿获取模块、坐标获取模块、投影模块和优化模块。位姿获取模块用于在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿。坐标获取模块用于在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标。投影模块用于利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上。优化模块，用于根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

本申请实施方式的头戴显示设备包括一个或多个处理器、存储器及一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行。所述程序包括用于执行如下的校准方法的指令：在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿；在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标；利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上；及根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

本申请实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下校准方法：在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿；在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标；利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上；及根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

本申请实施方式的头戴显示设备的校准方法、头戴显示设备的校准装置、头戴显示设备及非易失性计算机可读存储介质中，首先在显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机和参考标识的相对位姿，并在相对位姿满足预定条件时，得到参考标识在定位相机所在的相机坐标系内的坐标，接下来，再利用头戴显示设备预设的初始校准参数，以将参考标识在相机坐标系内的坐标投影到显示器的虚拟平面上，即将现实中参考标识的坐标点转化为显示器的虚拟平面的坐标点。如此，便可根据能够表征虚拟平面所在的虚拟平面坐标系中，设定标识的坐标与参考标识的坐标之间的误差的函数，以得到误差最小时，头戴显示设备中的各项参数的校准数值，从而可根据该校准数值对头戴显示设备进行校准，以得到符合不同用户使用需求且精确性较高的校准参数，以提高用户的使用体验。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的头戴显示设备的校准方法的流程示意图；

图2是本申请某些实施方式的头戴显示设备的校准装置的结构示意图；

图3是本申请某些实施方式的头戴显示设备的结构示意图；

图4和图5是本申请某些实施方式的头戴显示设备的校准方法的场景示意图；

图6和图7是本申请某些实施方式的头戴显示设备的校准方法的流程示意图；

图8是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图3，本申请实施方式提供一种头戴显示设备100的校准方法。该校准方法包括步骤：

01：在显示器20中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机30和参考标识的相对位姿；

03：在相对位姿满足预定条件的情况下，获取参考标识在定位相机30所在的相机坐标系内的坐标；

05：利用头戴显示设备100预设的初始校准参数，将参考标识在相机坐标系内的坐标投影到显示器20的虚拟平面上；及

07：根据预设函数调整初始标准参数以得到目标校准参数，预设函数为关于：在虚拟平面的虚拟平面坐标系内，设定标识的坐标与参考标识的坐标之间的误差的函数。

请参阅图2，本申请实施方式提供一种头戴显示设备100的校准装置10。头戴显示设备100的校准装置10包括位姿获取模块11、坐标获取模块12、投影模块13及优化模块14。本申请实施方式的头戴显示设备100的校准方法可应用于种头戴显示设备100的校准装置10。其中，位姿获取模块11、坐标获取模块12、投影模块13和优化模块14分别用于执行步骤01、步骤03、步骤05和步骤07。即，位姿获取模块11用于在显示器20中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机30和参考标识的相对位姿。坐标获取模块12用于：在相对位姿满足预定条件的情况下，获取参考标识在定位相机30所在的相机坐标系内的坐标。投影模块13用于利用头戴显示设备100预设的初始校准参数，将参考标识在相机坐标系内的坐标投影到显示器20的虚拟平面上。优化模块14用于根据预设函数调整初始标准参数以得到目标校准参数，预设函数为关于：在虚拟平面的虚拟平面坐标系内，设定标识的坐标与参考标识的坐标之间的误差的函数。

请参阅图3，本申请实施方式提供一种头戴显示设备100。本申请实施方式的校准方法可应用于头戴显示设备100。头戴显示设备100包括一个或多个处理器40、存储器及一个或多个程序。一个或多个程序被存储在存储器中，并且被一个或多个处理器40执行。一个或多个程序包括用于执行步骤01、步骤03、步骤05和步骤07中的方法。即，处理器40执行一个或多个程序时可：在显示器20中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机30和参考标识的相对位姿；在相对位姿满足预定条件的情况下，获取参考标识在定位相机30所在的相机坐标系内的坐标；利用头戴显示设备100预设的初始校准参数，将参考标识在相机坐标系内的坐标投影到显示器20的虚拟平面上；及根据预设函数调整初始标准参数以得到目标校准参数，预设函数为关于：在虚拟平面所在的虚拟平面坐标系内，设定标识的坐标与所述参考标识的坐标之间的误差的函数。

进一步地，头戴显示设备100可包括显示器20和定位相机30，显示器20用于显示图像，定位相机30用于获取头戴显示设备100在现实空间中的位置。如，定位相机30可以是跟踪相机，用于实时获取头戴显示设备100在世界坐标系中的六个自由度(绕X轴、Y轴、Z轴的旋转和沿X轴、Y轴、Z轴的平移)的位姿。

请参阅图2，头戴显示设备100还可包括壳体50。显示器20、定位相机30和处理器40设置于壳体50。壳体50还可用于安装头戴显示设备100的成像装置、供电装置、通信装置等功能模块，以使壳体50为功能模块提供防尘、防摔、防水等保护。

其中，当头戴显示设备100工作时，定位相机30可以获取头戴显示设备30在现实空间中的位置，即与现实空间中物体的相对位姿，处理器40可将相对位姿传输给显示器20，显示器20可以显示虚拟图像，显示器20还可透过外部的环境光，使用户可以看到眼前的真实世界，虚拟图像与人眼看到的真实世界叠加，得到增强现实的效果。

具体地，在用户使用头戴显示设备100，为保证用户具有较为舒适的视距，用户先对头戴显示设备100进行校准操作。

请一并参阅图3和图4，首先，在用户通过头戴显示设备100凝视显示器20中显示的设定标识P与现实中的参考标识Q的情况下，即，显示器20中显示的设定标识P与现实中的参考标识Q对齐的过程中，处理器40便可获取定位相机30和参考标识Q的相对位姿。

其中，设定标识P为显示器20中预先设定好的标识。参考标识Q可以是用户在对头戴显示设备100进行校准操作前，设定的参考标识Q，如用户可设定参考标识Q为墙面上的标识，电视上的标识或手机上的标识等。相对位姿为：在世界坐标系下，定位相机30与参考标识Q的相对位姿，此时的相对位姿也可以包括六个自由度中的至少一个，例如绕X轴、Y轴、Z轴的旋转和沿X轴、Y轴、Z轴的平移中的至少一个。在一个实施方式中，相对位姿可用

来表示，其中，

为从终端200的屏幕201所在的世界坐标系W转换至定位相机30所在的相机坐标系C的旋转矩阵，

为从终端200的屏幕201所在的世界坐标系W转换至定位相机30所在的相机坐标系C的平移向量。

如图4所示，本申请实施方式的校准方法，以参考标识Q为终端200上的标识为例进行说明。如参考标识Q为终端200的屏幕201上显示的标识，如此，参考标识Q的尺寸便为已知值，且参考标识Q的各个角点在终端200的坐标系中的坐标同样为已知值。而由于设定标识P为显示器20中预设设定好的标识，因此，设定标识P在显示器20的坐标系中的坐标为已知值。其中，终端200可以是手机、平板电脑、笔记本电脑、智能手表等。本申请实施方式以终端200是手机为例进行说明，可以理解，终端200的具体形式并不限于手机。

更具体地，如图4所示，在用户戴上头戴显示设备100对头戴显示设备100的校准操作时，头戴显示设备100的显示器20便可显示设定标识P，此时，终端200的屏幕201上同样可显示标识，即参考标识Q。

接下来，头戴显示设备100便可提示用户通过移动头部，对应的头戴显示设备100也会跟随移动，或移动终端200，以使显示器20上显示的设定标识P与屏幕201上显示的参考标识Q对齐，并维持一段时间，如1秒、2秒、3秒等。此时，便说明头戴显示设备100处于凝视的情况，即，显示器20中显示的设定标识P与现实中的参考标识Q处于对齐的过程。其中，设定标识P与参考标识Q对齐，可以是设定标识P与参考标识Q的角点Q1对齐，也可以是设定标识P与角点Q2对齐，又可以是设定标识P与角点Q3对齐，还可以是设定标识P与角点Q4对齐。

进一步地，处理器40在获取定位相机30和参考标识的相对位姿前或后，处理器40还需判断头戴显示设备100的凝视是否有效，即，处理器40判断定位相机30与参考标识Q的相对位姿是否满足预定条件，并在头戴显示设备100的凝视有效(相对位姿满足预定条件)的情况下，获取参考标识在定位相机30所在的相机坐标系内的坐标。其中，参考标识可通过如下公式(一)变换为定位相机30的相机坐标系内的坐标。

其中，v^B表示参考标识在定位相机30所在的相机坐标系B内的坐标。v^A表示参考标识在终端200的屏幕201所在的坐标系A内的坐标，

为从坐标系A到坐标系B的刚性变换，

为从终端200的屏幕201所在的坐标系A转换至定位相机30所在的相机坐标系B的旋转矩阵，

为从终端200的屏幕201所在的坐标系A转换至定位相机30所在的相机坐标系B的平移向量。换句话说，处理器40可通过公式(一)将参考标识在屏幕201所在的坐标系A内的坐标转化为在定位相机30所在的相机坐标系B内的坐标。

在一个实施方式中，处理器40可根据判断定位相机30和参考标识的相对位姿的变化是否小于预设阈值(相对位姿是否满足预定条件)，并在定位相机30和参考标识的相对位姿的变化小于预设阈值时，确定头戴显示设备100的凝视有效，即相对位姿满足预定条件。其中，预设阈值为经验值。可以理解，预设阈值代表定位相机30和参考标识的相对位姿的变化值的最大值，当定位相机30和参考标识的相对位姿的变化大于预设阈值(即，相对位姿不满足预定条件)时，则说明用户未将头戴显示设备100的显示器20中显示的设定标识与现实中的参考标识对齐，即误差较大，处理器40便认定头戴显示设备100的凝视无效。

在另一个实施方式中，在用户使用头戴显示设备100进行凝视时，定位相机30会拍摄参考标识，以获取多帧参考标识的图像。如此，处理器40还可通过判断连续的预设帧图像标征的相对位姿的变化均小于预设阈值时，则说明头戴显示设备100的凝视有效，即相对位姿满足预定条件。

其中，预设帧可以是3帧、4帧、5帧或更多帧。可以理解，处理器40判断连续的预设帧图像表征的相对位姿的变化均小于预设阈值时，则说明一定时间内定位相机30拍摄的参考标识，在显示至显示器20显示时，其相对位姿不会发生较大的变化，即相对位姿较为准确，处理器40便可确定头戴显示设备100的凝视有效，即相对位姿满足预定条件。

例如，相对位姿为

处理器40则可通过如下公式(二)，以判断头戴显示设备100的凝视是否有效(即，相对位姿是否满足预定条件)。

其中，

代表第K帧图像中，参考标识Q在定位相机30所在相机坐标系C中的坐标。根据上述公式(二)，可以理解，处理器40会一次计算在第K帧之后的连续三帧图像表征的相对位姿的变化是否小于预设阈值σ，从而判断头戴显示设备100的凝视是否有效(即，相对位姿是否满足预定条件)。并在确定头戴显示设备100的凝视有效(即，相对位姿满足预定条件)时，处理器40还可通过如下公式(三)，以得到参考标识Q在定位相机30所在相机坐标系C中的坐标。

其中，v^C表征参考标识Q在定位相机30所在相机坐标系C中的坐标，可以看出，在处理器40判断连续多帧图像表征的相对位姿的变化均小于预设阈值时，处理器40便会取多帧图像表征的相对位姿的平均值。

在处理器40得到参考标识在定位相机30所在的相机坐标系内的坐标之后，处理器40还会利用头戴显示设备100预设的初始校准参数，以将参考标识在相机坐标系内的坐标投影到显示器20的虚拟平面上进行显示。其中，初始校准参数为离线校准，即头戴显示设备100预先存储的校准参数(头戴显示设备100出厂的时候就已经存储好)，该过程无需用户的操作，便可进行一定程度上的粗校准，以得到能够符合大多用户视距的校准结果。虽然初始校准参数能够适配大多数用户，但是用户之间还是存在个体化差异，初始校准参数并不能适配所有的用户，对于有些用户而言，仅仅采用离线校准获得的初始校准参数，并不准确，使用体验不佳。

为了解决用户因个体差异仅采用离线校准的初始校准参数不能很好适配的问题，本申请的处理器40还可根据预设函数，再对初始校准参数进行调整，以得到目标校准参数。其中，预设函数为关于：在显示器20的虚拟平面M所在的虚拟平面坐标系内，设定标识P的坐标和参考标识Q的坐标之间的误差的函数。可以理解，处理器40根据预设函数，对初始校准参数进行优化后，得到的目标校准参数便可较为准确的校准参考标识Q在显示器20的虚拟平面M的显示位置，以使参考标识Q在虚拟平面M的显示位置与设定标识P在虚拟平面的显示位置之间的重合度误差较小，如此，用户便可获取得到符合自身视距的校准结果，以得到更好的使用体验。

更具体地，预设函数可如下公式(四)所示。

其中，

均为标定参数。f_u和f_v为焦距，c_u和c_v为主点。以f_u、f_v、c_u、c_v和t_x为变量，固定其他参数(即，其他参数为已知量，可为离线校准获得的初始校准参数中的初始值)。

处理器40可通过上述公式(四)，求解出设定标识的坐标和参考标识的坐标之间的误差的最小值时，f_u、f_v、c_u、c_v和t_x为变量的具体数值，这些具体数值可表征最符合当前用户视距的校准参数。

需要说明的是，上述方法仅对头戴显示设备100中的一个显示器20(左显示器20)进行了校准，而头戴显示设备100中的右显示器20的校准方式与左显示器20的校准方式相同，在此不再赘述。

此外，请参阅图5，显示器20中显示的设定标识可以是多个，如P1、P2、P3、P4、P5和P6均可以是设定标识。如此，用户便可通过头戴显示设备100进行多次凝视(即，多次对齐)，每次凝视(对齐)且有效(相对位姿满足预设条件)时，处理器40均执行获取参考标识在定位相机30所在的相机坐标系内的坐标，并将获取到的参考标识在定位相机30所在的相机坐标系内的坐标均投影到虚拟平面的操作。

如此，根据上述公式(四)，处理器40便可对应得到多组预设函数的关系式。因此，处理器40还可根据设定标识的数量，以设定不同数量的变量。如，设定标识的数量为两个时，处理器40便可得到两组预设函数的关系式，此时，处理器40可将f_u、f_v、c_u、c_v和t_x中的任意两个作为变量，其余值为采用离线校准获取的初始校准参数中的初始值，根据两组关系式可求解出两个变量的具体数值。又如，设定标识的数量为五个时，处理器40便可得到五组预设函数的关系式，此时，处理器40可将f_u、f_v、c_u、c_v和t_x均作为变量，再根据五个关系式求解出五个变量的具体数值。变量越多，得到的目标校准参数也就与当前用户越适配。

本申请实施方式的头戴显示设备100的校准方法、头戴显示设备100的校准装置10及头戴显示设备100中，首先在显示器20中显示的设定标识与现实中的参考标识对齐的过程中，获取定位相机30和参考标识的相对位姿，并在相对位姿满足预定条件时，得到参考标识在定位相机30所在的相机坐标系内的坐标，接下来，再利用头戴显示设备100预设的初始校准参数，以将参考标识在相机坐标系内的坐标投影到显示器20的虚拟平面上，即将现实中参考标识的坐标点转化为显示器20的虚拟平面的坐标点。如此，便可根据能够表征虚拟平面所在的虚拟平面坐标系中，设定标识的坐标与参考标识的坐标之间的误差的函数，以得到误差最小时，头戴显示设备100中的各项参数的校准数值，从而可根据该校准数值对头戴显示设备100进行校准，以得到符合不同用户使用需求且精确性较高的校准参数，以提高用户的使用体验。

需要说明的是，本申请的校准方法是在头戴显示设备100出厂后，用户在第一次使用时执行的，校准完成后，该用户的目标校准参数便可存储到头戴显示设备100的存储器中，后续该用户再使用该头戴显示设备100的时候，便可直接调用该目标校准参数，无需每次使用都执行一次该方法，节省了操作时间，提升用户体验。

然而，由于头戴显示设备100在长时间使用之后，内部的元件(例如成像光学元件、光学组合器)等位置发生细微变化，或者结构本身发生老化或磨损等，导致离线校准(出厂前)获取的初始校准参数变得非常不准，间接导致首次使用时依赖该初始校准参数校准得到的目标校准参数也变得不那么准确。为了解决此问题，可以在满足预设条件的情况下，处理器40可控制头戴显示设备100自动启动执行本申请的校准方法，以更新同一用户的目标校准参数，使得该用户的使用体验能够一如既往的好。

在一个实施方式中，预设条件可以是从时间的维度来考虑，比如设置一个校准周期，每间隔一个校准周期，便会执行一次本申请的校准方法，而校准周期的设置可与头戴显示设备100的使用时长相关。例如，头戴显示设备100的处理器40可以记录每次使用的使用时长并累计，当使用时长积累到一个固定值(经验值)时，处理器40便控制头戴显示设备100自动启动采用本申请的校准方法以执行自动校准。

在另一个实施方式中，预设条件可以是从自检结果的维度来考虑，比如头戴显示设备100内部可设有一个或多个自检单元，这些自检单元用于对头戴显示设备100的内部元件(成像光学元件、显示器、或光学组合器)进行检测，当检测结果表明内部元件发生了超过容忍限度的损坏或者位置改变，处理器40便控制头戴显示设备100自动启动采用本申请的校准方法以执行自动校准。而且，哪个内部元件存在问题(超过了容忍限度的损坏或者位置改变)，就可如前所述将该内部元件对应的参数设置为变量，再采用上述公式(四)进行求解，从而更新出该内部元件的参数。

在又一个实施方式中，预设条件还可以是接收到启动校准的命令，例如，头戴显示设备100还可设置有一个启动校准的按键(包括虚拟按键和实体按键)，用户通过按键输入启动校准的命令，处理器40便控制头戴显示设备100启动采用本申请的校准方法以执行自动校准。

进一步地，当其他用户(下称“新用户”)也使用头戴显示设备100时，也可重新执行一次校准方法，并将该新用户的目标校准参数存储到头戴显示设备100的存储器中，后续该新用户再使用该头戴显示设备100的时候，便可直接调用该目标校准参数，无需每次使用都执行一次该方法，节省了操作时间，提升用户体验。在此种情形下，头戴显示设备100可设置有识别单元，识别单元可以识别出用户是谁，由此可以匹配到与该用户对应的目标对准参数。其中，识别单元可以是摄像头。在一个例子中，摄像头拍摄用户面部后进行面部识别，以识别出用户是谁。在另一个例子中，摄像头拍摄用户眼部后进行虹膜识别，以识别出用户是谁。当然，用户识别还可以通过其他方式实现，例如生物识别方式，或者用户主动输入等。

请参阅图2、图3和图6，在某些实施方式中，步骤01：在显示器20中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机30和参考标识的相对位姿，可包括步骤：

011：在设定标识与参考标识对齐的情况下，获取定位相机30和参考标识的相对位姿。

在某些实施方式中，位姿获取模块11用于执行步骤011。即，位姿获取模块11在设定标识与参考标识对齐的情况下，获取定位相机30和参考标识的相对位姿。

在某些实施方式中，一个或多个程序对应执行步骤011。处理器40用于执行步骤011。即，处理器40用于在设定标识与参考标识对齐的情况下，获取定位相机30和参考标识的相对位姿。

具体地，在处理器40获取定位相机30和参考标识的相对位姿之前，头戴显示设备100还可提示用户对齐设定标识和参考标识。

如图4所示，显示器20中显示有设定标识P，终端200的屏幕201上显示有参考标识Q。头戴显示设备100可通过显示器20透过外部的环境光，以直接看到屏幕201上显示的参考标识Q。

如此，用户可通过移动头部，对应的头戴显示设备100也会跟随移动，以使设定标识P和参考标识Q对齐(肉眼观察标准的对齐)。其中，在显示器20上设定标识P和参考标识Q对齐，可以是与参考标识Q的角点Q1对齐，也可以是与参考标识Q的角点Q2对齐，又可以是与参考标识Q的角点Q3对齐，还可以是与参考标识Q的角点Q4对齐。

此外，用户还可通过移动终端200，以使显示在显示器20上的参考标识Q与设定标识P位置重合，即对齐设定标识P与参考标识Q。

如此，在使设定标识P与参考标识Q对齐的情况下，处理器40便可获取定位相机30和参考标识Q的相对位姿。

其中，由于用户可提供显示器20透过外部环境光，直接看到参考标识Q，从而对应的移动头戴显示设备100或终端200，以使参考标识Q和设定标识P对齐。因此，在对齐参考标识Q和设定标识P的后，处理器40便可得到头戴显示设备100或终端200的移动量，即可获得定位相机30和参考标识Q的相对位姿。

请结合图4和图5，参考标识Q可以是终端200的屏幕201上左上角的标识点，当设定标识P为多个，如标识P1、标识P2、标识P3、标识P4、标识P5和标识P6均可以是设定标识P。那么，在每次对齐设定标识P和参考标识Q时，便是将不同的设定标识P与同一位置处的参考标识Q对齐。如不同的设定标识P均与参考标识Q的角点Q1对齐，或不同的设定标识P均与参考标识Q的角点Q2对齐等。

请参阅图2、图3和图7，在某些实施方式中，步骤01：获取定位相机30和参考标识的相对位姿，还可包括步骤：

013：以参考标识的任意一个角点为世界坐标系的原点构建角点的3D坐标；

015：利用定位相机30以固有频率拍摄参考标识以获取多帧图像，并提取角点的2D坐标；及

017：根据3D坐标、2D坐标，通过PNP求解原理获取定位相机30在世界坐标系下的位姿，以作为相对位姿。

在某些实施方式中，位姿获取模块11用于执行步骤013、步骤015和步骤017。坐标获取模块12用于以参考标识的任意一个角点为世界坐标系的原点构建角点的3D坐标；利用定位相机30以固有频率拍摄参考标识以获取多帧图像，并提取角点的2D坐标；及根据3D坐标、2D坐标，通过PNP求解原理获取定位相机30在世界坐标系下的位姿，以作为相对位姿。

在某些实施方式中，一个或多个程序用于执行步骤013、步骤015和步骤017。处理器40用于执行步骤013、步骤015和步骤017。即，处理器40用于以参考标识的任意一个角点为世界坐标系的原点构建角点的3D坐标；利用定位相机30以固有频率拍摄参考标识以获取多帧图像，并提取角点的2D坐标；及根据3D坐标、2D坐标，通过PNP求解原理获取定位相机30在世界坐标系下的位姿，以作为相对位姿。

具体地，处理器40在通过显示器20中显示的设定标识与现实中的参考标识对齐的过程，获取定位相机30和参考标识的相对位姿时，处理器40可先以参考标识的任意一个角点为世界坐标系的原点，以构建角点的3D坐标。

如图5所示，处理器40可以参考标识Q的角点Q1、角点Q2、角点Q3或角点Q4为世界坐标系的原点，以构建角点的3D坐标。

接下来，处理器40还可通过定位相机30拍摄参考标识，以获取多帧图像。其中定位相机30可以固定频率拍摄多帧图像，如每秒5帧、每秒10帧、每秒20帧等。

如此，处理器40便可通过定位相机30拍摄的多帧参考标识的图像，以得到定位相机30所在的相机坐标系内参考标识的角点的坐标。该坐标即为角点的2D坐标。其中，处理器40可提取角点Q1、角点Q2、角点Q3和角点Q4中的至少一个角点的坐标。

最后，处理器40便可根据角点的3D坐标、角点的2D坐标，以通过PNP求解原理，从而获取定位相机30在世界坐标系下的位姿，并将该位姿作为相对位姿。

其中，PNP求解原理其目的为：求解3D至2D点对运动的方法。简单来说，就是在已知n个三维空间点坐标(如上述世界坐标系中角点的3D坐标)及其二维投影位置(角点2D坐标)的情况下，如何估计相机的位姿(即相机在世界坐标系下的姿态)的方法。

请参阅图8，本申请实施方式还提供一种包含计算机程序301的非易失性计算机可读存储介质300。当计算机程序301被一个或多个处理器40执行时，使得一个或多个处理器40执行上述任一实施方式的头戴显示设备100的校准方法。

例如，计算机程序301被一个或多个处理器40执行时，使得处理器40执行以下头戴显示设备100的校准方法：

又例如，计算机程序301被一个或多个处理器40执行时，使得处理器40执行以下头戴显示设备100的校准方法：

还例如，计算机程序301被一个或多个处理器40执行时，使得处理器40执行以下头戴显示设备100的校准方法：

在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims

1.一种头戴显示设备的校准方法，所述头戴显示设备包括显示器和定位相机，其特征在于，包括：

在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿；

在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标；

利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上；及

根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

2.根据权利要求1所述的校准方法，其特征在于，所述在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿，包括：

在所述设定标识与所述参考标识对齐的情况下，获取所述定位相机和所述参考标识的相对位姿。

3.根据权利要求1所述的校准方法，其特征在于，所述相对位姿满足预定条件包括：所述相对位姿的变化小于预设阈值。

4.根据权利要求1所述的校准方法，其特征在于，所述定位相机拍摄所述参考标识以获取多帧图像；所述相对位姿满足预定条件包括：连续的预设帧图像都表征所述相对位姿的变化均小于预设阈值。

5.根据权利要求1所述的校准方法，其特征在于，所述获取所述定位相机和所述参考标识的相对位姿，包括：

以所述参考标识的任意一个角点为世界坐标系的原点构建所述角点的3D坐标；

利用所述定位相机以固有频率拍摄所述参考标识以获取多帧图像，并提取所述角点的2D坐标；及

根据所述3D坐标、所述2D坐标，通过PNP求解原理获取所述定位相机在所述世界坐标系下的位姿，以作为所述相对位姿。

6.根据权利要求1所述的校准方法，其特征在于，所述设定标识包括多个，所述对齐过程包括多次，每次对齐，对齐其中一个所述设定标识和所述参考标识，在每次对齐的所述相对位姿满足预定条件的情况下，均执行获取所述参考标识在所述定位相机所在的相机坐标系内的坐标，并将获取到的所述参考标识在所述定位相机所在的相机坐标系内的多个坐标均投影到所述虚拟平面。

7.根据权利要求1所述的校准方法，其特征在于，所述参考标识为终端的屏幕上显示的标识，所述参考标识的尺寸为已知。

8.一种头戴显示设备的校准装置，所述头戴显示设备包括显示器和定位相机，其特征在于，所述校准装置包括：

位姿获取模块，用于在所述显示器中显示的设定标识与现实中的参考标识对齐的过程中，获取所述定位相机和所述参考标识的相对位姿；

坐标获取模块，用于在所述相对位姿满足预定条件的情况下，获取所述参考标识在所述定位相机所在的相机坐标系内的坐标；

投影模块，用于利用所述头戴显示设备预设的初始校准参数，将所述参考标识在所述相机坐标系内的坐标投影到所述显示器的虚拟平面上；及

优化模块，用于根据预设函数调整所述初始标准参数以得到目标校准参数，所述预设函数为关于：在所述虚拟平面所在的虚拟平面坐标系内，所述设定标识的坐标与所述参考标识的坐标之间的误差的函数。

9.一种头戴显示设备，其特征在于，包括：

一个或多个处理器、存储器；及

一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行权利要求1至7任意一项所述的校准方法的指令。

10.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，所述处理器实现权利要求1至7任意一项所述的校准方法。