CN111207747B - 基于HoloLens眼镜的空间定位方法 - Google Patents

Abstract

本发明涉及一种基于HoloLens眼镜的空间定位方法，包括以任意一个标志球为坐标原点，建立工具坐标系；求HoloLenstool到NDI Spectra设备的旋转矩阵；利用UDP通讯读取HoloLens内的World to Local旋转矩阵；利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵；观测空间中任意位置的物体上设置的Marker到NDI Spectra设备的旋转矩阵，以及工具坐标系到NDI Spectra设备的旋转矩阵；求出现实中含Marker的物体到Hololens的空间位置关系。本发明实现HoloLens在空间中精确位置摆放模型，实现了HoloLens本身坐标系和真实环境世界坐标系之间的结合，使得Hololens获得空间指定位置Marker在Hololens坐标系的空间位置关系。

Description

基于HoloLens眼镜的空间定位方法

技术领域

本发明涉及空间标定领域，具体地说是一种基于HoloLens眼镜的空间定位方法。

背景技术

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

微软公司的Hololens是其知名的产品代表，Hololens能够做到在空间中投影虚拟物体，同时不影响用户观察真实环境，给用户一种和真实环境交互的体验，但是Hololens缺乏和空间中物体间位置关系的联系，缺乏给用户一个更好的交互体验的途径。

发明内容

针对现有技术的不足，本发明提供一种基于HoloLens眼镜的空间定位方法，解决Hololens缺乏和空间中物体间位置关系联系的问题。

本发明为实现上述目的所采用的技术方案是：

一种基于HoloLens眼镜的空间定位方法，在所述HoloLens上设置标定件，该标定件至少包括3个共面的标志球；方法包括以下步骤：

步骤1：以任意一个标志球为坐标原点，建立工具坐标系HoloLenstool；

步骤2：求HoloLenstool到NDI Spectra设备的旋转矩阵P_{HololenstooltoNDI}；

步骤3：利用UDP通讯读取HoloLens内的World to Local旋转矩阵P_WorldtoLocal；

步骤4：利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵P_{HololenstoHololenstool}；

步骤5：观测空间中任意位置的物体上设置的Marker到NDI Spectra设备的旋转矩阵P_MarkertoNDI，以及工具坐标系HoloLenstool到NDI Spectra设备的旋转矩阵P_{HololenstooltoNDI}；

步骤6：求出现实中含Marker的物体到Hololens的空间位置关系。

任意两个相邻的标志球之间的距离作为标志距离，且每两个标志距离之间的差值大于2cm。

所述工具坐标系HoloLenstool为：选取任意三个标志球，以其中一个标志球作为坐标系原点，该点与其他两点所在平面为XY平面，该点到左侧点连线方向为X轴正方向，利用正交基求出垂直于该XY平面的Z轴正方向，然后反求出Y轴正方向。

所述利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵P_{HololenstoHololenstool}包括以下过程：

通过Hololens内的World to Local旋转矩阵P_WorldtoLocal和工具坐标系Hololenstools到NDI Spectra的旋转矩阵P_{HololenstooltoNDI}，使用机器人手眼标定公式AX＝XB的变形进行标定计算，公式如下：

P_WorldtoNDI＝P_{HololenstooltoNDI}*P_{LocaltoHololenstool}*P_WorldtoLocal

其中，P_WorldtoNDI为Hololens的世界坐标系到NDI Spectra的旋转矩阵，P_{LocaltoHololenstool}为Hololens的局部坐标系到工具坐标系Hololenstool的旋转矩阵；

要将其变形为AX＝XB需要两次以上的观测值，联立等式为：

因为标定过程中NDI Spctra的位置不变，Hololens程序生命周期开始后世界坐标系World原点不变，所以两组观测值中的P_WorldtoNDI不变，又因为Hololens工具坐标系和Hololens主体是固连，所以P_{LocaltoHololenstool}不变；

则将等式联立可得：

变形可得：

该等式可视为AX＝XB的形式，利用手眼标定方法求取X，即P_{LocaltoHololenstool}。

所述手眼标定方法为：

当存在多组观测值{(A₁,B₁),(A₂,B₂),(A₃,B₃)......(A_k,B_k)}，求解AX＝XB方程可以转化为最小化问题，

其中，d表示在欧式群上的距离测度，利用李群理论知识可以将上述最小化问题转化为最小二乘拟合问题，进而求出X，其中A和B是同一次观测中的两个不同的观测量，X是待求量i为第几组，k为总观测组数。

所述现实中含Marker的物体到Hololens的空间位置关系为：

在空间中任意位置显示模型或者获取该位置相对Hololens的位置时，在该点设置Marker，根据NDI Spectra设备采集获取的P_MarkertoNDI和Hololens工具坐标系的P_{HololenstooltoNDI}及此时Hololens内部的P_WorldtoLocal，加之标定获得的P_{LocaltoHololenstool}可以根据下面公式计算获得P_{MarkertoLocal}，即任意位置点在Hololens下的坐标及姿态：

P_{MarkertoLocal}＝P_{LocaltoHololenstool} ^-1*P_{HololenstooltoNDI} ^-1*P_MarkertoNDI

将P_{MarkertoLocal}转化为P_{MarkertoWorld}，即

P_{MarkertoWorld}＝P_LocaltoWorld*P_{MarkertoLocal}

其中，P_{MarkertoWorld}为空间中含marker物体到Hololens世界坐标系的旋转矩阵，P_{MarkertoLocal}为空间中含Marker物体到Hololens局部坐标系的旋转矩阵，P_MarkertoNDI为Marker到NDI Spectra设备的旋转矩阵，P_{HololenstooltoNDI}为工具坐标系Hololenstools到NDISpectra的旋转矩阵，P_WorldtoLocal为World to Local旋转矩阵P_WorldtoLocal，P_{LocaltoHololenstool}为Hololens的局部坐标系到工具坐标系Hololenstool的旋转矩阵。

本发明具有以下有益效果及优点：

1.本发明可以实现HoloLens与外部任意物体的空间位置标定；

2.本发明可以使得HoloLens在空间中指定位置，指定姿态显示模型；

3.本发明精确度达到HoloLens自身空间定位精度量级。

附图说明

图1是本发明的方法流程图；

图2是Hololens工具图；

图3是装有Hololens工具的Hololens示意图；

图4是本发明的原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和有点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

需要说明的是，当元件被称为“设置于”另一个元件，它可能直接在另一个元件上，或也可以存在居中的元件。当一个元件被称为是“连接”另一个元件，它可以直接连接到另一个元件或者可能同时存在居中元件。本文所使用的属于“前”、“后”、“左”、“右”以及类似的标书只是为了说明的目的，并不表示唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示为本发明的方法流程图

基于HoloLens和NDI Spectra的空间标定方法包括以下步骤：

首先自制Hololens工具坐标系，使用四个红外marker按照如图2所示的方式排列。可将其粘贴在Hololens的任意位置，以将其粘贴在Hololens顶端为例，如图3所示。

以4个标定球为例，使用NDI Spectra采集获得四个标定Marker的位置坐标，根据他们每个点之间的位置关系，来确定是哪个标定点的坐标，并确定识别的四个点为Hololens工具坐标系的四个点，然后建立坐标系。

选取其中三个点，以其中一个点作为，坐标系原点。该点与其他两点所在平面为XY平面，该点到左侧点连线方向为X轴正方向，利用正交基求出垂直于该XY平面的Z轴正方向，然后反求出Y轴正方向。自此Hololens工具坐标系建立完成，以后每次采集计算Hololens工具坐标系的时候，都采用同求解步骤和方法。

如图4所示，标定过程是通过自编UDP程序采集Hololens的Localtoworld矩阵，同时，获取并计算出Hololens工具坐标系在NDI Spectra下的旋转矩阵。使用机器人手眼标定公式AX＝XB变形进行标定计算，公式如下

P_WorldtoNDI＝P_{HololenstooltoNDI}*P_{LocaltoHololenstool}*P_WorldtoLocal

要将其变形为AX＝XB需要两次以上的观测值，联立等式为

因为标定过程中NDI Spctra的位置不变，Hololens程序生命周期开始后世界坐标系World原点不变，所以两组观测值中的P_WorldtoNDI不变，又因为Hololens工具坐标系和Hololens主体是固连，所以P_{LocaltoHololenstool}不变。

则将等式联立可求的

变形可得

该等式可视为AX＝XB的形式，利用自编标定程序求取X，即P_{LocaltoHololenstool}

要在空间中任意位置显示模型或者获取该位置相对Hololens的位置时，在该点摆放或者添加红外Marker，根据NDI Spectra采集获取的P_MarkertoNDI和Hololens工具坐标系的P_{HololenstooltoNDI}及此时Hololens内部的P_WorldtoLocal，加之标定获得的P_{LocaltoHololenstool}可以根据下面公式计算获得P_{MarkertoLocal}，即任意位置点在Hololens下的坐标及姿态

P_{MarkertoLocal}＝P_{LocaltoHololenstool} ^-1*P_{HololenstooltoNDI} ^-1*P_MarkertoNDI

因为Hololens是使用Unity3D编译，所以需转化为P_{MarkertoWorld}

P_{MarkertoWorld}＝P_LocaltoWorld*P_{MarkertoLocal}

由此便可以求出空间中任意点相对Hololens的位置关系，或者将Hololens的虚拟模型以任意姿态显示在空间中任意位置。

实施例：

工具坐标系Hololenstool四个标志球的距离分别是别是54.6、59.2、67.5、105.6、116.2、150.6，标定求得Hololens到工具坐标系Hololenstool的旋转矩阵

根据NDI Spectra采集获取的P_MarkertoNDI和Hololens工具坐标系的P_{HololenstooltoNDI}及此时Hololens内部的P_WorldtoLocal

求出P_{MarkertoWorld}

由于是齐次坐标，所以marker相对于Hololens世界坐标系的坐标为P_{MarkertoWorld}前三列。

Claims (5)

1.一种基于HoloLens眼镜的空间定位方法，其特征在于：在所述HoloLens上设置标定件，该标定件至少包括3个共面的标志球；方法包括以下步骤：

步骤1：以任意一个标志球为坐标原点，建立工具坐标系HoloLenstool；

步骤2：求HoloLenstool到NDI Spectra设备的旋转矩阵P_{HololenstooltoNDI}；

步骤3：利用UDP通讯读取HoloLens内的世界坐标系到本地坐标系旋转矩阵P_WorldtoLocal；

步骤4：利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵P_{HololenstoHololenstool}；

步骤5：观测空间中任意位置的物体上设置的标记点到NDI Spectra设备的旋转矩阵P_MarkertoNDI，以及工具坐标系HoloLenstool到NDI Spectra设备的旋转矩阵P_{HololenstooltoNDI}；

步骤6：求出现实中含标记点的物体到Hololens的空间位置关系；

所述现实中含标记点的物体到Hololens的空间位置关系为：

在空间中任意位置显示模型或者获取该位置相对Hololens的位置时，在该点设置标记点，根据NDI Spectra设备采集获取的P_MarkertoNDI和Hololens工具坐标系的P_{HololenstooltoNDI}及此时Hololens内部的P_WorldtoLocal，加之标定获得的P_{LocaltoHololenstool}可以根据下面公式计算获得P_{MarkertoLocal}，即任意位置点在Hololens下的坐标及姿态：

P_{MarkertoLocal}＝P_{LocaltoHololenstool} ^-1*P_{HololenstooltoNDI} ^-1*P_MarkertoNDI

将P_{MarkertoLocal}转化为P_{MarkertoWorld}，即

P_{MarkertoWorld}＝P_LocaltoWorld*P_{MarkertoLocal}

其中，P_{MarkertoWorld}为空间中含标记点物体到Hololens世界坐标系的旋转矩阵，P_{MarkertoLocal}为空间中含标记点物体到Hololens本地坐标系的旋转矩阵，P_MarkertoNDI为标记点到NDI Spectra设备的旋转矩阵，P_{HololenstooltoNDI}为工具坐标系Hololenstools到NDISpectra的旋转矩阵，P_WorldtoLocal为世界坐标系到本地坐标系旋转矩阵P_WorldtoLocal，P_{LocaltoHololenstool}为Hololens的本地坐标系到工具坐标系Hololenstool的旋转矩阵。

2.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：任意两个相邻的标志球之间的距离作为标志距离，且每两个标志距离之间的差值大于2cm。

3.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：所述工具坐标系HoloLenstool为：选取任意三个标志球，以其中一个标志球作为坐标系原点，该点与其他两点所在平面为XY平面，该点到左侧点连线方向为X轴正方向，利用正交基求出垂直于该XY平面的Z轴正方向，然后反求出Y轴正方向。

4.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：所述利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵P_{HololenstoHololenstool}包括以下过程：

通过Hololens内的世界坐标系到本地坐标系旋转矩阵P_WorldtoLocal和工具坐标系Hololenstools到NDI Spectra的旋转矩阵P_{HololenstooltoNDI}，使用机器人手眼标定公式AX＝XB的变形进行标定计算，公式如下：

P_WorldtoNDI＝P_{HololenstooltoNDI}*P_{LocaltoHololenstool}*P_WorldtoLocal

其中，P_WorldtoNDI为Hololens的世界坐标系到NDI Spectra的旋转矩阵，P_{LocaltoHololenstool}为Hololens的本地坐标系到工具坐标系Hololenstool的旋转矩阵；

要将其变形为AX＝XB需要两次以上的观测值，联立等式为：

因为标定过程中NDI Spectra的位置不变，Hololens程序生命周期开始后世界坐标系World原点不变，所以两组观测值中的P_WorldtoNDI不变，又因为Hololens工具坐标系和Hololens主体是固连，所以P_{LocaltoHololenstool}不变；

则将等式联立可得：

变形可得：

该等式可视为AX＝XB的形式，利用手眼标定方法求取X，即P_{LocaltoHololenstool}，其中A和B是同一次观测中的两个不同的观测量。

5.根据权利要求4所述的基于HoloLens眼镜的空间定位方法，其特征在于：所述手眼标定方法为：

当存在多组观测值{(A₁,B₁),(A₂,B₂),(A₃,B₃)......(A_k,B_k)}，求解AX＝XB方程可以转化为最小化问题，

其中，d表示在欧式群上的距离测度，利用李群理论知识可以将上述最小化问题转化为最小二乘拟合问题，进而求出X，其中A和B是同一次观测中的两个不同的观测量，X是待求量i为第几组，k为总观测组数。

Images