CN114366330A - 一种混合现实系统及基于混合现实的标识物配准方法 - Google Patents

Abstract

本说明书公开了一种混合现实系统及基于混合现实的标识物配准方法，该混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，所述混合现实设备，用于在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

Description

一种混合现实系统及基于混合现实的标识物配准方法

技术领域

本说明书涉及混合现实技术领域，尤其涉及一种混合现实系统及基于混合现实的标识物配准方法

背景技术

随着计算机视觉、图形处理、显示技术、输入系统和云计算的发展，混合现实技术已经应用在了很多领域。混合现实是将物理世界与数字世界相融合的结果，在混合现实环境中，虚拟空间中数字对象可以和现实世界中的物理实体共存，并可以通过声音、视线、动作来与之交互。将虚拟模型与真实物体叠加显示是混合现实技术常见的使用方式之一，在工业和医疗领域内有广泛的应用案例，例如，在手术过程中通过虚实结合将患者身体内部结构叠加显示在人体上，辅助医生实施治疗。

目前，在通过混合现实技术生成虚拟模型的过程中，通常需要结合惯性测量单元和深度摄像头实现对环境的识别和对自身姿态的感知，并通过摄像头识别图像特征进行主动追踪，进而对标识物与生成的虚拟模型进行配准，然而随着混合现实设备本身的旋转或者移动，产生的虚拟模型的位置往往会发生偏移，而且一旦混合现实设备距离标识物距离较远，产生的虚拟模型就会丧失其配准精度，此外，在操控人员每次佩戴混合现实设备时，操控人员的眼睛与设备之间势必会存在或多或少的差异，这也会影响到产生的虚拟模型与标识物的配准精度。

因此，如何提高混合现实设备生成的虚拟模型与现实物体的配准精度，提高配准范围，是一个亟待解决的问题。

发明内容

本说明书提供一种混合现实系统及基于混合现实的标识物配准方法，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种混合现实系统，包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线；

所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，作为第一空间姿态关系；

所述混合现实设备，用于根据所述第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系，并根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

可选地，所述示踪器上设有定位光源标记，所述示踪器上的所有定位光源标记固定在同一平面中，用于向所述定位装置发射或反射光线。

可选地，所述定位装置通过支架固定在指定位置上，或

通过吊装的方式，固定在所述混合现实设备与标识物上方的指定位置上。

可选地，所述定位装置与所述混合现实设备相连接；

所述定位装置，用于采集设置各示踪器上定位光源标记发射或反射的光线，所述各示踪器包括设置在所述混合现实设备上的示踪器以及设置在所述标识物上的示踪器，根据所述各示踪器上定位光源标记发射或反射的光线，确定所述各示踪器之间的空间姿态关系，作为第一空间姿态关系，并将所述第一空间姿态关系发送至所述混合现实设备。

可选地，所述混合现实系统包括：校准标识物，所述校准标识物上设有指定特征点；

所述混合现实设备，通过构建出与所述校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。

可选地，通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型，在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；

根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

可选地，所述混合现实设备通过识别出的手势动作，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，或

通过接收到的语音信息，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合。

可选地，所述校准标识物上设置有示踪器；

所述定位装置，确定所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物上的示踪器与所述校准标识物之间的空间姿态关系，以及所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，确定所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，以及所述校准标识物与所述混合现实设备的空间姿态关系，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

可选地，所述标识物还包括：病患的患病部位，手术设备中的至少一种。

本说明书提供了一种基于混合现实的标识物配准方法，包括：

所述混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述方法包括：

根据获取到的第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，其中，所述第一空间姿态关系是所述定位装置基于采集到的所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系；

根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系；

根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

可选地，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，具体包括：

通过在所述混合现实设备中构建出与校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。

可选地，通过在所述混合现实设备中构建出与校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准，具体包括：

通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型；

在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；

根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的混合现实系统中，混合现实设备通过构建与校准标识物特征点相同的虚拟校准标识物模型，完成对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系的校准，并根据定位装置获取到的各示踪器之间的空间姿态关系，在采集到的实际环境图像中展示与标识物相对应的虚拟模型，并对虚拟模型与标识物进行配准。

从上述方法可以看出，在采集到的实际环境图像中展示与标识物相对应的虚拟模型之前，会预先对混合现实设备与混合现实设备上的示踪器之间的空间姿态关系进行校准，从而避免了因佩戴姿势引起的视觉偏差，校准后通过定位装置获取到的各示踪器之间的空间姿态关系，对虚拟模型与标识物进行配准，提高了操控人员的可移动范围，进一步保证了配准的精准度。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的一种混合现实系统示意图；

图2为本说明书提供的一种混合现实系统校准方式示意图；

图3为本说明书提供的一种基于混合现实的标识物配准方法流程示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书提供的一种混合现实系统示意图

本说明书提供了一种手术示踪设备，如图1所示，包括：混合现实设备，示踪器，定位装置。

在混合现实技术的使用场景下，操控人员(即使用混合现实设备的人员)通常会对需要生成虚拟模型的物体进行扫描，然后根据扫描结果，采用诸如多边形建模、非均匀有理B样条曲线(Non-Uniform Rational B-Splines，NURBS)建模、细分曲面技术等建模方法，通过指定的建模软件进行建模，然后通过无线或通用串行总线(USB，Universal Serial Bus)传输等方式，将建模后的虚拟模型部署到混合现实设备(如Hololens、Magic Leap等混合现实头戴显示设备)中，当然，也可以根据需要，直接通过混合现实设备获取标识物的图像，并生成与该标识物相同的虚拟模型。通过混合现实设备上装有的摄像机、飞行时间(Time offlight，TOF)深度传感器等图像采集设备，来获取周围环境的实时图像，进而将虚拟模型与周围的实际环境进行融合，操控人员通过佩戴混合现实设备，采用手势输入或声控输入的方式，来完成对虚拟模型与周围实际环境的交互。其中，本说明书中提到的混合现实设备包括但不限于混合现实眼镜。

例如，在医生通过微创手术设备对病患进行外科微创手术的场景中，由于医生无法实时的观测到病患身体内部的状态，患病部位以及创口内手术器械的确切位置，在面对一些视觉盲区时无法进行精准的手术操作，因此，为了能够提供更加精确的手术参照，可以将病患身体及手术器械作为标识物，通过诸如术中电子计算机断层扫描(ComputedTomography，CT)、三维(3-dimensional，3D)C型臂X光机扫描等方式，对病患的身体及手术器械进行扫描，然后根据扫描结果，对病患身体的内部结构进行建模，并将建模后的虚拟模型输入混合现实设备中，医生通过佩戴的混合现实设备，实时获取到病患身体的实际图像，并通过混合现实设备将病患身体内部结构和创口内手术器械的虚拟模型与病患身体的实际环境图像进行配准，使病患身体内部结构和创口内手术器械的虚拟模型与病患身体的实际图像叠加到一起，进而参照病患身体内部结构和创口内手术器械的虚拟模型，完成对病患的手术操作。

由于当操控人员头部发生移动和旋转，以及操控人员与标识物之间相对位置与角度发生快速变化时，混合现实设备本身的惯性测量单元(加速度计、陀螺仪和磁力计)的精度不足以准确的计算这些变化，因此会出现不可避免的误差，这些误差会导致产生的虚拟模型与标识物的相对位置发生偏移，此外，一旦操控人员距离标识物较远，混合现实设备本身安装的惯性测量单元对实际环境图像中虚拟模型与标识物的配准精度也会相对降低。

因此，为了保证虚拟模型与标识物之间的配准精度，提高操控人员的活动范围，可以在标识物与混合现实设备上安装示踪器，示踪器通过固定装置固定在混合现实设备和标识物上，为了准确的确定出混合现实设备上设置的示踪器与标识物上设置的示踪器之间的空间姿态关系，每个示踪器上可以设置有至少三个定位光源标记，各定位光源标记通过固定装置固定在同一平面中，每个定位光源标记之间的相对位置保持固定。

具体的，定位光源标记可以是红外光发射装置、发光二极管(Light EmittingDiode，LED)或者被动反射球体等光学标记球，通过定位装置，获取到每个示踪器的位置，并对混合现实设备上设置的示踪器与标识物上设置的示踪器之间的空间姿态关系进行测量，从而确定出混合现实设备上设置的示踪器与标识物上设置的示踪器之间的空间姿态关系，作为第一空间姿态关系，混合现实设备根据第一空间姿态关系，对虚拟模型与标识物进行配准，从而在混合现实设备向操控人员所展示的图像界面中，使虚拟模型的图像准确的叠加在标识物的图像上，由于此时混合现实设备上安装的示踪器会随着佩戴混合现实设备的操控人员同步发生移动，因此通过示踪器对虚拟模型与标识物进行配准后，即便操控人员在操作过程中与标识物之间相对位置与角度发生快速变化，虚拟模型与标识物之间的空间姿态也不会发生偏移。

在本说明书中，定位装置可以通过支架固定在标识物附近的指定位置上，当然，也可以通过吊装的方式，固定在标识物上方的指定位置上(如固定在室内的顶棚)，定位装置可以为具有高精度光学定位能力的红外定位设备，用于接收示踪器上定位光源标记所发射或反射的光线，从而获取每个示踪器的位置，进而对每个示踪器之间的空间姿态关系进行测量。定位装置可以通过有线连接或者无线连接(如Wi-Fi、蓝牙)的方式与混合现实设备相连接，并将确定出的每个示踪器之间的空间姿态关系发送至混合现实设备。

由于操控人员在每次在佩戴混合现实设备后，眼睛与设备间的位置、角度都会存在随机的差异，这会导致操控人员通过混合现实设备观测到的虚拟模型与标识物之间的位置出现偏差，因此，在操控人员佩戴混合现实设备后，可以通过校准标识物对混合现实设备中的虚拟模型进行校准，操控人员通过混合现实设备，对校准标识物进行扫描，在混合现实设备中生成一个与校准标识物完全相同的虚拟校准标识物模型，当然，也可以通过建模软件进行建模，并将虚拟校准标识物模型部署到混合现实设备中，其中，校准标识物上设有指定的特征点，该特征点可以为操控人员肉眼能够识别的形状以及图案，示踪器通过固定装置固定在校准标识物上。

操控人员可以通过手势输入的方式，调整混合现实设备中虚拟校准标识物模型的位置和方向，使混合现实设备中观测到的校准标识物与虚拟校准标识物模型重合，从而完成对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系的校准。

当然，操控人员也可以通过声控输入的方式，通过声控指令调整混合现实设备中虚拟校准标识物模型的位置和方向，使混合现实设备中观测到的校准标识物与虚拟校准标识物模型重合，从而完成对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系的较准。

由于示踪器可以是通过指定长度的固定装置分别固定在混合现实设备和校准标识物上的，因此，操控人员可以通过测量固定装置的长度与角度的方式，分别获取混合现实设备与混合现实设备上安装的示踪器之间的空间姿态关系，校准标识物与校准标识物上安装的示踪器之间的空间姿态关系。当然，也可以通过三维扫描的方式，分别获取混合现实设备与混合现实设备上安装的示踪器之间的空间姿态关系，校准标识物与校准标识物上安装的示踪器之间的空间姿态关系。

进一步地，因为此时混合现实设备中的虚拟校准标识物模型与校准标识物相重合，所以此时混合现实设备中虚拟校准标识物模型在混合现实设备中的空间姿态关系即可认为是校准标识物与混合现实设备之间的实际空间姿态关系。为了便于理解，本说明书提供了一种混合现实系统校准方式示意图，如图2所示。

图2为本说明书提供的一种混合现实系统校准方式示意图。

在图2中所示的校准标识物为在六面中设有指定特征点的正方体，其中，混合现实设备和校准标识物上分别设置有示踪器，定位装置通过支架固定在指定位置，从而能够获取示踪器上定位光源标记发射或反射的光线，通过混合现实设备的图像展示界面中所展示的实际环境图像内，生成虚拟校准标识物模型，操控人员可以调整实际环境图像中该虚拟标识物的模型的位置和角度，使其在实际环境图像中与校准标识物重合，从而完成校准。

具体的，混合现实设备根据测量或扫描得到的校准标识物上安装的示踪器与校准标识物之间的空间姿态关系，混合现实设备上安装的示踪器与混合现实设备之间的空间姿态关系，以及通过定位装置获得的混合现实设备上安装的示踪器与校准标识物上安装的示踪器之间的空间姿态关系，计算出混合现实设备上安装的示踪器与校准标识物之间的空间姿态关系，而后，可以根据混合现实设备上安装的示踪器与校准标识物之间的空间姿态关系，以及配准后通过混合现实设备获得的校准标识物与混合现实设备之间的空间姿态关系，校准混合现实设备上设置的示踪器与混合现实设备之间的空间姿态关系。

在对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系进行校准时，混合现实设备可以通过计算变换矩阵的方式，来确定混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系，进而实现对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系的校准。

混合现实设备可以以自身为中心，构建全局三维坐标系，同时分别以校准标识物、混合现实设备上设置的示踪器、校准标识物上设置的示踪器为中心，在上述全局三维坐标系中构建局部三维坐标系，通过计算坐标系变换矩阵的方式，来对混合现实设备上安装的示踪器与混合现实设备之间的空间姿态关系进行自动的校准。例如：混合现实设备与混合现实设备上安装的示踪器之间的空间姿态关系可以通过坐标系变换矩阵表示为：

其中，

为经过校准后(即校准混合现实设备与混合现实设备上的示踪器之间的空间姿态关系)的混合现实设备坐标系m与混合现实设备上安装的示踪器的坐标系p₁之间的坐标系变换矩阵，

为混合现实设备上安装的示踪器的坐标系p₁与校准标识物坐标系c之间的坐标系变换矩阵，

为根据混合现实设备中虚拟校准标识物模型在混合现实设备中的空间姿态关系所确定出的校准标识物坐标系c与混合现实设备坐标系m之间的坐标系变换矩阵。

在对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系校准完成后，通过混合现实设备在实际环境图像中展示虚拟模型，并对实际环境图像中的虚拟模型与标识物进行配准。在配准过程中，混合现实设备可以根据通过基于测量或扫描获得的标识物与标识物上固定的示踪器之间的空间姿态关系，以及混合现实设备上设置的示踪器与标识物上设置的示踪器之间的第一空间姿态关系，确定出混合现实设备上设置的示踪器与标识物之间的空间姿态关系，作为第二空间姿态关系。

根据第二空间姿态关系以及预先校准的设置在混合现实设备上的示踪器与混合现实设备之间的空间姿态关系，确定混合现实设备与标识物之间的空间姿态关系，作为第三空间姿态关系，并根据第三空间姿态关系，在采集到的实际环境图像中展示与标识物相对应的虚拟模型，以及在实际环境图像中对虚拟模型与标识物进行配准。

相应的，在混合现实设备展示的实际环境画面中对虚拟模型与标识物进行配准的过程中，混合现实设备也可以通过计算变换矩阵的方式，来实时获取到混合现实设备与标识物之间的空间姿态关系，进而实现混合现实设备中观测到的虚拟模型与标识物的精确配准。

具体的，混合现实设备可以以自身为中心，构建全局三维坐标系，同时分别以标识物和标识物上设置的示踪器为中心，在以混合现实设备为中心的全局坐标系中构建局部坐标系，标识物与混合现实设备之间的空间姿态关系可以通过坐标系变换矩阵表示为：

其中，

表示标识物坐标系o与混合现实设备坐标系m之间的坐标系变换矩阵，

为标识物坐标系o与标识物上安装的示踪器坐标系p₂之间的坐标系变换矩阵，

为标识物上安装的示踪器坐标系p₂与混合现实设备上安装的示踪器坐标系p₁之间的坐标系变换矩阵，

为校准后混合现实设备坐标系m与混合现实设备上安装的示踪器的坐标系p₁之间的坐标系变换矩阵。

当然，操控人员还可以直接通过手势输入或声控输入的方式，调整虚拟模型的位置和角度，使虚拟模型准确的叠加在标识物上，完成对虚拟模型与标识物的校准。

在实际应用中，本说明书提供的混合现实系统可以应用于大外科手术领域，如：操作人员通过微创手术设备对病患的患病部位进行手术操作时，可以分别在混合现实设备、病患身体以及微创手术设备上安装示踪器，混合现实设备根据各示踪器上定位光源标记发射或反射的光线，在实际环境图像中展示病患身体内部结构以及手术器械的虚拟模型，并在展示的实际环境图像中对病患身体内部结构以及手术器械的虚拟模型，和病患身体的实际图像进行配准，从而为操控人员的提供精确的手术参照。

当然，本说明书提供的混合现实系统还可以应用于其他领域，如，机械故障检修等，本说明书对此不做具体限定。

为了便于对上述混合现实系统的理解，本说明书还提供了一种基于混合现实的标识物配准方法流程示意图，以说明上述混合现实系统在大外科手术中基于混合现实的标识物配准方法，如图3所示。

图3为本说明书提供的一种基于混合现实的标识物配准方法流程示意图，包括以下步骤：

S301：校准设置在混合现实设备上的示踪器与混合现实设备之间的空间姿态关系。

为了方便在实际使用过程中，混合现实设备能够快速的对标识物与标识物对应的虚拟模型进行配置，需要事先对混合现实设备与混合现实设备上设置的示踪器之间的空间姿态关系进行校准。

而在校准空间姿态关系的过程中，可以设有一个包含有指定特征点的校准标识物，如一个在六面中设有不同数量特征点的正方体。而混合现实设备可以在采集到的实际环境图像中展示虚拟校准标识物模型，在实际环境图像中，调整虚拟校准标识物模型的空间姿态，以使校准标识物在实际环境图像中指定特征点的图像与虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型。

混合现实设备可以根据校准后虚拟标识物模型在混合现实设备中的空间姿态，校准设置在混合现实设备上的示踪器与混合现实设备之间的空间姿态关系，进而在后续过程中，通过校准后的混合现实设备上的示踪器与混合现实设备之间的空间姿态关系，完成虚拟模型与标识物的配准过程。

S302：对标识物进行扫描，并生成与该标识物相对应的虚拟模型。

通过CT或C型X光臂对标识物进行扫描，进而对该标识物相对应的虚拟模型进行建模，并将建模后的虚拟模型输入到混合现实设备当中，其中，这里提到的标识物可以是病患的患病部位或是微创手术设备上的手术器械，相应的，构建出的虚拟模型则是患病部位的虚拟模型或是手术器械的虚拟模型。

S303：根据定位装置采集到的各示踪器发射或反射的光线，确定设置在混合现实设备上的示踪器与设置在标识物上的示踪器之间的空间姿态关系，作为第一空间姿态关系。

定位装置可以通过设置在标识物(即患病部位或是手术器械)的示踪器以及混合现实设备上设置的示踪器所发射或发射的光线，确定出设置在混合现实设备上的示踪器与设置在标识物上的示踪器之间的空间姿态关系，即第一空间姿态关系，进而将第一空间姿态关系，通过有线连接或者无线连接的方式，发送至混合现实设备。

S304：根据获取到的第一空间姿态关系以及设置在标识物上的示踪器与标识物之间的空间姿态关系，确定标识物与设置在混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系。

通过对标识物以及设置在标识物上的示踪器之间的距离和角度进行测量，或对标识物以及设置在标识物上的示踪器进行扫描，确定设置在标识物上的示踪器与标识物之间的空间姿态关系。进而通过确定出的设置在标识物上的示踪器与标识物之间的空间姿态关系，以及第一空间姿态关系，确定出标识物与设置在混合现实设备上的示踪器之间的空间姿态关系，即第二空间姿态关系。

S305：根据第二空间姿态关系以及预先校准的设置在混合现实设备上的示踪器与混合现实设备之间的空间姿态关系，确定混合现实设备与标识物之间的空间姿态关系，作为第三空间姿态关系。

S306：根据第三空间姿态关系，在采集到的实际环境图像中展示与标识物相对应的虚拟模型，以及在实际环境图像中对虚拟模型与标识物进行配准。

混合现实设备通过第二空间姿态关系以及校准后设置在混合现实设备上的示踪器与混合现实设备之间的空间姿态关系，确定混合现实设备与标识物之间的空间姿态关系，作为第三空间姿态关系，进而通过第三空间姿态关系，在向操控人员展示的实际环境图像中，将虚拟模型的图像与标识物的图像进行配准。

从上述方法可以看出，操控人员在佩戴混合现实设备后，会先对混合现实设备与混合现实设备上的示踪器进行校准，混合现实设备根据定位装置采集到的标识物上设置的示踪器与混合现实设备上示踪器之间的空间姿态关系，在实际环境图像中展示与该标识物对应的虚拟模型，并对该标识物及虚拟模型进行配准，增大了操控人员的可活动范围，保证了混合现实设备的配准精度。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修复、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种混合现实系统，其特征在于，所述系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线；

所述定位装置，用于采集所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系，作为第一空间姿态关系；

所述混合现实设备，用于根据所述第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系，并根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

2.如权利要求1所述的混合现实系统，其特征在于，所述示踪器上设有定位光源标记，所述示踪器上的所有定位光源标记固定在同一平面中，用于向所述定位装置发射或反射光线。

3.如权利要求1所述的混合现实系统，其特征在于，所述定位装置通过支架固定在指定位置上，或

通过吊装的方式，固定在所述混合现实设备与标识物上方的指定位置上。

4.如权利要求3所述的混合现实系统，其特征在于，所述定位装置与所述混合现实设备相连接；

所述定位装置，用于采集设置各示踪器上定位光源标记发射或反射的光线，所述各示踪器包括设置在所述混合现实设备上的示踪器以及设置在所述标识物上的示踪器，根据所述各示踪器上定位光源标记发射或反射的光线，确定所述各示踪器之间的空间姿态关系，作为第一空间姿态关系，并将所述第一空间姿态关系发送至所述混合现实设备。

5.如权利要求1所述的混合现实系统，其特征在于，所述混合现实系统包括：校准标识物，所述校准标识物上设有指定特征点；

所述混合现实设备，通过构建出与所述校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。

6.如权利要求5所述的混合现实系统，其特征在于，通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型，在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；

根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

7.如权利要求6所述的混合现实系统，其特征在于，所述混合现实设备通过识别出的手势动作，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，或

通过接收到的语音信息，控制所述虚拟校准标识物模型在所述实际环境图像中的位置与方向，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合。

8.如权利要求7所述的混合现实系统，其特征在于，所述校准标识物上设置有示踪器；

所述定位装置，确定所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物上的示踪器与所述校准标识物之间的空间姿态关系，以及所述校准标识物上的示踪器与所述混合现实设备上的示踪器之间的空间姿态关系，确定所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，根据所述校准标识物与所述混合现实设备上的示踪器之间的空间姿态关系，以及所述校准标识物与所述混合现实设备的空间姿态关系，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

9.如权利要求1～8任一项所述的混合现实系统，其特征在于，所述标识物还包括：病患的患病部位，手术设备中的至少一种。

10.一种基于混合现实的标识物配准方法，其特征在于，所述方法应用于混合现实系统中，所述混合现实系统包括：混合现实设备、示踪器、定位装置，所述示踪器固定在所述混合现实设备和标识物上，用于向定位装置发射或反射光线，所述方法包括：

根据获取到的第一空间姿态关系以及设置在所述标识物上的示踪器与所述标识物之间的空间姿态关系，确定所述标识物与设置在所述混合现实设备上的示踪器之间的空间姿态关系，作为第二空间姿态关系，其中，所述第一空间姿态关系是所述定位装置基于采集到的所述示踪器所发射或反射的光线，确定设置在所述混合现实设备上的示踪器与设置在所述标识物上的示踪器之间的空间姿态关系；

根据所述第二空间姿态关系以及预先校准的设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，确定所述混合现实设备与所述标识物之间的空间姿态关系，作为第三空间姿态关系；

根据所述第三空间姿态关系，在采集到的实际环境图像中展示与所述标识物相对应的虚拟模型，以及在所述实际环境图像中对所述虚拟模型与所述标识物进行配准。

11.如权利要求10所述方法，其特征在于，校准设置在所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系，具体包括：

通过在所述混合现实设备中构建出与校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准。

12.如权利要求11所述的方法，其特征在于，通过在所述混合现实设备中构建出与校准标识物设有相同指定特征点的虚拟校准标识物模型，对所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系进行校准，具体包括：

通过所述混合现实设备，在采集到的实际环境图像中展示所述虚拟校准标识物模型；

在所述实际环境图像中，调整所述虚拟校准标识物模型的空间姿态，以使所述校准标识物在所述实际环境图像中指定特征点的图像与所述虚拟校准标识物模型中包含的指定特征点的图像相重合，得到校准后虚拟标识物模型；

根据所述校准后虚拟标识物模型在所述混合现实设备中的空间姿态，校准所述混合现实设备上的示踪器与所述混合现实设备之间的空间姿态关系。

Images