CN110751681A - 一种增强现实的配准方法、装置、设备及存储介质 - Google Patents

一种增强现实的配准方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110751681A
CN110751681A CN201910993841.XA CN201910993841A CN110751681A CN 110751681 A CN110751681 A CN 110751681A CN 201910993841 A CN201910993841 A CN 201910993841A CN 110751681 A CN110751681 A CN 110751681A
Authority
CN
China
Prior art keywords
real
virtual
model
coordinate system
space coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910993841.XA
Other languages
English (en)
Other versions
CN110751681B (zh
Inventor
王学渊
张品
胥学金
张娟
李小霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201910993841.XA priority Critical patent/CN110751681B/zh
Publication of CN110751681A publication Critical patent/CN110751681A/zh
Application granted granted Critical
Publication of CN110751681B publication Critical patent/CN110751681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种增强现实的配准方法、装置、设备及存储介质，该方法包括：获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，真实空间模型包括真实生物模型和真实立体参考模型；根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，虚拟空间模型包括虚拟生物模型和虚拟立体参考模型；基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准。本发明实施例实现了增强现实中高精度的虚实自动配准。

Description

一种增强现实的配准方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种增强现实的配准方法、装置、设备及存储介质。
背景技术
增强现实是一种利用计算机对图像进行处理的技术，该技术可以让用户所看到的真实世界影像与计算机产生的虚拟信息融合在一起，从而加强使用者对真实世界的感知能力。近年来增强现实在医疗领域的应用愈加广泛，尤其在手术导航中，增强现实能给医生提供更加直观的导航。但手术导航中的虚实配准是一个难点，只有实现虚实完全重叠，才能给医生更好的手术指导。
现有技术中，通常采用基于手动的虚实配准方法、基于电磁追踪的虚实配准方法或基于光学追踪的虚实配准方法，来实现虚实配准。
然而，发现现有技术中至少存在如下问题：基于手动的虚实配准方法的配准效率和配准精度均较低，很难达到医学上对虚拟配准的高精度和高效率的要求。基于电磁追踪的虚实配准方法易受电磁场的干扰，影响了配准精度。基于光学追踪的虚实配准方法的配准精度较低，很难达到医学上对虚拟配准的高精度的要求。
发明内容
本发明实施例提供了一种增强现实的配准方法、装置、设备及存储介质，以实现增强现实中高精度的虚实自动配准。
第一方面，本发明实施例提供了一种增强现实的配准方法，该方法包括：
获取真实空间模型的真实空间模型数据，并建立与所述真实空间模型对应的真实空间坐标系，所述真实空间模型包括真实生物模型和真实立体参考模型；
根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型；
基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准。
进一步的，所述真实空间坐标系包括第一真实空间坐标系和第二真实空间坐标系；所述真实生物模型上设置有至少四个第一标记点，所述真实立体参考模型上设置有至少四个第二标记点；
所述建立与所述真实空间模型对应的真实空间坐标系，包括：
获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标；
根据各第一三维坐标，建立与所述真实生物模型对应的所述第一真实空间坐标系，以及，根据各第二三维坐标，建立与所述真实立体参考模型对应的所述第二真实空间坐标系。
进一步的，所述获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，包括：
获取景深设备采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，所述景深设备包括双目摄像机、红外景深摄像机或结构光采集设备。
进一步的，所述虚拟空间坐标系包括第一虚拟空间坐标系和第二虚拟空间坐标系；
所述根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型，包括：
获取所述真实生物模型的术前影像数据，根据所述术前影像数据进行三维重建，得到与所述真实生物模型对应的虚拟生物模型，并建立与所述虚拟生物模型对应的所述第一虚拟空间坐标系，所述术前影像数据包括CT数据或MRI数据；
获取所述真实立体参考模型的结构参数，根据所述结构参数，建立与所述真实立体参考模型对应的虚拟立体参考模型，并建立与所述虚拟立体参考模型对应的所述第二虚拟空间坐标系。
进一步的，所述基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准，包括：
基于空间映射法，建立所述虚拟空间坐标系与所述真实空间坐标系之间的转换矩阵，并根据所述转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系，所述转换矩阵包括旋转矩阵和平移矩阵；
根据所述旋转矩阵，得到所述虚拟生物模型与所述真实生物模型之间的旋转角度；
根据所述位置对应关系和所述旋转角度，将所述虚拟生物模型与所述真实生物模型配准。
进一步的，所述虚拟生物模型上设置有至少四个第三标记点，所述虚拟立体参考模型上设置有至少四个第四标记点，各第三标记点与各第一标记点一一对应，各第四标记点与各第二标记点一一对应；
所述基于空间映射发，建立所述虚拟空间坐标系与所述真实空间坐标系之间的转换矩阵，并根据所述转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系，所述转换矩阵包括旋转矩阵和平移矩阵，包括：
在所述第一真实空间坐标系中，选择四个第一标记点，将其中一个所述第一标记点作为原点，将所述原点分别与其余三个所述第标记点形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并确定四个所述第一真实空间坐标系与所述第一虚拟空间坐标系之间的所述第一转换矩阵，并根据所述虚拟生物模型的包围盒中心点坐标和第一转换矩阵，确定所述真实生物模型的包围盒中心点坐标，并确定所述真实生物模型的包围盒中心点坐标在所述第二真实空间坐标系下的目标中心点坐标；
在所述第二真实空间坐标系中，选择四个第二标记点，将其中一个所述第二标记点作为原点，将所述原点分别与其余三个所述第二标记点形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并确定四个所述第二标记点在所述第四真实空间坐标系下的第五三维坐标；
在所述第二虚拟空间坐标系中，获取与四个所述第二标记点对应的四个第四标记点的第六三维坐标，根据各第五三维坐标和各第六三维坐标，确定所述第二真实空间坐标系与所述第二虚拟空间坐标系之间的第二转换矩阵，并根据所述目标中心点坐标和所述第二转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系；
所述根据所述旋转矩阵，得到所述虚拟生物模型与所述真实生物模型之间的旋转角度，包括：
根据所述第二旋转矩阵，得到欧拉角，并根据所述欧拉角得到所述虚拟生物模型与所述真实生物模型之间的旋转角度。
进一步的，所述基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准之后，还包括：
将配准后的所述虚拟生物模型和所述真实生物模型发送至头戴式增强现实显示设备，以指示所述增强现实显示设备显示配准后的所述虚拟生物模型和所述真实生物模型；或，
显示配准后的所述虚拟生物模型和所述真实生物模型。
进一步的，所述真实立体参考模型为真实圆柱体模型，所述虚拟立体参考模型为虚拟圆柱体模型。
第二方面，本发明实施例还提供了一种增强现实的配准装置，该装置包括：
真实空间建立模块，用于获取真实空间模型的真实空间模型数据，并建立与所述真实空间模型对应的真实空间坐标系，所述真实空间坐标系包括真实生物模型和真实立体参考模型；
虚拟空间建立模块，用于根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型；
配准模块，用于基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面所述的方法。
本发明实施例通过获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，实现虚拟生物模型与真实生物模型的配准，上述实现了增强现实中高精度的虚实自动配准。
附图说明
图1是本发明实施例中的一种增强现实的配准方法的流程图；
图2是本发明实施例中的另一种增强现实的配准方法的流程图；
图3是本发明实施例中的一种配准前的虚拟生物模型与真实生物模型的效果示意图；
图4是本发明实施例中的一种用户视角为0°下的配准后的虚拟人体模型与真实人体模型的效果示意图；
图5是本发明实施例中的一种用户视角为90°下的配准后的虚拟人体模型与真实人体模型的效果示意图；
图6是本发明实施例中的一种用户视角为180°下的配准后的虚拟人体模型与真实人体模型的效果示意图；
图7是本发明实施例中的一种用户视角为270°下的配准后的虚拟人体模型与真实人体模型的效果示意图；
图8是本发明实施例中的一种配准前后虚拟生物模型上的坐标精度对比示意图；
图9是本发明实施例中的一种增强现实的配准装置的结构示意图；
图10是本发明实施例中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定，实施例中记载的各个特征可进行组合，形成多个可选方案。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
增强现实技术包括实时跟踪、虚实配准、显示以及交互技术等，这些技术在医学中都有很重要的应用。利用增强现实的虚实配准技术，可以将从医学图像重建得到的虚拟生物模型叠加到生物相应的器官(即真实生物模型)的对应位置上，从而增强医生的视觉系统，提高手术能力，同时，也使器官的内部结构更加清晰直观，减少手术盲区和难度，增大手术的成功率。其中，这里所述的生物可包括人体和动物体，相应的，生物模型可包括人体模型和动物体模型。由于增强现实的最终目的是实现虚拟生物模型和真实生物模型的完全重叠，而虚实配准即是实现虚拟生物模型和真实生物模型完全重叠的过程。因此，虚实配准的优劣将直接影响增强现实系统的性能。实现增强现实的虚实配准的关键即是要精确确定虚拟生物模型上的每点在手术空间坐标下的投影坐标。换句话说，虚实配准的关键即是确定各坐标系之间的转换关系。本发明实施例将通过建立真实空间坐标系和虚拟空间坐标系之间的转换关系，实现虚拟生物模型与真实生物模型的配准。下面将结合具体实施例进行说明。
图1为本发明实施例提供的一种增强现实的配准方法的流程图，本实施例可适用于实现增强现实中高精度的虚实自动配准的情况，该方法可以由增强现实的配准装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于设备中，例如典型的是计算机等。如图1所示，该方法具体包括如下步骤：
步骤110、获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，真实空间模型包括真实生物模型和真实立体参考模型。
在本发明的实施例中，真实空间模型可理解为存在于真实空间的模型。真实空间模型可包括真实生物模型和真实立体参考模型。相应的，真实生物模型可表示存在于真实空间的生物模型。真实立体参考模型可表示存在于真实空间的立体参考模型。其中，真实生物模型可包括真实人体模型和真实动物体模型。可通过如下方式获取真实立体参考模型，具体的：在真实空间中，可根据预先设定的真实立体参考模型的结构参数，制作真实立体参考模型。真实立体参考模型可为圆柱体模型，圆柱体模型的结构参数可包括圆柱体的高度和底面直径长度，如圆柱体的高度为172.5mm，底面直径长度为66.2mm。
需要说明的是，还可在真实生物模型和真实立体参考模型上设置标记点，以便后续可采用基于标识点的配准方法进行虚实配准。为了实现对真实空间模型进行识别与定位，对标记点有如下要求：标记点的个数为至少四个，且任意三个标记点不共线和任意四个标记点不共面；标记点有一定厚度。为了便于对真实立体参考模型的识别和定位，可在真实立体参考模型的表面设置目标图像。对目标图像有如下要求：尽量选择特征点明显、清晰度较高和识别率较高的图像。
步骤120、根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，虚拟空间模型包括虚拟生物模型和虚拟立体参考模型。
在本发明的实施例中，虚拟空间模型可理解为存在于虚拟空间的模型。虚拟空间模型可包括虚拟生物模型和虚拟立体参考模型。在获得真实空间模型的真实空间模型数据后，可根据真实空间模型数据，建立与该真实空间模型对应的虚拟空间模型，使得虚拟空间模型与真实空间模型一致。由于真实空间模型可包括真实生物模型和真实立体参考模型，因此，真实空间模型的真实空间模型数据可包括真实生物模型的真实生物模型数据和真实立体参考模型的真实立体参考模型数据。基于上述，即可根据真实生物模型的真实生物模型数据，建立与该真实生物模型对应的虚拟生物模型，使得虚拟生物模型与真实生物模型一致，以及，可根据真实立体参考模型的真实立体参考模型数据，建立与该真实立体参考模型对应的虚拟立体参考模型，使得虚拟立体参考模型与真实立体参考模型一致。
根据真实生物模型的真实生物模型数据，建立与该真实生物模型对应的虚拟生物模型，可作如下理解：可获取真实生物模型的术前影像数据，根据术前影像数据进行三维重建，得到与该真实生物模型对应的虚拟生物模型。其中，术前影像数据可包括CT(ComputedTomography，计算机断层成像)数据或MRI(Magnetic Resonance Image，核磁共振成像)等。根据真实立体参考模型的真实立体参考模型数据，建立与该真实立体参考模型对应的虚拟立体参考模型，可作如下理解：获取真实立体参考模型的结构参数，可根据该真实立体参考模型的结构参数建立与该真实立体参考模型对应的虚拟立体参考模型。其中，真实立体参考模型的结构参数可理解为真实立体参考模型的尺寸。可选的，真实立体参考模型为圆柱体。圆柱体的结构参数包括圆柱体的高度和底面直径长度。此外，为了便于对真实立体参考模型和虚拟立体参考模型的识别和定位，可在真实立体参考模型和虚拟立体参考模型的表面设置目标图像。并且，如果需要在虚拟立体参考模型上设置目标图像，则需要保证虚拟立体参考模型上目标图像的大小与真实立体参考模型上目标图像的大小一致。
在获得与真实空间模型对应的虚拟空间模型后，可建立与虚拟空间模型对应的虚拟空间坐标系。由于虚拟空间模型可包括虚拟生物模型和虚拟立体参考模型，因此，虚拟空间坐标系可包括与虚拟生物模型对应的虚拟空间坐标系，以及，与虚拟立体参考模型对应的虚拟空间坐标系。上述可将与虚拟生物模型对应的虚拟空间坐标系称为第一虚拟空间坐标系，可将与虚拟立体参考模型对应的虚拟空间坐标系称为第二虚拟空间坐标系。即建立与虚拟生物模型对应的第一虚拟空间坐标系，以及，建立与虚拟立体参考模型对应的第二虚拟空间坐标系。
需要说明的是，上述真实立体参考模型、与真实立体参考模型对应的真实空间坐标系、虚拟立体参考模型以及与虚拟立体参考模型对应的虚拟空间坐标系的作用在于：增强现实的配准的目的在于将虚拟生物模型放置在真实空间中正确位置，这里所述的正确位置指将虚拟生物模型放置在真实模型中与真实生物模型重合的位置，即增强现实的配准的目的在于在真实空间中，将虚拟生物模型与真实生物模型重合，为了实现在真实空间中虚拟生物模型与真实生物模型重合，可考虑设置真实立体参考模型、与真实立体参考模型对应的真实空间坐标系、虚拟立体参考模型以及与虚拟立体参考模型对应的虚拟空间坐标系，并使得真实生物模型与真实立体参考模型之间的位置关系，与虚拟生物模型与虚拟立体参考模型之间的位置关系保持一致，基于上述，在真实空间中，如果虚拟立体参考模型与真实立体参考模型重合，则可说明虚拟生物模型与真实生物模型重合，即可将真实立体参考模型、与真实立体参考模型对应的真实空间坐标系、虚拟立体参考模型以及与虚拟立体参考模型对应的虚拟空间坐标系作为建立虚拟生物模型与真实生物模型位置关系的中间变量。
还需要说明的是，为了便于后续配准，需要考虑真实立体参考模型的放置位置，由于是应用于手术导航中的增强现实，因此，具体可将真实立体参考模型固定在病床的柱子上，以便后续可与真实生物模型同时出现在视野中，方便增强现实显示设备的识别与追踪。
另需要说明的是，增强现实一种将软硬件结合到一起的系统，可采用系统开发引擎和系统开发工具包实现增强现实。系统开发工具可选用专业增强现实软件。专业增强现实软件可包括Unity3D、VPR(Virtual Reality Platform，虚拟现实平台)和Virtools等。由于Unity3D具有画面质量优、交互性强、兼容性优、物理效果好和可跨平台性等优点，因此，可选择Unity3D作为系统开发工具。Unity3D是由Unity科技公司推出的增强现实引擎。Unity3D采用NVIDIA的PhysX物理引擎，并具有高度优化的渲染通道和烘焙系统，可制作出接近真实的物理效果和绚丽的3D场景。系统开发工具包可包括Vufiria、Metaio、AndAR和OpenCV等。其中，Vufiria是一种基于嵌入式设备的增强现实开发工具包，其有Android、IOS和Unity3D三个版本。Unity3D的Vuforia并不是一个独立的软件开发工具，需要与Unity3D引擎协同工作，才能发挥该系统工具包应有的功能。Vuforia和Unity3D引擎为增强现实应用提供底层支持，负责底层算法的实现。
基于上述，根据真实立体参考模型，建立与真实立体参考模型对应的虚拟立体参考模型，其中，虚拟立体参考模型可为Vuforia中的RGB目标识别圆柱体(CylinderTarget)，可将Vuforia中的RGB目标识别圆柱体称为虚拟RGB目标识别圆柱体。相应的，真实立体参考模型可为真实RGB目标识别圆柱体。RGB目标识别圆柱体在虚实配准过程中不易受到遮挡的影响，配准精度较高，其可实现在360°视角下的识别与追踪。医生在手术过程中可佩戴增强现实显示设备，上述使得即使医生在操作区域内进行移动，也可在增强现实显示设备中观察到目标，起到不易丢失追踪目标的作用。上述建立虚拟立体参考模型的过程可作如下理解：在Vuforia中，可根据真实立体参考模型的结构参数，设置RGB目标识别圆柱体的大小，生成与真实RGB目标识别圆柱体对应的虚拟RGB目标识别圆柱体。此外，如果需要在虚拟RGB目标识别圆柱体上设置目标图像，则需要保证虚拟RGB目标识别圆柱图上目标图像的大小与真实RGB目标识别圆柱体上目标图像的大小一致，尤其需要使得两个目标图像的宽高比满足预设条件。虚拟RGB目标识别圆柱体上目标图像的宽高比需满足如下条件：宽高比＝mapwidth/mapheght±偏差，其中，偏差可为小于等于2％。即虚拟RGB目标识别圆柱体上目标图像的宽高比可与真实RGB目标识别圆柱体的宽高比偏差需小于等于2％。如果偏差大于2％，则可能使得虚拟RGB圆柱体无法识别。如果虚拟立体参考模型为虚拟RGB目标识别圆柱体，则相应的真实立体参考模型为真实RGB目标识别圆柱体，同时要求真实RGB目标识别圆柱体的底面半径需与虚拟RGB目标识别圆柱体一致，且，真实RGB目标识别圆柱体的长度需与虚拟RGB目标识别圆柱体一致，否则会影响识别跟踪的精度。如果需要在真实立体参考模型上设置目标图像，则可在Vuforia中选择特征点明显、清晰度较高和识别率较高的图像，并选择彩色打印，将其打印出来，用粘合剂将打印出来的目标图像粘贴到真实RGB目标识别圆柱体的表面。示例性的，目标图像的高度为172.5mm，目标图像的宽度为207.97mm。
在得到虚拟生物模型和虚拟立体参考模型后，可将上述模型导入Unity3D中进行规划，以便后续可正确显示配准后的虚拟生物模型和真实生物模型。上述所述的规划可作如下理解：虚拟生物模型与虚拟立体参考模型之间的位置关系与真实生物模型与真实立体参考模型之间的位置关系基本保持一致。同时，在Unity3D中将虚拟空间模型放置在一个单一的父对象中，并添加一个定向光源。此外，虚拟空间模型都不设置质量和碰撞边界，以及使用程序化的平移和旋转手势，以方便对虚拟空间模型进行操作。
步骤130、基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准。
在本发明的实施例中，在得到虚拟空间坐标系与真实空间坐标系后，可对虚拟空间坐标系与真实空间坐标系进行坐标系配准，具体的：在对坐标系配准时，需要在两个不同坐标系下测出同一组公共点的坐标，通过这些公共点坐标将两个坐标系的位姿关联，以实现坐标系配准时将两个坐标系中的点一一对应起来，两组点的坐标相互转换。在手术导航中坐标系的变换是基于刚体理论的，刚体理论涉及刚体变换。刚体变换是指一个可被看作刚体的物体，从一个状态转换为另一个状态的过程。其中，状态可包括位置和朝向，状态可由转换矩阵表示，朝向可由旋转矩阵表示，位置可由平移矩阵表示，基于此，转换矩阵可包括旋转矩阵和平移矩阵。
基于上述，可基于空间映射法对虚拟空间坐标系与真实空间坐标系进行转换，建立虚拟空间坐标系与真实空间坐标系之间的转换矩阵，并根据转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，转换矩阵包括旋转矩阵和平移矩阵，根据旋转矩阵，得到欧拉角，并根据欧拉角得到虚拟生物模型与真实生物模型之间的旋转角度，根据位置对应关系和旋转角度，将虚拟生物模型与真实生物模型配准。
本实施例的技术方案，通过获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，实现虚拟生物模型与真实生物模型的配准，上述实现了增强现实中高精度的虚实自动配准。
可选的，在上述技术方案的基础上，真实空间坐标系包括第一真实空间坐标系和第二真实空间坐标系。真实生物模型上设置有至少四个第一标记点，真实立体参考模型上设置有至少四个第二标记点。
建立与真实空间模型对应的真实空间坐标系，具体可以包括：获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标。根据各第一三维坐标，建立与真实生物模型对应的第一真实空间坐标系，以及，根据各第二三维坐标，建立与真实立体参考模型对应的第二真实空间坐标系。
在本发明的实施例中，基于增强现实的虚实配准方法主要包括基于硬件的虚实配准方法、基于机器视觉的虚实配准方法和基于硬件和视觉结合的混合虚实配准方法。其中，基于机器视觉的虚实配准方法可包括基于标记点的虚实配准方法和基于自然特征的虚实配准方法(或称基于无标记点的虚实配准方法)。基于标记点的虚实配准方法通常需要在真实生物模型的表面上佩戴或者粘贴标志物，将标志物称为标记点，当图像采集设备采集到包含标记点的真实生物模型的图像后，通过检测和识别标记点，实现后续坐标系之间的虚实配准，进而实现虚拟生物模型与真实生物模型的配准。
基于上述，可在真实空间模型上设置标记点，标记点有如下要求：标记点的个数为至少四个，且任意三个标记点不共线和任意四个标记点不共面；标记点有一定厚度。标记点可用于对真实空间模型进行识别与定位。由于真实空间模型包括真实生物模型和真实立体参考模型，因此，在真实空间模型上设置标记点即为在真实生物模型上设置第一标记点，在真实立体参考模型上设置第二标记点。第一标记点和第二标记点均需满足上述所述的标记点所需满足的要求。此外，真实空间坐标系可包括第一真实空间坐标系和第二真实空间坐标系，其中，第一真实空间坐标系可为与真实生物模型对应的真实空间坐标系。第二真实空间坐标系可为与真实立体参考模型对应的真实空间坐标系。
建立与真实空间模型对应的真实坐标系，可作如下理解：获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标。即针对每个第一标记点，获取该第一标记点的第一三维坐标。针对每个第二标记点，获取该第二标记点的第二三维坐标。上述各第一标记点的第一三维坐标，各第二标记点的第二三维坐标，可通过具有景深功能的景深设备采集得到。景深功能的景深设备可包括双目摄像机、红外景深摄像机或结构管采集设备等。在获得各第一标记点的第一三维坐标，各第二标记点的第二三维坐标后，可根据各第一三维坐标，建立与真实生物模型对应的第一真实空间坐标系。可根据各第二三维坐标，建立与真实立体参考模型对应的第二真实空间坐标系。
可选的，在上述技术方案的基础上，获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，具体可以包括：获取景深设备采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，景深设备包括双目摄像机、红外景深摄像机或结构光采集设备。
在本发明的实施例中，为了得到各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，可采用具有景深功能的景深设备采集，景深设备可包括双目摄像机、红外景深设备机或结构光采集设备。
获取基于双目摄像机采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，可作如下理解：双目摄像机基于双目立体视觉原理采集各第一标记点的第一三维坐标和各第二标记点的第二三维坐标。具体的：双目立体视觉是机器视觉的一种重要形式，它是由双目摄像机从不同角度获得被测物体的两幅图像，并基于视差原理恢复出物体的三维几何信息的方法。针对基于双目摄像机采集各第一标记点的第一三维坐标，可作如下理解：双目摄像机可从不同角度采集真实生物模型的两幅原始生物模型图像，对原始生物模型图像进行预处理，得到处理生物模型图像，对处理生物模型图像进行特征提取，得到各第一标记点在图像像素坐标系的第一二维坐标，根据各第一标记点的第一二维坐标，得到各第一标记点在摄像机坐标系的第一三维坐标。进一步的，为了减少数据处理量，可从各第一标记点中选择预定个数的第一标记点作为第一目标标记点，根据各第一目标标记点的第一二维坐标，得到各第一目标标记点在摄像机坐标系的第一三维坐标，后续可根据各第一目标标记点的第一三维坐标，建立与真实生物模型对应的第一真实空间坐标系。第一目标标记点为易识别的第一标记点。同样的，针对获取基于双目摄像机采集的各第二标记点的第二三维坐标，可作如下理解：可获取由双目摄像机从不同角度采集真实立体参考模型的两幅原始立体参考模型图像，对原始立体参考模型图像进行预处理，得到处理立体参考模型图像，对处理立体参考模型图像进行特征提取，得到各第二标记点在图像像素坐标系的第二二维坐标，根据各第二标记点的第二二维坐标，得到各第二标记点在摄像机坐标系的第二三维坐标。进一步的，为了减少数据处理量，可从各第二标记点中选择预定个数的第二标记点作为第二目标标记点，根据各第二目标标记点的第二二维坐标，得到各第二目标标记点在摄像机坐标系的第二三维坐标，后续可根据各第二目标标记点的第二三维坐标，建立与真实立体参考模型对应的第二真实空间坐标系。第二目标标记点为易识别的第二标记点。其中，预处理可以包括灰度化处理和形态学变换等。对处理立体参考模型图像进行特征提取，得到各第二标记点在图像像素坐标系的第二二维坐标，可作如下理解：对处理立体参考图像进行轮廓提取，并基于霍夫圆检测算法识别各第二标记点的轮廓，得到各第二标记点在图像像素坐标系的第二二维坐标。
可选的，在上述技术方案的基础上，虚拟空间坐标系包括第一虚拟空间坐标系和第二虚拟空间坐标系。根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，虚拟空间模型包括虚拟生物模型和虚拟立体参考模型，具体可以包括：获取真实生物模型的术前影像数据，根据术前影像数据进行三维重建，得到与真实生物模型对应的虚拟生物模型，并建立与虚拟生物模型对应的第一虚拟空间坐标系，术前影像数据包括CT数据或MRI数据。获取真实立体参考模型的结构参数，根据结构参数，建立与真实立体参考模型对应的虚拟立体参考模型，并建立与虚拟立体参考模型对应的第二虚拟空间坐标系。
在本发明的实施例中，可通过医学成像设备采集真实生物模型的术前影像数据，基于三维重建算法对术前影像数据进行三维重建，得到与真实生物模型对应的虚拟生物模型，术前影像数据可包括CT数据或MRI数据。上述可作如下理解：可采用医学成像设备对真实生物模型进行扫描，获取术前影像数据，术前影像数据的格式可为DICOM，可采用MIMICS(Materialise's Interactive Medical Image Control System，交互式医学影像控制系统)对术前影像数据进行三维重建，得到虚拟生物模型。在三维重建过程中，为了提高三维重建的可靠性和精确性，可在MIMICS中对三维重建得到的模型进行阈值分析和网格重新划分及优化处理。其中，MIMICS是一种高度整合且易用的3D图像生成及编辑处理软件，它能根据各种术前影像数据，如CT数据和MRI数据，建立三维模型以及对三维模型进行编辑处理。同时，在得到虚拟生物模型时，可建立与虚拟生物模型对应的第二虚拟空间坐标系。
获取真实立体参考模型的结构参数，根据结构参数，建立与真实立体参考模型对应的虚拟立体参考模型，上述可作如下理解：虚拟立体参考模型可为Vuforia中的RGB目标识别圆柱体，可将Vuforia中的RGB目标识别圆柱体称为虚拟RGB目标识别圆柱体。相应的，真实立体参考模型可为真实RGB目标识别圆柱体。上述可作如下理解：在Vuforia中，可根据真实立体参考模型的结构参数，设置RGB目标识别圆柱体的大小，生成与真实RGB目标识别圆柱体对应的虚拟RGB目标识别圆柱体。
可选的，在上述技术方案的基础上，基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准，具体可以包括：基于空间映射法，建立虚拟空间坐标系与真实空间坐标系之间的转换矩阵，并根据转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，转换矩阵包括旋转矩阵和平移矩阵。根据旋转矩阵，得到虚拟生物模型与真实生物模型之间的旋转角度。根据位置对应关系和旋转角度，将虚拟生物模型与真实生物模型配准。
在本发明的实施例中，可基于空间映射法，建立虚拟空间坐标系与真实空间坐标系之间的转换矩阵，并根据转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，上述即完成了虚拟生物模型与真实生物模型之间的位置配准根据旋转矩阵，但是并未完成虚拟生物模型与真实生物模型的配准，这是由于虚拟生物模型与真实生物模型之间还相差了旋转角度。虚拟生物模型与真实生物模型之间的旋转角度可通过如下方式确定：可根据旋转矩阵，确定欧拉角，即可根据旋转矩阵与欧拉角之间的转换关系，根据旋转矩阵，确定欧拉角。在确定欧拉角后，可根据欧拉角，确定虚拟生物模型与真实生物模型之间的旋转角度。或者，可根据旋转矩阵，确定四元数，即可根据旋转矩阵与四元数之间的转换关系，根据旋转矩阵，确定四元数。在确定四元数后，可根据四元数，确定虚拟生物模型与真实生物模型之间的旋转角度。
可选的，在上述技术方案的基础上，虚拟生物模型上设置有至少四个第三标记点，虚拟立体参考模型上设置有至少四个第四标记点，各第三标记点与各第一标记点一一对应，各第四标记点与各第二标记点一一对应。
基于空间映射法，建立所述虚拟空间坐标系与所述真实空间坐标系之间的转换矩阵，并根据转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，转换矩阵包括旋转矩阵和平移矩阵，具体可以包括：在第一真实空间坐标系中，选择四个第一标记点，将其中一个第一标记点作为原点，将原点分别与其余三个第一标记点形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并确定四个第一标记点在第三真实空间坐标系下的第三三维坐标。在第一虚拟空间坐标系中，获取与四个第一标记点对应的四个第三标记点的第四三维坐标，根据各第三三维坐标和各第四三维坐标，确定第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵，并根据虚拟生物模型的包围盒中心点坐标和第一转换矩阵，确定真实生物模型的包围盒中心点坐标，并确定真实生物模型的包围盒中心点坐标在所述第二真实空间坐标系下的目标中心点坐标，第一转换矩阵包括第一旋转矩阵和第一平移矩阵。在第二真实空间坐标系中，选择四个第二标记点，将其中一个第二标记点作为原点，将原点分别与其余三个第二标记点形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并确定四个第二标记点在第四真实空间坐标系下的第五三维坐标。在第二虚拟空间坐标系中，获取与四个第二标记点对应的四个第四标记点的第六三维坐标，根据各第五三维坐标和各第六三维坐标，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵，并根据目标中心点坐标点坐标和第二转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，第二转换矩阵包括第二旋转矩阵和第二平移矩阵。
可选的，在上述技术方案的基础上，根据旋转矩阵，得到虚拟生物模型与真实生物模型之间的旋转角度，具体可以包括：根据第二旋转矩阵，得到欧拉角，并根据欧拉角，得到虚拟生物模型与真实生物模型之间的旋转角度。
在本发明的实施例中，在对坐标系进行虚实配准之前，需要分别建立各自的空间坐标系。其中，由于第一虚拟空间坐标系为根据通过获取真实生物模型的术前影像数据，根据术前影像数据进行三维重建的虚拟生物模型得到，因此，虚拟生物模型在第一虚拟空间坐标系中的各点的坐标为已知。此外，由于真实生物模型在第一真实空间坐标系中的各点的坐标，以及，真实立体参考模型在第二真实空间坐标系中的各点的坐标，均为景深设备采集得到，因此，真实生物模型在第一真实空间坐标系中的各点的坐标，以及，真实立体参考模型在第二真实空间坐标系中的各点的坐标均为已知。
在进行虚实坐标系的配准时，需要在不同坐标系下测出同一组公共点的坐标，通过这组公共点的坐标，将两个坐标系的位姿进行关联，即建立两个坐标系之间的位置对应关系。具体的：可在第一真实空间坐标系中，任意选择四个第一标记点，这四个第一标记点中任意三个第一标记点不共线，且，这四个第一标记点不共面。将其中一个第一标记点作为原点，将该原点分别与其余三个第一标记点所形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，即该原点将分别与其余三个第一标记点形成三条连线，可将这三条连线分别作为X轴、Y轴和Z轴，得到第三真实空间坐标系，此外，可将该原点与其余三点连线的向量为各自坐标轴上的单位向量。基于此，可得到这四个第一标记点在第三真实空间坐标系下的第三三维坐标。需要说明的是，可以理解到，如果该原点分别与其余三个第一标记点形成的三条连线中存在两条连线不垂直，则该第三真实空间坐标系将不为正交坐标系，该第三真实空间坐标系将为非正交坐标系。此外，可将该第三真实空间坐标系理解为手术空间坐标系。由于原点与其余三点连线的向量为各自坐标轴上的单位向量，即将得到三个单位向量，因此，手术空间坐标系中任意一点均可由上述三个单位向量表示。
在第一虚拟空间坐标系中，可获取与上述四个第一标记点对应的四个第三标记点，并确定这四个第三标记点在第一虚拟空间坐标系下的第四三维坐标。在得到四个第三三维坐标和四个第四三维坐标后，可根据各第三三维坐标和各第四三维坐标，确定第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵，第一转换矩阵可包括第一旋转矩阵和第一平移矩阵。由于虚拟生物模型的包围盒中心点坐标可直接获得，即可理解为虚拟生物模型的包围盒中心点坐标为已知，因此，可根据虚拟生物模型的包围盒中心点坐标和第一转换矩阵，确定真实生物模型的包围盒中心点坐标。在得到真实生物模型的包围盒中心点坐标后，由于第一真实空间坐标系由基于景深设备采集的真实生物模型上的各第一标记点的第一三维坐标确定，第二真实空间坐标系由基于同一景深设备采集的真实立体参考模型上的各第二标记点的第二三维坐标确定，因此，可根据真实生物模型上的各点在第一真实空间坐标系下的坐标，确定真实生物模型上的各点在第二真实空间坐标系下的坐标。基于此，由于真实生物模型的包围盒中心点为真实生物模型上的点，因此，可根据真实生物模型的包围盒中心点坐标，确定真实生物模型的包围盒中心点坐标在第二真实空间坐标系下的目标中心点坐标。目标中心点坐标即为真实生物模型的包围盒中心点坐标在第二真实空间坐标系下的坐标。
为使虚拟空间中的虚拟生物模型与虚拟立体参考模型之间的位置关系与真实空间中真实生物模型与真实立体参考模型之间的位置关系保持一致，可在第二真实空间坐标系中，任意选择四个第二标记点，这四个第二标记点中任意三个第二标记点不共线，且，这四个第二标记点不共面。将其中一个第二标记点作为原点，将该原点分别与其余三个第二标记点所形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，即该原点将分别与其余三个第二标记点形成三条连线，可将这三条连线分别作为X轴、Y轴和Z轴，得到第四真实空间坐标系，此外，可将该原点与其余三点连线的向量为各自坐标轴上的单位向量。基于此，可得到这四个第二标记点在第四真实空间坐标系下的第五三维坐标。需要说明的是，可以理解到，如果该原点分别与其余三个第二标记点形成的三条连线中存在两条连线不垂直，则该第四真实空间坐标系将不为正交坐标系，该第四真实空间坐标系将为非正交坐标系。
在第二虚拟空间坐标系中，可获取与上述四个第二标记点对应的四个第四标记点，并确定这四个第四标记点在第二虚拟空间坐标系下的第六三维坐标。在得到四个第五三维坐标和四个第六三维坐标后，可根据各第五三维坐标和各第六三维坐标，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵，第二转换矩阵可包括第二旋转矩阵和第二平移矩阵。在得到第二转换矩阵和目标中心点坐标后，可根据目标中心点坐标点坐标和第二转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，即可得到虚拟生物模型上与目标中心点坐标对应的点在手术空间坐标系下的坐标。上述即完成了虚拟生物模型与真实生物模型之间的位置配准。
需要说明的是，相比于将第三真实空间坐标系和第四真实空间坐标系设置为正交坐标系，将第三真实空间坐标系和第四真实空间坐标系均设置为非正交坐标系，可提高确定标记点的坐标的精度，进而提高位置配准精度。
上述虽然完成了虚拟生物模型与真实生物模型之间的位置配准，但并未实现将虚拟生物模型与真实生物模型配准，这是由于虚拟生物模型与真实生物模型之间相差了旋转角度。基于此，需确定虚拟生物模型与真实生物模型之间的旋转角度。可根据第二旋转矩阵，确定虚拟生物模型与真实生物模型之间的旋转角度，上述可作如下理解：可根据第二旋转矩阵，得到欧拉角，并根据欧拉角，得到虚拟生物模型与真实生物模型之间的旋转角度。或者，可根据第二旋转角度，得到四元数，并根据四元数，得到虚拟生物模型与真实生物模型之间的旋转角度。其中，欧拉角是表示物体在三维空间中旋转的一种方法，即任何一个旋转可以表示为依次绕三个坐标轴旋转得到的三个角度的组合，上述三个角度称为欧拉角。其中，三个坐标轴可以指固定的世界坐标系轴，也可以指被旋转的物体坐标系轴。需要说明的是，三个坐标轴旋转次序不同，可能导致结果不同。可选的，坐标轴旋转次序可为ZXY。四元数可理解为是一个标量和一个三维向量的组合。
为了更好地理解虚拟生物模型与真实生物模型之间的位置配准，下面将以公式进行说明，具体的：
在第一真实空间坐标系中，选择四个第一标记点，这四个第一标记点任意三个第一标记点不共线，且，这四个第一标记点不共面，上述四个第一标记点可分别记为A0、A1、A2和A3。可将第一标记点A0作为原点，将第一标记点A0分别与其余三个第一标记点A1、第一标记点A2和第一标记点A3形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并可设定和
Figure BDA0002239133010000152
为各自坐标轴上的单位向量，即可将作为X轴的单位向量，
Figure BDA0002239133010000154
作为Y轴的单位向量，以及，
Figure BDA0002239133010000155
作为Z轴的单位向量。基于此，可确定上述四个第一标记点在第三真实空间坐标系下的坐标，即可确定第一标记点A0在第三真实空间坐标系下的第三三维坐标为(0，0，0)，第一标记点A1在第三真实空间坐标系下的第三三维坐标为(1，0，0)，第一标记点A2在第三真实空间坐标系下的第三三维坐标为(0，1，0)，以及，第一标记点A3在第三真实空间坐标系下的第三三维坐标为(0，0，1)。可以理解到，第三真实空间坐标系上的任意一点Ap(xAp，yAp，zAp)，均可表示为：
Figure BDA0002239133010000156
在第一虚拟空间坐标系中，可获取与上述四个第一标记点A0、A1、A2和A3对应的四个第三标记点，可分别记为B0、B1、B2和B3，其中，第三标记点B0与第一标记点A0对应，第三标记点B1与第一标记点A1对应，第三标记点B2与第一标记点A2对应，以及，第三标记点B3与第一标记点A3对应。可确定这四个第三标记点在第一虚拟空间坐标系下的第四三维坐标，即第三标记点B0在第一虚拟空间坐标系下的第四三维坐标为(xB0，yB0，zB0)，第三标记点B1在第一虚拟空间坐标系下的第四三维坐标为(xB1，yB1，zB1)，第三标记点B2在第一虚拟空间坐标系下的第四三维坐标为(xB2，yB2，zB2)，以及，第三标记点B3在第一虚拟空间坐标系下的第四三维坐标为(xB3，yB3，zB3)。四个第一标记点和四个第三标记点的坐标可如表1所示。如表1所示，给出了标记点在第三真实空间坐标系和第一虚拟空间坐标系下的坐标。
表1
根据各第三三维坐标和各第四三维坐标，确定第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵，即根据第三三维坐标A0(0，0，0)、第三三维坐标A1(1，0，0)、第三三维坐标A2(0，1，0)和第三三维坐标A3(0，0，1)，以及，第四三维坐标B0(xB0，yB0，zB0)、第四三维坐标B1(xB1，yB1，zB1)、第四三维坐标B2(xB2，yB2，zB2)和第四三维坐标B3(xB3，yB3，zB3)，确定第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵T1为：其中，R1可表示第一旋转矩阵，t1可表示第一平移矩阵。
根据虚拟生物模型的包围盒中心点坐标PVB_center和第一转换矩阵T1，确定真实生物模型的包围盒中心点坐标PRB_center，即PRB_center＝T1 -1×PVB_center，并确定真实生物模型的包围盒中心点坐标在第二真实空间坐标系下的目标中心点坐标PRB_center'。其中，T1 -1为第一转换矩阵T1的逆矩阵。
在第二真实空间坐标系中，选择四个第二标记点，这四个第二标记点任意三个第二标记点不共线，且，这四个第二标记点不共面，上述四个第二标记点可分别记为C0、C1、C2和C3。可将第二标记点C0作为原点，将第二标记点C0分别与其余三个第二标记点C1、第二标记点C2和第二标记点C3形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并可设定
Figure BDA0002239133010000162
和为各自坐标轴上的单位向量，即可将
Figure BDA0002239133010000164
作为X轴的单位向量，
Figure BDA0002239133010000165
作为Y轴的单位向量，以及，
Figure BDA0002239133010000166
作为Z轴的单位向量。基于此，可确定上述四个第二标记点在第四真实空间坐标系下的坐标，即可确定第二标记点C0在第四真实空间坐标系下的第五三维坐标为(0，0，0)，第二标记点C1在第四真实空间坐标系下的第五三维坐标为(1，0，0)，第二标记点C2在第四真实空间坐标系下的第五三维坐标为(0，1，0)，以及，第二标记点C3在第四真实空间坐标系下的第五三维坐标为(0，0，1)。可以理解到，第四真实空间坐标系上的任意一点Cp(xCp，yCp，zCp)，均可表示为：
在第二虚拟空间坐标系中，可获取与上述四个第二标记点C0、C1、C2和C3对应的四个第四标记点，可分别记为D0、D1、D2和D3，其中，第四标记点D0与第二标记点C0对应，第四标记点D1与第二标记点C1对应，第四标记点D2与第二标记点C2对应，以及，第四标记点D3与第二标记点C3对应。可确定这四个第四标记点在第二虚拟空间坐标系下的第六三维坐标，即第四标记点D0在第二虚拟空间坐标系下的第六三维坐标为(xD0，yD0，zD0)，第四标记点D1在第二虚拟空间坐标系下的第六三维坐标为(xD1，yD1，zD1)，第四标记点D2在第二虚拟空间坐标系下的第六三维坐标为(xD2，yD2，zD2)，以及，第四标记点D3在第二虚拟空间坐标系下的第六三维坐标为(xD3，yD3，zD3)。四个第二标记点和四个第四标记点的坐标可如表2所示。如表2所示，给出了标记点在第四真实空间坐标系和第二虚拟空间坐标系下的坐标。
表2
Figure BDA0002239133010000172
根据各第五三维坐标和各第六三维坐标，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵，即根据第五三维坐标C0(0，0，0)、第五三维坐标C1(1，0，0)、第五三维坐标C2(0，1，0)和第五三维坐标C3(0，0，1)，以及，第六三维坐标D0(xD0，yD0，zD0)、第六三维坐标D1(xD1，yD1，zD1)、第六三维坐标D2(xD2，yD2，zD2)和第六三维坐标D3(xD3，yD3，zD3)，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵T2为：
Figure BDA0002239133010000181
其中，R2可表示第二旋转矩阵，t2可表示第二平移矩阵。
根据目标中心点坐标点坐标PRB_center'和第二转换矩阵T2，得到虚拟生物模型与真实生物模型之间的位置对应关系，即PVB_center'＝T2×PRB_center'。
根据第二旋转矩阵R2，确定欧拉角，并根据欧拉角确定虚拟生物模型与真实生物模型之间的旋转角度，可作如下理解：设定为左手系旋转，且坐标轴的旋转次序是ZXY。
Figure BDA0002239133010000182
其中，根据R2x，确定左手系中绕X轴的旋转角度p，p＝asin(-m32)，
Figure BDA0002239133010000183
根据R2y，确定左手系中绕Y轴的旋转角度h，
Figure BDA0002239133010000184
根据R2z，确定左手系中绕Z轴的旋转角度b，
Figure BDA0002239133010000185
可选的，在上述技术方案的基础上，基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准之后，具体还可以包括：将配准后的虚拟生物模型和真实生物模型发送至头戴式增强现实显示设备，以指示增强现实显示设备显示配准后的虚拟生物模型和真实生物模型。或者，显示配准后的虚拟生物模型和真实生物模型。
在本发明的实施例中，增强现实的最终目的是将配准后的虚拟生物模型和真实生物模型同时通过视觉通道输出，用户通过视觉通道获得增强现实的效果。可采用增强现实显示设备来显示配准后的虚拟生物模型与真实生物模型，增强现实显示设备可包括头戴式增强现实显示设备、手持式增强现实显示设备和空间增强现实显示设备。空间增强现实显示设备可为计算机显示器。头戴式增强现实显示设备可包括全息眼镜，全息眼镜如Hololens。
基于上述，可将配准后的虚拟生物模型和真实生物模型发送至头戴式增强现实显示设备，以使增强现实显示设备显示配准后的虚拟生物模型和真实生物模型。或者，可直接显示配准后的虚拟生物模型和真实生物模型。
可选的，可采用如上文所述的Unity3D和Vuforia完成虚拟空间坐标系与真实空间坐标系的虚实配准。Unity3D和Vuforia可运行于Windows操作系统上的Microsoft VisualStudio平台。可将配准后的虚拟生物模型和真实生物模型发送至Hololens，即通过Unity3D和Vuforia将配准后的虚拟生物模型和虚拟立体参考模型导入Hololens中，以使Hololens显示配准后的虚拟生物模型和真实生物模型，以及，配准后的虚拟立体参考模型和真实立体参考模型。上述通过Hololens与Unity3D联合操作，以及，结合景深设备，可进行三维追踪识别。在手术中，医生可佩戴Hololens，以在手术导航中提供更好的手术指导。
可选的，在上述技术方案的基础上，真实立体参考模型可为真实圆柱体模型，虚拟立体参考模型可为虚拟圆柱体模型。
在本发明的实施例中，真实立体参考模型和虚拟立体参考模型的形状可为圆柱体。相应的，真实立体参考模型可为真实圆柱体模型，虚拟立体参考模型可为虚拟圆柱体模型。
图2为本发明实施例提供的另一种增强现实的配准方法的流程图，本实施例可适用于实现增强现实中高精度的虚实自动配准的情况，该方法可以由增强现实的配准装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于设备中，例如典型的是计算机等。如图2所示，该方法具体包括如下步骤：
步骤201、获取真实空间模型，真实空间模型包括真实生物模型和真实立体参考模型，真实生物模型上设置有至少四个第一标记点，真实立体参考模型上设置有至少四个第二标记点。
步骤202、获取景深设备采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，景深设备包括双目摄像机、红外景深摄像机或结构光采集设备。
步骤203、根据各第一三维坐标，建立与真实生物模型对应的第一真实空间坐标系，以及，根据各第二三维坐标，建立与真实立体参考模型对应的第二真实空间坐标系。
步骤204、获取真实生物模型的术前影像数据，根据术前影像数据进行三维重建，得到与真实生物模型对应的虚拟生物模型，并建立与虚拟生物模型对应的第一虚拟空间坐标系，术前影像数据包括CT数据或MRI数据，虚拟生物模型上设置有至少四个第三标记点，各第三标记点与各第一标记点一一对应。
步骤205、获取真实立体参考模型的结构参数，根据结构参数，建立与真实立体参考模型对应的虚拟立体参考模型，并建立与虚拟立体参考模型对应的第二虚拟空间坐标系，虚拟立体参考模型上设置有至少四个第四标记点，各第四标记点与各第二标记点一一对应。
步骤206、在第一真实空间坐标系中，选择四个第一标记点，将其中一个第一标记点作为原点，将原点分别与其余三个第一标记点形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并确定四个第一标记点在第三真实空间坐标系下的第三三维坐标。
步骤207、在第一虚拟空间坐标系中，获取与四个第一标记点对应的四个第三标记点的第四三维坐标，根据各第三三维坐标和各第四三维坐标，确定第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵，并根据虚拟生物模型的包围盒中心点坐标和第一转换矩阵，确定真实生物模型的包围盒中心点坐标，并确定真实生物模型的包围盒中心点坐标在第二真实空间坐标系下的目标中心点坐标，第一转换矩阵包括第一旋转矩阵和第一平移矩阵。
步骤208、在第二真实空间坐标系中，选择四个第二标记点，将其中一个第二标记点作为原点，将原点分别与其余三个第二标记点形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并确定四个第二标记点在第四真实空间坐标系下的第五三维坐标。
步骤209、在第二虚拟空间坐标系中，获取与四个第二标记点对应的四个第四标记点的第六三维坐标，根据各第五三维坐标和各第六三维坐标，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵，并根据目标中心点坐标点坐标和第二转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，第二转换矩阵包括第二旋转矩阵和第二平移矩阵。
步骤210、根据第二旋转矩阵，得到欧拉角，并根据欧拉角，得到虚拟生物模型与真实生物模型之间的旋转角度。
步骤211、根据位置对应关系和旋转角度，将虚拟生物模型与真实生物模型配准。
步骤212、将配准后的虚拟生物模型和真实生物模型发送至头戴式增强现实显示设备，以指示增强现实显示设备显示配准后的虚拟生物模型和真实生物模型。或，显示配准后的虚拟生物模型和真实生物模型。
在本发明的实施例中，需要说明的是，对步骤204和步骤205执行的先后顺序不作限定，具体可根据实际情况进行设定。即步骤204和步骤205可同步执行，也可先执行步骤204再执行步骤205，还可先执行步骤205再执行步骤204。此外，对步骤202-步骤203，与，步骤204-步骤205执行的先后顺序也不作限定，具体可根据实际情况进行设定。即可先执行步骤202-步骤203再在执行步骤204-步骤205，也可先执行步骤204-步骤205再执行步骤202-步骤203。
为了更好的理解本发明实施例所提供的技术方案，下面通过示例进行说明，具体的：采用Unity3D和Vuforia，并结合双目摄像机，完成虚拟空间坐标系与真实空间坐标系的虚实配准。可将配准后的虚拟人体模型和真实人体模型发送至Hololens，即通过Unity3D和Vuforia将配准后的虚拟人体模型和虚拟立体参考模型导入Hololens中，以使Hololens显示配准后的虚拟人体模型和真实人体模型，以及，配准后的虚拟立体参考模型和真实人体参考模型。在手术中，医生可佩戴Hololens，以在手术导航中提供更好的手术指导。其中，真实立体参考模型为真实RGB目标识别圆柱体，虚拟立体参考模型为虚拟RGB目标识别圆柱体。真实RGB目标识别圆柱体和虚拟RGB目标识别圆柱体的结构参数均为底面直径为66.2mm，高度为172.5mm。真实RGB目标识别圆柱体和虚拟RGB目标识别圆柱体上设置有目标图像，目标图像的长度为172.5mm，宽度为207.97mm。真实人体模型上设置有至少四个第一标记点，真实RGB目标标识圆柱体上设置有至少四个第二标记点，虚拟人体模型上设置有至少四个第三标记点，虚拟RGB目标识别圆柱体上设置有至少四个第四标记点。Unity3D和Vuforia运行于Windows10操作系统上的Microsoft Visual Studio平台。表3和表4给出了配准前后的虚拟人体模型上的四个第三标记点在第一虚拟空间坐标系下的各第四三维坐标。其中，表3为配准后的虚拟人体模型上的四个第三标记点在第一虚拟空间坐标下的各第四三维坐标。表4为配准前的虚拟人体模型上的四个第三标记点在第一虚拟空间坐标系下的各第四三维坐标。由表3可得出，坐标误差精度为1.004mm，上述可达到实时追踪的效果。
表3
第三标记点 X(mm) Y(mm) Z(mm)
1 55.8834 34.5810 108.5413
2 54.7202 42.0086 60.3560
3 80.2133 21.8354 97.4936
4 79.8075 19.7174 78.4056
表4
第三标记点 X(mm) Y(mm) Z(mm)
1 55.9834 33.6310 108.8413
2 54.8202 41.0586 60.6560
3 80.3133 20.8854 97.7936
4 79.9075 18.7674 78.7057
图3为配准前的虚拟人体模型与真实人体模型的效果示意图。图4-图7为配准后的虚拟人体模型与真实人体模型的效果示意图。其中，图4为用户视角为0°下的配准后的虚拟人体模型与真实人体模型的效果示意图。图5为用户视角为90°下的配准后的虚拟人体模型与真实人体模型的效果示意图。图6为用户视角为180°下的配准后的虚拟人体模型与真实人体模型的效果示意图。图7为用户视角为270°下的配准后的虚拟人体模型与真实人体模型的效果示意图。可以理解到，图3-图7也可看出配准前后的虚拟立体参考模型与真实立体参考模型的效果示意图。如图8所示，给出了一种配准前后虚拟人体模型上的坐标精度对比示意图。从图8中可以看出配准后的虚拟人体模型的坐标误差在允许范围内，精度可为1.004mm。
本实施例的技术方案，通过双目摄像机采集真实空间中的标记点，以及，采用Unity3D和Vuforia实现空间映射转换以及旋转矩阵与欧拉角转换，进而实现虚拟生物模型与真实生物模型的配准，将配准后的虚拟生物模型和真实生物模型发送至Hololens，使得Hololens显示配准后的虚拟生物模型和真实生物模型，并达到360°视角实时追踪的效果。在手术中，医生通过佩戴Hololens为其在手术导航中提供更好的手术指导，并且，允许医生在测试区域内走动，符合实用要求。
图3为本发明实施例提供的一种增强现实的配准装置的结构示意图，本实施例可适用于实现增强现实中高精度的虚实自动配准的情况，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于设备中，例如典型的是计算机等。如图3所示，该装置具体包括：
虚实空间建立模块310，用于获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，真实空间模型包括真实生物模型和真实立体参考模型。
虚拟空间模型建立模块320，用于根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，虚拟空间模型包括虚拟生物模型和虚拟立体参考模型。
配准模块330，用于基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准。
本实施例的技术方案，通过获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，实现虚拟生物模型与真实生物模型的配准，上述实现了增强现实中高精度的虚实自动配准。
可选的，在上述技术方案的基础上，真实空间坐标系包括第一真实空间坐标系和第二真实空间坐标系。真实生物模型上设置有至少四个第一标记点，真实立体参考模型上设置有至少四个第二标记点。建立与所述真实空间模型对应的真实空间坐标系，具体可以包括：
获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标。
根据各第一三维坐标，建立与真实生物模型对应的第一真实空间坐标系，以及，根据各第二三维坐标，建立与真实立体参考模型对应的第二真实空间坐标系。
可选的，在上述技术方案的基础上，获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，具体可以包括：获取景深设备采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，景深设备包括双目摄像机、红外景深摄像机或结构光采集设备。
可选的，在上述技术方案的基础上，虚拟空间坐标系包括第一虚拟空间坐标系和第二虚拟空间坐标系。虚拟空间建立模块320，具体用于：获取真实生物模型的术前影像数据，根据术前影像数据进行三维重建，得到与真实生物模型对应的虚拟生物模型，并建立与虚拟生物模型对应的第一虚拟空间坐标系，术前影像数据包括CT数据或MRI数据。获取真实立体参考模型的结构参数，根据结构参数，建立与真实立体参考模型对应的虚拟立体参考模型，并建立与虚拟立体参考模型对应的第二虚拟空间坐标系。
可选的，在上述技术方案的基础上，配准模块330，具体可以包括：位置对应关系获得子模块，用于基于空间映射法，建立虚拟空间坐标系与真实空间坐标系之间的转换矩阵，并根据转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系，转换矩阵包括旋转矩阵和平移矩阵。旋转角度获得子模块，用于根据旋转矩阵，得到虚拟生物模型与真实生物模型之间的旋转角度。配准子模块，用于根据位置对应关系和旋转角度，将虚拟生物模型与真实生物模型配准。
可选的，在上述技术方案的基础上，虚拟生物模型上设置有至少四个第三标记点，虚拟立体参考模型上设置有至少四个第四标记点，各第三标记点与各第一标记点一一对应，各第四标记点与各第二标记点一一对应。位置对应关系获得子模块，具体可以包括：
目标中心点坐标确定单元，用于在第一真实空间坐标系中，选择四个第一标记点，将其中一个第一标记点作为原点，将原点分别与其余三个第标记点形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并确定四个第一真实空间坐标系与第一虚拟空间坐标系之间的第一转换矩阵，并根据虚拟生物模型的包围盒中心点坐标和第一转换矩阵，确定真实生物模型的包围盒中心点坐标，并确定真实生物模型的包围盒中心点坐标在第二真实空间坐标系下的目标中心点坐标。
第五三维坐标确定单元，用于在第二真实空间坐标系中，选择四个第二标记点，将其中一个第二标记点作为原点，将原点分别与其余三个第二标记点形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并确定四个第二标记点在第四真实空间坐标系下的第五三维坐标。
位置对应关系获得单元，用于在第二虚拟空间坐标系中，获取与四个第二标记点对应的四个第四标记点的第六三维坐标，根据各第五三维坐标和各第六三维坐标，确定第二真实空间坐标系与第二虚拟空间坐标系之间的第二转换矩阵，并根据目标中心点坐标和第二转换矩阵，得到虚拟生物模型与真实生物模型之间的位置对应关系。
旋转角度获得子模块，具体可以包括：
旋转角度获得单元，用于根据第二旋转矩阵，得到欧拉角，并根据欧拉角得到虚拟生物模型与真实生物模型之间的旋转角度。
可选的，在上技术方案的基础上，该装置具体还可以包括：
第一显示模块，用于将配准后的虚拟生物模型和真实生物模型发送至头戴式增强现实显示设备，以指示增强现实显示设备显示配准后的虚拟生物模型和真实生物模型。或，
第二显示模块，用于显示配准后的虚拟生物模型和真实生物模型。
可选的，在上述技术方案的基础上，真实立体参考模型可为真实圆柱体模型，虚拟立体参考模型可为虚拟圆柱体模型。
本发明实施例所提供的配置于设备的增强现实的配准装置可执行本发明任意实施例所提供的应用于设备的增强现实的配准方法，具备执行方法相应的功能模块和有益效果。
图10为本发明实施例提供的一种设备的结构示意图。图10显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图10所示，本发明实施例提供的设备，包括处理器41、存储器42、输入装置43和输出装置44；设备中处理器41的数量可以是一个或多个，图10中以一个处理器41为例；设备中的处理器41、存储器42、输入装置43和输出装置44可以通过总线或其他方式连接，图10中以通过总线连接为例。
存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的增强现实的配准方法对应的程序指令/模块(例如，增强现实的配准装置中的第一建立模块310、第二建立模块320和配准模块330)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的应用于设备的增强现实的配准方法。
存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收用户输入的数字或字符信息，以产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供应用于设备的增强现实的配准方法的技术方案。该设备的硬件结构以及功能可参见实施例的内容解释。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种增强现实的配准方法，该方法包括：
获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，真实空间模型包括真实生物模型和真实立体参考模型。
根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系，虚拟空间模型包括虚拟生物模型和虚拟立体参考模型。
基于虚拟空间坐标系与真实空间坐标系之间的虚实配准，将虚拟生物模型与真实生物模型配准。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，例如C语言和Python等。程序代码可以在计算机或服务器上执行。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的设备的增强现实的配准方法的相关操作。对存储介质的介绍可参见实施例中的内容解释。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种增强现实的配准方法，其特征在于，包括：
获取真实空间模型的真实空间模型数据，并建立与所述真实空间模型对应的真实空间坐标系，所述真实空间模型包括真实生物模型和真实立体参考模型；
根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型；
基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准。
2.根据权利要求1所述的方法，其特征在于，所述真实空间坐标系包括第一真实空间坐标系和第二真实空间坐标系；所述真实生物模型上设置有至少四个第一标记点，所述真实立体参考模型上设置有至少四个第二标记点；
所述建立与所述真实空间模型对应的真实空间坐标系，包括：
获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标；
根据各第一三维坐标，建立与所述真实生物模型对应的所述第一真实空间坐标系，以及，根据各第二三维坐标，建立与所述真实立体参考模型对应的所述第二真实空间坐标系。
3.根据权利要求2所述的方法，其特征在于，所述获取各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，包括：
获取景深设备采集的各第一标记点的第一三维坐标和各第二标记点的第二三维坐标，所述景深设备包括双目摄像机、红外景深摄像机或结构光采集设备。
4.根据权利要求3所述的方法，其特征在于，所述虚拟空间坐标系包括第一虚拟空间坐标系和第二虚拟空间坐标系；
所述根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型，包括：
获取所述真实生物模型的术前影像数据，根据所述术前影像数据进行三维重建，得到与所述真实生物模型对应的虚拟生物模型，并建立与所述虚拟生物模型对应的所述第一虚拟空间坐标系，所述术前影像数据包括CT数据或MRI数据；
获取所述真实立体参考模型的结构参数，根据所述结构参数，建立与所述真实立体参考模型对应的虚拟立体参考模型，并建立与所述虚拟立体参考模型对应的所述第二虚拟空间坐标系。
5.根据权利要求4所述的方法，其特征在于，所述基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准，包括：
基于空间映射法，建立所述虚拟空间坐标系与所述真实空间坐标系之间的转换矩阵，并根据所述转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系，所述转换矩阵包括旋转矩阵和平移矩阵；
根据所述旋转矩阵，得到所述虚拟生物模型与所述真实生物模型之间的旋转角度；
根据所述位置对应关系和所述旋转角度，将所述虚拟生物模型与所述真实生物模型配准。
6.根据权利要求5所述的方法，其特征在于，所述虚拟生物模型上设置有至少四个第三标记点，所述虚拟立体参考模型上设置有至少四个第四标记点，各第三标记点与各第一标记点一一对应，各第四标记点与各第二标记点一一对应；
所述基于空间映射法，建立所述虚拟空间坐标系与所述真实空间坐标系之间的转换矩阵，并根据所述转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系，所述转换矩阵包括旋转矩阵和平移矩阵，包括：
在所述第一真实空间坐标系中，选择四个第一标记点，将其中一个所述第一标记点作为原点，将所述原点分别与其余三个所述第一标记点形成的连线作为X轴、Y轴和Z轴，得到第三真实空间坐标系，并确定四个所述第一标记点在所述第三真实空间坐标系下的第三三维坐标；
在所述第一虚拟空间坐标系中，获取与四个所述第一标记点对应的四个第三标记点的第四三维坐标，根据各第三三维坐标和各第四三维坐标，确定所述第一真实空间坐标系与所述第一虚拟空间坐标系之间的第一转换矩阵，并根据所述虚拟生物模型的包围盒中心点坐标和所述第一转换矩阵，确定所述真实生物模型的包围盒中心点坐标，并确定所述真实生物模型的包围盒中心点坐标在所述第二真实空间坐标系下的目标中心点坐标，所述第一转换矩阵包括第一旋转矩阵和第一平移矩阵；
在所述第二真实空间坐标系中，选择四个第二标记点，将其中一个所述第二标记点作为原点，将所述原点分别与其余三个所述第二标记点形成的连线作为X轴、Y轴和Z轴，得到第四真实空间坐标系，并确定四个所述第二标记点在所述第四真实空间坐标系下的第五三维坐标；
在所述第二虚拟空间坐标系中，获取与四个所述第二标记点对应的四个第四标记点的第六三维坐标，根据各第五三维坐标和各第六三维坐标，确定所述第二真实空间坐标系与所述第二虚拟空间坐标系之间的第二转换矩阵，并根据所述目标中心点坐标点坐标和所述第二转换矩阵，得到所述虚拟生物模型与所述真实生物模型之间的位置对应关系，所述第二转换矩阵包括第二旋转矩阵和第二平移矩阵；
所述根据所述旋转矩阵，得到所述虚拟生物模型与所述真实生物模型之间的旋转角度，包括：
根据所述第二旋转矩阵，得到欧拉角，并根据所述欧拉角得到所述虚拟生物模型与所述真实生物模型之间的旋转角度。
7.根据权利要求1-6任一所述的方法，其特征在于，所述基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准之后，还包括：
将配准后的所述虚拟生物模型和所述真实生物模型发送至头戴式增强现实显示设备，以指示所述增强现实显示设备显示配准后的所述虚拟生物模型和所述真实生物模型；或，
显示配准后的所述虚拟生物模型和所述真实生物模型。
8.根据权利要求1-6任一所述的方法，其特征在于，所述真实立体参考模型为真实圆柱体模型，所述虚拟立体参考模型为虚拟圆柱体模型。
9.一种增强现实的配准装置，其特征在于，包括：
真实空间建立模块，用于获取真实空间模型的真实空间模型数据，并建立与所述真实空间模型对应的真实空间坐标系，所述真实空间坐标系包括真实生物模型和真实立体参考模型；
虚拟空间建立模块，用于根据所述真实空间模型数据，建立与所述真实空间模型对应的虚拟空间模型，并建立与所述虚拟空间模型对应的虚拟空间坐标系，所述虚拟空间模型包括虚拟生物模型和虚拟立体参考模型；
配准模块，用于基于所述虚拟空间坐标系与所述真实空间坐标系之间的虚实配准，将所述虚拟生物模型与所述真实生物模型配准。
10.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一所述的方法。
CN201910993841.XA 2019-10-18 2019-10-18 一种增强现实的配准方法、装置、设备及存储介质 Active CN110751681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993841.XA CN110751681B (zh) 2019-10-18 2019-10-18 一种增强现实的配准方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993841.XA CN110751681B (zh) 2019-10-18 2019-10-18 一种增强现实的配准方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110751681A true CN110751681A (zh) 2020-02-04
CN110751681B CN110751681B (zh) 2022-07-08

Family

ID=69278864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993841.XA Active CN110751681B (zh) 2019-10-18 2019-10-18 一种增强现实的配准方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110751681B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429549A (zh) * 2020-03-02 2020-07-17 北京梧桐车联科技有限责任公司 路线图像的生成方法、装置及存储介质
CN111476833A (zh) * 2020-04-02 2020-07-31 北京触幻科技有限公司 基于ct/mri的模型在混合现实下与实物配准的方法
CN112331311A (zh) * 2020-11-06 2021-02-05 青岛海信医疗设备股份有限公司 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
CN113256814A (zh) * 2020-02-10 2021-08-13 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN114898076A (zh) * 2022-03-29 2022-08-12 北京城市网邻信息技术有限公司 模型标签的添加方法、装置、电子设备及存储介质
CN116993794A (zh) * 2023-08-02 2023-11-03 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100149213A1 (en) * 2006-04-12 2010-06-17 Nassir Navab Virtual Penetrating Mirror Device for Visualizing of Virtual Objects within an Augmented Reality Environment
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
CN103530594A (zh) * 2013-11-05 2014-01-22 深圳市幻实科技有限公司 一种提供增强现实的方法、系统及终端
CN104434319A (zh) * 2014-12-18 2015-03-25 上海交通大学医学院附属第九人民医院 手术导航系统中游离骨块的实时示踪方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
US20150247976A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Planar waveguide apparatus configured to return light therethrough
CN105959665A (zh) * 2016-05-05 2016-09-21 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
CN106405846A (zh) * 2016-12-11 2017-02-15 北京方瑞博石数字技术有限公司 一种实现虚拟现实的增强现实模型的系统
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
US20180271602A1 (en) * 2010-06-29 2018-09-27 Mighty Oak Medical, Inc. Patient-matched apparatus and methods for performing surgical procedures
US20180303558A1 (en) * 2016-08-17 2018-10-25 Monroe Milas Thomas Methods and systems for registration of virtual space with real space in an augmented reality system
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN109785374A (zh) * 2019-01-23 2019-05-21 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN109907826A (zh) * 2019-04-12 2019-06-21 江西省人民医院 基于3d模型和vr技术的冠状动脉疾病模拟诊疗系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100149213A1 (en) * 2006-04-12 2010-06-17 Nassir Navab Virtual Penetrating Mirror Device for Visualizing of Virtual Objects within an Augmented Reality Environment
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
US20180271602A1 (en) * 2010-06-29 2018-09-27 Mighty Oak Medical, Inc. Patient-matched apparatus and methods for performing surgical procedures
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
US20150247976A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Planar waveguide apparatus configured to return light therethrough
CN103530594A (zh) * 2013-11-05 2014-01-22 深圳市幻实科技有限公司 一种提供增强现实的方法、系统及终端
CN104434319A (zh) * 2014-12-18 2015-03-25 上海交通大学医学院附属第九人民医院 手术导航系统中游离骨块的实时示踪方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN105959665A (zh) * 2016-05-05 2016-09-21 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
US20180303558A1 (en) * 2016-08-17 2018-10-25 Monroe Milas Thomas Methods and systems for registration of virtual space with real space in an augmented reality system
CN106405846A (zh) * 2016-12-11 2017-02-15 北京方瑞博石数字技术有限公司 一种实现虚拟现实的增强现实模型的系统
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN109785374A (zh) * 2019-01-23 2019-05-21 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN109907826A (zh) * 2019-04-12 2019-06-21 江西省人民医院 基于3d模型和vr技术的冠状动脉疾病模拟诊疗系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
LEE D 等: ""Augmeuted Reality to Localize Individual Orgm in Surgical Procedure"", 《HEALTHCARE INFOIMATICS RESEARCH》 *
P. VÁVRA等: ""Recent Development of Augmented Reality in Surgery: A Review"", 《JOURNAL OF HEALTHCARE ENGINEERING》 *
SHUHAIBER JH等: ""Augmented Reality in Surgery"", 《ARCH SURG.》 *
XIAOJUN CHEN 等: ""Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display"", 《JOURNAL OF BIOMEDICAL INFORMATICS》 *
ZHU, M等: ""A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery"", 《 SCI REP 7》 *
李佳宁: ""基于RGB-D摄像机的增强现实系统关键技术研究"", 《中国博士学位论文全文数据库 (信息科技辑)》 *
葛敏 等: ""手术导航中空间坐标系配准与注册研究"", 《生物医学工程与临床》 *
黄伟萍 等: ""基于增强现实的计算机辅助微创手术导航系统"", 《信息技术与网络安全》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256814A (zh) * 2020-02-10 2021-08-13 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN113256814B (zh) * 2020-02-10 2023-05-30 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN111429549A (zh) * 2020-03-02 2020-07-17 北京梧桐车联科技有限责任公司 路线图像的生成方法、装置及存储介质
CN111476833A (zh) * 2020-04-02 2020-07-31 北京触幻科技有限公司 基于ct/mri的模型在混合现实下与实物配准的方法
CN111476833B (zh) * 2020-04-02 2020-11-13 北京触幻科技有限公司 基于ct/mri的模型在混合现实下与实物配准的方法
CN112331311A (zh) * 2020-11-06 2021-02-05 青岛海信医疗设备股份有限公司 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
CN112331311B (zh) * 2020-11-06 2022-06-03 青岛海信医疗设备股份有限公司 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
CN114898076A (zh) * 2022-03-29 2022-08-12 北京城市网邻信息技术有限公司 模型标签的添加方法、装置、电子设备及存储介质
CN116993794A (zh) * 2023-08-02 2023-11-03 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置
CN116993794B (zh) * 2023-08-02 2024-05-24 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置

Also Published As

Publication number Publication date
CN110751681B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110751681B (zh) 一种增强现实的配准方法、装置、设备及存储介质
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
US9990744B2 (en) Image registration device, image registration method, and image registration program
Dey et al. Automatic fusion of freehand endoscopic brain images to three-dimensional surfaces: creating stereoscopic panoramas
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US20180350073A1 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US20180342089A1 (en) Unified coordinate system for multiple ct scans of patient lungs
US20070018975A1 (en) Methods and systems for mapping a virtual model of an object to the object
US9563979B2 (en) Apparatus and method for registering virtual anatomy data
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
Mamone et al. Projected augmented reality to drive osteotomy surgery: Implementation and comparison with video see-through technology
WO2023047355A1 (en) Surgical planning and display
US20230355315A1 (en) Surgical navigation system and applications thereof
WO2020145826A1 (en) Method and assembly for spatial mapping of a model, such as a holographic model, of a surgical tool and/or anatomical structure onto a spatial position of the surgical tool respectively anatomical structure, as well as a surgical tool
CN113034700A (zh) 基于移动终端的前交叉韧带重建手术导航方法及系统
Fischer et al. A hybrid tracking method for surgical augmented reality
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN116597020A (zh) 外参数标定方法、计算设备、图像采集系统和存储介质
CN113662663B (zh) 一种ar全息手术导航系统坐标系转换方法、装置及系统
CN113842227B (zh) 医疗辅助三维模型定位匹配方法、系统、设备及介质
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
CN114886558A (zh) 一种基于增强现实的内窥镜投影方法及系统
Li et al. 3d volume visualization and screen-based interaction with dynamic ray casting on autostereoscopic display
CN106296707A (zh) 医学图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant