CN108888341A - 一种增强现实头盔显示器位置实时跟踪的标定方法 - Google Patents

一种增强现实头盔显示器位置实时跟踪的标定方法 Download PDF

Info

Publication number
CN108888341A
CN108888341A CN201810382899.6A CN201810382899A CN108888341A CN 108888341 A CN108888341 A CN 108888341A CN 201810382899 A CN201810382899 A CN 201810382899A CN 108888341 A CN108888341 A CN 108888341A
Authority
CN
China
Prior art keywords
coordinate system
augmented reality
mounted display
helmet mounted
reality helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810382899.6A
Other languages
English (en)
Inventor
陈晓军
胡俊磊
徐律
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810382899.6A priority Critical patent/CN108888341A/zh
Publication of CN108888341A publication Critical patent/CN108888341A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种增强现实头盔显示器位置实时跟踪的标定方法，包括：步骤S1：捕捉增强现实头盔显示器移动前和移动后的位置，并得到移动前和移动后参考坐标系相对于世界坐标系的空间变换矩阵；步骤S2：获得患者移动前和移动后，参考坐标系相对于世界坐标系的空间变换矩阵；步骤S3：获得虚拟图像坐标系与患者参考坐标系之间的空间变换矩阵；步骤S4：使三维虚拟模型的坐标系与虚拟图像坐标系一致，获得三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵；步骤S5：计算获得增强现实头盔显示器的标定矩阵。与现有技术相比，本发明基于配准以及使三维虚拟模型的参考坐标系和虚拟图像坐标系一致，简化计算，通过消除中间变量的方式得到标定矩阵。

Description

一种增强现实头盔显示器位置实时跟踪的标定方法
技术领域
本发明涉及一种标定方法，尤其是涉及一种增强现实头盔显示器位置实时跟踪的标定方法。
背景技术
与目前大多数手术导航系统工作流程相比，基于增强现实的手术导航系统在完成计算机屏幕的虚拟图像坐标系与患者实体坐标系的配准后，还需要解决如何将用户在增强现实头盔显示器中看到的虚拟图像(如三维重建的重要解剖结构模型：血管、神经、软组织等)与患者实体实时融合匹配的难题。
现有的标定方法大多没有引用配准过程，或者配准过程不准确，且涉及5个坐标系，导致标定过程的计算需要过多的数据，并且计算复杂，硬件和系统开销大，不能很高效地进行标定，
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种增强现实头盔显示器位置实时跟踪的标定方法。
本发明的目的可以通过以下技术方案来实现：
一种增强现实头盔显示器位置实时跟踪的标定方法，包括：
步骤S1：捕捉增强现实头盔显示器移动前和移动后的位置，并得到移动前和移动后增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵；
步骤S2：获得患者移动前和移动后，患者参考坐标系相对于世界坐标系的空间变换矩阵；
步骤S3：通过配准操作，获得导航系统虚拟图像坐标系与患者参考坐标系之间的空间变换矩阵；
步骤S4：重建三维虚拟模型，使三维虚拟模型的坐标系与虚拟图像坐标系一致，获得三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵，其中，所述空间位置矩阵为单位矩阵；
步骤S5：根据增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵、患者参考坐标系相对于世界坐标系的空间变换矩阵和间变换矩阵计算获得增强现实头盔显示器的标定矩阵。
所述增强现实头盔显示器上固定有与所述增强现实头盔显示器相对位置不变的定位参考架，其中，所述定位参考架上设有用于被光学定位跟踪系统跟踪的反光小球；
所述增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵由光学定位跟踪系统计算获取。
所述患者参考坐标系相对于世界坐标系的空间变换矩阵由光学定位跟踪系统计算获取。
所述步骤S3中，三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵根据点配准或者面配准获得。
所述步骤S5中，增强现实头盔显示器的标定矩阵为三维虚拟模型移动后在虚拟图像坐标系下的空间位置矩阵B2。
所述增强现实头盔显示器的标定矩阵计算公式为：
其中：A1(R1,T1)和A2(R2,T2)分别为移动前和移动后增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵，A3(R3,T3)和A4(R4,T4)分别为移动前和移动后患者参考坐标系相对于世界坐标系的空间变换矩阵，R(RR,TR)为虚拟图像坐标系与患者参考坐标系之间的空间变换矩阵，B1(RB1,TB1)为三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵。
与现有技术相比，本发明具有以下有益效果：
1)基于配准以及使三维虚拟模型的参考坐标系和虚拟图像坐标系一致，可以简化计算，通过消除中间变量的方式得到标定矩阵，高效快速。
2)光学定位技术成熟，增强现实头盔显示器标定速度快。
2)三维虚拟模型的位置和方向将随着头盔或患者的移动而实时改变，始终与真实的解剖结构在空间关系上保持一致。
附图说明
图1为本发明方法的主要步骤流程示意图；
图2为基于增强现实的手术导航系统坐标系的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种增强现实头盔显示器位置实时跟踪的标定方法，利用导航系统的光学定位跟踪仪对装有跟踪参考架的增强现实头盔显示器进行标定，建立显示器参考坐标系与患者实体坐标系之间的空间变换关系，从而将术前规划信息、实时导航信息以及真实的手术场景在医生佩戴的增强现实头盔显示器前融为一体。当头盔显示器或患者移动时，通过各自的跟踪参考架实时计算两者之间的相对位置关系，从而使显示器中的三维虚拟图像始终与患者实际解剖结构配准融合，达到虚实结合的效果。
具体的，如图1所示，包括：
首先，增强现实头盔显示器上固定有与增强现实头盔显示器相对位置不变的定位参考架，其中，定位参考架上设有用于被光学定位跟踪系统跟踪的反光小球；
并定义基于增强现实的手术导航系统坐标系中，世界坐标系记为OXYZ，增强现实头盔显示器虚拟图像坐标系记为O1X1Y1Z1，增强现实头盔显示器参考坐标系记为O1X1Y1Z1，患者参考坐标系记为O2X2Y2Z2，如图2所示；
步骤S1：捕捉增强现实头盔显示器移动前和移动后的位置，并得到移动前和移动后增强现实头盔显示器参考坐标系O2X2Y2Z2相对于世界坐标系OXYZ的空间变换矩阵，增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵由光学定位跟踪系统计算获取，分别记为A1(R1,T1)和A2(R2,T2)；
步骤S2：获得患者移动前和移动后，患者参考坐标系相对于世界坐标系的空间变换矩阵，患者参考坐标系O2X2Y2Z2相对于世界坐标系OXYZ的空间变换矩阵由光学定位跟踪系统计算获取，分别记为A3(R3,T3)和A4(R4,T4)。
步骤S3：通过基于点或面的配准操作，获得导航系统虚拟图像坐标系O0X0Y0Z0与患者参考坐标系O2X2Y2Z2之间的空间变换矩阵，记为R(RR,TR)。
步骤S4：重建三维虚拟模型，使三维虚拟模型的坐标系与虚拟图像坐标系一致，获得三维虚拟模型移动前在虚拟图像坐标系O0X0Y0Z0下的空间位置矩阵，其中，空间位置矩阵为单位矩阵，记为B1(RB1,TB1)；
步骤S5：记X＝(x,y,z)T为增强现实头盔显示器中三维模型上任意一点在自身坐标系下的三维坐标，X1＝(x1,y1,z1)T和X2＝(x2,y2,z2)T分别为头盔显示器移动前和移动后患者模型上该点在虚拟图像坐标系下的三维坐标。头盔显示器参考坐标系与虚拟图像坐标系的变换矩阵通过特征点配准为单位矩阵，所以X1和X2等于该点在头盔显示器移动前后头盔显示器参考坐标系下的三维坐标。在患者或增强现实头盔显示器移动前后，头盔显示器中三维模型上任意一点在其自身坐标系下的空间位置X＝(x,y,z)T是相对不变的，则存在以下转换关系：
为了使该点在增强现实头盔显示器或患者移动时，其在患者参考坐标系下的相对位置保持不变，设三维坐标为X3＝(x3,y3,z3)T，则存在以下转换关系：
根据上述式子，计算获得增强现实头盔显示器的标定矩阵，所述增强现实头盔显示器的标定矩阵为三维虚拟模型移动后在虚拟图像坐标系下的空间位置矩阵，记为B2(RB2,TB2)；

Claims (6)

1.一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，包括：
步骤S1：捕捉增强现实头盔显示器移动前和移动后的位置，并得到移动前和移动后增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵；
步骤S2：获得患者移动前和移动后，患者参考坐标系相对于世界坐标系的空间变换矩阵；
步骤S3：通过配准操作，获得导航系统虚拟图像坐标系与患者参考坐标系之间的空间变换矩阵；
步骤S4：重建三维虚拟模型，使三维虚拟模型的坐标系与虚拟图像坐标系一致，获得三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵，其中，所述空间位置矩阵为单位矩阵；
步骤S5：根据增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵、患者参考坐标系相对于世界坐标系的空间变换矩阵和间变换矩阵计算获得增强现实头盔显示器的标定矩阵。
2.根据权利要求1所述的一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，所述增强现实头盔显示器上固定有与所述增强现实头盔显示器相对位置不变的定位参考架，其中，所述定位参考架上设有用于被光学定位跟踪系统跟踪的反光小球；
所述增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵由光学定位跟踪系统计算获取。
3.根据权利要求2所述的一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，所述患者参考坐标系相对于世界坐标系的空间变换矩阵由光学定位跟踪系统计算获取。
4.根据权利要求1所述的一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，所述步骤S3中，三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵根据点配准或者面配准获得。
5.根据权利要求1所述的一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，所述步骤S5中，增强现实头盔显示器的标定矩阵为三维虚拟模型移动后在虚拟图像坐标系下的空间位置矩阵B2。
6.根据权利要求5所述的一种增强现实头盔显示器位置实时跟踪的标定方法，其特征在于，所述增强现实头盔显示器的标定矩阵计算公式为：
其中：A1(R1,T1)和A2(R2,T2)分别为移动前和移动后增强现实头盔显示器参考坐标系相对于世界坐标系的空间变换矩阵，A3(R3,T3)和A4(R4,T4)分别为移动前和移动后患者参考坐标系相对于世界坐标系的空间变换矩阵，R(RR,TR)为虚拟图像坐标系与患者参考坐标系之间的空间变换矩阵，B1(RB1,TB1)为三维虚拟模型移动前在虚拟图像坐标系下的空间位置矩阵。
CN201810382899.6A 2018-04-26 2018-04-26 一种增强现实头盔显示器位置实时跟踪的标定方法 Pending CN108888341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810382899.6A CN108888341A (zh) 2018-04-26 2018-04-26 一种增强现实头盔显示器位置实时跟踪的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810382899.6A CN108888341A (zh) 2018-04-26 2018-04-26 一种增强现实头盔显示器位置实时跟踪的标定方法

Publications (1)

Publication Number Publication Date
CN108888341A true CN108888341A (zh) 2018-11-27

Family

ID=64342325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810382899.6A Pending CN108888341A (zh) 2018-04-26 2018-04-26 一种增强现实头盔显示器位置实时跟踪的标定方法

Country Status (1)

Country Link
CN (1) CN108888341A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109949228A (zh) * 2019-03-14 2019-06-28 北京航空航天大学 一种光学透视的ar眼镜的在线标定装置及方法
CN109953828A (zh) * 2019-05-07 2019-07-02 北京和华瑞博科技有限公司 一种参考架坐标系找回方法以及参考架坐标系找回装置
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN110782499A (zh) * 2019-10-23 2020-02-11 Oppo广东移动通信有限公司 一种增强现实设备的标定方法、标定装置及终端设备
CN111193830A (zh) * 2019-12-03 2020-05-22 天津大学 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN106859767A (zh) * 2017-03-29 2017-06-20 上海霖晏网络科技有限公司 一种手术导航方法
CN107468338A (zh) * 2017-08-16 2017-12-15 上海交通大学 个性化假体位置实时跟踪的标定方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN106859767A (zh) * 2017-03-29 2017-06-20 上海霖晏网络科技有限公司 一种手术导航方法
CN107468338A (zh) * 2017-08-16 2017-12-15 上海交通大学 个性化假体位置实时跟踪的标定方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOJUN CHEN ET AL.: ""Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display"", 《JOURNAL OF BIOMEDICAL INFORMATICS》 *
李海龙等: ""光学透视头盔显示器标定技术"", 《计算机系统应用》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN109615664B (zh) * 2018-12-12 2020-06-30 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109949228A (zh) * 2019-03-14 2019-06-28 北京航空航天大学 一种光学透视的ar眼镜的在线标定装置及方法
CN109953828B (zh) * 2019-05-07 2020-06-23 北京和华瑞博医疗科技有限公司 一种参考架坐标系找回方法以及参考架坐标系找回装置
CN109953828A (zh) * 2019-05-07 2019-07-02 北京和华瑞博科技有限公司 一种参考架坐标系找回方法以及参考架坐标系找回装置
WO2020253280A1 (zh) * 2019-06-18 2020-12-24 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN110353806B (zh) * 2019-06-18 2021-03-12 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN110782499A (zh) * 2019-10-23 2020-02-11 Oppo广东移动通信有限公司 一种增强现实设备的标定方法、标定装置及终端设备
CN111193830A (zh) * 2019-12-03 2020-05-22 天津大学 一种基于智能手机的便携式增强现实医学图像观察辅助设备
CN111193830B (zh) * 2019-12-03 2021-06-25 天津大学 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Similar Documents

Publication Publication Date Title
CN108888341A (zh) 一种增强现实头盔显示器位置实时跟踪的标定方法
CN109464196B (zh) 采用结构光影像配准的手术导航系统及配准信号采集方法
Wang et al. Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery
Chen et al. Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display
CN101073528B (zh) 双平面定位与双目视觉跟踪的数字化手术床系统
CN106296805B (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
JP4732925B2 (ja) 医用画像の表示方法およびそのプログラム
CN101904770B (zh) 一种基于光学增强现实技术的手术导航系统及方法
CN111281540B (zh) 基于虚实融合的骨科微创术中实时可视化导航系统
CN109758230A (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和系统
CN100418489C (zh) 手术导航中基于基准面膜的多模式医学图像配准系统
CN101797182A (zh) 一种基于增强现实技术的鼻内镜微创手术导航系统
Jiang et al. Registration technology of augmented reality in oral medicine: A review
CN107182200A (zh) 微创手术导航系统
CN1326092C (zh) 手术导航中基于基准面膜的多模式医学图像配准方法
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
CN104586505A (zh) 一种骨科手术导航系统及导航方法
CN106648077A (zh) 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN109620408A (zh) 一种基于电磁定位的增强现实手术导航系统标定方法
CN110288653A (zh) 一种多角度超声图像融合方法、系统及电子设备
JP5611441B1 (ja) 顕微鏡用映像処理装置、および医療用顕微鏡システム
TWI741196B (zh) 整合擴增實境之手術導航方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127

RJ01 Rejection of invention patent application after publication