CN109620405A - 一种开颅手术体表切口的移动增强现实导航方法 - Google Patents

一种开颅手术体表切口的移动增强现实导航方法 Download PDF

Info

Publication number
CN109620405A
CN109620405A CN201910072577.6A CN201910072577A CN109620405A CN 109620405 A CN109620405 A CN 109620405A CN 201910072577 A CN201910072577 A CN 201910072577A CN 109620405 A CN109620405 A CN 109620405A
Authority
CN
China
Prior art keywords
identification image
threedimensional model
image
identification
scalp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910072577.6A
Other languages
English (en)
Other versions
CN109620405B (zh
Inventor
刘宇清
何炳蔚
林伟鑫
洪文瑶
陈忠仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUJIAN PROVINCIAL HOSPITAL
Fuzhou University
Original Assignee
FUJIAN PROVINCIAL HOSPITAL
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUJIAN PROVINCIAL HOSPITAL, Fuzhou University filed Critical FUJIAN PROVINCIAL HOSPITAL
Priority to CN201910072577.6A priority Critical patent/CN109620405B/zh
Publication of CN109620405A publication Critical patent/CN109620405A/zh
Application granted granted Critical
Publication of CN109620405B publication Critical patent/CN109620405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种开颅手术体表切口的移动增强现实导航方法，获取某患者颅部二维医学图像切片集，重建三维模型；将一识别图像导入扩增实境软件开发工具包，将得到的代码和三维模型导入Unity 3D开发平台，设置三维模型和识别图像的比例和相对位置关系；在Unity 3D开发平台中导出APP，并发布到智能移动终端；同时1:1打印识别图像，得到识别图像贴片；根据三维模型和识别图像的位置关系，并将识别图像贴片粘贴在患者头皮上；手术时，手持智能移动终端扫描贴在患者头皮上的识别图像，即能显示头皮部分消隐后的三维模型，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应。本发明方法操作容易、定位时间短，成本极低。

Description

一种开颅手术体表切口的移动增强现实导航方法
技术领域
本发明计算机辅助外科手术领域，具体涉及一种辅助开颅手术的体表切口的定位和导航的方法。
背景技术
开颅手术，亦称穿颅术，是颅骨外科手术的一种，指通过机械设备打开患者颅骨，从而进行一些非常规治疗，如脑瘤摘除等。
做开颅手术之前，先要对患者作CT等的图像扫描，找到病灶，制定手术方案，然后再进行手术。其中涉及到一个过程就是要将电脑中图像中的手术切口位置定位到实际患者头部上。目前，各大医院较常用到的仪器是光学定位手术导航仪，虽然光学定位手术导航仪的定位导航功能可满足大部分开颅手术的需求，但由于其成本极高(约200万一台)，普通医院很难配备足够的数量，另外，当这些费用摊到患者身上时，增加了患者的经济负担；而且光学定位手术导航仪的操作过程不易常握，增加了手术的时间和手术强度，导致医生容易疲劳。
公开日为20120718，公开号为CN102592283A的中国发明公开了一种脑部肿瘤头皮定位图像处理方法，包括以下步骤：(1)初步估计病人颅内肿瘤的头皮投影区域，在区域内贴上两个可被成像设备识别的标志点，从成像设备获取二维医学图像切片集，重建头皮表层的三维轮廓；(2)在二维图像上手动勾画出肿瘤轮廓线，重建肿瘤表面；(3)在二维图像上确定标志点位置，重建标志点；(4)将三维重建的轮廓图像旋转到合适位置，等比例打印输出。其相对于现有技术，实现简便；应用于脑部肿瘤定位时，精度满足开颅肿瘤手术要求，有利于缩短手术时间，减少手术创伤，能在保证良好暴露前提下尽量减小切口长度。然而其是将三维重建的轮廓图像旋转到合适位置，等比例打印输出，贴在头皮表面以指导手术时定位，因此只能进行二维平面的指导，而不能进行三维指导。
发明内容
本发明要解决的技术问题，在于提供一种开颅手术体表切口的移动增强现实导航方法，操作容易、定位时间短，成本极低。
本发明是这样实现的：一种开颅手术体表切口的移动增强现实导航方法，包括下述步骤：
S1、获取某患者颅部二维医学图像切片集，并重建包括头皮、静脉以及病灶部分的三维模型，然后将头皮部分消隐；
S2、将一识别图像导入扩增实境软件开发工具包，得到该识别图像的代码；
S3、将识别图像的代码和所述三维模型导入Unity3D开发平台，设置所述三维模型和所述识别图像的比例关系以及相对位置关系；
S4、在Unity3D开发平台中导出APP，并发布到带相机功能和显示屏的智能移动终端；同时1:1打印识别图像，得到识别图像贴片；
S5、根据所述三维模型和所述识别图像的位置关系找出识别图像贴片与患者头部的位置关系，并将识别图像贴片粘贴在患者头皮上；
S6、手术时，手持智能移动终端扫描贴在患者头皮上的识别图像，即能显示头皮部分消隐后的三维模型，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应。
进一步的，所述步骤S1中，重建好三维模型后，在三维模型上作标记点和中线，该标记点为患者头部明显特征的位置，该中线为患者头部的面部中线；
所述步骤S2中，设置所述三维模型和所述识别图像的相对位置的过程是：在所述识别图像选择一定位点与所述三维模型的标记点重合，且所述识别图像的一边线与所述三维模型的中线重合；
所述步骤S5具体是：将识别图像的定位点与患者头部的明显特征的位置重合，且识别图像的一边线与患者头部的面部中线重合。
进一步的，所述识别图像为四边形，所述定位点为四边形的角点位置。
本发明具有如下优点：本发明通过相关软件将对患者颅部的三维模型信息与一识别图像绑定，并通过发布APP的方式将APP发布到带相机功能和显示屏的智能移动终端上，手术时，即可通过智能移动终端扫描识别图像即显示三维模型信息，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应，因此改变智能移动终端视角的情况下，三维模型的视角也跟着改变，便于开颅手术体表切口的确定，能在保证良好暴露前提下尽量减小切口长度，还能有效避开静脉。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
图2为本发明方法中重建的一个三维模型的实例图。
图3为本发明方法中一识别图像的实例图。
图3a为本发明方法中将识别图像导入扩增实境软件开发工具包时的状态图。
图3b为本发明方法中将识别图像和三维模型导入Unity3D开发平台时的状态图。
图4为本发明方法中将识别图像贴片粘贴在患者头皮上时的状态图。
图5和图6为本发明方法中使用智能移动终端采用不同视角扫描识别图像时的效果图。
具体实施方式
请参阅图1至图5所示，本发明的开颅手术体表切口的移动增强现实导航方法，包括下述步骤：
S1、获取某患者颅部二维医学图像切片集，并重建包括头皮、静脉以及病灶部分的三维模型，然后将头皮部分消隐，如图2所示，这样后期只显示静脉以及病灶部分。
S2、如图3a所示，将一识别图像导入扩增实境软件开发工具包，扩增实境软件开发工具包如Vuforia(英文为VuforiaAugmentedRealitySDK)，得到该识别图像的代码；该识别图像是用于相机识别到特定位点后展现AR模型或动画，识别图要有特点的，分辨率高点，然后重复率低的即可，如图3所示，二维码图像就比较合适，这样每个患者可对应一张二维码图像。
S3、如图3b所示，将识别图像的代码和所述三维模型导入Unity3D开发平台，设置所述三维模型和所述识别图像的比例关系以及相对位置关系(如图3b的右边对话框所示)；比例关系最好选择1:1的，具体可以根据要打印的识别图像贴片的大小来确定所述识别图像的尺寸，在Unity3D软件中输入要打印的识别图像贴片的尺寸时，软件自动就将所述识别图像与所述三维模型等比例；相对位置关系的确定用于将打印出的识别图像贴片与实际患者头部之间进行定位。
S4、然后在Unity3D开发平台中导出APP，并发布到带相机功能和显示屏的智能移动终端，如手机、PAD等，便于手持操作；同时1:1打印识别图像，得到识别图像贴片。
S5、根据所述三维模型和所述识别图像的位置关系找出识别图像贴片与患者头部的位置关系，并将识别图像贴片粘贴在患者头皮上。如图4所示，在Unity3D开发平台中，若将所述三维模型和所述识别图像的相对位置关系设置为识别图像的右下角点与耳廓脚纵向对齐并相距5cm，那么识别图像就可根据该相对位置关系时行粘贴；或者如图4a所示，若将所述三维模型和所述识别图像的相对位置关系设置为识别图像的右上角点与眉心纵向对齐并相距10cm，那么识别图像就可根据该相对位置关系时行粘贴。
S6、如图5和图6所示，手术时，手持智能移动终端，通过所述APP扫描贴在患者头皮上的识别图像，即能显示头皮部分消隐后的三维模型(图5和图6位于最上层的图像A即为显示的三维模型)，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应，当智能移动终端在图5的位置和在图6的位置不同，其显示的三维模型的角度也发生的变化，即改变智能移动终端视角的情况下，三维模型的视角也跟着改变，操作很方便，既能全面了解静脉以及病灶部分的三维状态，又能大大降低定位导航的时间。
至于识别图像的定位过程，可以选择患者头部明显特征的位置为基准进行，如：
所述步骤S1中，重建好三维模型后，在三维模型上作标记点(如掏个小洞)和中线，该标记点为患者头部明显特征的位置，明显特征如离眼角或眉心具有一固定距离处，由于人体头部或面部多为曲面，因此在量测距离时，可以采用曲面距离进行量测，该中线为患者头部的面部中线。
所述步骤S2中，设置所述三维模型和所述识别图像的相对位置的过程是：在所述识别图像选择一定位点与所述三维模型的标记点重合，且所述识别图像的一边线与所述三维模型的中线重合；当所述识别图像为四边形时，所述定位点为四边形的角点位置。
所述步骤S5具体是：将识别图像的定位点与患者头部的明显特征的位置重合，且识别图像的一边线与患者头部的面部中线重合。
本发明具有如下优点：本发明通过相关软件将对患者颅部的三维模型信息与一识别图像绑定，并通过发布APP的方式将APP发布到带相机功能和显示屏的智能移动终端上，手术时，即可通过智能移动终端扫描识别图像即显示三维模型信息，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应，因此改变智能移动终端视角的情况下，三维模型的视角也跟着改变，便于开颅手术体表切口的确定，能在保证良好暴露前提下尽量减小切口长度，还能有效避开静脉。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.一种开颅手术体表切口的移动增强现实导航方法，其特征在于：包括下述步骤：
S1、获取某患者颅部二维医学图像切片集，并重建包括头皮、静脉以及病灶部分的三维模型，然后将头皮部分消隐；
S2、将一识别图像导入扩增实境软件开发工具包，得到该识别图像的代码；
S3、将识别图像的代码和所述三维模型导入Unity 3D开发平台，设置所述三维模型和所述识别图像的比例关系以及相对位置关系；
S4、在Unity 3D开发平台中导出APP，并发布到带相机功能和显示屏的智能移动终端；同时1:1打印识别图像，得到识别图像贴片；
S5、根据所述三维模型和所述识别图像的位置关系找出识别图像贴片与患者头部的位置关系，并将识别图像贴片粘贴在患者头皮上；
S6、手术时，手持智能移动终端扫描贴在患者头皮上的识别图像，即能显示头皮部分消隐后的三维模型，且该三维模型的显示效果与手持智能移动终端相对识别图像的位置对应。
2.根据权利要求1所述的一种开颅手术体表切口的移动增强现实导航方法，其特征在于：
所述步骤S1中，重建好三维模型后，在三维模型上作标记点和中线，该标记点为患者头部明显特征的位置，该中线为患者头部的面部中线；
所述步骤S2中，设置所述三维模型和所述识别图像的相对位置的过程是：在所述识别图像选择一定位点与所述三维模型的标记点重合，且所述识别图像的一边线与所述三维模型的中线重合；
所述步骤S5具体是：将识别图像的定位点与患者头部的明显特征的位置重合，且识别图像的一边线与患者头部的面部中线重合。
3.根据权利要求2所述的一种开颅手术体表切口的移动增强现实导航方法，其特征在于：所述识别图像为四边形，所述定位点为四边形的角点位置。
CN201910072577.6A 2019-01-25 2019-01-25 用于开颅手术体表切口导航的识别图像贴片的实现方法 Active CN109620405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910072577.6A CN109620405B (zh) 2019-01-25 2019-01-25 用于开颅手术体表切口导航的识别图像贴片的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910072577.6A CN109620405B (zh) 2019-01-25 2019-01-25 用于开颅手术体表切口导航的识别图像贴片的实现方法

Publications (2)

Publication Number Publication Date
CN109620405A true CN109620405A (zh) 2019-04-16
CN109620405B CN109620405B (zh) 2021-01-08

Family

ID=66063726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910072577.6A Active CN109620405B (zh) 2019-01-25 2019-01-25 用于开颅手术体表切口导航的识别图像贴片的实现方法

Country Status (1)

Country Link
CN (1) CN109620405B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111728695A (zh) * 2020-06-12 2020-10-02 天津理工大学 一种用于开颅手术的光束辅助定位方法及定位系统
WO2021050016A1 (en) * 2019-09-15 2021-03-18 Innowayrg Arastirma Gelistirme Ve Danismanlik Hizmetleri Sanayi Ve Ticaret Anonim Sirketi An artificial intelligence based system for determining optimal burr hole points in neurosurgery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
CN106875461A (zh) * 2015-12-10 2017-06-20 青岛华正信息技术有限公司 一种涂色平面图像3d模型变换系统及方法
CN106859767A (zh) * 2017-03-29 2017-06-20 上海霖晏网络科技有限公司 一种手术导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
CN106875461A (zh) * 2015-12-10 2017-06-20 青岛华正信息技术有限公司 一种涂色平面图像3d模型变换系统及方法
CN106859767A (zh) * 2017-03-29 2017-06-20 上海霖晏网络科技有限公司 一种手术导航方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021050016A1 (en) * 2019-09-15 2021-03-18 Innowayrg Arastirma Gelistirme Ve Danismanlik Hizmetleri Sanayi Ve Ticaret Anonim Sirketi An artificial intelligence based system for determining optimal burr hole points in neurosurgery
CN111728695A (zh) * 2020-06-12 2020-10-02 天津理工大学 一种用于开颅手术的光束辅助定位方法及定位系统

Also Published As

Publication number Publication date
CN109620405B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
JP2022103224A (ja) 医療処置のための拡張現実表示とタグ付け
CN110353806A (zh) 用于微创全膝关节置换手术的增强现实导航方法及系统
CN109419524B (zh) 医学成像系统的控制
CN106952347B (zh) 一种基于双目视觉的超声手术辅助导航系统
US9993655B2 (en) Image data processing device and transcranial magnetic stimulation apparatus
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
JP7202737B2 (ja) 歯科インプラントナビゲーション手術の追跡方法および装置
CN107456278A (zh) 一种内窥镜手术导航方法和系统
JPH09511430A (ja) 三次元データ組の登録システムおよび登録方法
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
CN103251457A (zh) 一种用于神经外科立体定向手术的头面部标记点半自动标定方法
CN109146931A (zh) 一种三维图像处理方法、系统、装置及存储介质
CN102592283A (zh) 一种脑部肿瘤头皮定位图像处理方法
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN109620405A (zh) 一种开颅手术体表切口的移动增强现实导航方法
CN109242947A (zh) 三维超声图像显示方法
CN110236672B (zh) 一种脑肿瘤手术板及其制造方法
JP2019198597A (ja) 皮膚たるみ量測定方法および皮膚たるみ量測定装置
WO2001057805A2 (en) Image data processing method and apparatus
CA3085794C (en) Method and device for locating target on human body using superficial venous characteristics
CN111728695B (zh) 一种用于开颅手术的光束辅助定位系统
Richey et al. Soft tissue monitoring of the surgical field: detection and tracking of breast surface deformations
CN108158804B (zh) 一种基于体表静脉特征实现目标定位的体表静脉模具及制作方法
CN216675854U (zh) 穿刺辅助装置
Bow et al. Initial experience with using a structured light 3D scanner and image registration to plan bedside subdural evacuating port system placement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant