CN106821499A - 一种3d虚拟超声引导穿刺导航系统及方法 - Google Patents

一种3d虚拟超声引导穿刺导航系统及方法 Download PDF

Info

Publication number
CN106821499A
CN106821499A CN201710083134.8A CN201710083134A CN106821499A CN 106821499 A CN106821499 A CN 106821499A CN 201710083134 A CN201710083134 A CN 201710083134A CN 106821499 A CN106821499 A CN 106821499A
Authority
CN
China
Prior art keywords
navigation system
puncture
image
ultrasonic probe
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710083134.8A
Other languages
English (en)
Inventor
吴剑
吕留帅
卢慧君
黄毅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201710083134.8A priority Critical patent/CN106821499A/zh
Publication of CN106821499A publication Critical patent/CN106821499A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及了一种3D虚拟超声引导穿刺导航系统及方法，为了解决微创介入手术中的穿刺临床需求。导航系统包括三维视觉显示设备、超声成像设备、超声探头、图像采集卡、图像工作站、空间定位设备、穿刺针以及设计和开发的配套的软件，实现三维场景的渲染和显示、硬件设备的标定、手术路径的规划等功能。根据上述导航系统进行穿刺的导航方法，通过校正手术过程中呼吸运动和病人移动带来的肿瘤位置变化，提高了导航系统的穿刺精度。本发明将虚拟现实技术应用到超声手术导航中，增强了显示的立体感和灵活性，帮助医生更快更好完成手术。

Description

一种3D虚拟超声引导穿刺导航系统及方法
技术领域
本发明属于医疗器械领域，尤其涉及一种3D虚拟超声引导穿刺导航系统及方法。
背景技术
目前临床上，普通B超显示的是二维剖面图，二维图在手术中具有诸多局限，尤其是在穿刺过程中，仅凭二维图像会丢失穿刺针头的位置信息，穿刺针针尖只有位于超声图像平面上才是可见的。这意味着，在大多数情况下，医生在超声平面上看不到穿刺针的针尖，将其准确移动到靶区位置难度很大。
现在已经有一些研究改进的手术导航系统，如论文《Spinal Needle Navigationby Tracked Ultrasound Snapshots》提到的TUSS(Queen’s University,Canada)，但都是使用电脑屏幕来显示导航信息，如手术路径、手术器械的三维模型以及各种模态信息的超声二维图像、CT/MRI三维图像，但是手术时医生不得不在病人和屏幕之间来回切换视野，很不方便，并且影响手术的连续性。
发明内容
本发明要克服手术时医生在病人和屏幕之间来回切换视野的技术问题，实现医生在手术过程中的实时精确导航并增强手术操作过程中的立体感。
为解决上述技术问题，本发明提出了一种3D虚拟超声引导穿刺导航系统和方法，用于对手术进行实时的准确的导航。系统实现的硬件设备包括：三维视觉显示设备、超声成像设备、超声探头、图像采集设备、图像工作站、穿刺针、空间定位设备及对应的位置跟踪器等硬件设备。通过空间定位设备，实现三维视觉显示设备，穿刺针，超声探头的实时位置信息的获取。在硬件平台的基础上，基于3D slicer和PLUS等开源软件，设计并编写了数据读取、设备标定、虚拟现实及辅助穿刺的超声导航功能模块软件，其中虚拟现实的软件功能模块，实现了实时绘制双目视角图像的功能。虚拟现实显示部分利用LCD屏幕作为显示设备，通过三维视觉显示设备自带的无线网络(Wireless Fidelity,WIFI)或者有线方式，将图像工作站渲染好的三维场景图像实时传输到LCD屏幕上。
本发明的有益效果是：本发明实时绘制佩戴者双目视角图像，方便佩戴者通过改变头部位置，调整视角，完成视野缩放，以达到方便手术的目的，系统对呼吸运动带来的精度问题进行了处理，提高了精度，而且提供了新的超声探头标定方法，可实现自动超声探头标定。
附图说明
图1是本发明一种3D虚拟超声引导穿刺导航系统的硬件平台示意图。
图2是本发明一种3D虚拟超声引导穿刺导航系统操作方法流程图。
图3是超声探头标示意图。
图4是虚拟显示技术示意图。
图5超声图像中肝脏肿瘤的实时位置示例图。
具体实施方式
下面结合附图对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1是本发明的硬件设备连接图。超声探头101连接超声成像设备102，再通过图像采集卡103连接到图像工作站107，采集超声图像。超声探头101、穿刺针104和头戴式虚拟现实设备105均已加装光学定位设备的反光球，它们的位置信息通过位置跟踪设备106传输到图像工作站107，图像工作站107会对搜集的位置信息和实时超声图像信息进行处理，实现图像配准，融合，对手术过程进行实时三维显示和导航，导航过程图像通过wifi传输到头戴式虚拟现实显示设备105，医生可以灵活移动，不受图像工作站107屏幕的限制。
图2是手术导航系统的配套软件模块工作流程图。按手术流程，主操作顺序为设备连接201→穿刺针标定202→超声探头标定203→手术路径规划204→穿刺视角调整206→虚拟现实显示导航207，辅助操作模块有手术路径绘制模块205和超声探头精度分析208。
根据3D虚拟超声引导穿刺导航系统进行穿刺导航的方法，按照如下步骤进行(以肝脏为例)：
a.设备连接完成后，使用设计好的标定模型，分别对超声探头和穿刺针进行标定，获取标定矩阵，此时图形工作站会在三维场景的相应位置绘制出虚拟超声图像和穿刺针的三维模型，并以适当的视角显示在屏幕上。
b.使用超声探头扫描肝脏，在软件三维视图里标记肿瘤中心的位置。
c.导航软件绘制穿刺路径，三维导航显示图像中会显示穿刺针针尖到靶点之间的距离，观察图形工作站的屏幕，并辅以软件视角调整功能，将三维场景中的穿刺针沿穿刺路径移动到标记点的位置，穿刺完成。
图3是超声探头标定方法。我们实验中采用的标定模型的尺寸为(长×宽×高)：200mm×50mm×150mm，外壳为有机玻璃，厚度10mm，内部填充类组织声学材料，声速为1540±10m/s，靶线是0.3mm直径的尼龙线。模型包含有五组靶线，每组包含七条靶线，构成三个N形结构，其中前三组靶线分别位于三个平面上，后两组靶线分布在两个圆弧上，圆弧的圆心大致位于扫描标定模型时，超声探头所在的位置，以保证所有靶线能够均匀分布在整个超声平面上。
在超声导航系统中，需要有定位设备跟踪超声平面的空间位置，如图3所示，通常是将定位设备的跟踪器固定在超声探头上，但是定位设备输出的是定位设备移动端(sensor端，即s端)相对于固定端(world坐标系描述，即w端)的相对位置关系，并不能直接获取超声平面(image端，即I端)到定位设备固定端(world坐标系描述，即w端)的相对位置，它们之间有如下关系：
TW←I＝TW←S×TS←I。
为了获取TW←I，就必须确定超声平面(image端，即I端)相对于固定在超声探头上的定位设备移动端(sensor端，即s端)的相对位置TS←I。
如图3所示，靶线和超声平面的交点P在坐标系M(model坐标系)，和坐标系I(image端，即I端)的坐标之间有如下关系:
PM＝TM←W×TW←S×TS←I×PI
超声探头标定通过对超声平面上的亮点进行标记，然后利用超声图像上亮点的坐标和对应靶目标的空间坐标来进行计算，得到TS←I，完成超声探头标定。
图4是3D虚拟显示方法。LCD屏幕5正对视野。在三维可视设备使用之前，图像工作站需要做一些预处理工作：首先，将软件调整成双三维视图模式，根据头戴显示设备中屏幕尺寸，位置，眼睛的位置，设置相关参数，软件可以调整视野正方向，根据这些参数设定视角和视距等参数。选择固定在三维可视设备使用的跟踪设备到世界坐标系的变换矩阵，即可开始体验虚拟现实双视角视图的效果。
图5是超声图像中肝脏肿瘤的实时位置示例图。手术中病人会有呼吸运动和可能的体位偏移，使得医生插入穿刺针的过程中，术前标定的肿瘤位置会发生变化。系统需要为医生实时调整穿刺针的行进方向提供位置参考，提高医生的穿刺精度。为了解决这个问题我们对超声图像中的肿瘤进行实时准确跟踪，计算出相对位置偏移，为医生准确入针，提供很好的导航价值。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种3D虚拟超声引导穿刺导航系统，其特征在于：其包括头戴式三维视觉显示设备、超声成像设备、超声探头、图像采集设备、图像工作站、穿刺器械、空间定位设备及对应的位置跟踪器；超声探头通过超声成像设备连接到图像工作站，采集超声图像；超声探头、穿刺针和头戴式三维视觉显示设备的位置信息通过位置跟踪设备传输到图像工作站，图像工作站会对搜集的位置信息和实时超声图像信息进行处理，实现对手术过程进行实时三维显示和导航。
2.根据权利要求1所述的导航系统，其特征在于：还包括配合手术流程操作的应用软件。
3.根据权利要求1所述的导航系统，其特征在于：所述头戴式三维视觉显示设备虚拟现实设备。
4.根据权利要求1所述的导航系统，其特征在于：图像工作站与三维空间位置测量装置，头戴式三维视觉显示设备，超声成像设备分别建立数据连接，数据连接方式为有线式或/和无线式。
5.根据权利要求1所述的导航系统，其特征在于：所述的穿刺器械为一件或多件，其中一件或多件器械上固定了位置跟踪器。
6.根据权利要求1所述的导航系统，其特征在于：所述位置跟踪器为可直接获取被跟踪对象空间位置的设备，是光学、电磁、超声或者机械定位方法的跟踪设备。
7.根据权利要求1所述的导航系统，其特征在于：位置跟踪器固定在超声探头柄或外壳上、穿刺针及头戴式三维视觉显示设备上，固定方式为永久固定或可拆卸固定中。
8.根据权利要求1所述的3D虚拟超声引导穿刺导航系统引导穿刺导航的方法，其特征在于：包括如下步骤：
(1)设备连接完成后，使用设计好的标定模型，分别对超声探头和穿刺针进行标定，获取标定矩阵，此时影像系统会在三维场景中绘制超声图像和手术器械的三维显示模型，并显示；
(2)使用超声探头扫描病灶，在软件三维视图里标记肿瘤中心的位置；
(3)将三维场景中的穿刺针沿规划手术路径，行进到标记点的位置，完成穿刺。
CN201710083134.8A 2017-02-16 2017-02-16 一种3d虚拟超声引导穿刺导航系统及方法 Pending CN106821499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710083134.8A CN106821499A (zh) 2017-02-16 2017-02-16 一种3d虚拟超声引导穿刺导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710083134.8A CN106821499A (zh) 2017-02-16 2017-02-16 一种3d虚拟超声引导穿刺导航系统及方法

Publications (1)

Publication Number Publication Date
CN106821499A true CN106821499A (zh) 2017-06-13

Family

ID=59127510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710083134.8A Pending CN106821499A (zh) 2017-02-16 2017-02-16 一种3d虚拟超声引导穿刺导航系统及方法

Country Status (1)

Country Link
CN (1) CN106821499A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107854142A (zh) * 2017-11-28 2018-03-30 无锡祥生医疗科技股份有限公司 医用超声增强现实成像系统
CN107970060A (zh) * 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
CN108836439A (zh) * 2018-07-04 2018-11-20 广东弘基医疗生物技术有限公司 一种毛发种植成活装置及其种植方法
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN109330669A (zh) * 2018-09-27 2019-02-15 迟惠清 一种基于虚拟现实的超声引导穿刺图像处理系统及方法
CN109512473A (zh) * 2017-09-20 2019-03-26 史军 带可视穿刺装置的医疗设备
CN109674533A (zh) * 2017-10-18 2019-04-26 刘洋 基于便携式彩超设备的手术导航系统及方法
WO2019127449A1 (zh) * 2017-12-29 2019-07-04 威朋（苏州）医疗器械有限公司 手术导航方法及系统
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110584780A (zh) * 2019-09-11 2019-12-20 湘南学院附属医院 一种脑出血穿刺手术导航系统
WO2020034065A1 (zh) * 2018-08-13 2020-02-20 深圳迈瑞生物医疗电子股份有限公司 超声成像的方法、超声成像设备以及穿刺导航系统
CN110974426A (zh) * 2019-12-24 2020-04-10 上海龙慧医疗科技有限公司 骨科关节置换手术机器人系统
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及系统
CN111134843A (zh) * 2020-02-04 2020-05-12 赵天力 一种在超声切面上获得超声探头中轴线的方法及装置
CN112168349A (zh) * 2020-08-31 2021-01-05 同济大学 一种静脉穿刺机器人的针头跟踪与路径显示方法
CN113100935A (zh) * 2021-04-13 2021-07-13 上海大学 一种肺部穿刺手术术前穿刺路径规划方法及训练系统
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN114191047A (zh) * 2021-12-13 2022-03-18 中国人民解放军空军军医大学 一种基于vrar虚拟成像技术的介入穿刺引导装置
CN114246690A (zh) * 2021-01-26 2022-03-29 马元 超声引导气管镜的操作模拟方法和系统
CN114587591A (zh) * 2022-03-18 2022-06-07 之江实验室 一种光纤光声引导手术装置
WO2023006072A1 (zh) * 2021-07-30 2023-02-02 北京迈迪斯医疗技术有限公司 穿刺系统
CN116983057A (zh) * 2023-09-25 2023-11-03 中南大学 一种可实时多重配准的数字孪生图像穿刺引导系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN106063726A (zh) * 2016-05-24 2016-11-02 中国科学院苏州生物医学工程技术研究所 实时穿刺导航系统及其导航方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN106063726A (zh) * 2016-05-24 2016-11-02 中国科学院苏州生物医学工程技术研究所 实时穿刺导航系统及其导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱立人等: "一种提高N线模型探头标定精度的解算方法", 《中国生物医学工程学报》 *
李文骏等: "基于N线模型的超声探头自动标定方法", 《中国生物医学工程学报》 *
罗杨宇等: "基于磁定位器的手动三维超声图像标定", 《中国生物医学工程学报》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512473A (zh) * 2017-09-20 2019-03-26 史军 带可视穿刺装置的医疗设备
CN109674533A (zh) * 2017-10-18 2019-04-26 刘洋 基于便携式彩超设备的手术导航系统及方法
CN109674533B (zh) * 2017-10-18 2022-07-05 刘洋 基于便携式彩超设备的手术导航系统及方法
CN107854142A (zh) * 2017-11-28 2018-03-30 无锡祥生医疗科技股份有限公司 医用超声增强现实成像系统
WO2019127449A1 (zh) * 2017-12-29 2019-07-04 威朋（苏州）医疗器械有限公司 手术导航方法及系统
CN107970060A (zh) * 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
CN108836439A (zh) * 2018-07-04 2018-11-20 广东弘基医疗生物技术有限公司 一种毛发种植成活装置及其种植方法
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
WO2020034065A1 (zh) * 2018-08-13 2020-02-20 深圳迈瑞生物医疗电子股份有限公司 超声成像的方法、超声成像设备以及穿刺导航系统
CN109330669A (zh) * 2018-09-27 2019-02-15 迟惠清 一种基于虚拟现实的超声引导穿刺图像处理系统及方法
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110584780A (zh) * 2019-09-11 2019-12-20 湘南学院附属医院 一种脑出血穿刺手术导航系统
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及系统
CN110974426A (zh) * 2019-12-24 2020-04-10 上海龙慧医疗科技有限公司 骨科关节置换手术机器人系统
CN111134843A (zh) * 2020-02-04 2020-05-12 赵天力 一种在超声切面上获得超声探头中轴线的方法及装置
CN112168349A (zh) * 2020-08-31 2021-01-05 同济大学 一种静脉穿刺机器人的针头跟踪与路径显示方法
CN114246690A (zh) * 2021-01-26 2022-03-29 马元 超声引导气管镜的操作模拟方法和系统
CN113100935A (zh) * 2021-04-13 2021-07-13 上海大学 一种肺部穿刺手术术前穿刺路径规划方法及训练系统
WO2023006072A1 (zh) * 2021-07-30 2023-02-02 北京迈迪斯医疗技术有限公司 穿刺系统
CN113729941A (zh) * 2021-09-23 2021-12-03 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN113729941B (zh) * 2021-09-23 2024-01-30 上海卓昕医疗科技有限公司 基于vr的手术辅助定位系统及其控制方法
CN114191047B (zh) * 2021-12-13 2023-06-23 中国人民解放军空军军医大学 一种基于vrar虚拟成像技术的介入穿刺引导装置
CN114191047A (zh) * 2021-12-13 2022-03-18 中国人民解放军空军军医大学 一种基于vrar虚拟成像技术的介入穿刺引导装置
CN114587591A (zh) * 2022-03-18 2022-06-07 之江实验室 一种光纤光声引导手术装置
CN116983057A (zh) * 2023-09-25 2023-11-03 中南大学 一种可实时多重配准的数字孪生图像穿刺引导系统
CN116983057B (zh) * 2023-09-25 2024-01-23 中南大学 一种可实时多重配准的数字孪生图像穿刺引导系统

Similar Documents

Publication Publication Date Title
CN106821499A (zh) 一种3d虚拟超声引导穿刺导航系统及方法
US11754971B2 (en) Method and system for displaying holographic images within a real object
CN100536792C (zh) 一种支持多种模式的导航系统及导航方法
CN101268967B (zh) 用于提供校正信息的方法和装置
CN101108140B (zh) 一种用于图像导航手术系统的标定模及其使用方法
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
CN103040525B (zh) 一种多模医学影像手术导航方法及系统
CN100493471C (zh) 计算机辅助经皮肾穿刺取石术中的穿刺导航系统
CN106821496B (zh) 一种经皮椎间孔镜手术精准规划系统及方法
CN101474075B (zh) 微创手术导航系统
CN108272502A (zh) 一种ct三维成像引导的消融针导向手术方法及系统
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
CN103908345B (zh) 一种基于平板电脑的手术导航用的体数据可视化方法
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
CN106063726A (zh) 实时穿刺导航系统及其导航方法
JP2007508913A (ja) 術中ターゲティングのシステムおよび方法
CN101797182A (zh) 一种基于增强现实技术的鼻内镜微创手术导航系统
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
CN109907801B (zh) 一种可定位超声引导穿刺方法
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
KR20080110739A (ko) 의료용 화상의 처리 방법
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN106333748A (zh) 一种基于摄像头的穿刺导航系统
Liao et al. Precision-guided surgical navigation system using laser guidance and 3D autostereoscopic image overlay

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613