CN111388063A - 一种基于光磁融合的消融针定位导航方法 - Google Patents

一种基于光磁融合的消融针定位导航方法 Download PDF

Info

Publication number
CN111388063A
CN111388063A CN202010113062.9A CN202010113062A CN111388063A CN 111388063 A CN111388063 A CN 111388063A CN 202010113062 A CN202010113062 A CN 202010113062A CN 111388063 A CN111388063 A CN 111388063A
Authority
CN
China
Prior art keywords
ablation needle
coordinate system
magnetic
optical sensor
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010113062.9A
Other languages
English (en)
Inventor
陆遥
黄金华
安超
信闫奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Sun Yat Sen University Cancer Center
Original Assignee
Sun Yat Sen University
Sun Yat Sen University Cancer Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Sun Yat Sen University Cancer Center filed Critical Sun Yat Sen University
Priority to CN202010113062.9A priority Critical patent/CN111388063A/zh
Publication of CN111388063A publication Critical patent/CN111388063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)

Abstract

本发明公开一种基于光磁融合的消融针定位导航方法，包括：S1：标定深度相机的深度数据、RGB数据内部参数和外部位置参数，利用深度相机获取消融针上的光学传感器的深度数据和RGB数据；S2：对光学传感器的RGB数据进行分割，得到光学传感器的二维坐标，将二维坐标点映射到对应的深度数据中，得到光学传感器三维坐标；S3：标定磁定位仪外部位置参数，利用磁定位仪获取消融针上的磁传感器三维坐标；S4：将深度相机坐标系与磁定位仪坐标系融合得到消融针坐标系，将S2中的光学传感器三维坐标和S3中磁传感器三维坐标变换到消融针坐标系中，得到消融针位姿。本发明融合光学定位和磁定位，能够同步追踪消融针的位置并计算其姿态，提高了穿刺精度以及效率。

Description

一种基于光磁融合的消融针定位导航方法
技术领域
本发明涉及计算机视觉、图形学技术领域，更具体地，涉及一种基于光磁融合的消融针定位导航方法。
背景技术
在外科医学领域内，穿刺是常见的一种诊断技术，将穿刺针刺入体内，为消融等后续手术建立介入通道。穿刺的关键在于快速和准确的将穿刺针刺入目标位置，才能减少出血，缩短手术时间。传统的医生手动穿刺手术主要依赖于医生的专业素质和操作经验，存在着手术精度低的问题。超声图像引导的穿刺碍于超声不能穿透骨骼和空气，CT和MRI引导的穿刺需要对患者进行多次扫描，手术时间长，对患者伤害大，均具有明显的局限性。
发明内容
本发明为克服上述现有技术中穿刺存在着精度低、效率低的问题，提供一种基于光磁融合的消融针定位导航方法。
为解决上述技术问题，本发明采用的技术方案是：
一种基于光磁融合的消融针定位导航方法，包括以下步骤：
S1：标定深度相机的深度数据、RGB数据内部参数和外部位置参数，利用深度相机获取消融针上的光学传感器的深度数据和RGB数据；
S2：对光学传感器的RGB数据进行分割，得到光学传感器的二维坐标，将二维坐标点映射到对应的深度数据中，得到光学传感器三维坐标；
S3：标定磁定位仪的外部位置参数，利用磁定位仪获取消融针上的磁传感器三维坐标；
S4：将深度相机坐标系与磁定位仪坐标系融合得到消融针坐标系，将步骤S2中的光学传感器三维坐标和步骤S3中磁传感器三维坐标变换到消融针坐标系中，得到消融针位姿。
优选地，所述步骤S2具体包括以下步骤：
s21：对步骤S1中得到的RGB数据使用双边滤波进行平滑去噪；
s22：使用深度学习技术训练光学传感器分割模型，分割出步骤s21中RGB数据中的光学传感器的二位坐标；
s23：将步骤s22中获取的光学传感器的二维坐标与该RGB数据对应的深度数据对应，获得深度坐标，从而实时得到光学传感器三维坐标；
优选地，所述步骤S4主要包括以下步骤：
s41：利用步骤S1中标定的深度相机的外部位置参数得到深度相机坐标系，利用步骤S3中标定的磁定位仪的外部位置参数得到磁定位仪坐标系，将深度相机坐标系和磁定位仪坐标系融合得到消融针坐标系OT-XTYTZT；
s42：将步骤S2中得到的光学传感器三维坐标和步骤S3中得到磁传感器三维坐标变换到消融针坐标系中，即得到消融针的实际位姿。
优选地，消融针的实际位姿包括磁传感器在消融针坐标系中的位姿T以及光学传感器在消融针坐标系中的位姿V。
优选地，磁传感器在消融针坐标系中的位姿T的计算方法如下：磁定位仪获取到的磁传感器的位姿信息包括x1、y1、z1、Rotx、Roty、Rotz6个数值：其中x、y、z是磁传感器在磁定位仪坐标系中的坐标数值，Rotx、Roty、Rotz是磁定位仪坐标系在消融针坐标系OT-XTYTZT中的三个旋转欧拉角；其中，
Figure BDA0002390665210000021
Figure BDA0002390665210000022
Figure BDA0002390665210000023
Rotzyx＝Rotz×Roty×Rotx
Figure BDA0002390665210000031
sx＝sin(Rx) cx＝cos(Rx)
sy＝sin(Ry) cy＝cos(Ry)
sz＝sin(Rz) cz＝cos(Rz)。
需要说明的是，光学传感器在消融针坐标系中的位姿V的计算过程可以参照磁传感器在消融针坐标系中的位姿T的计算方法而得到。
与现有技术相比，有益效果是：
本发明解决了现有技术中穿刺方式存在的精度低、效率低的问题，在手术过程中，采用深度相机和磁定位仪融合光学定位和磁定位的方法，同步追踪消融针的位置并计算消融针的姿态，以便辅助医生进行实时穿刺时，能够迅速且精准的将穿刺针刺入目标位置，同时减轻了在穿刺过程中对患者带来的伤害。
附图说明
图1是本发明中整体步骤流程图；
图2是本发明中光学传感器三维坐标获取的流程图；
图3是本发明中消融针位姿计算的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
实施例1
如图1所示，一种基于光磁融合的消融针定位导航方法，包括以下步骤：
S1：标定深度相机的深度数据、RGB数据内部参数和外部位置参数，利用深度相机获取消融针上的光学传感器的深度数据和RGB数据；
S2：对光学传感器的RGB数据进行分割，得到光学传感器的二维坐标，将二维坐标点映射到对应的深度数据中，得到光学传感器三维坐标；
S3：标定磁定位仪的外部位置参数，利用磁定位仪获取消融针上的磁传感器三维坐标；
S4：将深度相机坐标系与磁定位仪坐标系融合得到消融针坐标系，将步骤S2中的光学传感器三维坐标和步骤S3中磁传感器三维坐标变换到消融针坐标系中，得到消融针位姿。
需要说明的是，在步骤S4中得到的消融针位姿包括消融针的位置以及消融针的姿态。
其中，如图2所示，步骤S2具体包括以下步骤：
s21：对步骤S1中得到的RGB数据使用双边滤波进行平滑去噪；
s22：使用深度学习技术训练光学传感器分割模型，分割出步骤s21中RGB数据中的光学传感器的二位坐标；
s23：将步骤s22中获取的光学传感器的二维坐标与该RGB数据对应的深度数据对应，获得深度坐标，从而实时得到光学传感器三维坐标；
另外，如图3所示，步骤S4主要包括以下步骤：
s41：利用步骤S1中标定的深度相机的外部位置参数得到深度相机坐标系，利用步骤S3中标定的磁定位仪的外部位置参数得到磁定位仪坐标系，将深度相机坐标系和磁定位仪坐标系融合得到消融针坐标系OT-XTYTZT。需要说明的是，基于标定位置参数将两个三维坐标系进行融合在数学领域已有成熟的推导方法，即将其中一个坐标系相对于另外一个坐标系作平移和旋转。
s42：将步骤S2中得到的光学传感器三维坐标和步骤S3中得到磁传感器三维坐标变换到消融针坐标系中，即得到消融针的实际位姿。
其中，消融针的实际位姿包括磁传感器在消融针坐标系中的位姿T以及光学传感器在消融针坐标系中的位姿V。
另外，磁传感器在消融针坐标系中的位姿T的计算方法如下：磁定位仪获取到的磁传感器的位姿信息包括x1、y1、z1、Rotx、Roty、Rotz6个数值：其中x、y、z是磁传感器在磁定位仪坐标系中的坐标数值，Rotx、Roty、Rotz是磁定位仪坐标系在消融针坐标系OT-XTYTZT中的三个旋转欧拉角；其中，
Figure BDA0002390665210000051
Figure BDA0002390665210000052
Figure BDA0002390665210000053
Rotzyx＝Rotz×Roty×Rotx
Figure BDA0002390665210000054
sx＝sin(Rx) cx＝cos(Rx)
sy＝sin(Ry) cy＝cos(Ry)
sz＝sin(Rz) cz＝cos(Rz)。
需要说明的是，光学传感器在消融针坐标系中的位姿V的计算过程可以参照磁传感器在消融针坐标系中的位姿T的计算方法而得到。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于光磁融合的消融针定位导航方法,其特征在于，包括以下步骤：
S1：标定深度相机的深度数据、RGB数据内部参数和外部位置参数，利用深度相机获取消融针上的光学传感器的深度数据和RGB数据；
S2：对光学传感器的RGB数据进行分割，得到光学传感器的二维坐标，将二维坐标点映射到对应的深度数据中，得到光学传感器三维坐标；
S3：标定磁定位仪的外部位置参数，利用磁定位仪获取消融针上的磁传感器三维坐标；
S4：将深度相机坐标系与磁定位仪坐标系融合得到消融针坐标系，将步骤S2中的光学传感器三维坐标和步骤S3中磁传感器三维坐标分别变换到消融针坐标系中，得到消融针位姿。
2.根据权利要求1所述的一种基于光磁融合的消融针定位导航方法,其特征在于，所述步骤S2具体包括以下步骤：
s21：对步骤S1中得到的RGB数据使用双边滤波进行平滑去噪；
s22：使用深度学习技术训练光学传感器分割模型，分割出步骤s21中RGB数据中的光学传感器的二位坐标；
s23：将步骤s22中获取的光学传感器的二维坐标与该RGB数据对应的深度数据对应，获得深度坐标，从而实时得到光学传感器三维坐标；
3.根据权利要求1或2所述的一种基于光磁融合的消融针定位导航方法,其特征在于，所述步骤S4主要包括以下步骤：
s41：利用步骤S1中标定的深度相机的外部位置参数得到深度相机坐标系，利用步骤S3中标定的磁定位仪的外部位置参数得到磁定位仪坐标系，将深度相机坐标系和磁定位仪坐标系融合得到消融针坐标系OT-XTYTZT；
s42：将步骤S2中得到的光学传感器三维坐标和步骤S3中得到磁传感器三维坐标分别变换到消融针坐标系中，即得到消融针的实际位姿。
4.根据权利要求3所述的一种基于光磁融合的消融针定位导航方法,其特征在于，消融针的实际位姿包括磁传感器在消融针坐标系中的位姿T以及光学传感器在消融针坐标系中的位姿V。
5.根据权利要求4所述的一种基于光磁融合的消融针定位导航方法,其特征在于，磁传感器在消融针坐标系中的位姿T的计算方法如下：磁定位仪获取到的磁传感器的位姿信息包括x1、y1、z1、Rotx、Roty、Rotz 6个数值：其中x、y、z是磁传感器在磁定位仪坐标系中的坐标数值，Rotx、Roty、Rotz是磁定位仪坐标系在消融针坐标系OT-XTYTZT中的三个旋转欧拉角；其中，
Figure FDA0002390665200000021
Figure FDA0002390665200000022
Figure FDA0002390665200000023
Rotzyx＝Rotz×Roty×Rotx
Figure FDA0002390665200000024
sx＝sin(Rx)cx＝cos(Rx)
sy＝sin(Ry)cy＝cos(Ry)
sz＝sin(Rz)cz＝cos(Rz)。
CN202010113062.9A 2020-02-24 2020-02-24 一种基于光磁融合的消融针定位导航方法 Pending CN111388063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113062.9A CN111388063A (zh) 2020-02-24 2020-02-24 一种基于光磁融合的消融针定位导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113062.9A CN111388063A (zh) 2020-02-24 2020-02-24 一种基于光磁融合的消融针定位导航方法

Publications (1)

Publication Number Publication Date
CN111388063A true CN111388063A (zh) 2020-07-10

Family

ID=71410758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113062.9A Pending CN111388063A (zh) 2020-02-24 2020-02-24 一种基于光磁融合的消融针定位导航方法

Country Status (1)

Country Link
CN (1) CN111388063A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256721A (zh) * 2021-06-21 2021-08-13 浙江光珀智能科技有限公司 一种室内多人三维高精度定位方法
CN114159160A (zh) * 2020-09-10 2022-03-11 杭州三坛医疗科技有限公司 手术导航方法、装置、电子设备、存储介质
CN118285917A (zh) * 2024-06-05 2024-07-05 华科精准(北京)医疗设备股份有限公司 一种手术导航系统及提升导航精度的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114159160A (zh) * 2020-09-10 2022-03-11 杭州三坛医疗科技有限公司 手术导航方法、装置、电子设备、存储介质
CN114159160B (zh) * 2020-09-10 2023-09-05 杭州三坛医疗科技有限公司 手术导航方法、装置、电子设备、存储介质
CN113256721A (zh) * 2021-06-21 2021-08-13 浙江光珀智能科技有限公司 一种室内多人三维高精度定位方法
CN118285917A (zh) * 2024-06-05 2024-07-05 华科精准(北京)医疗设备股份有限公司 一种手术导航系统及提升导航精度的方法

Similar Documents

Publication Publication Date Title
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
ES2718543T3 (es) Sistema y procedimiento para la navegación basada en imágenes fusionadas con la colocación de marcador tardío
CN111388063A (zh) 一种基于光磁融合的消融针定位导航方法
WO2017211225A1 (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
CN107689045B (zh) 内窥镜微创手术导航的图像显示方法、装置及系统
CN109864806A (zh) 基于双目视觉的动态补偿功能的穿刺机器人导航系统
CN112641514B (zh) 一种微创介入导航系统与方法
US12090004B2 (en) Registration degradation correction for surgical navigation procedures
EP1903972A2 (en) Methods and systems for mapping a virtual model of an object to the object
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
KR101843992B1 (ko) 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템 및 그 방법
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
CN113645896A (zh) 手术计划、手术导航和成像用系统
CN106236264A (zh) 基于光学跟踪和图像匹配的胃肠手术导航方法及系统
CN115105175A (zh) 穿刺导航系统、方法、设备与存储介质以及穿刺装置
CN113274130A (zh) 用于光学手术导航系统的无标记手术注册方法
CN113100941B (zh) 基于ss-oct手术导航系统的图像配准方法及系统
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
CN116580820B (zh) 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统
WO2022006586A1 (en) Extended-reality visualization of endovascular navigation
US12023109B2 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
CN113974834B (zh) 手术机器人系统的套管位姿确定方法、装置
CN115024805A (zh) 一种用于辅助腔镜手术穿刺的方法、系统和存储介质
CN114334096A (zh) 基于医学影像的术中辅助显示方法、装置及存储介质
CN114224485A (zh) 用于开放式脊柱椎板减压手术导航系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710

RJ01 Rejection of invention patent application after publication