CN114159160B - 手术导航方法、装置、电子设备、存储介质 - Google Patents

手术导航方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114159160B
CN114159160B CN202010946659.1A CN202010946659A CN114159160B CN 114159160 B CN114159160 B CN 114159160B CN 202010946659 A CN202010946659 A CN 202010946659A CN 114159160 B CN114159160 B CN 114159160B
Authority
CN
China
Prior art keywords
medical image
dimensional medical
image
coordinate system
electromagnetic positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010946659.1A
Other languages
English (en)
Other versions
CN114159160A (zh
Inventor
何滨
严世贵
李伟栩
童睿
郭宏瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Santan Medical Technology Co Ltd
Original Assignee
Hangzhou Santan Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Santan Medical Technology Co Ltd filed Critical Hangzhou Santan Medical Technology Co Ltd
Priority to CN202010946659.1A priority Critical patent/CN114159160B/zh
Publication of CN114159160A publication Critical patent/CN114159160A/zh
Application granted granted Critical
Publication of CN114159160B publication Critical patent/CN114159160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207Divots for calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了手术导航方法、装置、电子设备、存储介质。方法包括:获取拍摄设备对目标对象进行拍摄得到的二维医学图像,目标对象上固定有第一电磁定位组件,第一电磁定位组件位于电磁场中;获取目标对象的三维医学图像;根据二维医学图像中第一电磁定位组件所处的位置坐标、拍摄二维医学图像时第一电磁定位组件的第一位姿以及三维医学图像确定三维医学图像的图像坐标系与电磁场的磁场坐标系之间的第一转换关系;根据第一转换关系分别将第一电磁定位组件的实时位姿和固定于手术器械上的第二电磁定位组件的实时位姿转换为图像坐标系下的空间坐标,以引导手术器械操作;其中,第一电磁定位组件和第二电磁定位组件均位于电磁场中,实现了手术导航。

Description

手术导航方法、装置、电子设备、存储介质
技术领域
本发明涉及手术导航技术领域,特别涉及手术导航方法、装置、电子设备、存储介质。
背景技术
近年来,外科手术取得了巨大的发展,但是对于解剖结构复杂的病变部位来说,手术难度和风险依然很高。以脊柱外科手术为例,脊柱的解剖结构复杂且毗邻重要血管神经,脊柱外科手术中椎弓根螺钉的准确置入,是完成良好矫形的前提,而置钉过程易损伤椎体周围大血管和神经,因此精准的植钉操作成为了手术的关键和技术难点。
手术导引系统可以帮助医疗人员定位病变部位,降低手术难度和风险,越来越多的用于外科手术。然而,传统的手术导引系统精确度有待提高,且需要实时拍摄医学影像来得知病患的病变部位信息以及手术器械的位置,会增加病患受到的辐射剂量。
发明内容
本发明提供手术导航方法、装置、电子设备、存储介质,以解决相关技术中的不足。
具体地,本发明是通过如下技术方案实现的:
第一方面,提供一种手术导航方法,包括:
获取拍摄设备对目标对象进行拍摄得到的二维医学图像,其中,所述目标对象上固定有第一电磁定位组件,所述第一电磁定位组件位于电磁场中;
获取所述目标对象的三维医学图像;
根据所述二维医学图像中所述第一电磁定位组件所处的位置坐标、拍摄所述二维医学图像时所述第一电磁定位组件的第一位姿以及所述三维医学图像确定所述三维医学图像的图像坐标系与所述电磁场的磁场坐标系之间的第一转换关系;其中,所述第一位姿基于所述第一电磁定位组件在所述电磁场下产生的感应电流或感应电压确定;
根据所述第一转换关系分别将所述第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为所述图像坐标系下的空间坐标,以引导手术器械操作;其中,所述第二电磁定位组件固定于所述手术器械上,且所述第二电磁定位组件位于所述电磁场中;所述手术器械用于对所述目标对象进行手术操作。
可选地,确定所述图像坐标系与所述磁场坐标系之间的第一转换关系,包括:
根据所述位置坐标和所述第一位姿确定所述拍摄设备的设备坐标系与所述磁场坐标系之间的第二转换关系;
对所述三维医学图像和所述二维医学图像进行图像配准,根据所述图像配准的结果确定所述图像坐标系与所述设备坐标系之间的第三转换关系;
根据所述第二转换关系和所述第三转换关系确定所述第一转换关系。
可选地,确定所述设备坐标系与所述磁场坐标系之间的第二转换关系,包括:
根据所述位置坐标以及所述拍摄设备的投影变换矩阵确定所述第一电磁定位组件在所述设备坐标系下的第二位姿;
根据所述第二位姿和所述第一位姿确定所述第二转换关系。
可选地,对所述三维医学图像和所述二维医学图像进行图像配准,包括:
基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像;
对所述二维模拟图像与所述二维医学图像进行图像配准。
可选地,引导所述手术器械操作,包括:
根据所述第一转换关系确定所述三维医学图像中的目标位置在所述磁场坐标系下的第二空间坐标;
根据所述第二电磁定位组件的当前位姿和所述第二空间坐标规划所述手术器械的移动路径;
根据所述移动路径移动所述手术器械。
第二方面,提供一种手术导航装置,包括:
获取模块,用于获取拍摄设备对目标对象进行拍摄得到的二维医学图像,其中,所述目标对象上固定有第一电磁定位组件,所述第一电磁定位组件位于电磁场中;
所述获取模块,还用于获取所述目标对象的三维医学图像;
确定模块,用于根据所述二维医学图像中所述第一电磁定位组件所处的位置坐标、拍摄所述二维医学图像时所述第一电磁定位组件的第一位姿以及所述三维医学图像确定所述三维医学图像的图像坐标系与所述电磁场的磁场坐标系之间的第一转换关系;其中,所述第一位姿基于所述第一电磁定位组件在所述电磁场下产生的感应电流或感应电压确定;
所述转换模块,用于根据所述第一转换关系分别将所述第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为所述图像坐标系下的空间坐标,以引导手术器械操作;其中,所述第二电磁定位组件固定于所述手术器械上,且所述第二电磁定位组件位于所述电磁场中;所述手术器械用于对所述目标对象进行手术操作。
可选地,在确定所述图像坐标系与所述磁场坐标系之间的第一转换关系时,所述确定模块具体用于:
根据所述位置坐标和所述第一位姿确定所述拍摄设备的设备坐标系与所述磁场坐标系之间的第二转换关系;
对所述三维医学图像和所述二维医学图像进行图像配准,根据所述图像配准的结果确定所述图像坐标系与所述设备坐标系之间的第三转换关系;
根据所述第二转换关系和所述第三转换关系确定所述第一转换关系。
可选地,在确定所述设备坐标系与所述磁场坐标系之间的第二转换关系时,所述确定模块用于:
根据所述位置坐标以及所述拍摄设备的投影变换矩阵确定所述第一电磁定位组件在所述设备坐标系下的第二位姿;
根据所述第二位姿和所述第一位姿确定所述第二转换关系。
可选地,在对所述三维医学图像和所述二维医学图像进行图像配准时,所述确定模块用于:
基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像;
对所述二维模拟图像与所述二维医学图像进行图像配准。
可选地,所述装置还包括:
路径规划模块,用于根据所述第一转换关系确定所述三维医学图像中的目标位置在所述磁场坐标系下的第二空间坐标;并根据所述第二电磁定位组件的当前位姿和所述第二空间坐标规划所述手术器械的移动路径;
驱动模块,用于根据所述移动路径移动所述手术器械。
第三方面,提供一种电子设备,包括存储器、控制器及存储在存储器上并可在控制器上运行的计算机程序,所述控制器执行所述计算机程序时实现上述任一项所述的手术导航方法。
第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被控制器执行时实现上述任一项所述的手术导航的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明实施例中,利用电磁导航追踪技术对病患的病变部位的空间位姿以及手术器械的空间位姿进行了实时定位追踪,以进行手术导航,准确度高,避免在置钉过程中对椎体周围结构及重要脏器血管的损伤,杜绝手术并发症的发生。并且术中无需对病变部位以及手术器械进行实时拍摄,可以减少病患在术中受到医学图像拍摄的辐射剂量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本发明一示例性实施例示出的一种手术导航系统的结构示意图;
图2a是本发明一示例性实施例示出的一种第一电磁定位组件的固定针的结构示意图;
图2b是本发明一示例性实施例示出的一种第一电磁定位组件的标识单元的结构示意图;
图2c是本发明一示例性实施例示出的一种第一电磁定位组件的结构示意图
图3是本发明一示例性实施例示出的一种手术设备的结构示意图;
图4是本发明一示例性实施例示出的一种手术导航方法的流程图;
图5是本发明一示例性实施例示出的一种手术导航装置的模块示意图;
图6是本发明一示例实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本发明一示例性实施例示出的一种手术导航系统的结构示意图,手术导航系统包括第一电磁定位组件1、第二电磁定位组件2、控制器3和磁场发生器4。控制器分别与第一电磁定位组件1、第二电磁定位组件2和磁场发生器4连接。
磁场发生器4可以在控制器3的控制下启动,产生可变电磁场,以使位于该电磁场中的第一电磁定位组件1和第二电磁定位组件2产生感应电流/电压,感应电流/电压的特性取决于磁定位器的位置和方向及变化磁场的强度和相位的组合。控制器3可以分别获取第一电磁定位组件1和第二电磁定位组件2的感应电流/电压,并将感应电流/电压转化为数字数据后发送给外部控制器以计算第一电磁定位组件的位姿、第二电磁定位组件的位姿,或者控制器自行基于感应电流/电压计算第一电磁定位组件、第二电磁定位组件的位姿,以实时追踪第一电磁定位组件和第二电磁定位组件在磁场坐标系下的位姿。该位姿为定位器坐标系相对于磁场坐标系的位姿。位姿包括位置参数和姿态参数,位姿可以采用六自由度来表示,六自由度中的位置参数指的是空间坐标(x,y,z),姿态参数为水平转角、仰俯角和横滚角。
第一电磁定位组件包括固定针和标识单元。图2a是本发明一示例性实施例示出的一种第一电磁定位组件的固定针的结构示意图,固定针包括针头111、针尾112和针体113,针头111和针尾112分别位于针体113的两端,固定针可以一体成型。固定针的针头111可植入目标对象中,针尾112用于固定标识单元。针体113的内部或者外表面设有电磁定位线圈。若电磁定位线圈设于针体113的内外表面,可以在针体的外表面设置若干凹槽,将电磁定位线圈绕设于凹槽内,以避免电磁定位线圈脱落。固定针的材质采用无磁性金属材质,例如不锈钢、钛合金等。
其中,目标对象例如可以是需要进行手术的病患的某个组织器官(病变部位),例如,病患的头部、颈椎等。
参见图2b是本发明一示例性实施例示出的一种第一电磁定位组件的标识单元的结构示意图,标识单元包括固定座121、标识架122和标识球123。参见图2c,标识单元可以通过固定座可拆卸地固定于固定针的针尾。标识球123设于标识架122上,标识球123的数量为至少4个,该至少4个标识球123可以分散地排布在标识架上。标识球123的直径为2mm~8mm,该至少4个标识球的直径可以相同,也可以不同。标识球的材质采用无磁性金属材质,例如铝合金材质或钛合金材质等。标识架的材质可以但不限于采样硬塑料,例如POM(聚甲醛)、PEEK(聚醚醚酮)等。固定座121、标识架122和标识球123三者可以是一体成型的;或者固定座121与标识架122是一体成型的,标识球123可拆卸地设于标识架122上;或者标识球123与标识架122是一体成型的;或者固定座121、标识架122和标识球123均是可拆卸地设置。
将第一电磁定位组件固定于病患的病灶部位上时,标识单元位于体外,标识单元上设有用于实现坐标系标定的标识球,借助标识单元可以避免在人体上切开较大的手术切口。
第二电磁定位组件包括电磁定位线圈,电磁定位线圈可以预先埋在手术器械内部或涂在手术器械的表层,方便定位追踪。手术器械用于对目标对象进行手术操作。
手术导航还需要借助手术设备,图3是本发明一示例性实施例示出的一种手术设备的结构示意图,包括机械臂台车31和拍摄设备32。机械臂台车31上设有手术器械311、多轴机械臂312,手术器械311可以在多轴机械臂312的驱动下对病患进行手术操作,多轴机械臂312可以实现上下升降、前后移动、左右移动、绕基座旋转。拍摄设备32包括扫描床321、机架组件322、支撑组件323和拍摄组件324。支撑组件323用于支撑扫描床321,支撑组件323可以实现上下左右前后的移动、旋转,以调节扫描床321的位姿。机架组件322也可以实现上下左右前后的移动、旋转,以调节拍摄组件的位姿,使得拍摄组件324能够从任意角度对扫描床321上的病患33进行拍摄得到医学图像,满足医疗人员从不同角度观察病患的病变部位以及手术器械的需求。机架组件322不限于采用图中示出的C臂机,也可以采用O臂机。机械臂台车31与拍摄设备32可以通过有线或者无线的方式建立通信连接。当然,机械臂台车还可以包含图中未示出的控制系统,拍摄设备也可以包含控制系统,以控制各自的多轴机械臂进行运动。
下面以对病变脊柱(目标对象)进行手术为例,结合图1、图2a~图2c和图3对手术导航的过程进行详细说明。
在进行手术导航之前,需要将第一电磁定位组件固定于病变脊柱上,例如将第一电磁定位组件的针头植入病变脊柱的脊突,而标识单元位于体外,以监测手术过程中病变脊柱的位姿及变化状态;将第二电磁定位组件固定于手术器械上,以监测手术过程中手术器械的位姿及变化状态。
图4是本发明一示例性实施例示出的一种手术导航方法的流程图,应用于控制器,该方法可以包括以下步骤:
步骤401、获取拍摄设备对病变脊柱进行拍摄得到的二维医学图像。
在进行拍摄之前,需要调整拍摄设备的位姿,以使病患的病变脊柱在拍摄设备的拍摄视野内。得到的二维医学图像为对病变脊柱进行手术过程中获取的二维图像,图像中不仅包含病变脊柱,还包含固定于病变脊柱上的第一电磁定位组件。
目前,术中一般采用X光机拍摄得到X光图像(二维图像),用于导航。
步骤401中获得的二维医学图像一方面用于确定电磁场坐标系与拍摄设备的设备坐标系之间的转换关系,一方面确定下文中三维医学图像的图像坐标系与设备坐标系之间的转换关系,也即二维医学图像用于实现三个坐标系的标定,单凭一张二维医学图像对三个坐标系进行标定准确度难以保证,因此可以获取以不同拍摄角度对目标对象进行拍摄得到的至少两张二维医学图像。不同拍摄角度也即拍摄设备处于不同的位姿,以不同拍摄角度拍摄得到的二维医学图像进行坐标系标定可以相互牵制,相比于仅以一个拍摄角度实现坐标系标定,准确度大大提高。
需要说明的是,拍摄角度的不同,可以通过调节机架组件的位姿实现。
步骤402、获取目标对象的三维医学图像,并根据二维医学图像中第一电磁定位组件所处的位置坐标、拍摄二维医学图像时第一电磁定位组件的第一位姿以及三维医学图像确定三维医学图像的图像坐标系与电磁场的磁场坐标系之间的第一转换关系。
进行手术之前,医疗人员一般需要拍摄目标对象的医学图像,以对目标对象进行初步的诊断以及制定手术方案。为了便于医疗术前诊断以及制定手术方案,术前一般会获取空间分辨率较高的医学图像,例如CT图像、PET图像、MRI(磁共振成像)图像等。本实施例中,可以借助术前获取的三维医学图像,进行坐标标定及手术导航。
在确定第一转换关系时,可以先根据位置坐标和第一位姿确定拍摄设备的设备坐标系与磁场坐标系之间的第二转换关系,对三维医学图像和二维医学图像进行图像配准,并根据图像配准的结果确定图像坐标系与设备坐标系之间的第三转换关系,然后根据第二转换关系和第三转换关系确定第一转换关系。
第一电磁定位组件的第一位姿可以基于第一电磁定位组件在电磁场下产生的感应电流或感应电压确定,第一位姿表征拍摄二维医学图像时,病变脊柱的姿态。
在进行手术导航的过程中,控制器开启磁场发生器,磁场发生器产生电磁场,第一电磁定位组件在电磁场环境下时,其电磁定位线圈会产生感应电流或感应电压,感应电流或感应电压的强度能反映出磁场发生器与第一电磁定位组件之间的相对位置变化和相对姿态变化,根据感应电流或感应电压可以实时监测第一电磁组件在磁场坐标系下的位姿,即第一电磁组件的坐标系与磁场坐标系间的变换关系T1。
由于第一电磁定位组件的固定针植入脊柱,无法设置标识球,因此借助标识单元上的标识球实现。在固定针与标识单元为可拆卸设置时,固定针对应一个坐标系,标识单元对应一个坐标系,而在手术过中,固定针始终植入脊柱,用于对脊柱的位姿进行追踪,标识单元可被拆卸,因此可以将固定针的坐标系作为第一电磁定位组件的坐标系。标识单元的坐标系与固定针的相互坐标系可以预先标定,术中可以直接调取使用,从而知道标识球在标识单元的坐标系下的位置坐标(可通过测量确定),即可知晓标识球在固定针的坐标系下的空间位置,记做Ball(x,y,z)。根据公式Ball磁场(x,y,z)=T1*Ball(x,y,z)即可计算出标识球在磁场坐标系下的空间坐标Ball磁场(x,y,z)。
在确定设备坐标系与磁场坐标系之间的第二转换关系T2时,可以先根据二维医学图像中第一电磁定位组件所处的位置坐标以及拍摄设备的投影变换矩阵确定第一电磁定位组件在设备坐标系下的第二位姿;再根据第二位姿和第一位姿确定第二转换关系T2。其中,投影变换矩阵可以通过术前标定获取。
第一电磁定位组件所处的位置坐标可以通过标识球的坐标表征,基于图像识别算法识别二维医学图像中标识球所在的区域,并计算出各标识球的球心在二维医学图像中的二维坐标B(x,y)。基于该二维坐标B(x,y)、投影变换矩阵A以及公式B(x,y)=A*Ball设备(x,y,z)即可确第一电磁定位组件在设备坐标系下的第二位姿Ball设备(x,y,z),进而根据第二位姿Ball设备(x,y,z)、空间坐标Ball磁场(x,y,z)以及公式Ball设备(x,y,z)=T2*Ball磁场(x,y,z)即可确定拍摄设备的设备坐标系与电磁场的磁场坐标系之间的第二转换关系T2。
二维医学图像中反映的病变部位的位置和大小与拍摄设备的位姿相关,确定了三维医学图像与二维医学图像之间的空间位置的对应关系,相当于确定了拍摄设备的位姿与三维医学图像之间的对应关系,也即确定了三维医学图像的图像坐标系与设备坐标系之间的第三转换关系T3。若术前获取的是二维断层扫描图像,则需要依据该二维断层扫描图像重建出三维医学图像。
在一个实施例中,对二维医学图像与三维医学图像进行图像配准,可以包括:
S1、基于数字影像重建算法(DRR)建立与三维医学图像对应的二维模拟图像。
为了便于医疗术前诊断,术前一般会获取空间分辨率较高的医学图像,而术中一般只能获取二维图像,例如X光图像,因此在手术过程中实现图像配准时需要将三维医学图像降到二维,即基于DRR算法建立与三维医学图像对应的二维模拟图像(DRR图像)。
S2、对二维模拟图像与二维医学图像进行图像配准。
图像配准的过程中,可以自定义一个配准空间坐标系,以拍摄设备的全局坐标系为例,在拍摄设备的全局坐标系中,从三维医学图像数据中重建出一幅或若干幅DRR图像,依次对各幅DRR图像和步骤401获得的多张二维图像进行配准,可以获得术中病患的实时位姿以及病变部位在成像中的大小变换等信息。图像配准算法可以但不限于采用刚体变换、仿射变换、投影变换、弹性变换等。
为了提高图像配准的准确性,同时减小计算量,在一个实施例中,对二维医学图像与三维医学图像进行图像配准的过程中,可以先识别出二维医学图像中目标对象(脊柱)所在的第一区域,以及三维医学图像中目标对象(脊柱)所在的第二区域,在进行图像配准时只对第一区域与第二区域进行图像配准。
确定了第二转换关系和第三转换关系后,既可以但不限于通过以下公式确定第一转换关系T1=T2*T3。
步骤403、根据第一转换关系分别将第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为图像坐标系下的空间坐标,以引导手术器械操作。
其中,第二电磁定位组件固定于手术器械上,且第二电磁定位组件位于磁场发生器产生的电磁场中。
第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿分别根据各自在电磁场下产生的感应电流或感应电压确定,通过对实时位姿的监测,实现了对目标对象的位姿和手术器械的位姿的实时定位追踪。
确定了第一转换关系,便可以拆除标识固定针上的标识单元,根据上述确定的第一转换关系即可将第一电磁定位组件的实时位姿、第二电磁定位组件的实时位姿以及三维医学图像统一在相同的坐标系下,实现三者的融合。例如,可以但不限于通过以下公式M磁场=T1*Mct,将第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿分别转换为三维医学图像的图像坐标系下的空间坐标。其中,M磁场表示第一电磁定位组件或第二电磁定位组件的位姿,Mct表示将M磁场转换至图像坐标系下的空间坐标。从而,可以得到病变部位和手术器械在三维医学图像中的实时位置关系动态图像,通过显示屏幕实时显示的动态图像,可以引导医疗人员的手术器械操作,实现手术导航。
进行手术之前,医疗人员可以借助术前获取的三维医学图像,制定手术方案,例如在三维医学图像上标定置钉位置Mct’(目标位置),Mct’表示三维医学图像的坐标系下的手术路径,也即置钉路径,可以是一段包含起点、终点的空间线段。
根据M’磁场=T1*Mct’即可计算出与三维医学图像上标定的置钉位置相对应的磁场坐标系下的空间位置M’磁场,该空间位置也即需要置钉的位置,以引导手术器械操作。
本实施例中,利用电磁导航追踪技术对椎体的空间位姿以及手术器械的空间位姿进行了实时定位追踪,并将定位追踪的结果进行显示,定位追踪的精确度高,显示结果无影像漂移,通过显示屏幕实时显示的动态图像,使得医疗人员可以通过观察显示屏幕进行同步手术,实现了手术的可视化导航,避免在手术置钉过程中对椎体周围结构及重要脏器血管的损伤,杜绝手术并发症的发生。并且术中无需对病变部位以及手术器械进行实时拍摄,可以减少病患在术中受到医学图像拍摄的辐射剂量。
在一个实施例中,医疗人员可以通过观察显示屏幕,手动对手术器械的多轴机械臂进行操控,以使得在多轴机械臂的驱动下通过手术器械对病患进行手术操作,例如,将固定螺钉植入脊柱以完成良好矫形。
在另一个实施例中,手术导航系统也可以实现多轴机械臂的自动操控,具体的:医疗人员可以在显示屏幕呈现的三维医学图像上选定置钉位置,系统可以根据该置钉位置、各个坐标系之间的转换关系以及当前手术器械的位姿数据、拍摄设备的位姿数据规划手术器械的移动路径,并控制手术器械依照该移动路径移动至与置钉位置对应的空间位置处,进而进行手术操作。通过路径规划,手术器械可以最短路径运行,可以提高手术器械定位的安全性和效率。
在另一个实施例中,还可以在机械臂台车上设置超声波传感器、红外传感器、摄像头等以使机械臂台车具备避障功能,当手术器械的运动过程中避免与周围的物体或人发生碰撞。
在另一个实施例中,在手术器械完成手术操作的情况下,可以触发拍摄设备对目标对象进行拍摄得到二维医学图像,该二维医学图像能够反映手术操作的具体位置,也即置钉位置;可以根据图像配准的结果重建与二维医学图像相对应的三维模拟图像,并将该三维模拟图像显示在显示屏幕中,显示该三维模拟图像的屏幕可以与显示关系动态图像共用屏幕,也即两幅三维模拟图像显示在一台显示屏幕上;当然也可以将两幅三维模拟图像显示在不同的设备中。医疗人员可以根据显示两幅三维医学图像确定手术操作的具体位置是否符合预期,例如,固定螺钉是否打在正确的位置上,在不符合预期的情况下,及时纠错,避免造成严重的医疗事故。
在另一个实施例中,在手术器械完成手术操作的情况下,还可以计算三维模拟图像中手术操作的位置,例如,固定螺钉植入位置,与三维医学图像上标定置钉位置Mct’的位置偏移,若位置偏移大于阈值,说明不符合手术预期,可能需要重新手术,则可以发出提示信息。其中,提示信息可以但不限于采用语音、文字等方式发出。
在另一个实施例中,也可以在固定螺钉中植入电磁定位线圈,依据电磁导航追踪技术对固定螺钉的植入位置进行定位追踪,并在固定螺钉的植入路径与预期不符的情况下,及时提示医护人员。固定螺钉用于对脊柱起到固定治疗的作用。
与前述手术导航方法实施例相对应,本发明还提供了手术导航装置的实施例。
图5是本发明一示例性实施例示出的一种手术导航装置的模块示意图,可以包括:
获取模块51,用于获取拍摄设备对目标对象进行拍摄得到的二维医学图像,其中,所述目标对象上固定有第一电磁定位组件,所述第一电磁定位组件位于电磁场中;
所述获取模块51,还用于获取所述目标对象的三维医学图像;
确定模块52,用于根据所述二维医学图像中所述第一电磁定位组件所处的位置坐标、拍摄所述二维医学图像时所述第一电磁定位组件的第一位姿以及所述三维医学图像确定所述三维医学图像的图像坐标系与所述电磁场的磁场坐标系之间的第一转换关系;其中,所述第一位姿基于所述第一电磁定位组件在所述电磁场下产生的感应电流或感应电压确定;
转换模块53,用于根据所述第一转换关系分别将所述第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为所述图像坐标系下的空间坐标,以引导手术器械操作;其中,所述第二电磁定位组件固定于所述手术器械上,且所述第二电磁定位组件位于所述电磁场中;所述手术器械用于对所述目标对象进行手术操作。
可选地,在确定所述图像坐标系与所述磁场坐标系之间的第一转换关系时,所述确定模块具体用于:
根据所述位置坐标和所述第一位姿确定所述拍摄设备的设备坐标系与所述磁场坐标系之间的第二转换关系;
对所述三维医学图像和所述二维医学图像进行图像配准,根据所述图像配准的结果确定所述图像坐标系与所述设备坐标系之间的第三转换关系;
根据所述第二转换关系和所述第三转换关系确定所述第一转换关系。
可选地,在确定所述设备坐标系与所述磁场坐标系之间的第二转换关系时,所述确定模块用于:
根据所述位置坐标以及所述拍摄设备的投影变换矩阵确定所述第一电磁定位组件在所述设备坐标系下的第二位姿;
根据所述第二位姿和所述第一位姿确定所述第二转换关系。
可选地,在对所述三维医学图像和所述二维医学图像进行图像配准时,所述确定模块用于:
基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像;
对所述二维模拟图像与所述二维医学图像进行图像配准。
可选地,所述装置还包括:
路径规划模块,用于根据所述第一转换关系确定所述三维医学图像中的目标位置在所述磁场坐标系下的第二空间坐标;并根据所述第二电磁定位组件的当前位姿和所述第二空间坐标规划所述手术器械的移动路径;
驱动模块,用于根据所述移动路径移动所述手术器械。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
图6是本发明一示例实施例示出的一种电子设备的结构示意图,示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备60可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备60的组件可以包括但不限于:上述至少一个控制器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和控制器61)的总线63。
总线63包括数据总线、地址总线和控制总线。
存储器62可以包括易失性存储器,例如随机存取存储器(RAM)621和/或高速缓存存储器622,还可以进一步包括只读存储器(ROM)623。
存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具),这样的程序模块624包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
控制器61通过运行存储在存储器62中的计算机程序,从而执行各种功能应用以及数据处理,例如上述任一实施例所提供的方法。
电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且,模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的电子设备60使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余控制器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被控制器执行时实现上述任一实施例所提供的方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (7)

1.一种用于手术导航的计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被控制器执行时实现的手术导航方法包括:
获取拍摄设备对目标对象进行拍摄得到的二维医学图像,其中,所述目标对象上固定有第一电磁定位组件,所述第一电磁定位组件位于电磁场中;
获取所述目标对象的三维医学图像;
根据所述二维医学图像中所述第一电磁定位组件所处的位置坐标和所述拍摄设备的投影变换矩阵确定所述第一电磁定位组件在设备坐标系下的第二位姿;根据所述第二位姿和拍摄所述二维医学图像时所述第一电磁定位组件的第一位姿确定所述拍摄设备的设备坐标系与磁场坐标系之间的第二转换关系;对所述三维医学图像和所述二维医学图像进行图像配准,根据所述图像配准的结果确定所述三维医学图像的图像坐标系与所述设备坐标系之间的第三转换关系;根据所述第二转换关系和所述第三转换关系确定所述三维医学图像的图像坐标系与所述电磁场的磁场坐标系之间的第一转换关系;其中,所述第一位姿基于所述第一电磁定位组件在所述电磁场下产生的感应电流或感应电压确定;
根据所述第一转换关系分别将所述第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为所述图像坐标系下的空间坐标,以引导手术器械操作;其中,所述第二电磁定位组件固定于所述手术器械上,且所述第二电磁定位组件位于所述电磁场中;所述手术器械用于对所述目标对象进行手术操作。
2.根据权利要求1所述的可读存储介质,其特征在于,对所述三维医学图像和所述二维医学图像进行图像配准,包括:
基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像;
对所述二维模拟图像与所述二维医学图像进行图像配准。
3.根据权利要求1所述的可读存储介质,其特征在于,引导所述手术器械操作,包括:
根据所述第一转换关系确定所述三维医学图像中的目标位置在所述磁场坐标系下的第二空间坐标;
根据所述第二电磁定位组件的当前位姿和所述第二空间坐标规划所述手术器械的移动路径;
根据所述移动路径移动所述手术器械。
4.一种手术导航装置,其特征在于,包括:
获取模块,用于获取拍摄设备对目标对象进行拍摄得到的二维医学图像,其中,所述目标对象上固定有第一电磁定位组件,所述第一电磁定位组件位于电磁场中;
所述获取模块,还用于获取所述目标对象的三维医学图像;
确定模块,用于根据所述二维医学图像中所述第一电磁定位组件所处的位置坐标和所述拍摄设备的投影变换矩阵确定所述第一电磁定位组件在设备坐标系下的第二位姿;根据所述第二位姿和拍摄所述二维医学图像时所述第一电磁定位组件的第一位姿确定所述拍摄设备的设备坐标系与磁场坐标系之间的第二转换关系;对所述三维医学图像和所述二维医学图像进行图像配准,根据所述图像配准的结果确定所述三维医学图像的图像坐标系与所述设备坐标系之间的第三转换关系;根据所述第二转换关系和所述第三转换关系确定所述三维医学图像的图像坐标系与所述电磁场的磁场坐标系之间的第一转换关系;其中,所述第一位姿基于所述第一电磁定位组件在所述电磁场下产生的感应电流或感应电压确定;
转换模块,用于根据所述第一转换关系分别将所述第一电磁定位组件的实时位姿和第二电磁定位组件的实时位姿转换为所述图像坐标系下的空间坐标,以引导手术器械操作;其中,所述第二电磁定位组件固定于所述手术器械上,且所述第二电磁定位组件位于所述电磁场中;所述手术器械用于对所述目标对象进行手术操作。
5.根据权利要求4所述的手术导航装置,其特征在于,在对所述三维医学图像和所述二维医学图像进行图像配准时,所述确定模块用于:
基于数字影像重建算法建立与所述三维医学图像对应的二维模拟图像;
对所述二维模拟图像与所述二维医学图像进行图像配准。
6.根据权利要求4所述的手术导航装置,其特征在于,所述装置还包括:
路径规划模块,用于根据所述第一转换关系确定所述三维医学图像中的目标位置在所述磁场坐标系下的第二空间坐标;并根据所述第二电磁定位组件的当前位姿和所述第二空间坐标规划所述手术器械的移动路径;
驱动模块,用于根据所述移动路径移动所述手术器械。
7.一种电子设备,包括存储器、控制器及存储在存储器上并可在控制器上运行的计算机程序,其特征在于,所述控制器执行所述计算机程序时实现权利要求1至3中任一项所述的手术导航方法。
CN202010946659.1A 2020-09-10 2020-09-10 手术导航方法、装置、电子设备、存储介质 Active CN114159160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010946659.1A CN114159160B (zh) 2020-09-10 2020-09-10 手术导航方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010946659.1A CN114159160B (zh) 2020-09-10 2020-09-10 手术导航方法、装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN114159160A CN114159160A (zh) 2022-03-11
CN114159160B true CN114159160B (zh) 2023-09-05

Family

ID=80475777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010946659.1A Active CN114159160B (zh) 2020-09-10 2020-09-10 手术导航方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114159160B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114587592B (zh) * 2022-03-18 2023-01-17 华科精准(北京)医疗科技有限公司 一种手术导航系统及其使用方法
CN115396654B (zh) * 2022-09-02 2023-08-08 北京积水潭医院 导航偏移校验装置、方法、导航设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN104637061A (zh) * 2015-01-30 2015-05-20 中国科学院自动化研究所 一种二维三维医学图像配准方法
WO2015162665A1 (ja) * 2014-04-21 2015-10-29 アドバンストヘルスケア株式会社 手術支援システム、プロジェクタシステム,医療画像投影方法
EP3306567A1 (en) * 2016-10-10 2018-04-11 Globus Medical, Inc. Method and system for improving 2d-3d registration convergence
CN111297480A (zh) * 2020-02-20 2020-06-19 京东方科技集团股份有限公司 一种跟踪定位件、配准方法、存储介质及电子设备
CN111388063A (zh) * 2020-02-24 2020-07-10 中山大学 一种基于光磁融合的消融针定位导航方法
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694075B2 (en) * 2009-12-21 2014-04-08 General Electric Company Intra-operative registration for navigated surgical procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
WO2015162665A1 (ja) * 2014-04-21 2015-10-29 アドバンストヘルスケア株式会社 手術支援システム、プロジェクタシステム,医療画像投影方法
CN104637061A (zh) * 2015-01-30 2015-05-20 中国科学院自动化研究所 一种二维三维医学图像配准方法
EP3306567A1 (en) * 2016-10-10 2018-04-11 Globus Medical, Inc. Method and system for improving 2d-3d registration convergence
CN111297480A (zh) * 2020-02-20 2020-06-19 京东方科技集团股份有限公司 一种跟踪定位件、配准方法、存储介质及电子设备
CN111388063A (zh) * 2020-02-24 2020-07-10 中山大学 一种基于光磁融合的消融针定位导航方法
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统

Also Published As

Publication number Publication date
CN114159160A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
JP7204663B2 (ja) 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法
JP6367905B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
US11759272B2 (en) System and method for registration between coordinate systems and navigation
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
CN113940755B (zh) 一种术像一体的外科手术规划与导航方法
US20060004284A1 (en) Method and system for generating three-dimensional model of part of a body from fluoroscopy image data and specific landmarks
US20220378526A1 (en) Robotic positioning of a device
US20080221520A1 (en) Positioning System for Percutaneous Interventions
US11918297B2 (en) System and method for registration between coordinate systems and navigation
US20220361959A1 (en) System and Method for Computation of Coordinate System Transformations
CN114159160B (zh) 手术导航方法、装置、电子设备、存储介质
CN113855239B (zh) 一种血管介入手术中导丝导航系统及方法
EP3881791A1 (en) System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
CN114073579B (zh) 手术导航方法、装置、电子设备及存储介质
US20240108417A1 (en) System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
CN212490140U (zh) 手术导航系统
CN114159161A (zh) 手术导航系统
US20240065661A1 (en) System and method for imaging
US11980426B2 (en) System and method for preliminary registration
US20240071025A1 (en) System and method for imaging
CN114159159A (zh) 手术导航方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant