CN107049489A - 一种手术导航方法及系统 - Google Patents

一种手术导航方法及系统 Download PDF

Info

Publication number
CN107049489A
CN107049489A CN201710195702.3A CN201710195702A CN107049489A CN 107049489 A CN107049489 A CN 107049489A CN 201710195702 A CN201710195702 A CN 201710195702A CN 107049489 A CN107049489 A CN 107049489A
Authority
CN
China
Prior art keywords
point coordinates
characteristic points
flexible multi
fitting surface
tester
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710195702.3A
Other languages
English (en)
Other versions
CN107049489B (zh
Inventor
唐玉国
刘仰川
高欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201710195702.3A priority Critical patent/CN107049489B/zh
Publication of CN107049489A publication Critical patent/CN107049489A/zh
Application granted granted Critical
Publication of CN107049489B publication Critical patent/CN107049489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及手术导航技术领域,特别涉及一种手术导航方法及系统。所述手术导航系统包括:坐标定位系统:用于在检测者屏气状态时采集贴附在检测者病变部位的柔性多特征点靶标的第一特征点坐标;医学影像设备:用于采集检测者的三维医学影像;手术导航服务器:用于在手术导航时提取所述三维医学影像中柔性多特征点靶标的第一特征点坐标;所述坐标定位系统还用于在检测者屏气状态时采集所述柔性多特征点靶标的当前特征点坐标,将所述当前特征点坐标与所述手术导航服务器提取的第一特征点坐标进行配准,根据配准结果进行手术导航。本申请以柔性多特征点靶标为媒介,提高了呼吸运动病灶区的手术导航精度。

Description

一种手术导航方法及系统
技术领域
本申请涉及手术导航技术领域,特别涉及一种手术导航方法及系统。
背景技术
手术导航IGS(Image Guided Surgery)是指医生在术前利用医学影像设备和计算机图像学的方法,对患者多模式的图像数据进行三维重建和可视化处理,获得三维模型,制定合理、定量的手术计划,开展术前模拟;在术中通过注册操作,把三维模型与患者的实际体位、空间中手术器械的实时位置统一在一个坐标系下,并利用三维定位系统对手术器械在空间中的位置实时采集并显示,医生通过观察三维模型中手术器械与病变部位的相对位置关系,对病人进行导航手术治疗。
目前常用的手术导航有电磁导航和光学导航,其中,光学导航是主流的手术导航方法。光学导航利用三目或双目立体视觉原理,使用可见光或近红外光成像系统实现空间定位。现有手术导航临床操作流程如下:(1)术前在患者脑部粘贴头皮标记物,进行CT或MRI扫描,将影像数据输入计算机工作站,进行人体三维模型重建,从而规划手术路径,制定合理准确的手术方案。(2)架设红外定位仪及参考架并开始采集图像,将手术器械点击头皮标记物进行注册,完成手术空间坐标系和影像空间坐标系之间的配准,使手术器械能够精确呈现在影像中。(3)在导航指导下对病灶进行手术,导航系统会实时显示当前手术器械工作点(尖端探针)的位置及其周围的图像。
上述手术导航主要应用在神经外科手术中,如颅骨、脊髓等手术。手术导航应用于神经外科手术时,由于病人的头部是固定不动的,可认为是刚体,因此可以利用贴在头部的标记物有效地建立坐标系,完成坐标系配准。但是当手术导航应用于呼吸运动病灶区时,如果仍使用上述方法,在病人胸腹处贴上标记物,病人自身的呼吸运动会导致标记物不断移动,从而不能建立准确的坐标系,影响手术空间坐标系和影像坐标系之间的配准,无法实现精确的手术导航。
发明内容
本申请提供了一种手术导航方法及系统,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种手术导航方法,包括:
步骤a:在检测者的病变部位贴附柔性多特征点靶标;
步骤b:在检测者屏气状态下,通过坐标定位系统采集所述柔性多特征点靶标的第一特征点坐标,并通过医学影像设备采集检测者的三维医学影像;其中,所述第一特征点坐标为医学影像采集阶段所述柔性多特征点靶标的特征点坐标;
步骤c:通过手术导航服务器提取所述三维医学影像中柔性多特征点靶标的第一特征点坐标,并在检测者屏气状态下通过坐标定位系统采集所述柔性多特征点靶标的当前特征点坐标,将所述当前特征点坐标与所述手术导航服务器提取的第一特征点坐标进行配准,根据配准结果进行手术导航;其中,所述当前特征点坐标为柔性多特征点靶标在手术导航阶段的特征点坐标。
本申请实施例采取的技术方案还包括:所述步骤b还包括:根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面。
本申请实施例采取的技术方案还包括:所述步骤b还包括:判断所述第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,如果第一拟合曲面形态随检测者呼吸的周期性变化值为零,通过所述医学影像设备采集检测者的三维医学影像。
本申请实施例采取的技术方案还包括:所述步骤c还包括:通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面。
本申请实施例采取的技术方案还包括:所述步骤c还包括:判断所述第二拟合曲面与第一拟合曲面的相符程度是否≥90%,如果所述第二拟合曲面与第一拟合曲面的相符程度≥90%,通过所述坐标定位系统记录柔性多特征点靶标的当前特征点坐标,并将所述当前特征点坐标与第一特征点坐标进行配准。
本申请实施例采取的另一技术方案为:一种手术导航系统,包括柔性多特征点靶标、坐标定位系统、医学影像设备和手术导航服务器;
所述柔性多特征点靶标贴附在检测者的病变部位;
所述坐标定位系统用于在检测者屏气状态时采集所述柔性多特征点靶标的第一特征点坐标,其中,所述第一特征点坐标为医学影像采集阶段所述柔性多特征点靶标的特征点坐标;
所述医学影像设备用于采集检测者的三维医学影像;
所述手术导航服务器用于在手术导航时提取所述三维医学影像中柔性多特征点靶标的第一特征点坐标;
所述坐标定位系统还用于在检测者屏气状态时采集所述柔性多特征点靶标的当前特征点坐标,将所述当前特征点坐标与所述手术导航服务器提取的第一特征点坐标进行配准,根据配准结果进行手术导航;其中,所述当前特征点坐标为柔性多特征点靶标在手术导航阶段的特征点坐标。
本申请实施例采取的技术方案还包括:所述坐标定位系统还用于在医学影像采集阶段根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面。
本申请实施例采取的技术方案还包括:所述坐标定位系统还用于在医学影像采集阶段判断所述第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,如果第一拟合曲面形态随检测者呼吸的周期性变化值为零,通过所述医学影像设备采集检测者的三维医学影像。
本申请实施例采取的技术方案还包括:所述坐标定位系统还用于在手术导航阶段通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面。
本申请实施例采取的技术方案还包括:所述坐标定位系统还用于在手术导航阶段判断所述第二拟合曲面与第一拟合曲面的相符程度是否≥90%,如果所述第二拟合曲面与第一拟合曲面的相符程度≥90%,通过所述坐标定位系统记录柔性多特征点靶标的当前特征点坐标,并将所述当前特征点坐标与第一特征点坐标进行配准。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的手术导航方法及系统以柔性多特征点靶标为媒介,在医学影像采集阶段,采集靶标的特征点坐标,根据特征点坐标进行曲面拟合,并根据曲面形态采集病人的三维医学影像;在手术导航阶段,记录当前靶标的特征点坐标,并与三维医学影像中的特征点坐标进行坐标系配准,完成空间坐标系到影像坐标系的映射。本申请实施例兼顾呼吸状态表征和坐标系配准,提高了呼吸运动病灶区的手术导航精度。
附图说明
图1是本申请实施例的医学影像采集阶段的方法流程图;
图2为柔性多特征点靶标示意图;
图3是本申请实施例的手术导航阶段的方法流程图;
图4是手术导航系统示意图;
图5为电磁定位系统示意图;
图6是本发明实施例的光学定位系统的空间坐标配准方法的流程图;
图7为深度测量原理图;
图8是本申请实施例的手术导航系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例的手术导航方法及系统以柔性多特征点靶标为媒介,在医学影像采集阶段,采集靶标的特征点坐标,根据特征点坐标进行曲面拟合,并根据曲面形态采集病人的三维医学影像;在手术导航阶段,记录当前靶标的特征点坐标,并与三维医学影像中的特征点坐标进行坐标系配准,完成空间坐标系到影像坐标系的映射。
具体地,请参阅图1,是本申请实施例的医学影像采集阶段的方法流程图。本申请实施例的医学影像采集方法包括以下步骤:
步骤100:使检测者以自然姿态平躺,并在检测者的病变部位贴附柔性多特征点靶标;
在步骤100中,柔性多特征点靶标由多个具有明显特征点的物体(如发光二极管)构成,其支撑结构的底部具有容易支撑或者附着在检测者身体表面的柔性结构,当检测者进行呼吸运动时,柔性多特征点靶标会随着身体运动,并可以在医学影像中显像,具体如图2所示,为柔性多特征点靶标示意图。本申请实施例尤其适用于胸腹处的呼吸运动病灶区的手术导航,同样的,本申请也适用于颅骨、脊髓等神经外科手术的导航。
步骤110:架设并调节坐标定位系统,使得柔性多特征点靶标始终处于坐标定位系统的有效测量范围内;
步骤120:令检测者在吸气末期进行屏气,通过坐标定位系统实时采集柔性多特征点靶标的第一特征点坐标,并根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面;
在步骤120中,当检测者屏气时,第一拟合曲面就不再进行变化。此时,判定屏气成功,并将第一拟合曲面作为状态标记。
步骤130:观察第一拟合曲面形态随检测者呼吸的周期性变化情况,并判断第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,如果第一拟合曲面形态随检测者呼吸的周期性变化值为零,执行步骤140;
在步骤130中,由于呼吸处于吸气末期时,呼吸运动幅度变化率最小且检测者最容易屏气,因此,用于判断第一拟合曲面形态的周期性变化值为零。
步骤140:在检测者屏气的情况下,通过坐标定位系统记录当前的曲面形态,同时,通过医学影像设备采集检测者的三维医学影像。
在步骤140中,医学影像设备包括CT、MRI等。
请参阅图3,是本申请实施例的手术导航阶段的方法流程图。本申请实施例的手术导航方法包括以下步骤:
步骤200:将采集的三维医学影像传输至手术导航服务器中;
步骤210:通过手术导航服务器显示三维医学影像,并提取三维医学影像中柔性多特征点靶标的第一特征点坐标;
步骤220:令检测者在吸气末期进行屏气,通过坐标定位系统实时采集柔性多特征点靶标的当前特征点坐标,并通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面;
步骤230:将第二拟合曲面与第一拟合曲面相比较,观察两个曲面的相符程度,并判断两个曲面的相符程度是否达到第二设定参数,如果两个曲面的相符程度达到第二设定参数,执行步骤240;
在步骤230中,用于判断两个曲面相符程度的第二设定参数为≥90%,从而保证特征点坐标的配准精度。
步骤240:在检测者屏住呼吸的情况下,通过坐标定位系统记录柔性多特征点靶标的当前特征点坐标,并将当前特征点坐标与提取的第一特征点坐标进行配准,完成空间坐标系到影像坐标系的映射;
在步骤240中,第二拟合曲面与第一拟合曲面的相符程度≥90%时(说明呼吸深度已相符),进行一次特征点坐标的配准,配准后手术器械就可以显示在医学影像坐标系中。完成特征点坐标配准后,每当第二拟合曲面与第一拟合曲面的相符程度大于90%时,根据配准结果进行手术,而不需要再次配准。
步骤250:完成配准后,通过三维医学影像显示手术器械,根据手术器械显示情况进行手术导航,在检测者屏气时进行手术操作,呼吸时暂停手术操作;
在步骤250中,医生可通过观察三维医学影像中手术器械与病变部位的相对位置关系,对病人进行导航手术治疗。
步骤260:重复执行步骤230,直到完成手术操作。
在本申请上述实施例中,坐标定位系统包括光学定位系统或电磁定位系统,其中,光学定位系统由两个或两个以上的数字相机、计算机或单片机处理器、机械结构等组成,光学导航系统利用三目或双目立体视觉原理,使用可见光或近红外光成像系统实现空间定位。具体如图4所示,为手术导航系统示意图。图中的吊起部分即为光学定位系统。而电磁定位系统通常包括磁场发生器、系统控制单元和电磁感应器械,电磁感应器械在磁场会产生电信号,经系统控制单元处理,可以计算得到空间位置;具体如图5所示,为电磁定位系统示意图。以下以光学定位系统为例对其工作原理进行具体说明,电磁定位系统的工作原理将不再赘述。
请参阅图6,是本发明实施例的光学定位系统的空间坐标配准方法的流程图。本发明实施例的光学定位系统的空间坐标配准方法包括以下步骤:
步骤300:标定板特征点提取;
在步骤300中,在进行数字相机标定时,需要用到高精度标定板。标定板有规则的图案阵列(比如棋盘格、圆斑阵列)组成,具有明显的特征点(比如角点、中心点)。特征点之间具有标准间距,选定某特征点作为世界坐标原点后,每一特征点的坐标也就确定下来了。由相机采集的标定板图像称为标定图像,需要将每一特征点进行准确提取。将获得的世界坐标序列和图像坐标序列输入到标定算法,就可以完成标定。可见,标定板特征点的提取精度直接影响到相机的标定精度。因此,本申请实施例的特征点提取精度达到亚像素级。
步骤310:相机高精度标定;
在步骤310中,数字相机标定的目的是获取相机的内、外参数,其中内参数包括镜头焦距、主点坐标、倾斜因子、镜头畸变等,外参数包括旋转矩阵和平移矩阵。内参数由数字相机的内部结构决定,而外参数由相机相对于世界坐标的方位决定。在本申请实施例中,相机标定算法是利用标定板特征点阵列的世界坐标和图像坐标进行相机标定,准确估计出相机的内、外参数。数字相机经过标定之后,由内、外参数可以计算得到相机矩阵,相机矩阵建立起了图像坐标和世界坐标的关系。两组或两组以上相机经同步标定获得的相机矩阵,可用于实现对靶标的空间定位。因此,数字相机的标定精度在很大程度上决定了光学定位系统的定位精度。
步骤320:柔性多特征点靶标特征点的提取;
在步骤320中,柔性多特征点靶标一般具有方便提取的特征点,如角点、中心点,在进行柔性多特征点靶标空间定位时,需要对其进行准确提取。为了能实现实时跟踪定位,相机的图像采集频率要达到几十帧,因此,需要快速提取柔性多特征点靶标特征点。
步骤330:图像快速匹配;
步骤330:每一个特征点在图像序列中的每一幅图像中均有一组坐标,建立图像序列中每一特征点坐标关系的过程叫做匹配。匹配的目的是保证每组坐标序列对应同一特征点,否则重建出的空间坐标会有较大误差。根据极线约束理论,当特征点的坐标在图像序列中的一幅图像中确定后,可以在其他图像所对应的极线上进行搜索,快速获取其他图像中对应同一特征点的坐标。
步骤340:空间坐标重建;
在步骤340中,在获得一组图像序列中的特征点坐标后,利用相机矩阵重建空间坐标;以双目立体视觉为例,采用以下两种空间坐标重建方法:
A:最小二乘重建法
设双目立体视觉中,两相机经标定后,得到的投影矩阵分别是M1、M2:
提取立体图像中柔性多特征点靶标的特征点坐标(ui,vi)(i=1,2),其中u是横向坐标,v是纵向坐标,i表示第i个相机。将特征点坐标带入重建方程:
在公式(3)~(6)中,(X,Y,Z)是世界坐标,三个未知数,四个方程,是一个超定方程组;通过矩阵理论中的最小二乘法,可以求出X,Y,Z。
B:深度测量重建法;
如图7所示,为深度测量原理图。假设两幅图像是行对准的,且一台摄像机的像素行和另一台完全对准,称为摄像机前向平行排列。是像平面的像主点,Ol和Or是投影中心,T是投影中心间距,f是两个摄像头的焦距,d=xl-xr是两幅图像的视差,由三角形相似可得,
由公式(7)可以看出,可以将求视觉深度转化为求两幅图像的视差。然而在实际情况中,两个摄像头不可能严格地向前平行对准,因此需要进行立体校正,把实际中非共面行对准的两幅图像,校正成共面行对准。立体校正分为两步:(1)将两个图像平面拉回同一平面;(2)旋转图像使得同行对准。
上述中,深度测量重建法适用于双目立体视觉,当应用于多目立体视觉重建,由于两两重建缺乏共同的公共面,难以重建,因此,多目立体视觉采用最小二乘重建法。
步骤350:坐标系配准;
在步骤350中,坐标系配准即为手术空间上的每一个点寻找影像上的唯一个点与之相对应,本质上是求取手术空间坐标系到影像坐标系的一个映射关系T。映射关系T可看作一个刚体变换,可以分解为旋转和平移,对手术空间中任意一点P和影像中唯一对应的图像点p可以用如下关系表示:
p=RP+t (8)
在公式(8)中,R是一个3×3的旋转矩阵,t是一个3×1的平移向量。可以看出,最少需要四组一一对应的点组可以求出旋转矩阵R和平移向量t,即映射关系T。当手术空间和影像一一对应的点组大于四组时,可以用最优化的思想求取最优解,使配准更加精确。
在本申请另一实施例中,当坐标定位系统为电磁定位系统时,特征点坐标配准方式为:通过电磁定位系统的电磁感应器械分别轻触柔性多特征点靶标的各个特征点,以此得到多个特征点的空间坐标组,并利用空间坐标组进行配准;即:用于配准的空间坐标来自电磁定位系统,而非光学定位系统。
请参阅图8,是本申请实施例的手术导航系统的结构示意图。本申请实施例的手术导航系统包括柔性多特征点靶标、坐标定位系统、医学影像设备和手术导航服务器;具体地:
柔性多特征点靶标贴附在检测者的病变部位,并处于坐标定位系统的有效测量范围内;柔性多特征点靶标由多个具有明显特征点的物体构成,其支撑结构的底部具有容易支撑或者附着在检测者身体表面的柔性结构,当检测者进行呼吸运动时,柔性多特征点靶标会随着身体运动,并可以在医学影像中显像。
在医学影像采集阶段,坐标定位系统用于在检测者屏气状态下(在吸气末期进行屏气),实时采集柔性多特征点靶标的第一特征点坐标,根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面;观察第一拟合曲面形态随检测者呼吸的周期性变化情况,并判断第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,当第一拟合曲面形态随检测者呼吸的周期性变化值为零时,在检测者屏气的情况下,坐标定位系统记录当前的曲面形态;同时,通过医学影像设备采集检测者的三维医学影像,并将采集的三维医学影像传输至手术导航服务器。
手术导航服务器用于显示三维医学影像,并提取三维医学影像中柔性多特征点靶标的第一特征点坐标。
在手术导航阶段,坐标定位系统用于在检测者屏气状态(在吸气末期进行屏气)下,实时采集柔性多特征点靶标的当前特征点坐标,并通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面;将第二拟合曲面与第一拟合曲面相比较,观察两个曲面的相符程度,当两个曲面的相符程度达到第二设定参数时,在检测者屏住呼吸的情况下,记录柔性多特征点靶标的当前特征点坐标,并将当前特征点坐标与手术导航服务器提取的第一特征点坐标进行配准,完成空间坐标系到影像坐标系的映射;完成配准后,通过三维医学影像显示手术器械,医生可通过观察三维医学影像中手术器械与病变部位的相对位置关系,在检测者屏气时进行手术操作,呼吸时暂停手术操作,直到完成手术操作。
在本申请上述实施例中,坐标定位系统包括光学定位系统或电磁定位系统,其中,光学定位系统的空间坐标配准方式具体为:
1、标定板特征点提取;在进行数字相机标定时,需要用到高精度标定板。标定板有规则的图案阵列(比如棋盘格、圆斑阵列)组成,具有明显的特征点(比如角点、中心点)。特征点之间具有标准间距,选定某特征点作为世界坐标原点后,每一特征点的坐标也就确定下来了。由相机采集的标定板图像称为标定图像,需要将每一特征点进行准确提取。将获得的世界坐标序列和图像坐标序列输入到标定算法,就可以完成标定。可见,标定板特征点的提取精度直接影响到相机的标定精度。因此,本申请实施例的特征点提取精度达到亚像素级。
2、相机高精度标定;数字相机标定的目的是获取相机的内、外参数,其中内参数包括镜头焦距、主点坐标、倾斜因子、镜头畸变等,外参数包括旋转矩阵和平移矩阵。内参数由数字相机的内部结构决定,而外参数由相机相对于世界坐标的方位决定。在本申请实施例中,相机标定算法是利用标定板特征点阵列的世界坐标和图像坐标进行相机标定,准确估计出相机的内、外参数。数字相机经过标定之后,由内、外参数可以计算得到相机矩阵,相机矩阵建立起了图像坐标和世界坐标的关系。两组或两组以上相机经同步标定获得的相机矩阵,可用于实现对靶标的空间定位。因此,数字相机的标定精度在很大程度上决定了光学定位系统的定位精度。
3、柔性多特征点靶标特征点的提取;柔性多特征点靶标一般具有方便提取的特征点,如角点、中心点,在进行柔性多特征点靶标空间定位时,需要对其进行准确提取。为了能实现实时跟踪定位,相机的图像采集频率要达到几十帧,因此,需要快速提取柔性多特征点靶标特征点。
4、图像快速匹配;
5、每一个特征点在图像序列中的每一幅图像中均有一组坐标,建立图像序列中每一特征点坐标关系的过程叫做匹配。匹配的目的是保证每组坐标序列对应同一特征点,否则重建出的空间坐标会有较大误差。根据极线约束理论,当特征点的坐标在图像序列中的一幅图像中确定后,可以在其他图像所对应的极线上进行搜索,快速获取其他图像中对应同一特征点的坐标。
6、空间坐标重建;在获得一组图像序列中的特征点坐标后,利用相机矩阵重建空间坐标;以双目立体视觉为例,采用以下两种空间坐标重建方法:
A:最小二乘重建法
设双目立体视觉中,两相机经标定后,得到的投影矩阵分别是M1、M2:
提取立体图像中柔性多特征点靶标的特征点坐标(ui,vi)(i=1,2),其中u是横向坐标,v是纵向坐标,i表示第i个相机。将特征点坐标带入重建方程:
在公式(3)~(6)中,(X,Y,Z)是世界坐标,三个未知数,四个方程,是一个超定方程组;通过矩阵理论中的最小二乘法,可以求出X,Y,Z。
B:深度测量重建法;
如图7所示,为深度测量原理图。假设两幅图像是行对准的,且一台摄像机的像素行和另一台完全对准,称为摄像机前向平行排列。是像平面的像主点,Ol和Or是投影中心,T是投影中心间距,f是两个摄像头的焦距,d=xl-xr是两幅图像的视差,由三角形相似可得,
由公式(7)可以看出,可以将求视觉深度转化为求两幅图像的视差。然而在实际情况中,两个摄像头不可能严格地向前平行对准,因此需要进行立体校正,把实际中非共面行对准的两幅图像,校正成共面行对准。立体校正分为两步:(1)将两个图像平面拉回同一平面;(2)旋转图像使得同行对准。
上述中,深度测量重建法适用于双目立体视觉,当应用于多目立体视觉重建,由于两两重建缺乏共同的公共面,难以重建,因此,多目立体视觉采用最小二乘重建法。
7、坐标系配准;坐标系配准即为手术空间上的每一个点寻找影像上的唯一个点与之相对应,本质上是求取手术空间坐标系到影像坐标系的一个映射关系T。映射关系T可看作一个刚体变换,可以分解为旋转和平移,对手术空间中任意一点P和影像中唯一对应的图像点p可以用如下关系表示:
p=RP+t (8)
在公式(8)中,R是一个3×3的旋转矩阵,t是一个3×1的平移向量。可以看出,最少需要四组一一对应的点组可以求出旋转矩阵R和平移向量t,即映射关系T。当手术空间和影像一一对应的点组大于四组时,可以用最优化的思想求取最优解,使配准更加精确。
在本申请另一实施例中,当坐标定位系统为电磁定位系统时,特征点坐标配准方式为:通过电磁定位系统的电磁感应器械分别轻触柔性多特征点靶标的各个特征点,以此得到多个特征点的空间坐标组,并利用空间坐标组进行配准;即:用于配准的空间坐标来自电磁定位系统,而非光学定位系统。
本申请实施例的手术导航方法及系统以柔性多特征点靶标为媒介,在医学影像采集阶段,采集靶标的特征点坐标,根据特征点坐标进行曲面拟合,并根据曲面形态采集病人的三维医学影像;在手术导航阶段,记录当前靶标的特征点坐标,并与三维医学影像中的特征点坐标进行坐标系配准,完成空间坐标系到影像坐标系的映射。本申请实施例兼顾呼吸状态表征和坐标系配准,提高了呼吸运动病灶区的手术导航精度。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手术导航方法,其特征在于,包括:
步骤a:在检测者的病变部位贴附柔性多特征点靶标;
步骤b:在检测者屏气状态下,通过坐标定位系统采集所述柔性多特征点靶标的第一特征点坐标,并通过医学影像设备采集检测者的三维医学影像;其中,所述第一特征点坐标为医学影像采集阶段所述柔性多特征点靶标的特征点坐标;
步骤c:通过手术导航服务器提取所述三维医学影像中柔性多特征点靶标的第一特征点坐标,并检测者屏气状态下通过坐标定位系统采集所述柔性多特征点靶标的当前特征点坐标,将所述当前特征点坐标与所述手术导航服务器提取的第一特征点坐标进行配准,根据配准结果进行手术导航;其中,所述当前特征点坐标为柔性多特征点靶标在手术导航阶段的特征点坐标。
2.根据权利要求1所述的手术导航方法,其特征在于,所述步骤b包括:根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面。
3.根据权利要求2所述的手术导航方法,其特征在于,所述步骤b还包括:判断所述第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,如果第一拟合曲面形态随检测者呼吸的周期性变化值为零,通过所述医学影像设备采集检测者的三维医学影像。
4.根据权利要求3所述的手术导航方法,其特征在于,所述步骤c包括:通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面。
5.根据权利要求4所述的手术导航方法,其特征在于,所述步骤c还包括:判断所述第二拟合曲面与第一拟合曲面的相符程度是否≥90%,如果所述第二拟合曲面与第一拟合曲面的相符程度≥90%,通过所述坐标定位系统记录柔性多特征点靶标的当前特征点坐标,并将所述当前特征点坐标与第一特征点坐标进行配准。
6.一种手术导航系统,其特征在于,包括柔性多特征点靶标、坐标定位系统、医学影像设备和手术导航服务器;
所述柔性多特征点靶标贴附在检测者的病变部位;
所述坐标定位系统用于在检测者屏气状态时采集所述柔性多特征点靶标的第一特征点坐标,其中,所述第一特征点坐标为医学影像采集阶段所述柔性多特征点靶标的特征点坐标;
所述医学影像设备用于采集检测者的三维医学影像;
所述手术导航服务器用于在手术导航时提取所述三维医学影像中柔性多特征点靶标的第一特征点坐标;
所述坐标定位系统还用于在检测者屏气状态时采集所述柔性多特征点靶标的当前特征点坐标,将所述当前特征点坐标与所述手术导航服务器提取的第一特征点坐标进行配准,根据配准结果进行手术导航;其中,所述当前特征点坐标为柔性多特征点靶标在手术导航阶段的特征点坐标。
7.根据权利要求6所述的手术导航系统,其特征在于,所述坐标定位系统还用于在医学影像采集阶段根据采集的第一特征点坐标进行曲面拟合,得到第一拟合曲面。
8.根据权利要求7所述的手术导航系统,其特征在于,所述坐标定位系统还用于在医学影像采集阶段判断所述第一拟合曲面形态随检测者呼吸的周期性变化值是否为零,如果第一拟合曲面形态随检测者呼吸的周期性变化值为零,通过所述医学影像设备采集检测者的三维医学影像。
9.根据权利要求8所述的手术导航系统,其特征在于,所述坐标定位系统还用于在手术导航阶段通过采集的当前特征点坐标进行曲面拟合,得到第二拟合曲面。
10.根据权利要求9所述的手术导航系统,其特征在于,所述坐标定位系统还用于在手术导航阶段判断所述第二拟合曲面与第一拟合曲面的相符程度是否≥90%,如果所述第二拟合曲面与第一拟合曲面的相符程度≥90%,通过所述坐标定位系统记录柔性多特征点靶标的当前特征点坐标,并将所述当前特征点坐标与第一特征点坐标进行配准。
CN201710195702.3A 2017-03-29 2017-03-29 一种手术导航方法及系统 Active CN107049489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710195702.3A CN107049489B (zh) 2017-03-29 2017-03-29 一种手术导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710195702.3A CN107049489B (zh) 2017-03-29 2017-03-29 一种手术导航方法及系统

Publications (2)

Publication Number Publication Date
CN107049489A true CN107049489A (zh) 2017-08-18
CN107049489B CN107049489B (zh) 2019-09-27

Family

ID=59621105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710195702.3A Active CN107049489B (zh) 2017-03-29 2017-03-29 一种手术导航方法及系统

Country Status (1)

Country Link
CN (1) CN107049489B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109009438A (zh) * 2018-09-13 2018-12-18 上海逸动医学科技有限公司 柔性无创定位装置及其在术中手术路径规划的应用及系统
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN110974426A (zh) * 2019-12-24 2020-04-10 上海龙慧医疗科技有限公司 骨科关节置换手术机器人系统
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质
CN113133828A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
WO2021237546A1 (en) * 2020-05-28 2021-12-02 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for patient monitoring
CN116672082A (zh) * 2023-07-24 2023-09-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10161160A1 (de) * 2001-12-13 2003-06-18 Tecmedic Gmbh Verfahren zur Bestimmung der Orientierung und Relativposition eines medizinischen Instruments gegenüber einer Struktur im Körper eines atmenden Menschen oder Tieres
JP2004536654A (ja) * 2001-07-30 2004-12-09 グローヴ メディカル リミテッド 呼吸運動監視装置および方法
CN103356284A (zh) * 2012-04-01 2013-10-23 中国科学院深圳先进技术研究院 手术导航方法和系统
CN104434313A (zh) * 2013-09-23 2015-03-25 中国科学院深圳先进技术研究院 一种腹部外科手术导航方法及系统
CN104739418A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种基于立体视觉的呼吸门控系统及控制方法
WO2015127970A1 (en) * 2014-02-26 2015-09-03 Brainlab Ag Tracking soft tissue in medical images
CN105266902A (zh) * 2015-12-02 2016-01-27 浙江成达医疗科技有限公司 一种手术中监控人体体表状态的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536654A (ja) * 2001-07-30 2004-12-09 グローヴ メディカル リミテッド 呼吸運動監視装置および方法
DE10161160A1 (de) * 2001-12-13 2003-06-18 Tecmedic Gmbh Verfahren zur Bestimmung der Orientierung und Relativposition eines medizinischen Instruments gegenüber einer Struktur im Körper eines atmenden Menschen oder Tieres
CN103356284A (zh) * 2012-04-01 2013-10-23 中国科学院深圳先进技术研究院 手术导航方法和系统
CN104434313A (zh) * 2013-09-23 2015-03-25 中国科学院深圳先进技术研究院 一种腹部外科手术导航方法及系统
WO2015127970A1 (en) * 2014-02-26 2015-09-03 Brainlab Ag Tracking soft tissue in medical images
CN104739418A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种基于立体视觉的呼吸门控系统及控制方法
CN105266902A (zh) * 2015-12-02 2016-01-27 浙江成达医疗科技有限公司 一种手术中监控人体体表状态的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN109009438A (zh) * 2018-09-13 2018-12-18 上海逸动医学科技有限公司 柔性无创定位装置及其在术中手术路径规划的应用及系统
CN109009438B (zh) * 2018-09-13 2021-06-01 上海逸动医学科技有限公司 柔性无创定位装置及其在术中手术路径规划的应用及系统
CN110974426A (zh) * 2019-12-24 2020-04-10 上海龙慧医疗科技有限公司 骨科关节置换手术机器人系统
WO2021237546A1 (en) * 2020-05-28 2021-12-02 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for patient monitoring
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质
CN113133828A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN113133828B (zh) * 2021-04-01 2023-12-01 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN116672082A (zh) * 2023-07-24 2023-09-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置
CN116672082B (zh) * 2023-07-24 2024-03-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置

Also Published As

Publication number Publication date
CN107049489B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN107049489B (zh) 一种手术导航方法及系统
RU2714665C2 (ru) Направляющая система для позиционирования пациента для медицинской визуализации
Wang et al. Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery
US9498132B2 (en) Visualization of anatomical data by augmented reality
USRE43952E1 (en) Interactive system for local intervention inside a non-homogeneous structure
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN104739418B (zh) 一种基于立体视觉的呼吸门控系统及控制方法
EP0501993B1 (en) Probe-correlated viewing of anatomical image data
ES2550455T3 (es) Método y aparato para corregir un error en el registro conjunto de sistemas de coordenadas usados para representar objetos visualizados durante la estimulación guiada del cerebro
CN101474075B (zh) 微创手术导航系统
CN106691600A (zh) 一种脊柱椎弓根钉植入定位装置
Ferrari et al. A 3-D mixed-reality system for stereoscopic visualization of medical dataset
Yang et al. Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system
US11904182B2 (en) Research and development of augmented reality in radiotherapy
JP2014138908A (ja) 動き補償に基づくct機器及び方法
CN110215284A (zh) 一种可视化系统和方法
CN110264504A (zh) 一种用于增强现实的三维配准方法和系统
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
Feuerstein et al. Automatic Patient Registration for Port Placement in Minimally Invasixe Endoscopic Surgery
CN113229937A (zh) 一种利用实时结构光技术实现手术导航的方法和系统
Wang et al. Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery
KR20160057024A (ko) 마커리스 3차원 객체추적 장치 및 그 방법
US11406471B1 (en) Hand-held stereovision system for image updating in surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant