CN113974830A - 一种用于超声引导甲状腺肿瘤热消融的手术导航系统 - Google Patents

一种用于超声引导甲状腺肿瘤热消融的手术导航系统 Download PDF

Info

Publication number
CN113974830A
CN113974830A CN202111290208.8A CN202111290208A CN113974830A CN 113974830 A CN113974830 A CN 113974830A CN 202111290208 A CN202111290208 A CN 202111290208A CN 113974830 A CN113974830 A CN 113974830A
Authority
CN
China
Prior art keywords
ultrasonic
coordinate system
image
point
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111290208.8A
Other languages
English (en)
Other versions
CN113974830B (zh
Inventor
张明博
宁宇
罗渝昆
王君臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
First Medical Center of PLA General Hospital
Original Assignee
Beihang University
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, First Medical Center of PLA General Hospital filed Critical Beihang University
Priority to CN202111290208.8A priority Critical patent/CN113974830B/zh
Publication of CN113974830A publication Critical patent/CN113974830A/zh
Application granted granted Critical
Publication of CN113974830B publication Critical patent/CN113974830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于超声引导甲状腺肿瘤热消融的手术导航装置,所述用于超声引导甲状腺肿瘤热消融的手术导航装置包括光学定位装置(1)、被追踪物体(2)、二维手持式超声扫描设备(3)、超声探头(4)、图像工作站(5)和显示设备(6)。其中,超声探头(4)与二维手持式超声扫描设备(3)连接,图像工作站(5)进一步包括图像采集卡(51),二维手持式超声扫描设备(3)将信号输出给图像采集卡(51),图像采集卡(51)处理后输出给显示设备(6)。

Description

一种用于超声引导甲状腺肿瘤热消融的手术导航系统
技术领域
本发明属于医疗器械技术领域。具体涉及一种可以用于超声引导甲状腺肿瘤热消融的手术导航系统。
背景技术
甲状腺结节发病率日益增加,随着高频超声的普遍应用,人群中甲状腺结节的发生率可高达19%–68%。高频超声是甲状腺结节首选的影像学检查方法,超声引导细针穿刺细胞学检查是诊断甲状腺结节良恶性的首选方法。对于体积较大产生压迫症状和影响外观的良性结节,超声引导下热消融治疗是国内外指南推荐的微创治疗方法;对于颈部复发转移性甲状腺癌以及原发低危微小乳头状癌,超声引导热消融治疗也可以有效杀灭病灶,减少手术引起的损伤,提高患者生活质量,具有良好的临床应用价值。
甲状腺周围有包括气管、食管、喉返神经、颈动脉、迷走神经等组织器官,解剖关系复杂。为了避免热消融过程中热量过高对周围组织的损伤,需要采用移动消融的方法,逐点消融,最后累积成足够的消融范围。消融范围由消融针移动的范围所决定,具有一定的主观性。
由于消融产生气化,而且消融后组织回声不均匀,消融区域消融针显示不清晰。虽然移动消融技术通过从深方到浅方,从头侧到尾侧(或从尾侧到头侧)的逐点消融,使未消融的区域尽量处于气体遮挡区域外,然而由于气体产生的量和分布的位置具有不确定性,仍然会导致遮挡的发生。
消融针显示不清晰,导致出现以下问题:1.部分病灶消融不完全,没有达到足够的安全边界,或部分肿瘤组织被漏掉没有完全消融;2.为了避免肿瘤组织被漏掉而补充消融导致消融总能量增加对周围组织产生损伤;3.消融针位置不能良好显示,位置过深而伤及周围组织结构。上述问题的存在,导致超声引导甲状腺结节热消融治疗的疗效和并发症的发生率与操作者经验密切相关,学习曲线较长,限制该技术的普及和推广。
目前基于磁导航的融合成像,被用于引导超声不可见位置的介入手术。也有学者基于磁导航技术建立甲状腺消融术中导航系统。但是上述导航系统装置有局限性,表现为:1.仪器装置复杂,不便于手术操作;2.磁场可能与消融仪器的信号互相干扰;3.甲状腺距离周围重要结构较近,对消融术中导航要求的精度高,目前磁导航的精度不足以满足所有甲状腺结节消融的要求。
因此,目前亟需适用于超声引导甲状腺消融术的导航系统,可以实时显示消融针针尖位置,以精确引导消融手术。
发明内容
本发明的实施例提供一种用于超声引导甲状腺肿瘤热消融的手术导航装置,所述用于超声引导甲状腺肿瘤热消融的手术导航装置包括光学定位装置(1)、被追踪物体(2)、二维手持式超声扫描设备(3)、超声探头(4)、图像工作站(5)和显示设备(6)。其中,超声探头(4)与二维手持式超声扫描设备(3)连接,图像工作站(5)进一步包括图像采集卡(51),二维手持式超声扫描设备(3)将信号输出给图像采集卡(51),图像采集卡(51)处理后输出给显示设备(6)。
根据本发明的一种实施方式,例如,光学定位装置(1)包括高精度高速双目立体摄像头,所述高精度高速双目立体摄像头配置为用于观察目标,实现左右摄像机图像采集、标记点亚像素坐标提取、左右摄像机标记点立体匹配、标记点三维坐标计算的功能;
优选的,在所述用于超声引导甲状腺肿瘤热消融的手术导航装置中,所述高精度高速双目立体摄像头配置为用于定位被追踪物体(2)的位置;
优选的,当被追踪物体(2)为消融针时,用于定位消融针尖端点标定,标定消融针的尖端点以及超声探头,并对超声图像、超声探头以及手术工具的空间姿态进行跟踪定位。
根据本发明的一种实施方式,例如,被追踪物体(2)和超声探头(4)上固定的标志物为荧光球,工作时摄像机镜头上的红外发光管发射出红外光,通过荧光球反射后传入传感器,通过计算完成空间定位;荧光球表面有大量微小全反射镜来保证反射率;
优选的,二维手持式超声扫描设备(3)配置为用于获取待测目标的二维超声图像;
优选的,图像工作站包括硬件部分及存储在硬件部分中的软件,所述硬件部分例如可以是微型计算机,所述软件通过在空间标定中已经确定的坐标转换关系对超声图像上的每一个像素进行空间定位,并通过重建算法将对应的像素值赋予给相应的体素并输出超声三维体数据;之后再由相应的体视图算法来进行体数据绘制并将其输入到显示设备;
优选的,所述用于超声引导甲状腺肿瘤热消融的手术导航装置进一步包括N线模型;所述N线模型配置为用于标定超声探头(4);
优选的,N线模型由模型框架以及其中的N形线组构成;用于超声探头标定的N线模型由预设尺寸的树脂3D打印长方体框架以及位于其中的N形线组成;
优选的,所述长方体框架前后两个侧壁均匀打有多排小孔,用尼龙线穿过每一排的小孔,形成若干个形状为‘N’形字母的靶线;
优选的,N线模型左右两侧分别以不同间距进行了打孔,一侧相邻小孔左右间距为8mm,上下间距为6mm,前后间距为94mm,另一侧相邻小孔左右间距为6mm,上下间距为6mm,前后间距为94mm,小孔设计为锥形结构以便于穿线,其中锥形孔的最小直径为0.5mm;同时,N线模型的上表面设有16个直径为2mm的小孔作为定位孔。
本发明的实施例还提供一种基于前述用于超声引导甲状腺肿瘤热消融的手术导航装置的导航方法。
附图说明
图1是本发明实施例提供的用于超声引导甲状腺肿瘤热消融的手术导航装置组成结构图。
图2是本发明实施例提出的用于超声引导甲状腺肿瘤热消融的手术导航系统整体流程图。
图3是标定过程中的坐标关系图。
图4是超声探头标定流程图。
图5是固定有光学标记物的探针结构图。
图6是N线模型结构图。
图7是目标点重建原理图。
图8是点对刚性配准问题解算流程图。
图9是算法网络结构框架图。
图10是FCN网络架构图。
图11是超声体数据重建流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。但本领域技术人员知晓,本发明并不局限于附图和以下实施例。
在发明的描述中,需要说明的是,对于方位词,如术语“长度”、“宽度”、“上”、“下”、“远”、“近”等所指示的方位或位置关系是基于附图所示的方位或位置关系,仅是为了便于叙述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作,不能理解为限制本发明的具体保护范围。此外,术语“第一”、“第二”仅用于描述目的,用以区别技术特征,不具有实质含义,不能理解为指示或暗示相对重要性或隐含指明技术特征的数量。
鉴于上述状况,本发明的实施例提出一种用于超声引导甲状腺肿瘤热消融的手术导航系统,应用空间定位技术在手术过程中实时获取消融针末端的空间位置,并结合超声成像技术将手术器械和病灶图像进行实时显示,使得医生能够在手术过程中清楚地观察到手术器械和病灶的相对空间位置关系,从而提高手术的精度,达到精细化、微创化的手术要求。
用于超声引导甲状腺肿瘤热消融的手术导航装置的硬件组成如图1所示。如图1所示,本发明实施例提供的用于超声引导甲状腺肿瘤热消融的手术导航装置包括光学定位装置(1)、被追踪物体(2)、二维手持式超声扫描设备(3)、超声探头(4)、图像工作站(5)和显示设备(6)。其中,超声探头(4)与二维手持式超声扫描设备(3)连接,图像工作站(5)进一步包括图像采集卡(51),二维手持式超声扫描设备(3)将信号输出给图像采集卡(51),图像采集卡(51)处理后输出给显示设备(6)。
光学定位装置(1)包括高精度高速双目立体摄像头,所述高精度高速双目立体摄像头配置为用于观察目标,实现左右摄像机图像采集、标记点亚像素坐标提取、左右摄像机标记点立体匹配、标记点三维坐标计算的功能。更具体地说,在所述用于超声引导甲状腺肿瘤热消融的手术导航装置中,所述高精度高速双目立体摄像头配置为用于定位被追踪物体(2)的位置。例如,当被追踪物体(2)为消融针时,用于定位消融针尖端点标定,标定消融针的尖端点以及超声探头,并对超声图像、超声探头以及手术工具的空间姿态进行跟踪定位。
其中被追踪物体(2)和超声探头(4)上固定的标志物为荧光球,工作时摄像机镜头上的红外发光管发射出红外光,通过荧光球反射后传入传感器,通过计算完成空间定位。荧光球表面有大量微小全反射镜来保证反射率。
二维手持式超声扫描设备(3)配置为用于获取待测目标的二维超声图像。
图像工作站包括硬件部分及存储在硬件部分中的软件,所述硬件部分例如可以是微型计算机,所述软件通过在空间标定中已经确定的坐标转换关系对超声图像上的每一个像素进行空间定位,并通过重建算法将对应的像素值赋予给相应的体素并输出超声三维体数据。之后再由相应的体视图算法来进行体数据绘制并将其输入到显示设备。
本发明实施例提供的用于超声引导甲状腺肿瘤热消融的手术导航装置可以实现将二维超声图像转化为三维图像并在手术中对扫描得到的超声图像和已经得到的三维体数据进行配准使得病变区域和手术器械(例如,消融针针尖等)的位置清晰可见。
本发明实施例提供的用于超声引导甲状腺肿瘤热消融的手术导航装置进一步包括N线模型。所述N线模型配置为用于标定超声探头(4)。N线模型由模型框架以及其中的N形线组构成。用于超声探头标定的N线模型由预设尺寸的树脂3D打印长方体框架以及位于其中的N形线组成。所述长方体框架前后两个侧壁均匀打有多排小孔,用尼龙线穿过每一排的小孔,形成若干个形状为‘N’形字母的靶线。本发明实施例设计的N线模型左右两侧分别以不同间距进行了打孔,一侧相邻小孔左右间距为8mm,上下间距为6mm,前后间距为94mm,另一侧相邻小孔左右间距为6mm,上下间距为6mm,前后间距为94mm,小孔设计为锥形结构以便于穿线,其中锥形孔的最小直径为0.5mm。同时,N线模型的上表面设有16个直径为2mm的小孔作为定位孔。
本发明实施例提供的用于超声引导甲状腺肿瘤热消融的手术导航装置实现流程如图2所示,包括超声探头标定、甲状腺超声图像预处理、三维超声体数据重建、可视化及交互。
本发明的实施例提出一种基于上述装置的导航方法,所述方法包括:
通过光学定位装置(1)(例如,两个近红外相机)构成双目视觉系统来实现光学定位,在相机周围提供近红外光源,其发出的红外光经过被追踪物体上的反光标记点反射,被相机图像传感器接收。
首先对光学定位装置(1)(相机)进行标定,这一环节是双目立体视觉最为基础和关键的,其实质是要求解相机内外参数,从而建立相机成像的几何模型,进而得到成像平面上的点与现实场景中的空间位置映射关系。采用张氏棋盘格相机立体标定法,通过移动棋盘格标定板,采集多幅图像可以求解相机的外部参数、内部参数以及两个透镜的畸变参数。通过相机同步采集的特征点计算其在图像坐标系下的坐标,结合相机的内外部参数进行特征点的立体匹配,从而计算特征点在实际空间坐标系下的三维坐标。
由于光学定位技术难以直接追踪物体的尖端点,只能通过定位被追踪物体(2)在人体外的关键部位然后推算出尖端点的空间位置。通过在被追踪物体(2)上安装一组反射红外光的荧光球,定位多个特征点来确定被追踪物体(2)的位置和姿态。通过跟踪被追踪物体(2)上的特征点再对尖端点进行标定得出所要跟踪的尖端点空间坐标。标定流程如下:
1)将标志点固定在被追踪物体(2)的头部,由光学追踪装置采集位置坐标得到特征点坐标系的空间位姿,将尖端点置于标定快的中心位置做旋转运动,同时采集n组位置数据,可得对于任意位置有
Pc=RiPm+ti,i=2,3…n
式中:Pc是尖端点在相机坐标系下的坐标,Pm是尖端点在特征点坐标系下的坐标;Ri是探针旋转到第i个位置时,特征点坐标系相对于相机坐标系的3×3旋转矩阵;ti是被追踪物体(2)旋转到第i个位置时,特征点坐标系相对于相机坐标系的3×1位移向量;由于在不同位置下Pc都是相同的,可得
(Ri-R1)·Pm+ti-t1=0,i=2,3…n
将上述(n-1)个方程相加得
Figure BDA0003334617700000071
Figure BDA0003334617700000072
则上式可简化为
R·Pm=t
将上式两边同乘R的逆矩阵R-1,即得到Pm,进而可得不同尖端点位置在相机坐标系下的坐标。
由于本发明的实施例采用二维超声手持式超声扫描装置,光学定位装置跟踪的是探头上的特征点坐标系的位姿,为了利用定位系统对超声成像平面进行跟踪,需要对超声探头与超声成像平面的几何关系进行标定。定位系统坐标系和超声图像坐标系的相对位置关系是固定不变的,标定过程即求出探头上特征点坐标系和超声图像坐标系的变换关系。标定过程中的坐标变换关系如图3所示,其中包括世界坐标系{w}、N线模型坐标系{m}、与探头固定的光学标志物坐标系{s}和超声图像坐标系{i}。在标定中将各个坐标系都视为三维刚性变换,用Ta←b表示从坐标系{b}到坐标系{a}的变换,用wPi表示点Pi在w坐标系下的坐标。超声探头标定过程包括定位探针标定、N线模型标定、N线与超声图像平面相交的目标点重建。标定流程如图4所示。
首先将图5所示光学标记物(标记物1、标记物2)固定在定位探针上,由双目相机得到定位探针相对于光学定位装置的空间位姿,再由预设尺寸的探针模型得到尖端在定位装置坐标系下的坐标,从而可通过尖端来获得指定点的坐标。在超声探头的标定过程中用于获得N线模型上定位孔中心的三维坐标。
N线模型由模型框架以及其中的N线组构成。通过已知设计尺寸的N形标记线、超声图像切割N线得出对应的标志点、光学定位装置跟踪得到的超声探头上特征点的位姿以及配准得出的模型坐标系的空间位置,可以形成闭环的空间变换关系,进而求解出所需要的标定变换关系。
用于超声探头标定的N线模型由预设尺寸的树脂3D打印长方体框架以及位于其中的N形线组成。所述长方体框架前后两个侧壁均匀打有多排小孔,用尼龙线穿过每一排的小孔,形成若干个形状为‘N’形字母的靶线。本发明实施例设计的N线模型左右两侧分别以不同间距进行了打孔,一侧相邻小孔左右间距为8mm,上下间距为6mm,前后间距为94mm,另一侧相邻小孔左右间距为6mm,上下间距为6mm,前后间距为94mm,小孔设计为如图6所示锥形结构以便于穿线,其中锥形孔的最小直径为0.5mm。同时,N线模型的上表面设有16个直径为2mm的小孔作为定位孔。通过将定位探针的尖端置于定位孔内可求得定位孔中心相对于光学定位装置的坐标。同时由N线模型设计尺寸可得定位孔中心在N线模型坐标系下的坐标。由不共线的三组(或三组以上)坐标对利用Horn等提出的点对刚性配准问题解析算法可求得模型坐标系到定位装置坐标系变换矩阵Tw←m
对超声图像上各个清晰可见的N线组通过点选出在图像上的靶线成像点来解算出目标点在模型坐标系下的坐标mPi,由sPi=Ts←w·Tw←m·mPi可将其转换到标志点坐标系下,通过已知配对关系的点对刚性配准求解法即可求解Ts←i,流程如图8所示。在进行探头标定时要考虑到所选用的线阵超声探头的成像深度以及扫描成像的清晰度,并将尼龙线处于绷紧状态以保证目标点的重建精度。同时要确保光学定位装置保持固定。至此完成超声探头(4)的标定。
接下来需要对由超声设备采集得到的超声影像进行预处理,预处理模块包括图像降噪、图像增强和实例分割三部分。预处理模块的主要功能是提高超声图像的质量并分割出目标区域,保证后续操作的高效性及准确性。超声图像本身具有高噪声、低对比度、图像细节不明显的缺陷。为了提高后续三维重建的效率和清晰度,针对超声图像存在的具有瑞利分布特性的散斑噪声缺陷,通过双边滤波算法进行降噪;针对超声图像动态范围小、对比度低的特点,对超声图像采用高斯滤波进行图像增强,在去除噪声的同时能够较好地保留细节边缘。
由于超声影像中超声图像大小多样、周边结构复杂,不同的对象在回声、形状和边界规则性等方面不同,传统上常使用基于轮廓和形状的方法进行分割依赖于设备,意味着需要不同的参数来构建算法以处理不同的设备图像,且难以达到较好的分割效果。在图像分割领域,基于深度学习的模型明显优于传统方法。
本发明实施例提出的导航系统采用基于深度神经网络的两阶段目标检测延伸出的实例分割算法,同时实现实例级和像素级的超声预测。
算法的网络结构框架如图9所示。
进行实例分割,第一阶段通过区域提议网络(Region Proposal Network,RPN)提出候选目标边界框,第二阶段使用ROI分类器将区域分类为具体的类别并由边界框回归器进一步精调边框的位置和尺寸以将目标封装。同时利用FCN网络提取掩膜(mask)。FCN网络架构如图10所示。
与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。输出的是一张已经标注好的图片。
接下来对分割得到的超声图像进行实时三维超声点云重建,对于由超声设备扫描所得的一段扫描序列,通过光学定位系统实时追踪其上固定的标志物可以得到标志物坐标系相对于定位装置坐标系的变换矩阵Ts←w,再由之前标定得到的即可求得扫描序列中任意第i帧二维超声图像相对于光学定位装置坐标系的相对位姿T(i) w←i,可以将其表示为如下
Figure BDA0003334617700000101
对于每一帧超声图像上的像素点(u,v),可以根据以下公式求出每个像素点的实际三维空间坐标p=(x,y,z)
Figure BDA0003334617700000102
通过此方法来构建点云并实现实时的增量式的三维超声点云重建,在实际临床应用中达到“所扫即所得”的效果。
基于得到的点云数据来进行超声体数据重建,考虑到对于重建速度的要求,采用基于像素的算法(Pixel Based Method,PBM),同时考虑到手持式的超声图像获取方法会存在图像序列不连续的空缺现象,故本发明的实施例采用基于全局模块最优匹配(GlobalPatch Matching,GPM)的超声体数据重建方法来实现超声体数据重建,方法流程如图11所示,主要包括体素赋值和体素修补两个部分。首先获取每一帧超声图像相对于超声体数据的空间位置,然后将其上的像素点转换到体数据空间中;通过定义像素特征来描述像素对于其邻域内体素的最优贡献范围;然后根据像素最优贡献范围来更新体素值。体素修补过程中,首先遍历整个超声体数据的各个空缺区域,通过定义体素特征来计算体素修补权重,并计算空缺区域边界体素的修补权重;随后遍历超声体数据来寻找待修补体素的最优匹配模块,根据最优匹配模块为空缺体素赋值,同时更新空缺区域及其边缘的修补权重,直到不存在空缺体素,完成重建并输出超声体数据。
为了提高三维可视化的质量,本发明的实施例采用基于光线投射算法进行超声图像的三维可视化,为了加速可视化处理进程,通过可视化工具VTK实现光线投射算法来实现对体数据的可视化,并通过多平面重构技术来对体数据的任意截面进行面视图可视化。
通过显示装置将重建的超声体数据和目标位置、以及被追踪物体(2)和超声探头的空间姿态融合在一起三维显示。
与现有的方法相比,上述导航系统具有以下优点:
(1)不使用X-ray、CT等有辐射的成像手段,可以避免辐射损伤。
(2)采用光学定位技术,作为目前最为稳定和精确的定位技术,可以达到导航精度要求。且仪器装置较为简单。
(3)所述的导航方法基于良好的三维图像重建算法可以较为精确的对超声图像进行三维重建。

Claims (8)

1.一种用于超声引导甲状腺肿瘤热消融的手术导航装置,其特征在于,所述用于超声引导甲状腺肿瘤热消融的手术导航装置包括光学定位装置(1)、被追踪物体(2)、二维手持式超声扫描设备(3)、超声探头(4)、图像工作站(5)和显示设备(6)。其中,超声探头(4)与二维手持式超声扫描设备(3)连接,图像工作站(5)进一步包括图像采集卡(51),二维手持式超声扫描设备(3)将信号输出给图像采集卡(51),图像采集卡(51)处理后输出给显示设备(6)。
2.根据权利要求1所述的用于超声引导甲状腺肿瘤热消融的手术导航装置,其特征在于,光学定位装置(1)包括高精度高速双目立体摄像头,所述高精度高速双目立体摄像头配置为用于观察目标,实现左右摄像机图像采集、标记点亚像素坐标提取、左右摄像机标记点立体匹配、标记点三维坐标计算的功能;
优选的,在所述用于超声引导甲状腺肿瘤热消融的手术导航装置中,所述高精度高速双目立体摄像头配置为用于定位被追踪物体(2)的位置;
优选的,当被追踪物体(2)为消融针时,用于定位消融针尖端点标定,标定消融针的尖端点以及超声探头,并对超声图像、超声探头以及手术工具的空间姿态进行跟踪定位。
3.根据权利要求1或2所述的用于超声引导甲状腺肿瘤热消融的手术导航装置,其特征在于,被追踪物体(2)和超声探头(4)上固定的标志物为荧光球,工作时摄像机镜头上的红外发光管发射出红外光,通过荧光球反射后传入传感器,通过计算完成空间定位;荧光球表面有大量微小全反射镜来保证反射率;
优选的,二维手持式超声扫描设备(3)配置为用于获取待测目标的二维超声图像;
优选的,图像工作站包括硬件部分及存储在硬件部分中的软件,所述硬件部分例如可以是微型计算机,所述软件通过在空间标定中已经确定的坐标转换关系对超声图像上的每一个像素进行空间定位,并通过重建算法将对应的像素值赋予给相应的体素并输出超声三维体数据;之后再由相应的体视图算法来进行体数据绘制并将其输入到显示设备;
优选的,所述用于超声引导甲状腺肿瘤热消融的手术导航装置进一步包括N线模型;所述N线模型配置为用于标定超声探头(4);
优选的,N线模型由模型框架以及其中的N形线组构成;用于超声探头标定的N线模型由预设尺寸的树脂3D打印长方体框架以及位于其中的N形线组成;
优选的,所述长方体框架前后两个侧壁均匀打有多排小孔,用尼龙线穿过每一排的小孔,形成若干个形状为‘N’形字母的靶线;
优选的,N线模型左右两侧分别以不同间距进行了打孔,一侧相邻小孔左右间距为8mm,上下间距为6mm,前后间距为94mm,另一侧相邻小孔左右间距为6mm,上下间距为6mm,前后间距为94mm,小孔设计为锥形结构以便于穿线,其中锥形孔的最小直径为0.5mm;同时,N线模型的上表面设有16个直径为2mm的小孔作为定位孔。
4.一种导航方法,其特征在于,所述导航方法采用如权利要求1-3任一项所述的用于超声引导甲状腺肿瘤热消融的手术导航装置进行,所述导航方法包括:
通过光学定位装置(1)(例如,两个近红外相机)构成双目视觉系统来实现光学定位,在相机周围提供近红外光源,其发出的红外光经过被追踪物体上的反光标记点反射,被相机图像传感器接收;
首先对光学定位装置(1)(相机)进行标定,采用张氏棋盘格相机立体标定法,通过移动棋盘格标定板,采集多幅图像可以求解相机的外部参数、内部参数以及两个透镜的畸变参数;通过相机同步采集的特征点计算其在图像坐标系下的坐标,结合相机的内外部参数进行特征点的立体匹配,从而计算特征点在实际空间坐标系下的三维坐标;
由于光学定位技术难以直接追踪物体的尖端点,只能通过定位被追踪物体(2)在人体外的关键部位然后推算出尖端点的空间位置;通过在被追踪物体(2)上安装一组反射红外光的荧光球,定位多个特征点来确定被追踪物体(2)的位置和姿态;通过跟踪被追踪物体(2)上的特征点再对尖端点进行标定得出所要跟踪的尖端点空间坐标;标定流程如下:
1)将标志点固定在被追踪物体(2)的头部,由光学追踪装置采集位置坐标得到特征点坐标系的空间位姿,将尖端点置于标定快的中心位置做旋转运动,同时采集n组位置数据,可得对于任意位置有
Pc=RiPm+ti,i=2,3…n
式中:Pc是尖端点在相机坐标系下的坐标,Pm是尖端点在特征点坐标系下的坐标;Ri是探针旋转到第i个位置时,特征点坐标系相对于相机坐标系的3×3旋转矩阵;ti是被追踪物体(2)旋转到第i个位置时,特征点坐标系相对于相机坐标系的3×1位移向量;由于在不同位置下Pc都是相同的,可得
(Ri-R1)·Pm+ti-t1=0,i=2,3…n
将上述(n-1)个方程相加得
Figure FDA0003334617690000031
Figure FDA0003334617690000032
则上式可简化为
R·Pm=t
将上式两边同乘R的逆矩阵R-1,即得到Pm,进而可得不同尖端点位置在相机坐标系下的坐标;
由于采用二维超声手持式超声扫描装置,光学定位装置跟踪的是探头上的特征点坐标系的位姿,为了利用定位系统对超声成像平面进行跟踪,需要对超声探头(4)与超声成像平面的几何关系进行标定;定位系统坐标系和超声图像坐标系的相对位置关系是固定不变的,标定过程即求出探头上特征点坐标系和超声图像坐标系的变换关系;标定过程中的坐标变换关系如图3所示,其中包括世界坐标系{w}、N线模型坐标系{m}、与探头固定的光学标志物坐标系{s}和超声图像坐标系{i};在标定中将各个坐标系都视为三维刚性变换,用Ta←b表示从坐标系{b}到坐标系{a}的变换,用wPi表示点Pi在w坐标系下的坐标;超声探头标定过程包括定位探针标定、N线模型标定、N线与超声图像平面相交的目标点重建;
首先将光学标记物(标记物1、标记物2)固定在定位探针上,由双目相机得到定位探针相对于光学定位装置的空间位姿,再由预设尺寸的探针模型得到尖端在定位装置坐标系下的坐标,从而可通过尖端来获得指定点的坐标。在超声探头的标定过程中用于获得N线模型上定位孔中心的三维坐标;
N线模型由模型框架以及其中的N线组构成;通过已知设计尺寸的N形标记线、超声图像切割N线得出对应的标志点、光学定位装置跟踪得到的超声探头上特征点的位姿以及配准得出的模型坐标系的空间位置,可以形成闭环的空间变换关系,进而求解出所需要的标定变换关系;
用于超声探头标定的N线模型由预设尺寸的树脂3D打印长方体框架以及位于其中的N形线组成;所述长方体框架前后两个侧壁均匀打有多排小孔,用尼龙线穿过每一排的小孔,形成若干个形状为‘N’形字母的靶线;N线模型左右两侧分别以不同间距进行了打孔,一侧相邻小孔左右间距为8mm,上下间距为6mm,前后间距为94mm,另一侧相邻小孔左右间距为6mm,上下间距为6mm,前后间距为94mm,小孔设计为锥形结构以便于穿线,其中锥形孔的最小直径为0.5mm;同时,N线模型的上表面设有16个直径为2mm的小孔作为定位孔;通过将定位探针的尖端置于定位孔内可求得定位孔中心相对于光学定位装置的坐标;同时由N线模型设计尺寸可得定位孔中心在N线模型坐标系下的坐标;由不共线的三组或三组以上坐标对利用Horn等提出的点对刚性配准问题解析算法可求得模型坐标系到定位装置坐标系变换矩阵Tw←m
对超声图像上各个清晰可见的N线组通过点选出在图像上的靶线成像点来解算出目标点在模型坐标系下的坐标mPi,由sPi=Ts←w·Tw←m·mPi可将其转换到标志点坐标系下,通过已知配对关系的点对刚性配准求解法即可求解Ts←i,在进行探头标定时要考虑到所选用的线阵超声探头的成像深度以及扫描成像的清晰度,并将尼龙线处于绷紧状态以保证目标点的重建精度;同时要确保光学定位装置保持固定;至此完成超声探头(4)的标定。
5.根据权利要求4所述的导航方法,其特征在于,所述导航方法进一步包括对由超声设备采集得到的超声影像进行预处理的步骤,预处理包括图像降噪、图像增强和实例分割三部分。
6.根据权利要求5所述的导航方法,其特征在于,为了提高后续三维重建的效率和清晰度,针对超声图像存在的具有瑞利分布特性的散斑噪声缺陷,通过双边滤波算法进行降噪;针对超声图像动态范围小、对比度低的特点,对超声图像采用高斯滤波进行图像增强,在去除噪声的同时能够较好地保留细节边缘;
采用基于深度神经网络的两阶段目标检测延伸出的实例分割算法,同时实现实例级和像素级的超声预测;
进行实例分割,第一阶段通过区域提议网络(Region Proposal Network,RPN)提出候选目标边界框,第二阶段使用ROI分类器将区域分类为具体的类别并由边界框回归器进一步精调边框的位置和尺寸以将目标封装;同时利用FCN网络提取掩膜(mask);
与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类,输出的是一张已经标注好的图片。
7.根据权利要求6所述的导航方法,其特征在于,所述导航方法进一步包括:接下来对分割得到的超声图像进行实时三维超声点云重建,对于由超声设备扫描所得的一段扫描序列,通过光学定位系统实时追踪其上固定的标志物可以得到标志物坐标系相对于定位装置坐标系的变换矩阵Ts←w,再由之前标定得到的即可求得扫描序列中任意第i帧二维超声图像相对于光学定位装置坐标系的相对位姿T(i) w←i,可以将其表示为如下
Figure FDA0003334617690000061
对于每一帧超声图像上的像素点(u,v),可以根据以下公式求出每个像素点的实际三维空间坐标p=(x,y,z)
Figure FDA0003334617690000062
通过此方法来构建点云并实现实时的增量式的三维超声点云重建,在实际临床应用中达到“所扫即所得”的效果。
8.根据权利要求7所述的导航方法,其特征在于,所述导航方法进一步包括:基于得到的点云数据来进行超声体数据重建,考虑到对于重建速度的要求,采用基于像素的算法(Pixel Based Method,PBM),同时考虑到手持式的超声图像获取方法会存在图像序列不连续的空缺现象,故采用基于全局模块最优匹配(Global Patch Matching,GPM)的超声体数据重建方法来实现超声体数据重建,主要包括体素赋值和体素修补两个部分;首先获取每一帧超声图像相对于超声体数据的空间位置,然后将其上的像素点转换到体数据空间中;通过定义像素特征来描述像素对于其邻域内体素的最优贡献范围;然后根据像素最优贡献范围来更新体素值;
体素修补过程中,首先遍历整个超声体数据的各个空缺区域,通过定义体素特征来计算体素修补权重,并计算空缺区域边界体素的修补权重;随后遍历超声体数据来寻找待修补体素的最优匹配模块,根据最优匹配模块为空缺体素赋值,同时更新空缺区域及其边缘的修补权重,直到不存在空缺体素,完成重建并输出超声体数据;
为了提高三维可视化的质量,采用基于光线投射算法进行超声图像的三维可视化,为了加速可视化处理进程,通过可视化工具VTK实现光线投射算法来实现对体数据的可视化,并通过多平面重构技术来对体数据的任意截面进行面视图可视化;
通过显示装置将重建的超声体数据和目标位置、以及被追踪物体(2)和超声探头的空间姿态融合在一起三维显示。
CN202111290208.8A 2021-11-02 2021-11-02 一种用于超声引导甲状腺肿瘤热消融的手术导航系统 Active CN113974830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111290208.8A CN113974830B (zh) 2021-11-02 2021-11-02 一种用于超声引导甲状腺肿瘤热消融的手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111290208.8A CN113974830B (zh) 2021-11-02 2021-11-02 一种用于超声引导甲状腺肿瘤热消融的手术导航系统

Publications (2)

Publication Number Publication Date
CN113974830A true CN113974830A (zh) 2022-01-28
CN113974830B CN113974830B (zh) 2024-08-27

Family

ID=79745880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111290208.8A Active CN113974830B (zh) 2021-11-02 2021-11-02 一种用于超声引导甲状腺肿瘤热消融的手术导航系统

Country Status (1)

Country Link
CN (1) CN113974830B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114886461A (zh) * 2022-03-28 2022-08-12 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) 基于增强现实的超声显示系统及方法
CN114965693A (zh) * 2022-05-24 2022-08-30 杭州瑞利超声科技有限公司 基于虚实配准的超声c扫描自动对准系统
CN115399878A (zh) * 2022-04-01 2022-11-29 上海寻是科技有限公司 一种用于手术导航系统的手术器械标定方法
CN115778545A (zh) * 2022-12-22 2023-03-14 天津市鹰泰利安康医疗科技有限责任公司 一种消融定位方法及系统
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116492053A (zh) * 2023-06-28 2023-07-28 真健康(北京)医疗科技有限公司 消融针的空间定位方法及设备
CN117948915A (zh) * 2024-03-18 2024-04-30 杭州非白三维科技有限公司 一种多追踪头光学追踪三维扫描方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130317351A1 (en) * 2012-05-22 2013-11-28 Vivant Medical, Inc. Surgical Navigation System
CN107361825A (zh) * 2017-07-27 2017-11-21 北京航空航天大学 超声引导下的一种手术路径调节装置
CN107714082A (zh) * 2017-09-04 2018-02-23 北京航空航天大学 一种基于光学定位的超声探头标定装置及方法
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN112971982A (zh) * 2019-12-12 2021-06-18 珠海横乐医学科技有限公司 基于肝内血管配准的手术导航系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130317351A1 (en) * 2012-05-22 2013-11-28 Vivant Medical, Inc. Surgical Navigation System
CN107361825A (zh) * 2017-07-27 2017-11-21 北京航空航天大学 超声引导下的一种手术路径调节装置
CN107714082A (zh) * 2017-09-04 2018-02-23 北京航空航天大学 一种基于光学定位的超声探头标定装置及方法
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN112971982A (zh) * 2019-12-12 2021-06-18 珠海横乐医学科技有限公司 基于肝内血管配准的手术导航系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114886461A (zh) * 2022-03-28 2022-08-12 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) 基于增强现实的超声显示系统及方法
CN115399878A (zh) * 2022-04-01 2022-11-29 上海寻是科技有限公司 一种用于手术导航系统的手术器械标定方法
CN114965693A (zh) * 2022-05-24 2022-08-30 杭州瑞利超声科技有限公司 基于虚实配准的超声c扫描自动对准系统
CN115778545A (zh) * 2022-12-22 2023-03-14 天津市鹰泰利安康医疗科技有限责任公司 一种消融定位方法及系统
CN115778545B (zh) * 2022-12-22 2023-11-14 天津市鹰泰利安康医疗科技有限责任公司 一种消融定位方法及系统
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116492053A (zh) * 2023-06-28 2023-07-28 真健康(北京)医疗科技有限公司 消融针的空间定位方法及设备
CN116492053B (zh) * 2023-06-28 2023-09-12 真健康(北京)医疗科技有限公司 消融针的空间定位方法及设备
CN117948915A (zh) * 2024-03-18 2024-04-30 杭州非白三维科技有限公司 一种多追踪头光学追踪三维扫描方法和系统
CN117948915B (zh) * 2024-03-18 2024-05-31 杭州非白三维科技有限公司 一种多追踪头光学追踪三维扫描方法和系统

Also Published As

Publication number Publication date
CN113974830B (zh) 2024-08-27

Similar Documents

Publication Publication Date Title
CN113974830B (zh) 一种用于超声引导甲状腺肿瘤热消融的手术导航系统
US10706610B2 (en) Method for displaying an object
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
US5531520A (en) System and method of registration of three-dimensional data sets including anatomical body data
US8303502B2 (en) Method and apparatus for tracking points in an ultrasound image
US20050267366A1 (en) Ultrasonic diagnostic apparatus and image processing method
US6421454B1 (en) Optical correlator assisted detection of calcifications for breast biopsy
US20130345509A1 (en) System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
CN108140242A (zh) 视频摄像机与医学成像的配准
CN106952347A (zh) 一种基于双目视觉的超声手术辅助导航系统
CN107527379B (zh) 医用图像诊断装置及医用图像处理装置
CN107106128B (zh) 用于分割解剖目标的超声成像装置和方法
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
WO2023072146A1 (zh) 一种经腔道的超声自动检查系统、控制方法、计算机可读存储介质及电子设备
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
CN112137693B (zh) 四维超声引导穿刺的成像方法及装置
CN114882093B (zh) 术中三维点云生成方法、装置和术中局部结构导航方法
CN113952033B (zh) 一种双源内窥手术导航系统及方法
CN213030699U (zh) 一种成像系统
CN114601496A (zh) 一种基于线性阵列的三维超声剪切波弹性成像方法
CN115998334A (zh) 消融效果的显示方法和超声成像系统
CN111671466A (zh) 一种成像系统
Shahidi et al. Volumetric image guidance via a stereotactic endoscope
US20230017291A1 (en) Systems and methods for acquiring ultrasonic data
CN118078443B (zh) 手术导航系统的处理方法、软件系统和手术导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant