CN112971982A - 基于肝内血管配准的手术导航系统 - Google Patents

基于肝内血管配准的手术导航系统 Download PDF

Info

Publication number
CN112971982A
CN112971982A CN201911273460.0A CN201911273460A CN112971982A CN 112971982 A CN112971982 A CN 112971982A CN 201911273460 A CN201911273460 A CN 201911273460A CN 112971982 A CN112971982 A CN 112971982A
Authority
CN
China
Prior art keywords
image
coordinate system
dimensional
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911273460.0A
Other languages
English (en)
Other versions
CN112971982B (zh
Inventor
温铁祥
王澄
周寿军
李迟迟
王磊
张毅
陆建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengle Medical Technology Co ltd
Original Assignee
Zhuhai Hengle Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengle Medical Technology Co Ltd filed Critical Zhuhai Hengle Medical Technology Co Ltd
Priority to CN201911273460.0A priority Critical patent/CN112971982B/zh
Priority to PCT/CN2019/125138 priority patent/WO2021114226A1/zh
Publication of CN112971982A publication Critical patent/CN112971982A/zh
Application granted granted Critical
Publication of CN112971982B publication Critical patent/CN112971982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明提供了一种基于肝内血管配准的手术导航系统，所述手术导航系统包括：超声探头，定位装置，点云数据提取模块，配准模块，第一坐标转换模块，第二坐标转换模块，融合显示模块。本发明提供的基于肝内血管配准的手术导航系统，将人体本身自带的肝内血管作为内在的解剖标记点，通过点云数据提取模块提取肝内血管在第一坐标系中的第一三维点云数以及在第二坐标系中的第二三维点云数据，再通过配准模块对所述第一三维点云数据和所述第二三维点云数据进行配准，从而不需要在人体表面放置标记物以及手动选取特征点，便于操作且提升了配准的精度。

Description

基于肝内血管配准的手术导航系统
技术领域
本发明涉及手术导航技术领域，尤其涉及一种基于肝内血管配准的手术导航系统。
背景技术
传统的外科手术是外科医生将病人的术前影像以固定胶片的形式放在远离术者的灯箱表面，手术工具和病人身体的解剖结构关系需要医生的主观想象，缺乏客观的图像引导。随着科学技术的发展，出现了计算机辅助外科，其中手术导航便是其中一项非常有用、而又重要的外科辅助技术。手术导航IGS(Image guided surgery)于20世纪80年代末首先应用于神经外科，随后逐渐推广到脊柱外科、整形外科、膝关节甚至腹部等手术中。IGS的使用延伸了医生有限的视觉范围，更新了外科手术和外科手术器械的概念，通过在外科手术中引入图像的引导，能够有效的提高手术精度、缩短手术时间、减少手术创口以及并发症的发生。
手术导航是指以CT、MR等医学影像数据为基础，通过虚拟现实技术，借助光学/磁定位仪跟踪并显示手术器械相对于病变组织的位置关系，从而实现对手术过程的实时引导，该技术对提高定位精度、减少术中创伤、降低手术失误率有重要意义。
为了进行图像空间与患者坐标空间的配准，现有的手术导航定位方法通常体表标记物方法和人体解剖结构特征方法。体表标记物方法需要需要在对病人进行CT/MR术前扫描时，要在病人的体表粘贴上的标记物，在术中可能由于人身体部位的活动而发生位置的偏移，从而影响手术导航系统的精确性，不利于微创介入治疗手术的开展，而且现有手术导航系统还要求体外标记物在术前的CT/MR扫描中易于识别，否则也会影响导航定位的精度；此外，在术中进行配置时，算法要求自动识别标记点，识别算法的精度也会对配准的精度造成影响。人体解剖结构特征方法需要通过交互式的方法手动选取对应特征点，该方法的主要缺点是，同一结构在术前CT/MR与术中超声影像上有区别，需要特别有经验的不用影像科医生进行特征点的需求，操作难度高、特征点选取耗时长。
发明内容
为了解决现有技术的不足，本发明提供一种基于肝内血管配准的手术导航系统，不需要在人体表面放置标记物以及手动选取特征点，便于操作且提升了配准的精度。
本发明提出的具体技术方案为：提供一种基于肝内血管配准的手术导航系统，所述手术导航系统包括：
超声探头，用于获取术中超声图像；
定位装置，用于获取手术器械在第一坐标系中的位置；
点云数据提取模块，用于根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据以及根据所述术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据；
配准模块，用于对所述第一三维点云数据和所述第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系；
第一坐标转换模块，用于根据所述变换关系将所述术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像；
第二坐标转换模块，用于根据所述变换关系将所述手术器械的空间位置转换至第二坐标系中，获得所述手术器械在术中超声图像中的位置；
融合显示模块，用于将所述术前三维图像、第一坐标系中的术中超声图像以及所述手术器械在术中超声图像中的位置进行融合显示，以进行手术导航。
进一步地，所述点云数据提取模块具体用于：
根据术前断层扫描图像进行三维体重建，获得术前三维图像；
从所述术前三维图像中提取肝内血管的第一图像；
对所述第一图像进行三维表面重建，获得术前肝内血管表面的三维图像；
从所述术前肝内血管表面的三维图像中提取肝内血管在第一坐标系中的第一三维点云数据。
进一步地，所述点云数据提取模块具体用于：
根据所述术中超声图像进行三维体重建，获得术中三维图像；
从所述术中三维图像中提取肝内血管的第二图像；
对所述第二图像进行三维表面重建，获得术中肝内血管表面的三维图像；
从所述术中肝内血管表面的三维图像中提取肝内血管在第二坐标系中的第二三维点云数据。
进一步地，所述点云数据提取模块还具体用于：
对所述术中超声图像进行采样，获得多个采样点；
根据所述多个采样点构造核函数和回归函数；
对所述回归函数进行优化，获得术中三维图像。
进一步地，所述核函数为：
Figure BDA0002314877460000031
其中，
Figure BDA0002314877460000032
为平滑矩阵，Xi为第i个采样点，h为全局平滑参数，μi为第i个采样点对应的局部采样密度参数，Ci为i个采样点对应的基于局部灰度分布的协方差矩阵。
进一步地，
Figure BDA0002314877460000033
通过如下公式得到：
Figure BDA0002314877460000034
其中，
Figure BDA0002314877460000035
Figure BDA0002314877460000036
Gx(Xi)、Gy(Xi)以及Gz(Xi)分别是采样点Xi在x、y以及z方向上的梯度。
进一步地，通过如下公式对所述第一三维点云数据和所述第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系：
Figure BDA0002314877460000037
Figure BDA0002314877460000038
其中，所述第一三维点云数据为{xi,i∈m}，所述第二三维点云数据为N＝{yi,i∈n}，m≠n，Tk为第K次迭代的变换矩阵。
进一步地，所述超声探头上配置有标记点，所述定位装置还用于获取所述标记点在第一坐标系中的位置。
进一步地，所述第一坐标转换模块具体用于：
建立以所述超声探头为参照物的坐标系，获得超声探头坐标系；
根据已标定的超声探头成像参数，获得所述术中超声图像坐标系到所述超声探头坐标系的转换关系；
根据所述转换关系和所述变换关系将所述术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像。
进一步地，所述定位装置为光学定位器或磁定位器。
本发明提供的基于肝内血管配准的手术导航系统，将人体本身自带的肝内血管作为内在的解剖标记点，通过点云数据提取模块提取肝内血管在第一坐标系中的第一三维点云数以及在第二坐标系中的第二三维点云数据，再通过配准模块对所述第一三维点云数据和所述第二三维点云数据进行配准，从而不需要在人体表面放置标记物以及手动选取特征点，便于操作且提升了配准的精度。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为手术导航系统的结构示意图；
图2为影像处理系统3的结构示意图；
图3为手术导航方法的流程图；
图4为获取肝内血管在第一坐标系中的第一三维点云数据的流程图；
图5为获取肝内血管在第二坐标系中的第二三维点云数据的流程图；
图6为根据术中超声图像进行三维体重建的流程图；
图7为根据变换关系将术中超声图像的空间位置转换至第一坐标系中的流程图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。在附图中，相同的标号将始终被用于表示相同的元件。
本申请提出的基于肝内血管配准的手术导航系统包括超声探头、定位装置、点云数据提取模块、配准模块、第一坐标转换模块、第二坐标转换模块以及融合显示模块。
超声探头用于获取术中超声图像，定位装置用于获取手术器械在第一坐标系中的位置，点云数据提取模块用于根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数以及根据术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据，配准模块用于对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系；第一坐标转换模块用于根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像；第二坐标转换模块用于根据变换关系将手术器械的空间位置转换至第二坐标系中，获得手术器械在术中超声图像中的位置；融合显示模块用于将术前三维图像、第一坐标系中的术中超声图像以及手术器械在术中超声图像中的位置进行融合显示，以进行手术导航。
本申请提供的基于肝内血管配准的手术导航系统，将人体本身自带的肝内血管作为内在的解剖标记点，通过点云数据提取模块提取肝内血管在第一坐标系中的第一三维点云数以及在第二坐标系中的第二三维点云数据，再通过配准模块对第一三维点云数据和第二三维点云数据进行配准，从而不需要在人体表面放置标记物以及手动选取特征点，避免术中标记物发生偏移、标记物识别困难以及识别算法的精度而影响配准的精度，提升了手术导航定位的准确性、便捷性以及安全性。
下面通过具体的实施例并结合附图来对本申请中的基于肝内血管配准的手术导航系统进行详细的描述。
参照图1～2，本实施例提供的基于肝内血管配准的手术导航系统包括超声探头1、定位装置2、影像处理系统3。
具体地，超声探头1用于实时获取躺在手术病床7上的患者8的术中超声图像，本实施例选用超声探头1作为实时的图像模态是因为超声具有价格合理、无X线辐射、使用方便等优点，当然，在实际操作过程中，也可以根据临床的需要，将图像模态选用其它成像模态，例如，实时核磁共振成像(MR)、实时透视X线等。其中，超声探头1获取的术中超声图像位于超声图像坐标系中，超声探头1可以是二维超声探头或三维超声探头，通过超声探头1的运动可以获取肝脏部位的实时超声图像。
定位装置2用于获取手术器械4在第一坐标系中的位置，第一坐标系是以定位装置2为参照物的空间坐标系。本实施例在超声探头1的表面配置有标记点5，定位装置2可以通过实时追踪标记点5的位置来对超声探头1在空间坐标系中的位置进行实时跟踪、定位，超声探头1获取的实时术中影像通过数据线传送给影像处理系统3。
较佳地，本实施例中的定位装置2为光学定位器或磁定位器，相应的，标记点5为光学标记点或磁标记点，即若定位装置2为光学定位器，则标记点5为光学标记点，例如，标记点5为发光器件，定位装置2通过接收标记点5发出的光信号来获得超声探头1在空间坐标系中的位置，可以接收光学标记点；若定位装置2为磁定位器，则标记点5为磁标记点，定位装置2通过接收标记点5发出的电磁信号来获得超声探头1在空间坐标系中的位置。
为了便于对手术器械4进行定位，本实施例中通过固定架6将手术器械4与超声探头1固定在一起的，使手术器械4与超声探头1处在同一平面上，因此，手术器械4的空间朝向与超声探头1的空间朝向是一致的，当然手术器械4可以沿自身坐标系的某一坐标轴的方向做相对运动，例如，假定本实施例中的手术器械4为穿刺针，则穿刺针可在自身坐标系的Z轴上进行穿刺动作的进动。当然，本实施例中的手术器械4可以根据具体的外科手术选用不同的手术器械，这里仅仅是作为示例示出，并不用作限定。
本实施例中的影像处理系统3用于根据术前定位好的坐标映射关系对超声图像和术前断层图像进行实时的融合显示，并实时的给出手术器械4在病人模型坐标系中的位置，从而实现三维实时渲染。具体地，如图2所示，影像处理系统3包括点云数据提取模块31、配准模块32、第一坐标转换模块33、第二坐标转换模块34、融合显示模块35。点云数据提取模块31用于根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据以及根据术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据，这里需要说明的是，第二坐标系是以超声探头1为参照物的坐标系；配准模块32用于对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系；第一坐标转换模块33用于根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像；第二坐标转换模块34用于根据变换关系将手术器械4的空间位置转换至第二坐标系中，获得手术器械在术中超声图像中的位置；融合显示模块35用于将术前三维图像、第一坐标系中的术中超声图像以及手术器械在术中超声图像中的位置进行融合显示，以进行手术导航。
本实施例中的点云数据提取模块31在根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据时具体用于：
接收断层扫描设备获取的术前断层扫描图像，其中，断层扫描设备可以是MR扫描仪或CT扫描仪，即术前断层扫描图像为MR断层扫描图像或CT断层扫描图像，根据术前断层扫描图像进行三维体重建，获得术前三维图像，由于术前断层扫描图像为规则的切片数据，根据常规的三维体重建方法对术前断层扫描图像进行重建即可，这里不再赘述。然后从术前三维图像中提取肝内血管的第一图像，再对第一图像进行三维表面重建，获得术前肝内血管表面的三维图像，最后从术前肝内血管表面的三维图像中提取肝内血管在第一坐标系中的第一三维点云数据。
在术中时，点云数据提取模块31在根据术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据时具体用于：
接收超声探头1获取的术中超声图像，根据术中超声图像进行三维体重建，获得术中三维图像，然后从术中三维图像中提取肝内血管的第二图像，再对第二图像进行三维表面重建，获得术中肝内血管表面的三维图像，最后从术中肝内血管表面的三维图像中提取肝内血管在第二坐标系中的第二三维点云数据。
由于术中超声图像为不规则的切片图像，不能采用常规的规则切片图像的三维体重建方法来对术中超声图像进行三维体重建，本实施例中点云数据提取模块31对术中超声图像进行三维体重建具体包括：点云数据提取模块31对术中超声图像进行采样，获得多个采样点，然后，点云数据提取模块31根据多个采样点构造核函数和回归函数，最后对回归函数进行优化，获得术中三维图像。
较佳地，本实施例中点云数据提取模块31构造的核函数K为：
Figure BDA0002314877460000081
其中，
Figure BDA0002314877460000082
为平滑矩阵，Xi为第i个采样点，h为全局平滑参数，μi为第i个采样点对应的局部采样密度参数，Ci为i个采样点对应的基于局部灰度分布的协方差矩阵。
具体的，
Figure BDA0002314877460000083
通过如下公式得到：
Figure BDA0002314877460000084
其中，
Figure BDA0002314877460000085
Figure BDA0002314877460000086
Gx(Xi)、Gy(Xi)以及Gz(Xi)分别是采样点Xi在x、y以及z方向上的梯度。
点云数据提取模块31根据核函数
Figure BDA0002314877460000087
构造的回归函数为：
Figure BDA0002314877460000088
其中，yi为在第i个采样点Xi的观察数据，βi为yi在点Xi处的泰勒展开系数，P为采样点Xi的个数。
本实施例中所说的对回归函数进行优化，获得术中三维图像即求解下面的优化问题：
Figure BDA0002314877460000089
其中，n表示泰勒展开的级数。
传统核函数回归方法将平滑矩阵构造Hi＝hI(I为单位矩阵，h为全局平滑因子)会造成重建图像中边缘特征模糊以及低通滤波的问题，本实施例通过将核函数中的平滑矩阵构造为
Figure BDA0002314877460000091
可以对采样数据中的斑点噪声进行有效滤除，同时保护图像边缘等特征信息。
本实施例中点云数据提取模块31进行三维表面重建以及提取肝内血管在第一坐标系中的第一三维点云数据、第二坐标系中的第二三维点云数据采用的都是现有的三维表面重建和图像分割方法，例如，通过等值面提取方法进行三维表面重建。
点云数据提取模块31获得第一三维点云数据、第二三维点云数据后将其传送给配准模块32，配准模块32再对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系。
具体地，配准模块32通过如下公式对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系：
Figure BDA0002314877460000092
Figure BDA0002314877460000093
其中，{xi,i∈m}为第一三维点云数据，m表示第一三维点云数据中数据点的个数，N＝{zi,i∈t}为第二三维点云数据，n表示第二三维点云数据中数据点的个数，m≠n，k表示迭代次数，Tk为第k次迭代的变换矩阵。
通过当前变换矩阵Tk将第一三维点云数据中的每一个数据点xi进行变换，然后在第二三维点云数据中寻找离Tk(xi)最近的点，将这一点标记为在第k次迭代的对应点
Figure BDA0002314877460000094
第k次迭代后的结果为一组对应点对的集合
Figure BDA0002314877460000095
通过寻找最能描述或解释这组对应关系的变换矩阵即为第一坐标系与第二坐标系之间的变换关系TUS-CT。
本实施例中的配准过程能自动找到第一三维点云数据和第二三维点云数据之间的对应关系，且不需要第一三维点云数据和第二三维点云数据中的数据点的个数相等，具有很强的鲁棒性。
配准模块32获得第一三维点云数据和第二三维点云数据之间的变换关系之后将该变换关系传送给第一坐标转换模块33，第一坐标转换模块33根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像。
具体地，如图1所示，第一坐标转换模块33在根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像时具体用于：
建立以超声探头1为参照物的坐标系，获得超声探头坐标系C1，这里的C1即为第二坐标系；
根据已标定的超声探头成像参数，获得术中超声图像坐标系C2到超声探头坐标系C1的转换关系C21，已标定的超声探头成像参数是根据现有的标定方法对超声探头1进行标定而获得的，这里不再赘述；
根据转换关系C21和变换关系TUS-CT将术中超声图像的空间位置转换至第一坐标系中，从而获得位于第一坐标系中的术中超声图像，例如，术中超声图像中的任意一点z’i，转换至第一坐标系后，该点对应的坐标为x’i＝TUS-CT(C21(z'i))。
点云数据提取模块31、第一坐标转换模块33、第二坐标转换模块34分别将术前三维图像、位于第一坐标系中的术中超声图像、手术器械在术中超声图像中的位置传送给融合显示模块35，通过融合显示模块35将术前三维图像、第一坐标系中的术中超声图像以及手术器械在术中超声图像中的位置进行融合显示，以便为医生提供三维实时渲染结果来进行手术导航。
下面具体对本实施例中的基于肝内血管配准的手术导航系统的手术导航方法进行详细的描述。
参照图3，本实施例中的手术导航方法主要包括以下步骤：
S1、根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据；
S2、获取手术器械4在第一坐标系中的位置、术中超声图像，通过定位装置2实时追踪标记点5的位置来对超声探头1在空间坐标系中的位置进行实时跟踪、定位，由于手术器械4通过固定架6与超声探头1固定在一起，手术器械4与超声探头1处在同一平面上，因此，手术器械4的空间朝向与超声探头1的空间朝向是一致的，即通过定位装置2获取标记点5在第一坐标系中的位置后便可以获得超声探头1和手术器械4在第一坐标系中的位置；
S3、根据术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据；
S4、对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系；
S5、根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像；
S6、根据变换关系将手术器械4的空间位置转换至第二坐标系中，获得手术器械在术中超声图像中的位置；
S7、将术前三维图像、第一坐标系中的术中超声图像以及手术器械在术中超声图像中的位置进行融合显示，以进行手术导航。
参照图4，在步骤S1中，根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据具体包括：
S11、接收断层扫描设备获取的术前断层扫描图像，其中，断层扫描设备可以是MR扫描仪或CT扫描仪，即术前断层扫描图像为MR断层扫描图像或CT断层扫描图像；
S12、根据术前断层扫描图像进行三维体重建，获得术前三维图像，由于术前断层扫描图像为规则的切片数据，根据常规的三维体重建方法对术前断层扫描图像进行重建即可；
S13、从术前三维图像中提取肝内血管的第一图像；
S14、对第一图像进行三维表面重建，获得术前肝内血管表面的三维图像；
S15、从术前肝内血管表面的三维图像中提取肝内血管在第一坐标系中的第一三维点云数据。
参照图5，在步骤S3中，根据术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据具体包括：
S31、接收超声探头1获取的术中超声图像；
S32、根据术中超声图像进行三维体重建，获得术中三维图像；
S33、从术中三维图像中提取肝内血管的第二图像；
S34、对第二图像进行三维表面重建，获得术中肝内血管表面的三维图像；
S35、从术中肝内血管表面的三维图像中提取肝内血管在第二坐标系中的第二三维点云数据。
参照图6，由于术中超声图像为不规则的切片图像，不能采用常规的规则切片图像的三维体重建方法来对术中超声图像进行三维体重建，本实施例中根据术中超声图像进行三维体重建，获得术中三维图像，即步骤S32具体包括：
S321、对术中超声图像进行采样，获得多个采样点；
S322、根据多个采样点构造核函数和回归函数；
S323、对回归函数进行优化，获得术中三维图像。
较佳地，在步骤S322中，构造的核函数K为：
Figure BDA0002314877460000121
其中，
Figure BDA0002314877460000122
为平滑矩阵，Xi为第i个采样点，h为全局平滑参数，μi为第i个采样点对应的局部采样密度参数，Ci为i个采样点对应的基于局部灰度分布的协方差矩阵。
具体的，
Figure BDA0002314877460000123
通过如下公式得到：
Figure BDA0002314877460000124
其中，
Figure BDA0002314877460000125
Figure BDA0002314877460000126
Gx(Xi)、Gy(Xi)以及Gz(Xi)分别是采样点Xi在x、y以及z方向上的梯度。
在步骤S322中，根据核函数
Figure BDA0002314877460000127
构造的回归函数为：
Figure BDA0002314877460000131
其中，yi为在第i个采样点Xi的观察数据，βi为yi在点Xi处的泰勒展开系数，P为采样点Xi的个数。
在步骤S323中，对回归函数进行优化，获得术中三维图像即求解下面的优化问题：
Figure BDA0002314877460000132
其中，n表示泰勒展开的级数。
传统核函数回归方法将平滑矩阵构造Hi＝hI(I为单位矩阵，h为全局平滑因子)会造成重建图像中边缘特征模糊以及低通滤波的问题，本实施例通过将核函数中的平滑矩阵构造为
Figure BDA0002314877460000133
可以对采样数据中的斑点噪声进行有效滤除，同时保护图像边缘等特征信息。
本实施例中步骤S13～15、S33～35中提取肝内血管的第一图像和第二图像、进行三维表面重建以及提取肝内血管在第一坐标系中的第一三维点云数据和第二坐标系中的第二三维点云数据采用的都是现有的图像分割方法、三维表面重建和点云数据提取方法，例如，通过等值面提取方法进行三维表面重建，这里不再赘述。
在步骤S4中，对第一三维点云数据和第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系具体通过如下公式对第一三维点云数据和第二三维点云数据进行配准：
Figure BDA0002314877460000134
Figure BDA0002314877460000135
其中，{xi,i∈m}为第一三维点云数据，m表示第一三维点云数据中数据点的个数，N＝{zi,i∈t}为第二三维点云数据，n表示第二三维点云数据中数据点的个数，m≠n，k表示迭代次数，Tk为第k次迭代的变换矩阵。
通过当前变换矩阵Tk将第一三维点云数据中的每一个数据点xi进行变换，然后在第二三维点云数据中寻找离Tk(xi)最近的点，将这一点标记为在第k次迭代的对应点
Figure BDA0002314877460000141
第k次迭代后的结果为一组对应点对的集合
Figure BDA0002314877460000142
通过寻找最能描述或解释这组对应关系的变换矩阵即为第一坐标系与第二坐标系之间的变换关系TUS-CT。
本实施例中的配准过程能自动找到第一三维点云数据和第二三维点云数据之间的对应关系，且不需要第一三维点云数据和第二三维点云数据中的数据点的个数相等，具有很强的鲁棒性。
参照图7，在步骤S5中，根据变换关系将术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像具体包括：
S51、建立以超声探头1为参照物的坐标系，获得超声探头坐标系C1，这里的C1即为第二坐标系；
S52、根据已标定的超声探头成像参数，获得术中超声图像坐标系C2到超声探头坐标系C1的转换关系C21，已标定的超声探头成像参数是根据现有的标定方法对超声探头1进行标定而获得的，这里不再赘述；
S53、根据转换关系C21和变换关系TUS-CT将术中超声图像的空间位置转换至第一坐标系中，从而获得位于第一坐标系中的术中超声图像，例如，术中超声图像中的任意一点z’i，转换至第一坐标系后，该点对应的坐标为x’i＝TUS-CT(C21(z'i))。
在步骤S6中，根据变换关系将手术器械4的空间位置转换至第二坐标系中，可以理解为配准过程的逆问题，即已知第一坐标系和第二坐标系的变换关系,当改变手术器械4在第一坐标系中的位置时,根据该变换关系计算出手术器械4在第二坐标系中的新位置。
在步骤S7中，将第二坐标系和第一坐标系中的影像图像以及手术器械4的位置实时显示在同一个三维场景即第一坐标系中，从而完成手术导航的跟踪过程，再利用术前高分辨率的断层图像指导外科医生进行安全、精确的手术。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于肝内血管配准的手术导航系统，其特征在于，所述手术导航系统包括：
超声探头，用于获取术中超声图像；
定位装置，用于获取手术器械在第一坐标系中的位置；
点云数据提取模块，用于根据术前三维图像获取肝内血管在第一坐标系中的第一三维点云数据以及根据所述术中超声图像获取肝内血管在第二坐标系中的第二三维点云数据；
配准模块，用于对所述第一三维点云数据和所述第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系；
第一坐标转换模块，用于根据所述变换关系将所述术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像；
第二坐标转换模块，用于根据所述变换关系将所述手术器械的空间位置转换至第二坐标系中，获得所述手术器械在术中超声图像中的位置；
融合显示模块，用于将所述术前三维图像、第一坐标系中的术中超声图像以及所述手术器械在术中超声图像中的位置进行融合显示，以进行手术导航。
2.根据权利要求1所述的手术导航系统，其特征在于，所述点云数据提取模块具体用于：
根据术前断层扫描图像进行三维体重建，获得术前三维图像；
从所述术前三维图像中提取肝内血管的第一图像；
对所述第一图像进行三维表面重建，获得术前肝内血管表面的三维图像；
从所述术前肝内血管表面的三维图像中提取肝内血管在第一坐标系中的第一三维点云数据。
3.根据权利要求1所述的手术导航系统，其特征在于，所述点云数据提取模块具体用于：
根据所述术中超声图像进行三维体重建，获得术中三维图像；
从所述术中三维图像中提取肝内血管的第二图像；
对所述第二图像进行三维表面重建，获得术中肝内血管表面的三维图像；
从所述术中肝内血管表面的三维图像中提取肝内血管在第二坐标系中的第二三维点云数据。
4.根据权利要求3所述的手术导航系统，其特征在于，所述点云数据提取模块还具体用于：
对所述术中超声图像进行采样，获得多个采样点；
根据所述多个采样点构造核函数和回归函数；
对所述回归函数进行优化，获得术中三维图像。
5.根据权利要求4所述的手术导航系统，其特征在于，所述核函数为：
Figure FDA0002314877450000021
其中，
Figure FDA0002314877450000022
为平滑矩阵，Xi为第i个采样点，h为全局平滑参数，μi为第i个采样点对应的局部采样密度参数，Ci为i个采样点对应的基于局部灰度分布的协方差矩阵。
6.根据权利要求5所述的手术导航系统，其特征在于，
Figure FDA0002314877450000023
通过如下公式得到：
Figure FDA0002314877450000024
其中，
Figure FDA0002314877450000025
Figure FDA0002314877450000026
Gx(Xi)、Gy(Xi)以及Gz(Xi)分别是采样点Xi在x、y以及z方向上的梯度。
7.根据权利要求1所述的手术导航系统，其特征在于，通过如下公式对所述第一三维点云数据和所述第二三维点云数据进行配准，获得第一坐标系与第二坐标系之间的变换关系：
Figure FDA0002314877450000027
Figure FDA0002314877450000031
其中，所述第一三维点云数据为{xi,i∈m}，所述第二三维点云数据为N＝{yi,i∈n}，m≠n，Tk为第K次迭代的变换矩阵。
8.根据权利要求1～7任一项所述的手术导航系统，其特征在于，所述超声探头上配置有标记点，所述定位装置还用于获取所述标记点在第一坐标系中的位置。
9.根据权利要求8所述的手术导航系统，其特征在于，所述第一坐标转换模块具体用于：
建立以所述超声探头为参照物的坐标系，获得超声探头坐标系；
根据已标定的超声探头成像参数，获得所述术中超声图像坐标系到所述超声探头坐标系的转换关系；
根据所述转换关系和所述变换关系将所述术中超声图像的空间位置转换至第一坐标系中，获得第一坐标系中的术中超声图像。
10.根据权利要求8所述的手术导航系统，其特征在于，所述定位装置为光学定位器或磁定位器。
CN201911273460.0A 2019-12-12 2019-12-12 基于肝内血管配准的手术导航系统 Active CN112971982B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911273460.0A CN112971982B (zh) 2019-12-12 2019-12-12 基于肝内血管配准的手术导航系统
PCT/CN2019/125138 WO2021114226A1 (zh) 2019-12-12 2019-12-13 基于肝内血管配准的手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273460.0A CN112971982B (zh) 2019-12-12 2019-12-12 基于肝内血管配准的手术导航系统

Publications (2)

Publication Number Publication Date
CN112971982A true CN112971982A (zh) 2021-06-18
CN112971982B CN112971982B (zh) 2022-08-19

Family

ID=76328798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273460.0A Active CN112971982B (zh) 2019-12-12 2019-12-12 基于肝内血管配准的手术导航系统

Country Status (2)

Country Link
CN (1) CN112971982B (zh)
WO (1) WO2021114226A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113974830A (zh) * 2021-11-02 2022-01-28 中国人民解放军总医院第一医学中心 一种用于超声引导甲状腺肿瘤热消融的手术导航系统
CN115311407A (zh) * 2022-04-19 2022-11-08 北京和华瑞博医疗科技有限公司 一种特征点标记方法、装置、设备及存储介质
WO2023279825A1 (zh) * 2021-07-09 2023-01-12 北京罗森博特科技有限公司 导航及复位操作控制系统及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113855240B (zh) * 2021-09-30 2023-05-19 上海寻是科技有限公司 一种基于磁导航的医学影像配准系统和方法
CN114145846B (zh) * 2021-12-06 2024-01-09 北京理工大学 基于增强现实辅助的手术导航方法及系统
CN114948199B (zh) * 2022-05-17 2023-08-18 天津大学 一种外科手术辅助系统及手术路径规划方法
CN115762722B (zh) * 2022-11-22 2023-05-09 南方医科大学珠江医院 一种基于人工智能的影像复查系统
CN117204951A (zh) * 2023-09-22 2023-12-12 上海睿触科技有限公司 一种基于x射线的手术定位导航设备及其定位实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402796A (zh) * 2011-10-26 2012-04-04 重庆大学 肝脏血管系统的三维结构化描述方法
CN103040525A (zh) * 2012-12-27 2013-04-17 深圳先进技术研究院 一种多模医学影像手术导航方法及系统
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法
CN108198235A (zh) * 2017-12-25 2018-06-22 中国科学院深圳先进技术研究院 一种三维超声重建方法、装置、设备及存储介质
US20180200002A1 (en) * 2017-01-18 2018-07-19 Kb Medical, Sa Robotic navigation of robotic surgical systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102266250B (zh) * 2011-07-19 2013-11-13 中国科学院深圳先进技术研究院 超声手术导航系统
WO2014174069A1 (en) * 2013-04-26 2014-10-30 Sonowand As Stand-alone ultrasound unit for image guided surgery
WO2016037969A1 (en) * 2014-09-08 2016-03-17 Koninklijke Philips N.V. Medical imaging apparatus
CN108210024B (zh) * 2017-12-29 2020-11-10 威朋（苏州）医疗器械有限公司 手术导航方法及系统
US11484365B2 (en) * 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
CN110025379A (zh) * 2019-05-07 2019-07-19 新博医疗技术有限公司 一种超声图像与ct图像融合实时导航系统及方法
CN110537961B (zh) * 2019-08-01 2021-09-28 中国人民解放军总医院 一种ct和超声影像融合的微创介入引导系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402796A (zh) * 2011-10-26 2012-04-04 重庆大学 肝脏血管系统的三维结构化描述方法
CN103040525A (zh) * 2012-12-27 2013-04-17 深圳先进技术研究院 一种多模医学影像手术导航方法及系统
US20180200002A1 (en) * 2017-01-18 2018-07-19 Kb Medical, Sa Robotic navigation of robotic surgical systems
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法
CN108198235A (zh) * 2017-12-25 2018-06-22 中国科学院深圳先进技术研究院 一种三维超声重建方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279825A1 (zh) * 2021-07-09 2023-01-12 北京罗森博特科技有限公司 导航及复位操作控制系统及方法
CN113974830A (zh) * 2021-11-02 2022-01-28 中国人民解放军总医院第一医学中心 一种用于超声引导甲状腺肿瘤热消融的手术导航系统
CN115311407A (zh) * 2022-04-19 2022-11-08 北京和华瑞博医疗科技有限公司 一种特征点标记方法、装置、设备及存储介质
CN115311407B (zh) * 2022-04-19 2023-09-12 北京和华瑞博医疗科技有限公司 一种特征点标记方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021114226A1 (zh) 2021-06-17
CN112971982B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN112971982B (zh) 基于肝内血管配准的手术导航系统
US10762627B2 (en) Method and a system for registering a 3D pre acquired image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system
CN110946654B (zh) 一种基于多模影像融合的骨科手术导航系统
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
US8781186B2 (en) System and method for abdominal surface matching using pseudo-features
US9498132B2 (en) Visualization of anatomical data by augmented reality
US5531520A (en) System and method of registration of three-dimensional data sets including anatomical body data
EP1719078B1 (en) Device and process for multimodal registration of images
Huang et al. Dynamic 2D ultrasound and 3D CT image registration of the beating heart
US8024026B2 (en) Dynamic reference method and system for use with surgical procedures
CN202751447U (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
CA3088277A1 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
Wen et al. A novel ultrasound probe spatial calibration method using a combined phantom and stylus
Alam et al. A review on extrinsic registration methods for medical images
Nimmagadda et al. Patient-specific, touch-based registration during robotic, image-guided partial nephrectomy
CN113229937A (zh) 一种利用实时结构光技术实现手术导航的方法和系统
Xiao et al. User-friendly freehand ultrasound calibration using Lego bricks and automatic registration
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
Lu et al. Virtual-real registration of augmented reality technology used in the cerebral surgery lesion localization
CN116019571A (zh) 用于在手术期间定位患者身体并跟踪患者位置的装置和方法
Ciucci Intraoperative endoscopic augmented reality in third ventriculostomy
Sadeghi-Neshat et al. Design and Implementation of a 3D Ultrasound System for Image Guided Liver Interventions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 101, building 1, No. 36, Doukou Road, Guangdong Macao cooperative traditional Chinese medicine science and Technology Industrial Park, Hengqin New District, Zhuhai City, Guangdong Province 519000

Patentee after: Zhuhai Hengle Medical Technology Co.,Ltd.

Address before: Room 101, building 1, No. 36, Doukou Road, Guangdong Macao cooperative traditional Chinese medicine science and Technology Industrial Park, Hengqin New District, Zhuhai City, Guangdong Province 519000

Patentee before: Zhuhai Hengle Medical Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder