CN110464462B - 腹部外科介入手术的图像导航配准系统及相关装置 - Google Patents

腹部外科介入手术的图像导航配准系统及相关装置 Download PDF

Info

Publication number
CN110464462B
CN110464462B CN201910807817.2A CN201910807817A CN110464462B CN 110464462 B CN110464462 B CN 110464462B CN 201910807817 A CN201910807817 A CN 201910807817A CN 110464462 B CN110464462 B CN 110464462B
Authority
CN
China
Prior art keywords
image
preoperative
point set
registration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910807817.2A
Other languages
English (en)
Other versions
CN110464462A (zh
Inventor
郭涛
祁甫浪
杜汇雨
邱本胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Fuqing Medical Equipment Co ltd
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910807817.2A priority Critical patent/CN110464462B/zh
Publication of CN110464462A publication Critical patent/CN110464462A/zh
Application granted granted Critical
Publication of CN110464462B publication Critical patent/CN110464462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请公开了一种腹部外科介入手术的图像导航配准系统及相关装置，其中，腹部外科介入手术的图像导航配准方法首先获得物理空间与术前图像空间的配准结果；然后获取患者处于不同呼吸态时的腹部表面图像对应的腹部特征点集，利用深度相机分别对腹部表面图像和术前腹部表面图像进行相应处理，获得多个术中特征点集和术前腹部特征点集；最后根据物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间，并在术中图像空间中，对术中特征点集和多个腹部特征点集进行可变形配准，从而实现在术中对处于不同呼吸态的患者的术中图像空间与物理空间的实时配准的目的，提高了腹部外科介入手术过程中图像配准的精度。

Description

腹部外科介入手术的图像导航配准系统及相关装置
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种腹部外科介入手术的图像导航配准系统及相关装置。
背景技术
图像导航系统(Image Guided System)是指通过医学影像设备扫描得到医学影像，从而给医生对患者的手术过程提供图像引导的系统。通过该系统，医生可以在治疗过程中得到患者身体内部结构和生理信息，从而可以准确地判断当前的治疗状态(例如治疗器械在患者体内的位置、病灶消融区域动态大小以及是否有由于穿刺失效而导致的体内大出血等情况)。相较于传统无图像引导的手术方法，图像导航系统有利于提高手术成功率，降低术后回访率。
图像导航系统的关键在于图像配准，图像配准是指将来自于不同传感器、不同时间或者不同空间的图像融合到一个坐标系下，使同一个解剖部位在不同状态下的位置对应起来。在传统的针对硬组织的手术导航中，比如神经外科手术导航，由于术前和术中硬组织的位置一般固定不变，所以只需进行一次配准，将术前图像空间和手术物理空间匹配起来，就能实现术中的实时引导和跟踪。但是针对肝部、肺部等腹部的软组织手术导航，由于病人呼吸运动的影响，导致在手术时，会造成软组织及病灶部位的位置偏移，不仅需要配准术前图像空间和手术物理空间，还要对术前图像空间和术中图像空间进行配准。
目前的腹部外科手术中图像导航的配准采用的解决办法多为让病人平稳呼吸或者手动选取标记点结合参考帧纠正软组织及病灶部位由于呼吸运动带来的位置偏移，这种方法对病人要求较高，而且需要医生有丰富的经验，同时精度无法得到保证。有些技术采用外部标记点的方法，通过在身体表面附加一系列外部标记点，来进行术前和术中图像配准进而消除呼吸运动带来的偏移，这种方法需要标记点始终附着于人体表面，可能会影响医生手术中进针点的选取，并且与人体表面的相对位置不得发生变化，否则要重新进行配准，而且受标记点个数的影响，配准的精度也很难得到保证。
因此，如何在不采用始终附着于病人体表的外部标记点的情况下，提高腹部外科介入手术过程中图像配准的精度成为本领域技术人员的研究重点。
发明内容
为解决上述技术问题，本申请提供了一种腹部外科介入手术的图像导航配准系统及相关装置，以实现在不采用始终附着于病人体表的外部标记点的情况下，提高腹部外科介入手术过程中图像配准的精度的目的。
为实现上述技术目的，本申请实施例提供了如下技术方案：
一种图像导航配准系统，基于包括参照体、相机跟踪手柄和配准物的图像导航系统实现，所述参照体、相机跟踪手柄和所述配准物均包括多个能被导航相机检测到的光学球；所述配准物还包括多个按预设顺序排列的球形结构，所述球形结构由能被所述导航相机检测到的材料制成；所述相机跟踪手柄还包括相机跟踪手柄支架和设置于所述相机跟踪手柄支架上的深度相机；所述腹部外科介入手术的图像导航配准系统包括：
数据获取模块，用于在患者处于第一呼吸态时，利用导航相机获取包含患者体内待测目标和所述配准物的位置信息的图像数据；
术前配准模块，用于将所述参照体固定于预设位置处，以使所述导航相机能够同时检测到所述配准物、参照体和所述待测目标，并利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准，并记录所述物理空间与术前图像空间的配准结果；
边缘检测模块，用于对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
点集获取模块，用于将所述相机跟踪手柄设置于患者的腹部上方，利用所述深度相机检测患者处于多个不同呼吸态时的腹部表面图像，每个呼吸态时的腹部表面图像对应于一个腹部特征点集；
第一预处理模块，用于利用深度相机对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点，获得多个术中特征点集；
第二预处理模块，用于利用深度相机对术前腹部表面图像进行预处理，以去除所述术前腹部表面图像中不是位于所述待测目标腹部上方的数据点，并利用所述深度相机对预处理后的术前腹部表面图像进行采样，以获得术前腹部特征点集；
参考系转换模块，用于根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间；
术中配准模块，用于在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准。
可选的，所述边缘检测模块具体用于，利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
所述预设的Canny边缘检测算子为基于自适应平滑滤波的Canny边缘检测算子。
可选的，所述边缘检测模块利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像具体用于，对所述图像数据依次进行高斯平滑滤波、梯度计算和非极性抑制，蝴蝶中间图像；
对所述中间图像做双门限检测，以获得患者处于第一呼吸态时的术前腹部表面图像。
可选的，还包括：
图像修正模块，用于判断所述术前腹部表面图像的大小与所述深度相机的视野范围的误差是否小于预设阈值，如果否，则对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像；如果是，则触发所述第二预处理模块。
可选的，所述参考系转换模块具体用于，根据所述物理空间与术前图像空间的配准结果，依据预设变换关系，将术中特征点集的参考系变换为术中图像空间；
所述预设变换关系为：TDOI,OI＝TDOI,A·TA,OC·TOC,R·TR,OI；其中，TDOI,A表示所述深度相机到所述相机跟踪手柄上的光学球之间的转换关系，TA,OC表示所述相机跟踪手柄上的光学球到所述深度相机之间的转换关系，TOC,R表示导航相机到参照体之间的转换关系，TR,OI表示所述物理空间与术前图像空间的配准结果。
一种图像导航系统，应用于图像导航配准过程，所述图像导航系统包括：参照体、相机跟踪手柄和配准物；
所述参照体包括底座和设置于所述底座上的多个光学球；
所述相机跟踪手柄包括相机跟踪手柄支架、设置于所述相机跟踪手柄支架上的深度相机以及设置于所述相机跟踪手柄支架上的多个光学球；
所述配准物包括支架结构，所述支架结构包括相互垂直的第一设置面和第二设置面，所述第一设置面上设置有多个光学球，所述第二设置面上设置有多个按预设顺序排列的球形结构；
所述光学球能被导航相机检测到，所述球形结构由能被所述导航相机检测到的材料制成。
从上述技术方案可以看出，本申请实施例提供了一种腹部外科介入手术的图像导航配准系统及相关装置，其中，所述腹部外科介入手术的图像导航配准系统首先配合参照体、相机跟踪手柄和配准物实现物理空间和术前手术空间的配准，获得物理空间与术前图像空间的配准结果；然后获取患者处于不同呼吸态时的腹部表面图像对应的腹部特征点集，利用深度相机分别对腹部表面图像和术前腹部表面图像进行相应处理，获得多个术中特征点集和术前腹部特征点集；最后根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间，并在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准，从而实现在术中对处于不同呼吸态的患者的术中图像空间与物理空间的实时配准，相较于实现了在不采用始终附着于病人体表的外部标记点的情况下，提高腹部外科介入手术过程中图像配准的精度的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请的一个实施例供的一种图像导航配准系统的结构示意图；
图2为本申请的一个实施例提供的一种参照体的结构示意图；
图3为本申请的一个实施例提供的一种相机跟踪手柄的结构示意图；
图4为本申请的一个实施例提供的一种配准物的结构示意图；
图5为本申请的一个实施例提供的一种配准物中球形结构的排列示意图；
图6为本申请的一个实施例提供的一种得到参照体到图像空间坐标系OI的变换关系的示意图；
图7为本申请的一个实施例提供的一种术前图像空间到术中图像空间的变换关系的示意图；
图8为本申请的一个实施例提供的一种图像导航配准方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种腹部外科介入手术的图像导航配准系统，基于包括参照体、相机跟踪手柄和配准物的图像导航系统实现，所述参照体、相机跟踪手柄和所述配准物均包括多个能被导航相机检测到的光学球；所述配准物还包括多个按预设顺序排列的球形结构，所述球形结构由能被所述导航相机检测到的材料制成；所述相机跟踪手柄还包括相机跟踪手柄支架和设置于所述相机跟踪手柄支架上的深度相机；如图1所示，所述腹部外科介入手术的图像导航配准系统包括：
数据获取模块10，用于在患者处于第一呼吸态时，利用导航相机获取包含患者体内待测目标和所述配准物的位置信息的图像数据；
所述第一呼吸态是指患者的某一个固定不变的呼吸态，例如可以是患者处于呼吸幅度的最小处时的呼吸态，也可以是患者处于呼吸幅度的最大处时的呼吸态，本申请对此并不做限定。
在数据获取模块10工作过程中，首先将患者以利于之后介入治疗操作的姿势，固定在扫描床上，同时将所述配准物固定于患者的身旁(固定位置只要能够被医学影像设备扫描到且不影响手术操作即可)，通过磁共振或者CT扫描的方式，得到既包含待测目标(例如患者病灶)区域的高清解剖结构，同时由配准物的位置信息的图像数据。在扫描的过程中，应尽可能保持患者姿势及位置不发生改变。
术前配准模块20，用于将所述参照体固定于预设位置处，以使所述导航相机能够同时检测到所述配准物、参照体和所述待测目标，并利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准，并记录所述物理空间与术前图像空间的配准结果；
所述预设位置是指不影响手术操作，且能够使导航相机同时检测到配准物、参照体和所述待测目标的位置，例如可以是磁共振的磁体或者CT设备的外壳上，所述参照体作为物理空间参考的基准存在。
边缘检测模块30，用于对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
点集获取模块40，用于将所述相机跟踪手柄设置于患者的腹部上方，利用所述深度相机检测患者处于多个不同呼吸态时的腹部表面图像，每个呼吸态时的腹部表面图像对应于一个腹部特征点集；
第一预处理模块50，用于利用深度相机对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点，获得多个术中特征点集；
由于我们感兴趣的目标区域即为所述待测目标区域，如果不是所有数据点全部位于待测目标区域的上方，那么不位于待测目标区域的腹部上方的部分数据点在后续的处理过程中会对数据处理的速度和效率造成不良影响。
因此在第一预处理模块50的实施过程中，需要对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点。
第二预处理模块60，用于利用深度相机对术前腹部表面图像进行预处理，以去除所述术前腹部表面图像中不是位于所述待测目标腹部上方的数据点，并利用所述深度相机对预处理后的术前腹部表面图像进行采样，以获得术前腹部特征点集；
同样的，为了提高数据处理的速度和效率，对所述术前腹部表面图像进行了同样的预处理过程。
参考系转换模块70，用于根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间；
术中配准模块80，用于在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准。
在术中配准模块80中，对所述术中特征点集和多个所述腹部特征点集进行的可变形配准，即是将术前图像空间的图像中的患者器官及待测目标进行拉伸等操作，配准的结构反映在术中图像空间，由于深度相机在实时采集患者腹部点集，可变形配准也一直在进行，不断地反映在术中图像空间，使得病人器官和病灶部位的术中图像随着物理空间中患者呼吸运动的变化而变化，进而达到图像实时配准的目的。
参考图2-图5，图2-图5给出了一种可行的参照体、相机跟踪手柄和所述配准物的结构示意图；其中，图2为所述参照体的结构示意图，所述参照体包括底座和位于底座上按一定规则排列的多个光学球，在图2中所述参照体包括4个光学球，且这4个光学球呈十字排布，这4个光学球中心连线相较于一点，球形结构中所有球心相对于该点的位置均固定可知，且这4个光学球相对于该点的位置同样固定可知，图2中的标号11表示所述底座，12、13、14和15表示所述参照体的光学球；
图3为所述相机跟踪手柄的结构示意图，所述相机跟踪手柄包括相机跟踪手柄支架、位于相机跟踪手柄支架上按一定规则排列的多个光学球、位于相机跟踪手柄支架中的螺栓、螺孔以及设置于相机跟踪手柄支架中的深度相机、介入手术用针等结构，所述介入手术用针包括但不限于消融针、穿刺针或活检针等，所述螺栓用于同支架一起固定所述介入手术用针，此外图3中还示出了深度相机的点阵投射器、红外补偿器和红外镜头等结构；图3中标号18表示所述相机跟踪手柄支架，19表示手柄，用于固定介入手术用针、光学球和深度相机，20表示所述深度相机，21表示红外补偿器，22表示红外镜头，23表示所述介入手术用针，24表示所述点阵投射器，25、26、28和29表示光学球，能够被导航相机跟踪，27表示螺栓；
图4示出了一种可行的配准物的结构示意图，图5示出了配准物中球形结构的排列示意图，该配准物包括支架结构，所述支架结构包括相互垂直的第一设置面和第二设置面，所述第一设置面上设置有多个光学球，所述第二设置面上设置有多个按预设顺序排列的球形结构，此外所述配准物还包括底座、第一螺栓、第二螺栓等结构；标号31表示所述球形结构，32、33和34表示所述光学球，35表示连接光学球和底座之间的第一螺栓，36表示底座，37表示连接光学球和球形结构的支架结构，38表示用来固定配准物的第二螺栓；311、312、313、314、315、316、317、318和319表示设置在第二设置面上的球形结构，可选的，由311依次到312、313、314、315、316、317、318和319的顺序即为所述预设顺序；在图5中，9个球形结构以2排5列的形式排列，且有一个中间列(2列或3列或4列)中只排布了一个球形结构，这样就可以在图像配准过程中通过球形结构之间的距离差异，自动识别出起始点。
在本实施例中，所述腹部外科介入手术的图像导航配准系统首先配合参照体、相机跟踪手柄和配准物实现物理空间和术前手术空间的配准，获得物理空间与术前图像空间的配准结果；然后获取患者处于不同呼吸态时的腹部表面图像对应的腹部特征点集，利用深度相机分别对腹部表面图像和术前腹部表面图像进行相应处理，获得多个术中特征点集和术前腹部特征点集；最后根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间，并在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准，从而实现在术中对处于不同呼吸态的患者的术中图像空间与物理空间的实时配准，相较于实现了在不采用始终附着于病人体表的外部标记点的情况下，提高腹部外科介入手术过程中图像配准的精度的目的。
下面对本申请实施例提供的腹部外科介入手术的图像导航配准系统的各个模块进行具体说明。
在本申请的一个可选实施例中，提供了一种具体地利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准的的可行过程，具体包括：
S1021：根据所述球形结构所在位置，获得物理空间位置点集；
S1022：将所述包含待测目标和所述配准物的位置信息的图像数据输入引导手术软件中，获取DICOM图像和重建的三维立体图像；
其中，DICOM(Digital Imaging and Communications in Medicine)图像是指医学数字成像和通信图像。
S1023：利用所述DICOM图像，并根据所述三维立体图像中所述配准物的位置信息获取术前图像空间位置点集；
S1024：根据所述术前图像空间位置点集和所述物理空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵；
S1025：根据所述转换矩阵，将术前图像空间与物理空间进行配准
其中，所述根据所述球形结构所在位置，获得物理空间位置点集包括：
S10211：利用所述导航相机跟踪所述光学球以及所述光学球与所述球形结构的位置关系，获得物理空间中所有所述球形结构的完整点集，并将所有所述球形结构的完整点集按照预设顺序排序，获得物理空间位置点集；
或
通过所述相机跟踪手柄获取手柄针尖位置，通过所述手柄针尖按照所述预设顺序依次指向所述球形结构，以获得所述物理空间位置点集。
当所述配准物的光学球均未被遮挡时，可以利用所述导航相机跟踪所述光学球以及所述光学球与所述球形结构的位置关系，获得物理空间中所有所述球形结构的完整点集，并将所有所述球形结构的完整点集按照预设顺序排序，获得物理空间位置点集；所述预设顺序与所述配准物中球形结构的排列顺序相同，可以是图5所示的球形结构排列顺序；当所述配准物的球形结构数量不为9颗时，所述预设顺序还可以是其他具体的排列顺序，只要能够通过球形结构之间的距离确定作为起始点的球形结构即可。
当所述配准物的光学球由于某种原因被遮挡时，需要通过所述相机跟踪手柄获取手柄针尖位置，通过所述手柄针尖按照所述预设顺序依次指向所述球形结构，以获得所述物理空间位置点集。该过程可以由医生完成，也可以由预先设定完成的机械设备完成。
所述利用所述DICOM图像，并根据所述三维立体图像中所述配准物的位置信息获取术前图像空间位置点集包括：
S10231：利用所述DICOM图像，确定所述三维立体图像中所述配准物的每个球形结构所在的图像区域；
S10232：通过预设的霍夫变换算法，从确定的所述球形结构所在的图像区域中确定所述球形结构所在的具体位置，并以所述球形结构的圆心所在位置作为检测图像点集；
S10233：根据所述检测图像点集与所述三维立体图像中球形结构的匹配情况，确定所述术前图像空间位置点集。
其中，所述利用所述DICOM图像，确定所述三维立体图像中所述配准物的每个球形结构所在的图像区域包括：
判断所述三维立体图像中显示的所述配准物的清晰度是否满足要求，如果否，则将DICOM图像中冠状、轴状和矢状三个切面的图像分别移动至每个所述球形结构轮廓的最大切面处，冠状、轴状和矢状三个切面的交点作为所述球形结构的圆心，并以所述球形结构的圆心所在位置确定所述球形结构所在的图像区域；
如果是，则在所述三维立体图像中框选出所述球形结构所在图像区域。
即当所述三维立体图像中显示的所述配准物的清晰度满足要求，能够被医生识别到时，即可直接在所述三维立体图像中框选出所述球形结构所在图像区域(同时尽量避免框选出包含患者扫描信息的图像区域)。由于球形结构中的物质能够在医学影像扫描设备下很好地成像，为高量信号，而球形结构的背景没有任何成像物质，没有信号，这样，在图像中球形结构与背景就区分开来，再根据情况选择对应的参数，包括配准物内部球形结构的数目、半径大小和灰度阈值等。
当由于图像信噪比太低等原因导致所述三维立体图像中显示的所述配准物的清晰度不高，使所述配准物的内部结构并不清晰可见时，医生可以通过图像中配准物的球形结构的轮廓判断所述球形结构的球心所在的大致位置，然后将DICOM图像中冠状、轴状和矢状三个切面的图像分别移动至每个所述球形结构轮廓的最大切面处，冠状、轴状和矢状三个切面的交点作为所述球形结构的圆心，并以所述球形结构的圆心所在位置确定所述球形结构所在的图像区域，这样就可以使得系统在特殊情况下依然可以正常使用，增加了系统的稳定性和可操作性。
在步骤S10222中，所述预设的霍夫变换算法的投票模式中所述球形结构的最小半径定义区域和最大半径定义区域由用户输入信息确定；
所述投票模式的权重由所述图像区域大小、灰度阈值和所述球形结构的数量决定。
在预设的霍夫变换算法中，对传统的霍夫变换算法做出了优化，改变投票模式，可以自己决定球形结构的最小半径定义区域和最大半径定义区域，对该区域进行投票，投票模式的权重由所述图像区域大小、灰度阈值和所述球形结构的数量等共同决定。输入信息是图像，输出由累加器图像组成，累加器图像显示图像域上的投票结构，这现实了球形结构中心的概率。另一个输出由半径图像组成，该半径图像具有球形结构的平均半径。同时采用多线程和分层采样的方法，加快算法的检测速度。所述预设的霍夫变换算法能够根据需求决定所检测球形结构的大小，同时还可以调整圆心率、灰度阈值等参数。在球形结构被部分遮挡的情况下，能够对非遮挡边界进行几何拟合，检测出部分被遮挡的球形结构，增加了系统的稳定性。
利用预设的霍夫变换算法得到的一系列球状结构中球心所在具体位置作为检测图像点集的过程即为导航配准算法中的自动检测过程。
具体地，所述根据所述检测图像点集与所述三维立体图像中球形结构的匹配情况，确定所述术前图像空间位置点集包括：
当所述检测图像点集与所述三维立体图像中球形结构的数量和位置均匹配时，将所述检测图像点集作为所述术前图像空间位置点集；
当所述检测图像点集与所述三维立体图像中球形结构的数量匹配，但部分图像数据点的位置不匹配时，剔除所述检测图像点集中与三维立体图像中球形结构的位置不匹配的图像数据点，并将剔除图像数据点后的检测图像点集作为所述术前图像空间位置点集；
当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配时，判断所述检测图像点集中是否存在与所述三维立体图像中球形结构的位置不匹配的图像数据点，如果是，则将与所述三维立体图形中球形结构的位置不匹配的图像数据点剔除，并将剔除图像数据点后的检测图像点集作为所述术前图像空间位置点集；如果否，则将所述检测图像点集作为所述术前图像空间位置点集。
所述检测图像点集与所述三维立体图像中球形结构的数量不匹配是指所述检测图像点集中的数据点不完整，不能与所述三维立体图像中的球形结构的数量相同；所述检测图像点集与所述三维立体图像中球形结构的位置不匹配是指所述检测图像点集中的数据点表示的球形结构所在位置与所述三维立体图像中球形结构的位置不同。
相应的，当所述术前图像空间位置点集的确定方式不同的情况下，需要对所述物理空间位置点集做出相应的修正，具体地：
S10241：所述根据所述术前图像空间位置点集和所述物理空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵包括：
S10242：当所述检测图像点集与所述三维立体图像中球形结构的数量和位置均匹配时，按照所述预设顺序对所述物理空间位置点集进行排序，获得修正后的物理空间位置点集；
S10243：当所述检测图像点集与所述三维立体图像中球形结构的数量匹配，但部分图像数据点的位置不匹配时，则去除所述物理空间位置点集中与预设图像数据点对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；所述预设图像数据点为在术前图像空间位置点集确定过程中剔除掉的图像数据点；
S10244：当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配，且所述检测图像点集中不存在与所述三维立体图像中球形结构的位置不匹配的图像数据点时，则去除所述物理空间位置点集中不与所述术前图像空间位置点集中的图像数据点相对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；
S10245：当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配，且所述检测图像点集中存在与所述三维立体图像中球形结构的位置不匹配的图像数据点时，则去除所述物理空间位置点集中不与所述术前图像空间位置点集中图像数据点相对应的物理数据点以及与所述术前图像空间位置点集中图像数据点位置不匹配的图像数据点对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；
S10246：根据所述修正后的物理空间位置点集以及所述术前图像空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵。
在参照体和配准物都可以被导航相机成功检测到的情况下，就可以得到参照体到导航相机的转换矩阵TOc,R -1以及配准物相对于导航相机的转换矩阵TOc，B，同时可以利用修正后的物理空间位置点集以及所述术前图像空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵TB2,B1，参考图6，使用TR,OI＝TOc,R -1·TOc，B·TB2,B1，即可得到参照体到术前图像空间坐标系OI的变换关系。
经过上述步骤后，即可实现物理空间与术前图像空间的配置，但由于患者在手术过程中的呼吸过程会导致腹部的起伏，因此，还需要利用深度相机进行图像的实时配准，使得物理空间的器官或待测目标的变化能够实时反映到术中图像空间上。
下面对上述过程进行具体描述，所述边缘检测模块具体用于，利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
所述预设的Canny边缘检测算子为基于自适应平滑滤波的Canny边缘检测算子。
所述预设的Canny边缘检测算子为基于自适应平滑滤波的Canny边缘检测算子。
其中，所述边缘检测模块利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像具体用于，对所述图像数据依次进行高斯平滑滤波、梯度计算和非极性抑制，蝴蝶中间图像；
对所述中间图像做双门限检测，以获得患者处于第一呼吸态时的术前腹部表面图像。
在本实施例中，所述预设的Canny边缘检测算子，使用自适应平滑滤波的方法，根据图像中像素灰度值的突变特性，自适应地改变滤波器的权值，在区域平滑过程中使图像边缘锐化，解决了平滑噪声和锐化边缘的矛盾，对接下来的边缘检测起到很好的预处理作用。所述预设的Canny边缘检测算子检测到的图像边缘较为清晰，有利于后续点集的采集。
在本申请的一个优选实施例中，所述腹部外科介入手术的图像导航配准系统还包括：图像修正模块，用于判断所述术前腹部表面图像的大小与所述深度相机的视野范围的误差是否小于预设阈值，如果否，则对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像；如果是，则触发所述第二预处理模块。
在本实施例中，由于深度相机采集到的是一定范围内一系列具有深度信息的点集，因此需要对术前腹部表面图像的大小进行判断，当术前腹部表面图像的大小与所述深度相机的视野范围的误差较大时，需要对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像。
所述参考系转换模块具体用于，根据所述物理空间与术前图像空间的配准结果，依据预设变换关系，将术中特征点集的参考系变换为术中图像空间；
所述预设变换关系为：TDOI,OI＝TDOI,A·TA,OC·TOC,R·TR,OI；其中，TDOI,A表示所述深度相机到所述相机跟踪手柄上的光学球之间的转换关系，TA,OC表示所述相机跟踪手柄上的光学球到所述深度相机之间的转换关系，TOC,R表示导航相机到参照体之间的转换关系，TR,OI表示所述物理空间与术前图像空间的配准结果。
由于深度相机和光学球均固定在相机跟踪手柄的手柄上，所以TDOI,A固定可知，TA,OC可以通过导航相机跟踪所述相机跟踪手柄上的光学球得到，TOC,R可以通过导航相机跟踪参照体得到。
所述术中特征点集的参考系变换为术中图像空间的变换关系示意参考图7。
相应的，本申请实施例还提供了一种腹部外科介入手术的图像导航配准方法，如图8所示，基于包括参照体、相机跟踪手柄和配准物的图像导航系统实现，所述参照体、相机跟踪手柄和所述配准物均包括多个能被导航相机检测到的光学球；所述配准物还包括多个按预设顺序排列的球形结构，所述球形结构由能被所述导航相机检测到的材料制成；所述相机跟踪手柄还包括相机跟踪手柄支架和设置于所述相机跟踪手柄支架上的深度相机；所述腹部外科介入手术的图像导航配准方法包括：
S101：在患者处于第一呼吸态时，利用导航相机获取包含患者体内待测目标和所述配准物的位置信息的图像数据；
所述第一呼吸态是指患者的某一个固定不变的呼吸态，例如可以是患者处于呼吸幅度的最小处时的呼吸态，也可以是患者处于呼吸幅度的最大处时的呼吸态，本申请对此并不做限定。
在步骤S101中，首先将患者以利于之后介入治疗操作的姿势，固定在扫描床上，同时将所述配准物固定于患者的身旁(固定位置只要能够被医学影像设备扫描到且不影响手术操作即可)，通过磁共振或者CT扫描的方式，得到既包含待测目标(例如患者病灶)区域的高清解剖结构，同时由配准物的位置信息的图像数据。在扫描的过程中，应尽可能保持患者姿势及位置不发生改变。
S102：将所述参照体固定于预设位置处，以使所述导航相机能够同时检测到所述配准物、参照体和所述待测目标，并利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准，并记录所述物理空间与术前图像空间的配准结果；
在步骤S102中，所述预设位置是指不影响手术操作，且能够使导航相机同时检测到配准物、参照体和所述待测目标的位置，例如可以是磁共振的磁体或者CT设备的外壳上，所述参照体作为物理空间参考的基准存在。
S103：对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
S104：将所述相机跟踪手柄设置于患者的腹部上方，利用所述深度相机检测患者处于多个不同呼吸态时的腹部表面图像，每个呼吸态时的腹部表面图像对应于一个腹部特征点集；
步骤S104中获取的患者处于不同呼吸态时的腹部表面图像不包括患者处于第一呼吸态时的腹部表面图像，患者处于任意呼吸幅度都对应着一个呼吸态。
S105：利用深度相机对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点，获得多个术中特征点集；
由于我们感兴趣的目标区域即为所述待测目标区域，如果不是所有数据点全部位于待测目标区域的上方，那么不位于待测目标区域的腹部上方的部分数据点在后续的处理过程中会对数据处理的速度和效率造成不良影响。
因此在步骤S105中，需要对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点。
S106：利用深度相机对术前腹部表面图像进行预处理，以去除所述术前腹部表面图像中不是位于所述待测目标腹部上方的数据点，并利用所述深度相机对预处理后的术前腹部表面图像进行采样，以获得术前腹部特征点集；
同样的，在步骤S106中，为了提高数据处理的速度和效率，对所述术前腹部表面图像进行了同样的预处理过程。
S107：根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间；
S108：在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准。
在步骤S108中，对所述术中特征点集和多个所述腹部特征点集进行的可变形配准，即是将术前图像空间的图像中的患者器官及待测目标进行拉伸等操作，配准的结构反映在术中图像空间，由于深度相机在实时采集患者腹部点集，可变形配准也一直在进行，不断地反映在术中图像空间，使得病人器官和病灶部位的术中图像随着物理空间中患者呼吸运动的变化而变化，进而达到图像实时配准的目的。
参考图2-图5，图2-图5给出了一种可行的参照体、相机跟踪手柄和所述配准物的结构示意图；其中，图2为所述参照体的结构示意图，所述参照体包括底座和位于底座上按一定规则排列的多个光学球，在图2中所述参照体包括4个光学球，且这4个光学球呈十字排布，这4个光学球中心连线相较于一点，球形结构中所有球心相对于该点的位置均固定可知，且这4个光学球相对于该点的位置同样固定可知，图2中的标号11表示所述底座，12、13、14和15表示所述参照体的光学球；
图3为所述相机跟踪手柄的结构示意图，所述相机跟踪手柄包括相机跟踪手柄支架、位于相机跟踪手柄支架上按一定规则排列的多个光学球、位于相机跟踪手柄支架中的螺栓、螺孔以及设置于相机跟踪手柄支架中的深度相机、介入手术用针等结构，所述介入手术用针包括但不限于消融针、穿刺针或活检针等，所述螺栓用于同支架一起固定所述介入手术用针，此外图3中还示出了深度相机的点阵投射器、红外补偿器和红外镜头等结构；图3中标号18表示所述相机跟踪手柄支架，19表示手柄，用于固定介入手术用针、光学球和深度相机，20表示所述深度相机，21表示红外补偿器，22表示红外镜头，23表示所述介入手术用针，24表示所述点阵投射器，25、26、28和29表示光学球，能够被导航相机跟踪，27表示螺栓；
图4示出了一种可行的配准物的结构示意图，图5示出了配准物中球形结构的排列示意图，该配准物包括支架结构，所述支架结构包括相互垂直的第一设置面和第二设置面，所述第一设置面上设置有多个光学球，所述第二设置面上设置有多个按预设顺序排列的球形结构，此外所述配准物还包括底座、第一螺栓、第二螺栓等结构；标号31表示所述球形结构，32、33和34表示所述光学球，35表示连接光学球和底座之间的第一螺栓，36表示底座，37表示连接光学球和球形结构的支架结构，38表示用来固定配准物的第二螺栓；311、312、313、314、315、316、317、318和319表示设置在第二设置面上的球形结构，可选的，由311依次到312、313、314、315、316、317、318和319的顺序即为所述预设顺序；在图5中，9个球形结构以2排5列的形式排列，且有一个中间列(2列或3列或4列)中只排布了一个球形结构，这样就可以在图像配准过程中通过球形结构之间的距离差异，自动识别出起始点。
在本实施例中，所述腹部外科介入手术的图像导航配准系统首先配合参照体、相机跟踪手柄和配准物实现物理空间和术前手术空间的配准，获得物理空间与术前图像空间的配准结果；然后获取患者处于不同呼吸态时的腹部表面图像对应的腹部特征点集，利用深度相机分别对腹部表面图像和术前腹部表面图像进行相应处理，获得多个术中特征点集和术前腹部特征点集；最后根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间，并在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准，从而实现在术中对处于不同呼吸态的患者的术中图像空间与物理空间的实时配准，相较于实现了在不采用始终附着于病人体表的外部标记点的情况下，提高腹部外科介入手术过程中图像配准的精度的目的。
下面对本申请实施例提供的腹部外科介入手术的图像导航配准方法的各个步骤进行具体说明，
在本申请的一个可选实施例中，提供了一种具体地利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准的的可行过程，具体包括：
S1021：根据所述球形结构所在位置，获得物理空间位置点集；
S1022：将所述包含待测目标和所述配准物的位置信息的图像数据输入引导手术软件中，获取DICOM图像和重建的三维立体图像；
其中，DICOM(Digital Imaging and Communications in Medicine)图像是指医学数字成像和通信图像。
S1023：利用所述DICOM图像，并根据所述三维立体图像中所述配准物的位置信息获取术前图像空间位置点集；
S1024：根据所述术前图像空间位置点集和所述物理空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵；
S1025：根据所述转换矩阵，将术前图像空间与物理空间进行配准
其中，所述根据所述球形结构所在位置，获得物理空间位置点集包括：
S10211：利用所述导航相机跟踪所述光学球以及所述光学球与所述球形结构的位置关系，获得物理空间中所有所述球形结构的完整点集，并将所有所述球形结构的完整点集按照预设顺序排序，获得物理空间位置点集；
或
通过所述相机跟踪手柄获取手柄针尖位置，通过所述手柄针尖按照所述预设顺序依次指向所述球形结构，以获得所述物理空间位置点集。
当所述配准物的光学球均未被遮挡时，可以利用所述导航相机跟踪所述光学球以及所述光学球与所述球形结构的位置关系，获得物理空间中所有所述球形结构的完整点集，并将所有所述球形结构的完整点集按照预设顺序排序，获得物理空间位置点集；所述预设顺序与所述配准物中球形结构的排列顺序相同，可以是图5所示的球形结构排列顺序；当所述配准物的球形结构数量不为9颗时，所述预设顺序还可以是其他具体的排列顺序，只要能够通过球形结构之间的距离确定作为起始点的球形结构即可。
当所述配准物的光学球由于某种原因被遮挡时，需要通过所述相机跟踪手柄获取手柄针尖位置，通过所述手柄针尖按照所述预设顺序依次指向所述球形结构，以获得所述物理空间位置点集。该过程可以由医生完成，也可以由预先设定完成的机械设备完成。
所述利用所述DICOM图像，并根据所述三维立体图像中所述配准物的位置信息获取术前图像空间位置点集包括：
S10231：利用所述DICOM图像，确定所述三维立体图像中所述配准物的每个球形结构所在的图像区域；
S10232：通过预设的霍夫变换算法，从确定的所述球形结构所在的图像区域中确定所述球形结构所在的具体位置，并以所述球形结构的圆心所在位置作为检测图像点集；
S10233：根据所述检测图像点集与所述三维立体图像中球形结构的匹配情况，确定所述术前图像空间位置点集。
其中，所述利用所述DICOM图像，确定所述三维立体图像中所述配准物的每个球形结构所在的图像区域包括：
判断所述三维立体图像中显示的所述配准物的清晰度是否满足要求，如果否，则将DICOM图像中冠状、轴状和矢状三个切面的图像分别移动至每个所述球形结构轮廓的最大切面处，冠状、轴状和矢状三个切面的交点作为所述球形结构的圆心，并以所述球形结构的圆心所在位置确定所述球形结构所在的图像区域；
如果是，则在所述三维立体图像中框选出所述球形结构所在图像区域。
即当所述三维立体图像中显示的所述配准物的清晰度满足要求，能够被医生识别到时，即可直接在所述三维立体图像中框选出所述球形结构所在图像区域(同时尽量避免框选出包含患者扫描信息的图像区域)。由于球形结构中的物质能够在医学影像扫描设备下很好地成像，为高量信号，而球形结构的背景没有任何成像物质，没有信号，这样，在图像中球形结构与背景就区分开来，再根据情况选择对应的参数，包括配准物内部球形结构的数目、半径大小和灰度阈值等。
当由于图像信噪比太低等原因导致所述三维立体图像中显示的所述配准物的清晰度不高，使所述配准物的内部结构并不清晰可见时，医生可以通过图像中配准物的球形结构的轮廓判断所述球形结构的球心所在的大致位置，然后将DICOM图像中冠状、轴状和矢状三个切面的图像分别移动至每个所述球形结构轮廓的最大切面处，冠状、轴状和矢状三个切面的交点作为所述球形结构的圆心，并以所述球形结构的圆心所在位置确定所述球形结构所在的图像区域，这样就可以使得系统在特殊情况下依然可以正常使用，增加了系统的稳定性和可操作性。
在步骤S10222中，所述预设的霍夫变换算法的投票模式中所述球形结构的最小半径定义区域和最大半径定义区域由用户输入信息确定；
所述投票模式的权重由所述图像区域大小、灰度阈值和所述球形结构的数量决定。
在预设的霍夫变换算法中，对传统的霍夫变换算法做出了优化，改变投票模式，可以自己决定球形结构的最小半径定义区域和最大半径定义区域，对该区域进行投票，投票模式的权重由所述图像区域大小、灰度阈值和所述球形结构的数量等共同决定。输入信息是图像，输出由累加器图像组成，累加器图像显示图像域上的投票结构，这现实了球形结构中心的概率。另一个输出由半径图像组成，该半径图像具有球形结构的平均半径。同时采用多线程和分层采样的方法，加快算法的检测速度。所述预设的霍夫变换算法能够根据需求决定所检测球形结构的大小，同时还可以调整圆心率、灰度阈值等参数。在球形结构被部分遮挡的情况下，能够对非遮挡边界进行几何拟合，检测出部分被遮挡的球形结构，增加了系统的稳定性。
利用预设的霍夫变换算法得到的一系列球状结构中球心所在具体位置作为检测图像点集的过程即为导航配准算法中的自动检测过程。
具体地，所述根据所述检测图像点集与所述三维立体图像中球形结构的匹配情况，确定所述术前图像空间位置点集包括：
当所述检测图像点集与所述三维立体图像中球形结构的数量和位置均匹配时，将所述检测图像点集作为所述术前图像空间位置点集；
当所述检测图像点集与所述三维立体图像中球形结构的数量匹配，但部分图像数据点的位置不匹配时，剔除所述检测图像点集中与三维立体图像中球形结构的位置不匹配的图像数据点，并将剔除图像数据点后的检测图像点集作为所述术前图像空间位置点集；
当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配时，判断所述检测图像点集中是否存在与所述三维立体图像中球形结构的位置不匹配的图像数据点，如果是，则将与所述三维立体图形中球形结构的位置不匹配的图像数据点剔除，并将剔除图像数据点后的检测图像点集作为所述术前图像空间位置点集；如果否，则将所述检测图像点集作为所述术前图像空间位置点集。
所述检测图像点集与所述三维立体图像中球形结构的数量不匹配是指所述检测图像点集中的数据点不完整，不能与所述三维立体图像中的球形结构的数量相同；所述检测图像点集与所述三维立体图像中球形结构的位置不匹配是指所述检测图像点集中的数据点表示的球形结构所在位置与所述三维立体图像中球形结构的位置不同。
相应的，当所述术前图像空间位置点集的确定方式不同的情况下，需要对所述物理空间位置点集做出相应的修正，具体地：
S10241：所述根据所述术前图像空间位置点集和所述物理空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵包括：
S10242：当所述检测图像点集与所述三维立体图像中球形结构的数量和位置均匹配时，按照所述预设顺序对所述物理空间位置点集进行排序，获得修正后的物理空间位置点集；
S10243：当所述检测图像点集与所述三维立体图像中球形结构的数量匹配，但部分图像数据点的位置不匹配时，则去除所述物理空间位置点集中与预设图像数据点对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；所述预设图像数据点为在术前图像空间位置点集确定过程中剔除掉的图像数据点；
S10244：当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配，且所述检测图像点集中不存在与所述三维立体图像中球形结构的位置不匹配的图像数据点时，则去除所述物理空间位置点集中不与所述术前图像空间位置点集中的图像数据点相对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；
S10245：当所述检测图像点集与所述三维立体图像中球形结构的数量不匹配，且所述检测图像点集中存在与所述三维立体图像中球形结构的位置不匹配的图像数据点时，则去除所述物理空间位置点集中不与所述术前图像空间位置点集中图像数据点相对应的物理数据点以及与所述术前图像空间位置点集中图像数据点位置不匹配的图像数据点对应的物理数据点，并将去除物理数据点后的物理空间位置点集按照所述预设顺序排序，以获得修正后的物理空间位置点集；
S10246：根据所述修正后的物理空间位置点集以及所述术前图像空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵。
在参照体和配准物都可以被导航相机成功检测到的情况下，就可以得到参照体到导航相机的转换矩阵TOc,R -1以及配准物相对于导航相机的转换矩阵TOc，B，同时可以利用修正后的物理空间位置点集以及所述术前图像空间位置点集，计算所述术前图像空间位置点集和所述物理空间位置点集之间的转换矩阵TB2,B1，参考图6，使用TR,OI＝TOc,R -1·TOc，B·TB2,B1，即可得到参照体到术前图像空间坐标系OI的变换关系。
经过上述步骤后，即可实现物理空间与术前图像空间的配置，但由于患者在手术过程中的呼吸过程会导致腹部的起伏，因此，还需要利用深度相机通过步骤S103-S108对图像进行实时配准，使得物理空间的器官或待测目标的变化能够实时反映到术中图像空间上。
下面对上述过程进行具体地描述，所述对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像包括：
S1031：利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
所述预设的Canny边缘检测算子为基于自适应平滑滤波的Canny边缘检测算子。
其中，所述利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像包括：
S10311：对所述图像数据依次进行高斯平滑滤波、梯度计算和非极性抑制，蝴蝶中间图像；
S10312：对所述中间图像做双门限检测，以获得患者处于第一呼吸态时的术前腹部表面图像。
在本实施例中，所述预设的Canny边缘检测算子，使用自适应平滑滤波的方法，根据图像中像素灰度值的突变特性，自适应地改变滤波器的权值，在区域平滑过程中使图像边缘锐化，解决了平滑噪声和锐化边缘的矛盾，对接下来的边缘检测起到很好的预处理作用。所述预设的Canny边缘检测算子检测到的图像边缘较为清晰，有利于后续点集的采集。
在本申请的一个优选实施例中，所述利用深度相机对术前腹部表面图像进行预处理之前还包括：
S109：判断所述术前腹部表面图像的大小与所述深度相机的视野范围的误差是否小于预设阈值，如果否，则对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像；如果是，则进入利用深度相机对术前腹部表面图像进行预处理的步骤。
在本实施例中，由于深度相机采集到的是一定范围内一系列具有深度信息的点集，因此需要对术前腹部表面图像的大小进行判断，当术前腹部表面图像的大小与所述深度相机的视野范围的误差较大时，需要对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像。
所述根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间包括：
S1071：根据所述物理空间与术前图像空间的配准结果，依据预设变换关系，将术中特征点集的参考系变换为术中图像空间；
所述预设变换关系为：TDOI,OI＝TDOI,A·TA,OC·TOC,R·TR,OI；其中，TDOI,A表示所述深度相机到所述相机跟踪手柄上的光学球之间的转换关系，TA,OC表示所述相机跟踪手柄上的光学球到所述深度相机之间的转换关系，TOC,R表示导航相机到参照体之间的转换关系，TR,OI表示所述物理空间与术前图像空间的配准结果。
由于深度相机和光学球均固定在相机跟踪手柄的手柄上，所以TDOI,A固定可知，TA,OC可以通过导航相机跟踪所述相机跟踪手柄上的光学球得到，TOC,R可以通过导航相机跟踪参照体得到。
所述术中特征点集的参考系变换为术中图像空间的变换关系示意参考图7。
相应的，本申请实施例还提供了一种图像导航系统，应用于图像导航配准过程，所述图像导航系统包括：参照体、相机跟踪手柄和配准物；
所述参照体包括底座和设置于所述底座上的多个光学球；
所述相机跟踪手柄包括相机跟踪手柄支架、设置于所述相机跟踪手柄支架上的深度相机以及设置于所述相机跟踪手柄支架上的多个光学球；
所述配准物包括支架结构，所述支架结构包括相互垂直的第一设置面和第二设置面，所述第一设置面上设置有多个光学球，所述第二设置面上设置有多个按预设顺序排列的球形结构；
所述光学球能被导航相机检测到，所述球形结构由能被所述导航相机检测到的材料制成。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种腹部外科介入手术的图像导航配准系统，其特征在于，基于包括参照体、相机跟踪手柄和配准物的图像导航系统实现，所述参照体、相机跟踪手柄和所述配准物均包括多个能被导航相机检测到的光学球；所述配准物还包括多个按预设顺序排列的球形结构，所述球形结构由能被所述导航相机检测到的材料制成；所述相机跟踪手柄还包括相机跟踪手柄支架和设置于所述相机跟踪手柄支架上的深度相机；所述腹部外科介入手术的图像导航配准系统包括：
数据获取模块，用于在患者处于第一呼吸态时，利用导航相机获取包含患者体内待测目标和所述配准物的位置信息的图像数据；
术前配准模块，用于将所述参照体固定于预设位置处，以使所述导航相机能够同时检测到所述配准物、参照体和所述待测目标，并利用所述参照体、配准物、导航相机以及所述图像数据，将物理空间与术前图像空间进行配准，并记录所述物理空间与术前图像空间的配准结果；
边缘检测模块，用于对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
点集获取模块，用于将所述相机跟踪手柄设置于患者的腹部上方，利用所述深度相机检测患者处于多个不同呼吸态时的腹部表面图像，每个呼吸态时的腹部表面图像对应于一个腹部特征点集；
第一预处理模块，用于利用深度相机对处于不同呼吸态时的腹部表面图像进行预处理，以去除所述腹部表面图像中不是位于所述待测目标腹部上方的数据点，获得多个术中特征点集；
第二预处理模块，用于利用深度相机对术前腹部表面图像进行预处理，以去除所述术前腹部表面图像中不是位于所述待测目标腹部上方的数据点，并利用所述深度相机对预处理后的术前腹部表面图像进行采样，以获得术前腹部特征点集；
参考系转换模块，用于根据所述物理空间与术前图像空间的配准结果，将术中特征点集的参考系变换为术中图像空间；
术中配准模块，用于在所述术中图像空间中，对所述术中特征点集和多个所述腹部特征点集进行可变形配准。
2.根据权利要求1所述的系统，其特征在于，所述边缘检测模块具体用于，利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像；
所述预设的Canny边缘检测算子为基于自适应平滑滤波的Canny边缘检测算子。
3.根据权利要求2所述的系统，其特征在于，所述边缘检测模块利用预设的Canny边缘检测算子，对所述图像数据进行边缘检测，以获得患者处于第一呼吸态时的术前腹部表面图像具体用于，对所述图像数据依次进行高斯平滑滤波、梯度计算和非极性抑制，获取中间图像；
对所述中间图像做双门限检测，以获得患者处于第一呼吸态时的术前腹部表面图像。
4.根据权利要求1所述的系统，其特征在于，还包括：
图像修正模块，用于判断所述术前腹部表面图像的大小与所述深度相机的视野范围的误差是否小于预设阈值，如果否，则对所述术前腹部表面图像进行分割，保留位于所述待测目标腹部上方区域的部分作为新的术前腹部表面图像；如果是，则触发所述第二预处理模块。
5.根据权利要求1所述的系统，其特征在于，所述参考系转换模块具体用于，根据所述物理空间与术前图像空间的配准结果，依据预设变换关系，将术中特征点集的参考系变换为术中图像空间；
所述预设变换关系为：TDOI,OI＝TDOI,A·TA,OC·TOC,R·TR,OI；其中，TDOI,A表示所述深度相机到所述相机跟踪手柄上的光学球之间的转换关系，TA,OC表示所述相机跟踪手柄上的光学球到所述深度相机之间的转换关系，TOC,R表示导航相机到参照体之间的转换关系，TR,OI表示所述物理空间与术前图像空间的配准结果。
CN201910807817.2A 2019-08-29 2019-08-29 腹部外科介入手术的图像导航配准系统及相关装置 Active CN110464462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910807817.2A CN110464462B (zh) 2019-08-29 2019-08-29 腹部外科介入手术的图像导航配准系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910807817.2A CN110464462B (zh) 2019-08-29 2019-08-29 腹部外科介入手术的图像导航配准系统及相关装置

Publications (2)

Publication Number Publication Date
CN110464462A CN110464462A (zh) 2019-11-19
CN110464462B true CN110464462B (zh) 2020-12-25

Family

ID=68514004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910807817.2A Active CN110464462B (zh) 2019-08-29 2019-08-29 腹部外科介入手术的图像导航配准系统及相关装置

Country Status (1)

Country Link
CN (1) CN110464462B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220087644A1 (en) * 2020-09-24 2022-03-24 GE Precision Healthcare LLC Systems and methods for an adaptive interface for an ultrasound imaging system
CN112155734B (zh) * 2020-09-29 2022-01-28 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN114451994A (zh) * 2020-11-09 2022-05-10 北京理工大学 腹腔内柔性组织呼吸实时图像矫正方法及装置
CN115830128B (zh) * 2023-02-15 2023-05-12 成都全景德康医学影像诊断中心有限公司 一种面部定位测量方法、装置及系统
CN117598782B (zh) * 2023-09-28 2024-06-04 苏州盛星医疗器械有限公司 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US8737708B2 (en) * 2009-05-13 2014-05-27 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
CN104287830A (zh) * 2013-07-18 2015-01-21 中国科学院深圳先进技术研究院 基于Kinect相机的术中实时注册方法
CN104434313B (zh) * 2013-09-23 2019-03-01 中国科学院深圳先进技术研究院 一种腹部外科手术导航方法及系统
US10908238B2 (en) * 2013-10-25 2021-02-02 Brainlab Ag Magnetic resonance coil unit and method for its manufacture
CN105931237A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种图像校准方法和系统
JP7229155B2 (ja) * 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
CN106890031B (zh) * 2017-04-11 2020-05-05 东北大学 一种标记物识别及标记点定位方法及手术导航系统

Also Published As

Publication number Publication date
CN110464462A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110464462B (zh) 腹部外科介入手术的图像导航配准系统及相关装置
US7106891B2 (en) System and method for determining convergence of image set registration
US7634122B2 (en) Registering intraoperative scans
EP3509013A1 (en) Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
Penney et al. Registration of freehand 3D ultrasound and magnetic resonance liver images
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
US6782287B2 (en) Method and apparatus for tracking a medical instrument based on image registration
JP5243754B2 (ja) 画像データの位置合わせ
JP2003265408A (ja) 内視鏡誘導装置および方法
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
US20030021381A1 (en) Method and device for the registration of two 3D image data sets
EP2131326A2 (en) Registration of CT image onto ultrasound images
CN111311655B (zh) 多模态图像配准方法、装置、电子设备、存储介质
US11455720B2 (en) Apparatus for ultrasound diagnosis of liver steatosis using feature points of ultrasound image and remote medical-diagnosis method using the same
US20090080742A1 (en) Image display device and image display program storage medium
van den Elsen et al. Image fusion using geometrical features
JP2009090094A (ja) 画像整合のための方法および装置
CN113538533B (zh) 一种脊柱配准方法、装置、设备及计算机存储介质
JP5296981B2 (ja) アフィン変換を用いたモダリティ内医療体積画像の自動位置合わせ
CN114943714A (zh) 医学图像处理系统、装置、电子设备及存储介质
CN110379493B (zh) 一种图像导航配准系统及图像导航系统
CN112381750A (zh) 一种超声波图像和ct/mri图像的多模态配准融合方法
IL292345A (en) Automatic selection of a frame for building a 3D model
Gu et al. 3D automatic fiducial marker localization approach for frameless stereotactic neuro-surgery navigation
Škerl et al. Comparative evaluation of similarity measures for the rigid registration of multi-modal head images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: No. 501, Unit 1, 14th Floor, No. 28 Fuxing Road, Haidian District, Beijing, 100080

Patentee after: Qiu Bensheng

Address before: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96

Patentee before: University of Science and Technology of China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230803

Address after: Room 670, 6th Floor, Building A3A4, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei, Anhui Province, 230088

Patentee after: Anhui Fuqing Medical Equipment Co.,Ltd.

Address before: No. 501, Unit 1, 14th Floor, No. 28 Fuxing Road, Haidian District, Beijing, 100080

Patentee before: Qiu Bensheng

TR01 Transfer of patent right