CN113274130A - 用于光学手术导航系统的无标记手术注册方法 - Google Patents

用于光学手术导航系统的无标记手术注册方法 Download PDF

Info

Publication number
CN113274130A
CN113274130A CN202110529008.7A CN202110529008A CN113274130A CN 113274130 A CN113274130 A CN 113274130A CN 202110529008 A CN202110529008 A CN 202110529008A CN 113274130 A CN113274130 A CN 113274130A
Authority
CN
China
Prior art keywords
point set
surgical
image
coordinate system
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110529008.7A
Other languages
English (en)
Inventor
李静
何舟
沈南燕
邓宗乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110529008.7A priority Critical patent/CN113274130A/zh
Publication of CN113274130A publication Critical patent/CN113274130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software

Abstract

本发明公开了一种用于光学手术导航系统的无标记手术注册方法。包括步骤:S1:导入病灶部位CT序列,处理CT图像并提取上表面皮肤轮廓;S2:将二维皮肤轮廓重建为三维点集,对点集的CT坐标系进行初步坐标变换;S3:将结构光相机标定至手术空间坐标系;S4:使用结构光相机采集手术空间点云,并完成点云的分割与变换;S5:手术空间去除离群点去除,采用分辨率一致性降采样得到简化的图像与手术空间点云;S6:将CT图像空间点云配准到手术空间,完成手术注册。本发明公开的手术注册过程无需人为干预,能够在降低手术注册操作复杂度与操作时间的同时保证足够的手术导航精度。

Description

用于光学手术导航系统的无标记手术注册方法
技术领域
本发明涉及光学手术导航的技术领域,特别涉及一种用于光学手术导航系统的无标记手术注册方法。
背景技术
手术注册是手术导航中的关键技术,通过手术注册实现图像空间和手术空间之间的映射,才能在虚拟环境中反映真实的手术情况、精准定位手术器械,辅助医生快速、精准地完成穿刺消融手术。
目前,应用于临床的手术注册技术多采用基于标记点的手术注册方法。基于标记点的手术注册方法需要在术前图像空间的三维模型中识别标记点,并与患者术中解剖结构上相对应的标记点进行配准,标记点的类型主要分为表面粘贴标记点、骨植入标记点和解剖标记点。其中,基于解剖标记点的手术注册需要利用人体上显著特征点作为标识,如鼻尖、眼角等,使用于头部神经外科手术;粘贴式标记点需要术中粘贴,并再次进行医学影像扫描,费力耗时,且一旦手术过程中任一标记点发生移位,都会极大地影响手术注册精度;植入型的标记点注册精度高,但需要借助器械识别标记点,会造成额外的手术创伤。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的主要目的在于克服现有技术的不足,提供一种用于光学手术导航系统的无标记手术注册方法,该方法能够满足光学导航系统在经皮消融治疗的临床应用需求,手术注册过程无需人为干预,能够在降低手术注册操作复杂度与操作时间的同时保证足够的手术导航精度。
为实现上述目的,本发明采用以下技术方案:
一种用于光学手术导航系统的无标记手术注册方法,包括以下步骤:
S1:导入病灶部位CT序列,处理CT图像并提取上表面皮肤轮廓;
S2:将二维皮肤轮廓重建为三维点集H,对点集H的CT坐标系进行初步坐标变换;
S3:将结构光相机标定至手术空间坐标系,得到结构光相机坐标系与手术空间坐标系的转换关系;
S4:结构光相机采集从病灶部位到相机的深度数据,从而得到病灶部位的三维坐标点集,从该三维点集中分割出皮肤点集V,并根据步骤S3得到的坐标转换关系将点集V变换到手术空间坐标系下;
S5:去除点集V中的离群点,采用分辨率一致性降采样对点集H和V进行降采样,得到简化的点集H’和V’;
S6:将V’作为目标点集,把点集H’精配准到点集V’,从而得到CT图像空间到手术空间的坐标转换关系,即完成手术注册。
在步骤S1中,对CT图像先后进行加窗处理、二值化处理与轮廓提取得到二维皮肤轮廓,然后截取轮廓的上四分之一作为上表面皮肤轮廓。
在步骤S2中,初步坐标变换是:对原始点集H进行坐标转换,重新指定CT图像空间坐标系的原点以及方向,使得CT图像空间坐标系与手术空间坐标系的方向大致相同。
在步骤S3中,标定过程使用专用标定板,该标定板能同时标定结构光相机与双目导航系统,从而实现将结构光相机标定至手术空间坐标系。
在步骤S4中,分割出皮肤点集V的方法为:对深度图对应的灰度图进行二值化与形态学处理,提取最大轮廓区域以制作皮肤掩膜;再根据CT图像计算横断面重心到上表面的距离,对手术空间中点云进行Z轴轴向约束,筛除重心以下的大量非目标区域点云;最后通过二维图像掩模-三维点云映射得到皮肤区域的三维点云。
在步骤S5中,分辨率一致性降采样是:使用相同大小的小正方体(即相同分辨率)对点集H、V进行划分,按一定策略选择正方体中的一点代替整个正方体中包含的点,从而得到简化的点集H’和V’。
本发明与现有技术相比较,具有如下有点与有益效果:
1.本发明提供一种用于光学导航系统的无标记手术注册方法,该方法以结构光3D视觉系统作为腹部点云采集设备,与术前采集的CT影像数据进行配准,实现全自动手术注册。
2.本发明能够满足光学导航系统在腹部经皮消融治疗的临床应用需求,手术导航系统配置步骤简单,手术注册过程无需人为干预,能够在降低手术注册操作复杂度与操作时间的同时保证足够的手术导航精度。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例中CT处理过程的示意图。
图3为本发明实施例中待标定的光学导航系统的示意图。
图4为本发明实施例中手术空间点云处理过程的示意图。
图5为本发明实施例中降采样的示意图。
图6为本实施例中点集的配准结果。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当强调的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一:
参阅图1,一种用于光学手术导航系统的无标记手术注册方法,包括如下步骤:
S1:导入病灶部位CT序列,处理CT图像并提取上表面皮肤轮廓;
S2:将二维皮肤轮廓重建为三维点集H,对点集H的CT坐标系进行初步坐标变换;
S3:将结构光相机标定至手术空间坐标系,得到结构光相机坐标系与手术空间坐标系的转换关系;
S4:结构光相机采集从病灶部位到相机的深度数据,从而得到病灶部位的三维坐标点集,从该三维点集中分割出皮肤点集V,并根据步骤S3得到的坐标转换关系将点集V变换到手术空间坐标系下;
S5:去除点集V中的离群点,采用分辨率一致性降采样对点集H和V进行降采样,得到简化的点集H’和V’;
S6:将V’作为目标点集,把点集H’精配准到点集V’,从而得到CT图像空间到手术空间的坐标转换关系,即完成手术注册。
本实例方法能实现全自动的图像空间到手术空间的无标记手术注册。
实施例二:
在本实施例中,在所述步骤S1中,对CT图像先后进行加窗处理、二值化处理与轮廓提取得到二维皮肤轮廓,然后截取轮廓的上四分之一作为上表面皮肤轮廓。
在本实施例中,在所述步骤S2中,初步坐标变换是:对原始点集H进行坐标转换,重新指定CT图像空间坐标系的原点以及方向,使得CT图像空间坐标系与手术空间坐标系的方向大致相同。
在本实施例中,在所述步骤S3中,标定过程使用专用标定板,该标定板能同时标定结构光相机与双目导航系统,从而实现将结构光相机标定至手术空间坐标系。
在本实施例中,在所述步骤S4中,分割出皮肤点集V的方法为:对深度图对应的灰度图进行二值化与形态学处理,提取最大轮廓区域以制作皮肤掩膜;再根据CT图像计算横断面重心到上表面的距离,对手术空间中点云进行Z轴轴向约束,筛除重心以下的大量非目标区域点云;最后通过二维图像掩模-三维点云映射得到皮肤区域的三维点云。
在本实施例中,在所述步骤S5中,分辨率一致性降采样是:使用相同大小的小正方体(即相同分辨率)对点集H、V进行划分,按一定策略选择正方体中的一点代替整个正方体中包含的点,从而得到简化的点集H’和V’。
实施例三:
在本实施例中,参阅图1至图6,一种用于光学手术导航系统的无标记手术注册方法,具体包括如下步骤:
S1:导入CT并提取皮肤轮廓。如图2所示,导入病灶部位CT序列,对CT图像先后进行加窗处理、二值化处理与轮廓提取得到二维皮肤轮廓,然后截取轮廓的上四分之一作为上表面皮肤轮廓。
S2:CT皮肤点云重建与坐标初步变换。如图2所示,将步骤S1提取的二维皮肤轮廓附上z方向坐标值从而重建为三维点集H,对原始点集H进行坐标转换,重新指定CT图像空间坐标系的原点以及方向,使得CT图像空间坐标系与手术空间坐标系的方向大致相同。
S3:结构光相机标定。如图3所示,标定过程使用专用标定板,以标定板坐标系作为手术空间坐标系,该标定板能实现结构光相机与双目导航系统的联合标定,使得两套相机系统能够任意进行坐标转换,从而实现将结构光相机标定至手术空间坐标系,最终得到结构光相机坐标系与手术空间坐标系的转换关系。
S4:手术空间点云采集、分割与变换。结构光相机采集从病灶部位到相机的深度数据,从而得到病灶部位的三维坐标点集,从该三维点集中分割出皮肤点集V,如图4所示,该分割过程为:对深度图对应的灰度图进行二值化与形态学处理,提取最大轮廓区域以制作皮肤掩膜;再根据CT图像计算横断面重心到上表面的距离,对手术空间中点云进行Z轴轴向约束,筛除重心以下的大量非目标区域点云;最后通过二维图像掩模-三维点云映射得到皮肤区域的三维点云。然后根据步骤S3得到的坐标转换关系将点集V变换到手术空间坐标系下。
S5:离群点去除与分辨率一致性降采样。首先去除手术空间下点集V中的离群点:以某一目标点为球心、确定长度为半径做球体,在球体内搜索所有的邻近点,通过设置合适的半径和邻近点数量阈值实现对离群点的去除。然后采用分辨率一致性降采样对点集H和V进行降采样(如图5所示):使用相同大小的小正方体(即相同分辨率)对点集H、V进行划分,按一定策略选择正方体中的一点代替整个正方体中包含的点,从而得到简化的点集H’和V’。
S6:精配准。将V’作为目标点集,使用一致性点漂移算法(cpd)把点集H’精配准到点集V’(如图6所示),从而得到CT图像空间到手术空间的坐标转换关系,即完成手术注册。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (6)

1.一种用于光学手术导航系统的无标记手术注册方法,其特征在于,包括以下步骤:
S1:导入病灶部位CT序列,处理CT图像并提取上表面皮肤轮廓;
S2:将二维皮肤轮廓重建为三维点集H,对点集H的CT坐标系进行初步坐标变换;
S3:将结构光相机标定至手术空间坐标系,得到结构光相机坐标系与手术空间坐标系的转换关系;
S4:结构光相机采集从病灶部位到相机的深度数据,从而得到病灶部位的三维坐标点集,从该三维点集中分割出皮肤点集V,并根据步骤S3得到的坐标转换关系将点集V变换到手术空间坐标系下;
S5:去除点集V中的离群点,采用分辨率一致性降采样对点集H和V进行降采样,得到简化的点集H’和V’;
S6:将V’作为目标点集,把点集H’精配准到点集V’,从而得到CT图像空间到手术空间的坐标转换关系,即完成手术注册。
2.根据权利要求1所述的用于光学手术导航系统的无标记手术注册方法,其特征在于,在步骤S1中,对CT图像先后进行加窗处理、二值化处理与轮廓提取得到二维皮肤轮廓,然后截取轮廓的上四分之一作为上表面皮肤轮廓。
3.根据权利要求1所述的用于光学手术导航系统的无标记手术注册方法,其特征在于,在步骤S2中,初步坐标变换是:对原始点集H进行坐标转换,重新指定CT图像空间坐标系的原点以及方向,使得CT图像空间坐标系与手术空间坐标系的方向大致相同。
4.根据权利要求1所述的用于光学手术导航系统的无标记手术注册方法,其特征在于,在步骤S3中,标定过程使用专用标定板,该标定板能同时标定结构光相机与双目导航系统,从而实现将结构光相机标定至手术空间坐标系。
5.根据权利要求1所述的用于光学手术导航系统的无标记手术注册方法,其特征在于,在步骤S4中,分割出皮肤点集V的方法为:对深度图对应的灰度图进行二值化与形态学处理,提取最大轮廓区域以制作皮肤掩膜;再根据CT图像计算横断面重心到上表面的距离,对手术空间中点云进行Z轴轴向约束,筛除重心以下的大量非目标区域点云;最后通过二维图像掩模-三维点云映射得到皮肤区域的三维点云。
6.根据权利要求1所述的用于光学手术导航系统的无标记手术注册方法,其特征在于,在步骤S5中,分辨率一致性降采样是:使用相同大小的小正方体,即相同分辨率,对点集H、V进行划分,按一定策略选择正方体中的一点代替整个正方体中包含的点,从而得到简化的点集H’和V’。
CN202110529008.7A 2021-05-14 2021-05-14 用于光学手术导航系统的无标记手术注册方法 Pending CN113274130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110529008.7A CN113274130A (zh) 2021-05-14 2021-05-14 用于光学手术导航系统的无标记手术注册方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110529008.7A CN113274130A (zh) 2021-05-14 2021-05-14 用于光学手术导航系统的无标记手术注册方法

Publications (1)

Publication Number Publication Date
CN113274130A true CN113274130A (zh) 2021-08-20

Family

ID=77279180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110529008.7A Pending CN113274130A (zh) 2021-05-14 2021-05-14 用于光学手术导航系统的无标记手术注册方法

Country Status (1)

Country Link
CN (1) CN113274130A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098980A (zh) * 2021-11-19 2022-03-01 武汉联影智融医疗科技有限公司 相机位姿调整方法、空间注册方法、系统和存储介质
WO2023169108A1 (zh) * 2022-03-10 2023-09-14 重庆海扶医疗科技股份有限公司 目标区域的定位方法、电子设备、介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法
CN105701788A (zh) * 2014-11-24 2016-06-22 复旦大学 一种基于全局优化的神经导航自动空间配准方法
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法
CN106214256A (zh) * 2016-09-21 2016-12-14 华南理工大学 一种无标记点光学手术导航系统及其导航方法
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN109146931A (zh) * 2018-11-12 2019-01-04 深圳安科高技术股份有限公司 一种三维图像处理方法、系统、装置及存储介质
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN110123451A (zh) * 2019-04-17 2019-08-16 华南理工大学 应用于无标记点光学手术导航系统的病人表面注册方法
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法
CN105701788A (zh) * 2014-11-24 2016-06-22 复旦大学 一种基于全局优化的神经导航自动空间配准方法
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法
CN106214256A (zh) * 2016-09-21 2016-12-14 华南理工大学 一种无标记点光学手术导航系统及其导航方法
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN109146931A (zh) * 2018-11-12 2019-01-04 深圳安科高技术股份有限公司 一种三维图像处理方法、系统、装置及存储介质
CN110123451A (zh) * 2019-04-17 2019-08-16 华南理工大学 应用于无标记点光学手术导航系统的病人表面注册方法
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098980A (zh) * 2021-11-19 2022-03-01 武汉联影智融医疗科技有限公司 相机位姿调整方法、空间注册方法、系统和存储介质
WO2023169108A1 (zh) * 2022-03-10 2023-09-14 重庆海扶医疗科技股份有限公司 目标区域的定位方法、电子设备、介质

Similar Documents

Publication Publication Date Title
CN110946654B (zh) 一种基于多模影像融合的骨科手术导航系统
CN107456278B (zh) 一种内窥镜手术导航方法和系统
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN109464196B (zh) 采用结构光影像配准的手术导航系统及配准信号采集方法
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN108294814A (zh) 一种基于混合现实的颅内穿刺定位方法
CN107016666B (zh) 基于坐标体系的骨盆ct三维重建的图像后处理方法
CN107595390B (zh) 一种超声影像与ct影像的实时匹配融合方法
CN110946652B (zh) 一种骨螺钉的钉道规划方法和装置
CN113274130A (zh) 用于光学手术导航系统的无标记手术注册方法
CN112509022A (zh) 一种术前三维影像与术中透视图像的无标定物配准方法
CN104983458A (zh) 髋臼骨折用后柱拉力螺钉3d导航模块的制备方法
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
CN113633377B (zh) 一种面向胫骨高位截骨手术的胫骨优化配准系统与方法
Li et al. A fully automatic surgical registration method for percutaneous abdominal puncture surgical navigation
CN112451090B (zh) 一种分析模型的构建系统
CN117274334A (zh) 一种基于点云的实时骨骼模型重建方法及系统
CN111728695A (zh) 一种用于开颅手术的光束辅助定位方法及定位系统
CN2857869Y (zh) 基于局部解剖结构特征的术中实时导航装置
CN115358995A (zh) 基于多模态信息融合的全自动空间注册系统
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
CN112085698A (zh) 左右乳腺超声图像自动分析方法及装置
CN114403854B (zh) 一种基于ct三维重建图像的冠突参数测量方法及装置
CN213030824U (zh) 一种颅颌面手术导航辅助装置
CN114403911B (zh) 一种基于ct三维重建图像的尺骨近端参数测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820