CN107330926A - 一种术中导航系统中的非标记医学图像配准系统及方法 - Google Patents

一种术中导航系统中的非标记医学图像配准系统及方法 Download PDF

Info

Publication number
CN107330926A
CN107330926A CN201710739180.9A CN201710739180A CN107330926A CN 107330926 A CN107330926 A CN 107330926A CN 201710739180 A CN201710739180 A CN 201710739180A CN 107330926 A CN107330926 A CN 107330926A
Authority
CN
China
Prior art keywords
registration
art
cloud
point
navigation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710739180.9A
Other languages
English (en)
Inventor
马科威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaao Information Technology Development Co Ltd
Original Assignee
Shanghai Jiaao Information Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaao Information Technology Development Co Ltd filed Critical Shanghai Jiaao Information Technology Development Co Ltd
Priority to CN201710739180.9A priority Critical patent/CN107330926A/zh
Publication of CN107330926A publication Critical patent/CN107330926A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种术中导航系统中的非标记医学图像配准系统及方法，系统包括：三维扫描仪，电脑，显示设备。该方法的步骤如下：通过病人术前的医学图像数据，建立三维模型，并转换为点云P，术中通过扫描仪获取骨骼表面点云Q，对两组点云分别进行下采样，计算法线，对两组点云分别计算特征，并进行配准，得到旋转平移矩阵，对术前三维图像进行旋转平移，即完成注册工作，初配准后，之后的配准工作只需要使用最近迭代点算法(ICP)来完成。本发明无需使用标记点，可实现术中非标记的精确注册。

Description

一种术中导航系统中的非标记医学图像配准系统及方法
技术领域
本发明涉及医学图像领域，尤其是涉及一种术中导航系统中的非标记医学图像配准系统及方法。
背景技术
术中导航作为一种医学导航设备是指将病人的术前和术中病人解剖结构准确对应，使得医生对手术器械和患者解剖的位置一目了然，使手术更精确。
目前术中导航普遍具有以下工作原理，医生手持经过改进的手术工具，对患者的手术目标实施操作，需要能够精确的给出手术工具的空间立体定位，同时能够精确的给出术中解剖部位与术前X线/CT、MR等多模图像之间的位置关系，经过相应的坐标变换，控制手术工具达到要求的部位，从而实施相应的手术操作。
而其中，确定图像之间的位置关系是非常重要的一环，目前图像配准主要分为标记和非标记两种方法，使用标记点使配准更快捷，但是很多情况下，不便于为患者粘贴标记点，或表面粘贴点容易掉落，而植入标记点虽然较精确，但是会对患者造成额外的损伤。
公告号CN 106137395A的技术方案，同样采用非标记注册方法，但是使用的是病人表面点云，并且方法的实施需要两组相同的点云，加大了数据获取上的难度。
发明内容
本发明的目的就是为了解决上述问题，提供一种术中导航系统中的非标记医学图像配准系统及方法，其通过对点云数据进行配准，来降低术中注册系统的复杂度和精度。
为解决上述技术问题，本发明提供了一种术中导航系统中的非标记医学图像配准系统，其包括：用于获取病人术中骨骼表面点云数据的三维扫描仪；用于进行图像输入输出的电脑，其接于所述三维扫描仪，该电脑包含有分割和配准模块；用于显示注册好的三维医学图像的显示设备，其接于电脑。
一种术中导航系统中的非标记医学图像配准方法，其包括如下步骤：S1、利用病人术前的医学图像数据而建立三维模型，并转为为点云P，术中通过三维扫描仪获取病患的骨骼表面点云数据Q；S2、对点云P、点云数据Q分别进行下采样，计算法线；S3、对两组点云分别计算特征，并进行配准，得到旋转平移矩阵，完成初始配准；S4、对术前三维图像进行旋转平移，即完成注册工作；S5、之后只需要使用最近迭代点算法(ICP)进行精配准。
为使配准过程更加精准，本发明定义了两点间的数据特征：采用两点的相关数据作为特征，此特征可表示F(m1，m2)＝(d，∠a，∠b，∠c)，其中，m1,m2为点云中两点，d为两点间的欧氏距离，∠a,∠b,∠c分别为两点的法线及两点连线方向两两之间的夹角，夹角范围为0到π。
一种术中导航系统中的非标记医学图像配准方法的步骤S1中，术前对病人拍摄的CT或MR图像用阈值的方法进行分割处理，获得相应的三维模型，转换得到点云P。
与现有技术相比，本发明的配准过程不依赖于标记点，同时具有很好的精确度。
附图说明
图1为术中导航系统中的非标记医学图像配准方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。
实施例：参见图1，一种术中导航系统中的非标记医学图像配准方法，如下步骤：
S1、利用病人术前的医学图像数据而建立三维模型，并转为为点云P，术中通过三维扫描仪获取病患的骨骼表面点云数据Q。例如，术前对病人拍摄的CT或MR图像用阈值的方法进行分割处理，获得相应的三维模型，转换得到点云P。
S2、对点云P、点云数据Q这两组点云分别进行下采样，计算法线。为使配准过程更加精准，本发明定义了两点间的数据特征:此特征可表示为F(m1，m2)＝(d,∠a,∠b,∠c)，其中m1,m2为点云中两点，d为两点间的欧氏距离，∠a,∠b,∠c分别为两点的法线及两点连线方向两两之间的夹角，范围为0到π。取P的一部分点，分别计算它们与其他点的特征，相似的点(pi，pj)会以特征为关键字储存在哈希表中，其中相似是指它们特征的四个值落在同一个区间内，区间大小可以任意指定。例如30°的步长将大区间划分为6个。计算完P的特征后，取Q的一个点qi，对于每个其余的点qj，计算它们之间的特征F(qi，qj)。以此特征为关键字，在哈希表中找出所有对应的P中的点，对于每组点(pi，pj)计算特征之间的旋转角，并记为(mi，α)。
S3、对两组点云分别计算特征，并进行配准，得到旋转平移矩阵，完成初始配准。该步骤中，对于每个qj，通过旋转角的投票机制，记录所得票数和相应的旋转平移矩阵。全部计算完毕后，将相似的矩阵票数相加，并计算总票数和平均旋转平移矩阵。通过最后的最高票数得到最终的旋转平移矩阵。
S4、对术前三维图像进行旋转平移，即完成注册工作。该步骤是通过上述步骤得到最终的旋转平移矩阵，作用于步骤S1得到的三维模型，即完成了术前图像与术中导航系统的注册工作。
S5、后续只需要使用迭代最近点(ICP)来进行配准工作。
本发明还提供了一种术中导航系统中的非标记医学图像配准系统，该系统包括：用于获取病人术中骨骼表面点云数据的三维扫描仪，该三维扫描仪可参考前文的步骤S1进行使用以便于获取相应数据。用于进行图像输入输出的电脑，其接于所述三维扫描仪，该电脑包含有分割和配准模块，该电脑可进行相应的数据运算和处理。用于显示注册好的三维医学图像的显示设备，其接于电脑，该显示设备包括但不仅限于显示器。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (4)

1.一种术中导航系统中的非标记医学图像配准系统，其特征在于，其包括：
用于获取病人术中骨骼表面点云数据的三维扫描仪；
用于进行图像输入输出的电脑，其接于所述三维扫描仪，该电脑包含有分割和配准模块；
用于显示注册好的三维医学图像的显示设备，其接于电脑。
2.一种术中导航系统中的非标记医学图像配准方法，其特征在于，其包括如下步骤：
S1、利用病人术前的医学图像数据而建立三维模型，并转为为点云P，术中通过三维扫描仪获取病患的骨骼表面点云数据Q；
S2、对点云P、点云数据Q分别进行下采样，计算法线；
S3、对两组点云分别计算特征，并进行配准，得到旋转平移矩阵，完成初始配准；
S4、对术前三维图像进行旋转平移，即完成注册工作；
S5、之后只需要使用最近迭代点算法进行精配准。
3.根据权利要求2所述的一种术中导航系统中的非标记医学图像配准方法，其特征在于，采用两点的相关数据作为特征，此特征可表示F(m1，m2)＝(d，∠a，∠b，∠c)，其中，m1,m2为点云中两点，d为两点间的欧氏距离，∠a,∠b,∠c分别为两点的法线及两点连线方向两两之间的夹角，夹角范围为0到π。
4.根据权利要求2所述的一种术中导航系统中的非标记医学图像配准方法，其特征在于，步骤S1中，术前对病人拍摄的CT或MR图像用阈值的方法进行分割处理，获得相应的三维模型，转换得到点云P。
CN201710739180.9A 2017-08-25 2017-08-25 一种术中导航系统中的非标记医学图像配准系统及方法 Pending CN107330926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710739180.9A CN107330926A (zh) 2017-08-25 2017-08-25 一种术中导航系统中的非标记医学图像配准系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710739180.9A CN107330926A (zh) 2017-08-25 2017-08-25 一种术中导航系统中的非标记医学图像配准系统及方法

Publications (1)

Publication Number Publication Date
CN107330926A true CN107330926A (zh) 2017-11-07

Family

ID=60225012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710739180.9A Pending CN107330926A (zh) 2017-08-25 2017-08-25 一种术中导航系统中的非标记医学图像配准系统及方法

Country Status (1)

Country Link
CN (1) CN107330926A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108324369A (zh) * 2018-02-01 2018-07-27 艾瑞迈迪医疗科技（北京）有限公司 基于面的术中配准方法及神经导航设备
CN109512512A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于点云匹配的神经外科术中增强现实定位的方法和装置
CN109785352A (zh) * 2018-12-21 2019-05-21 广东工业大学 一种智能高效机载雷达点云分析方法
CN109801368A (zh) * 2019-02-26 2019-05-24 浙江未来技术研究院(嘉兴) 一种显微镜术野光场图像融合显示方法及装置
CN109938835A (zh) * 2017-12-21 2019-06-28 西门子保健有限责任公司 用于在调整器械定向时进行配准的方法和机器人系统
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110443839A (zh) * 2019-07-22 2019-11-12 艾瑞迈迪科技石家庄有限公司 一种骨骼模型空间配准方法及装置
CN111166538A (zh) * 2019-03-05 2020-05-19 艾瑞迈迪科技石家庄有限公司 一种关节置换手术术前的假体预摆位方法和装置
CN111476832A (zh) * 2020-03-23 2020-07-31 杭州柳叶刀机器人有限公司 一种髋臼杯配准方法
CN111493878A (zh) * 2020-03-17 2020-08-07 北京天智航医疗科技股份有限公司 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统
CN112991409A (zh) * 2021-04-27 2021-06-18 杭州素问九州医疗科技有限公司 骨骼注册方法及系统及存储介质
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN113724306A (zh) * 2021-08-04 2021-11-30 卡本(深圳)医疗器械有限公司 一种术前ctmr扫描图像与术中病人坐标的配准算法
CN114332402A (zh) * 2021-12-23 2022-04-12 中交第二公路勘察设计研究院有限公司 融合地面式、手持式激光扫描的钢桥模拟预拼装方法
CN114862924A (zh) * 2022-04-12 2022-08-05 华南理工大学 基于改进pca算法和dcp网络的手术导航空间配准方法
CN114848169A (zh) * 2022-07-05 2022-08-05 上海嘉奥信息科技发展有限公司 微创手术人体追踪布置系统及方法
CN115316972A (zh) * 2022-06-27 2022-11-11 中国科学院自动化研究所 柔性电极的植入方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204909663U (zh) * 2015-09-10 2015-12-30 浙江科惠医疗器械股份有限公司 一种基于图像的外科手术导航系统
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204909663U (zh) * 2015-09-10 2015-12-30 浙江科惠医疗器械股份有限公司 一种基于图像的外科手术导航系统
CN106137395A (zh) * 2016-07-22 2016-11-23 华南理工大学 应用于无标记点光学手术导航系统的全自动病人注册方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109938835B (zh) * 2017-12-21 2021-12-03 西门子保健有限责任公司 用于在调整器械定向时进行配准的方法和机器人系统
CN109938835A (zh) * 2017-12-21 2019-06-28 西门子保健有限责任公司 用于在调整器械定向时进行配准的方法和机器人系统
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN108324369A (zh) * 2018-02-01 2018-07-27 艾瑞迈迪医疗科技（北京）有限公司 基于面的术中配准方法及神经导航设备
CN109785352A (zh) * 2018-12-21 2019-05-21 广东工业大学 一种智能高效机载雷达点云分析方法
CN109785352B (zh) * 2018-12-21 2022-11-22 广东工业大学 一种智能高效机载雷达点云分析方法
CN109512512A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于点云匹配的神经外科术中增强现实定位的方法和装置
CN109801368A (zh) * 2019-02-26 2019-05-24 浙江未来技术研究院(嘉兴) 一种显微镜术野光场图像融合显示方法及装置
CN111166538A (zh) * 2019-03-05 2020-05-19 艾瑞迈迪科技石家庄有限公司 一种关节置换手术术前的假体预摆位方法和装置
CN110010249B (zh) * 2019-03-29 2021-04-27 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110443839A (zh) * 2019-07-22 2019-11-12 艾瑞迈迪科技石家庄有限公司 一种骨骼模型空间配准方法及装置
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN111493878A (zh) * 2020-03-17 2020-08-07 北京天智航医疗科技股份有限公司 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法
CN111476832A (zh) * 2020-03-23 2020-07-31 杭州柳叶刀机器人有限公司 一种髋臼杯配准方法
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
CN111772792B (zh) * 2020-08-05 2023-11-28 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统
CN112991409A (zh) * 2021-04-27 2021-06-18 杭州素问九州医疗科技有限公司 骨骼注册方法及系统及存储介质
CN112991409B (zh) * 2021-04-27 2021-07-30 杭州素问九州医疗科技有限公司 骨骼注册方法及系统及存储介质
CN113724306A (zh) * 2021-08-04 2021-11-30 卡本(深圳)医疗器械有限公司 一种术前ctmr扫描图像与术中病人坐标的配准算法
CN114332402A (zh) * 2021-12-23 2022-04-12 中交第二公路勘察设计研究院有限公司 融合地面式、手持式激光扫描的钢桥模拟预拼装方法
CN114332402B (zh) * 2021-12-23 2024-04-02 中交第二公路勘察设计研究院有限公司 融合地面式、手持式激光扫描的钢桥模拟预拼装方法
CN114862924A (zh) * 2022-04-12 2022-08-05 华南理工大学 基于改进pca算法和dcp网络的手术导航空间配准方法
CN114862924B (zh) * 2022-04-12 2024-03-08 华南理工大学 基于改进pca算法和dcp网络的手术导航空间配准方法
CN115316972A (zh) * 2022-06-27 2022-11-11 中国科学院自动化研究所 柔性电极的植入方法、装置和电子设备
CN114848169A (zh) * 2022-07-05 2022-08-05 上海嘉奥信息科技发展有限公司 微创手术人体追踪布置系统及方法
CN114848169B (zh) * 2022-07-05 2022-09-30 上海嘉奥信息科技发展有限公司 微创手术人体追踪布置系统及方法

Similar Documents

Publication Publication Date Title
CN107330926A (zh) 一种术中导航系统中的非标记医学图像配准系统及方法
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
US20170323443A1 (en) Systems and methods for obtaining 3-d images from x-ray information
CN104434313B (zh) 一种腹部外科手术导航方法及系统
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
CN107392995B (zh) 机械轴导航系统中的人体下肢配准系统
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
WO2007011314A2 (en) Methods and systems for mapping a virtual model of an object to the object
CN111640143B (zh) 一种基于PointNet的神经导航快速面配准方法及系统
CN110264504A (zh) 一种用于增强现实的三维配准方法和系统
CN106137395B (zh) 应用于无标记点光学手术导航系统的全自动病人注册方法
CN110916799A (zh) 基于5g网络的穿刺机器人导航系统
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
CN112190328A (zh) 一种全息透视定位系统及定位方法
Morgan et al. Hand-eye calibration for surgical cameras: a procrustean perspective-n-point solution
Rosa et al. Estimation of optimal pivot point for remote center of motion alignment in surgery
Xu et al. Design and validation of a spinal surgical navigation system based on spatial augmented reality
Alam et al. A review on extrinsic registration methods for medical images
Wang et al. A HoloLens based augmented reality navigation system for minimally invasive total knee arthroplasty
Li et al. A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery
Xie et al. Image-guided navigation system for minimally invasive total hip arthroplasty (MITHA) using an improved position-sensing marker
Noborio et al. Experimental results of 2D depth-depth matching algorithm based on depth camera Kinect v1
JP6566420B2 (ja) 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム
CN114119684B (zh) 基于四面体结构的标记点配准方法
Zhang et al. SIFT algorithm-based 3D pose estimation of femur

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107

WD01 Invention patent application deemed withdrawn after publication