CN108175500A - 基于手持式三维扫描仪的手术导航空间配准方法 - Google Patents

基于手持式三维扫描仪的手术导航空间配准方法 Download PDF

Info

Publication number
CN108175500A
CN108175500A CN201611123672.7A CN201611123672A CN108175500A CN 108175500 A CN108175500 A CN 108175500A CN 201611123672 A CN201611123672 A CN 201611123672A CN 108175500 A CN108175500 A CN 108175500A
Authority
CN
China
Prior art keywords
point
registration
registering
cloud
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611123672.7A
Other languages
English (en)
Inventor
宋志坚
王满宁
李文生
张柏林
安涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201611123672.7A priority Critical patent/CN108175500A/zh
Publication of CN108175500A publication Critical patent/CN108175500A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明属于医疗器械领域,具体涉及一种基于手持式三维扫描仪的可用于手术导航的空间配准方法。本方法采用面部识别特征点匹配的配准方法,将手持式三维扫描仪获取到的被测者空间点云与医学影像得到的图像空间点云进行初步配准;初步配准结果使用点云的迭代配准方法,完成手术导航被测者空间与图像空间的配准;实施结果表明,本发明所述方法配准速度快,配准精度稳定,能够满足手术导航系统的要求,提升手术导航系统的配准精度。

Description

基于手持式三维扫描仪的手术导航空间配准方法
技术领域
本发明属医学图像处理及医疗器械领域,涉及一种基于手持式三维扫描仪的手术导航的空间配准方法。
背景技术
现有技术公开了手术导航系统能够为医生在临床实践中提供病灶位置和边界信息,有利于指导提高手术质量,已逐渐成为神经外科手术中不可或缺的辅助设备。业内认为,手术导航的核心功能,是将手术区域所在的病人空间与三维模型所在的图像空间进行配准,然后利用配准结果引导手术器械,可见,手术导航系统的性能,很大程度受配准的精度影响。
目前手术导航中应用较广的配准方法是点匹配,其本质是通过有限点的匹配确定整个空间的匹配,实践显示,所述配准方法尚存在一些缺陷,例如,点匹配的配准精度不能代表空间的整体匹配精度;点匹配的特征点需要通过手动选取,容易产生误差;为了导航需要额外进行一次影像扫描;选取特征点所需时间较长等。
现有技术还公开了有关面匹配的配准方法,基于面匹配的配准方法,其不需要人工设置特征点,也不需要额外进行影像扫描,能避免点匹配的上述缺陷;而且,面匹配使用的特征信息更多,因而可以提高配准的精度,但是,面匹配目前仍然没有被广泛应用于临床实践的主要原因是,其中存在的传统的点云获取方法难以获取完整的面部点云数据,以及随着面部特征信息增加,配准耗时增长等缺陷。
有研究为了确定两组图像空间点云的相关性,采用查找单点之间的相关性,然后将获取到的相关性应用到点云整体,获得更新的点云,再对更新后的点云查找单点的相关性,如此迭代往复,最终得到逼近最优解的点云变换矩阵;所述方法直观简便、具有较高的配准精度,但仍存在对初始位置敏感,容易陷入局部最优而无法达到全局最优等的缺陷。
基于现有技术的现状,本申请的发明人拟提供一种不必进行额外影像扫描,且能够增加特征信息、减少配准时间、降低配准误差、对初始位置不敏感的新的手术导航空间配准方法。本发明拟使用手持式三维扫描仪,提供一种可以直接获取病人空间的面部表面点云,然后与图像空间中提取的模型表面点云进行匹配的方法。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种基于手持式三维扫描仪的手术导航空间配准方法。该方法能够使手术导航系统的配准更加精确、便捷。
本发明采用面部识别特征点匹配的配准方法,结合点云的迭代配准方法,完成手术导航病人空间与图像空间的配准,亦即:借助空间定位仪建立病人空间与图像空间的变换关系;然后使用手持式三维扫描仪获取病人头部表面点云,并根据扫描仪获取的信息、以及人面部的特征信息,识别病人的面部特征点;对于配准使用的影像信息,同样识别出面部特征信息,根据两组面部特征信息,获得两个空间的变换矩阵;将手持式三维扫描仪获取的病人空间点云,根据变换矩阵变换到图像空间中,再使用点云的迭代配准方法,将变换后的病人头部表面点云与图像空间点云进行配准;
其中,
所述基于面部识别特征点匹配的配准方法,是使用手持式三维扫描仪获得病人面部表面点云,然后根据人的面部特征信息,识别出面部特征点,同样的方法识别出配准使用的影像信息的面部特征点,利用这两组特征点实现配准;
所述采用点云的迭代配准方法,是将面部特征点匹配的配准结果,使用点云的迭代配准方法,再次进行配准。
具体而言,本发明的手术导航空间配准方法,其特征在于,包括以下步骤:
(1)基于面部识别的特征点匹配方法
传统的点匹配方法由于选取的点个数有限,不能很好地描述点云的整体特征,而且特征点的选取效率较低;传统的面配准缺少特征,容易陷入局部最优;本方法中,将点匹配与面匹配方法相结合,在表面点云中基于面部识别选取一组面部特征点M={mi,...mn},与同样方法在图像空间中识别的一组面部特征点D={di,...dn},通过最小化式(1),得到最优的变换矩阵[R T],获得两组特征点的变换关系;
(2)点云的迭代配准方法
将步骤(1)得到的点云变换关系应用到病人头部表面点云,使其变换到图像空间,然后使用点云的迭代配准方法,再次进行配准。随着迭代次数增加,病人头部表面点云逐渐逼近图像空间点云;该方法能够提高配准精度,提高手术导航系统的精度和稳定,其包括步骤为:
①对于病人空间点云中的每一个点,在图像空间点云中,查找一个对应的最近点;
②获取所有点的对应最近点后,筛除一部分找不到最近点的噪声点,然后计算该组对应关系的变换矩阵[R T];
③根据获得的变换矩阵[R T],对病人空间的点云进行变换;
④迭代上述步骤,直到获得一个满足预设条件的变换关系,完成病人空间点云和图像空间的配准。
本发明的手术导航空间配准方法与现有技术相比,具有以下优点:
(1)相对于传统的点匹配方法,本方法不需额外的影像扫描,不需要手动指定标记点;
(2)相对于传统的面匹配方法,本方法可以避免配准陷入局部最优;
(3)本方法自动程度高,可以降低手术导航的操作复杂度;
(4)本方法吸收了点匹配和面匹配的优点,能够提高配准的精度和效率。
本发明提供了一种不必进行额外影像扫描,且能够增加特征信息、减少配准时间、降低配准误差、对初始位置不敏感的新的手术导航空间配准方法;本发明所述的配准方法,精度高,易于实现,速度快,能够明显简化手术导航系统的配准流程,为临床手术操作实践提供极大的便利。
具体实施方式
实施例1
按本发明方法进行手术导航空间配准实践,包括以下步骤:
(1)获取配准所需点云
需要获取配准的两组点云,通过手持式三维扫描仪获取被测者空间点云,图像空间的点云从配准被测者的影像资料中获取;
(2)获取点云的面部特征点
根据被测者面部的特征,在两组点云中,利用点云自身提供的信息、手持式三维扫描仪获取的深度信息等,识别出面部较为明显的特征点,如鼻尖、眉心、左右眼眶等;
(3)基于面部识别的特征点匹配方法
基于面部识别的特征信息,对两组面部特征点计算对应关系,其包括步骤为:
①计算两组特征点的质心
②设dci=di-d,mci=mi-m,计算
③对H进行奇异值分解,H=U∧Vt
④得到旋转矩阵R=VUt,平移矩阵T=d=Rm。
(4)点云的迭代配准方法
对完成面部特征点匹配的两组点云,使用迭代配准方法再次配准,对被测者空间点云中的每一个点,在图像空间点云中查找一个与之距离最近的点,找到所有点及其对应点后,筛除一部分未找到邻近点的噪声点,然后计算两组点云的变换矩阵[R T],然后根据计算出的变换矩阵,对被测者空间的点云进行变换,迭代上述步骤,直到两组点云的配准精度达到预设的阈值。
上述实施例的结果表明,本发明能够避免传统点匹配和面匹配的缺陷,使手术导航系统配准更加简便可靠;所述方法是一种自动的配准方法,不需要手动选取特征点,也不需要额外的影像扫描,最大程度减少了人为干预导致的配准误差,同时降低了操作者的操作难度;所述方法结合了点匹配和面匹配的优点,降低了特征点选取和点云初始位置对配准效果的影响;所述方法配准速度快,配准精度稳定,能够满足手术导航系统的要求,提升手术导航系统的配准精度。

Claims (3)

1.一种基于手持式三维扫描仪的手术导航配准方法,其特征在于,其包括步骤:
(1)采用面部识别特征点匹配的配准方法,实现手持式三维扫描仪获取的被测者空间点云和由影像信息获得的图像空间点云的初步配准;
(2)采用点云的迭代配准方法,将被测者面部特征点匹配的配准结果,再次进行配准。
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)中,用于配准的两组点云,分别通过手持式三维扫描仪和医学影像数据获得;然后,采用基于面部识别特征点的配准方法,分别在两组点云中,根据被测者的面部特征,识别出鼻尖、眉心、左右眼眶特征点,计算两组特征点对应的变换关系;
所述的基于面部识别特征点的配准方法,其包括步骤:
①计算两组特征点的质心
②设dci=di-d,mci=mi-m,计算
③对H进行奇异值分解,H=U∧Vt
④得到旋转矩阵R=VUt,平移矩阵T=d=Rm。
3.根据权利要求1和权利要求2所述的方法,其特征在于,所述步骤(2)中,在初步配准的基础上,按照点云的迭代配准方法,再次进行配准;所述的点云的迭代配准方法,其包括步骤:
①对于被测者空间点云中的每一个点,在图像空间点云中,查找一个对应的最近点;
②获取所有点的对应最近点后,筛除一部分未找到邻近点的噪声点,然后计算该组对应关系的变换矩阵[R T];
③根据获得的变换矩阵[R T],对被测者空间的点云进行空间变换;
④重复步骤①-③,直到获得一个满足预设条件的变换关系,完成被测者空间点云和图像空间的配准。
CN201611123672.7A 2016-12-08 2016-12-08 基于手持式三维扫描仪的手术导航空间配准方法 Pending CN108175500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611123672.7A CN108175500A (zh) 2016-12-08 2016-12-08 基于手持式三维扫描仪的手术导航空间配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611123672.7A CN108175500A (zh) 2016-12-08 2016-12-08 基于手持式三维扫描仪的手术导航空间配准方法

Publications (1)

Publication Number Publication Date
CN108175500A true CN108175500A (zh) 2018-06-19

Family

ID=62544883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611123672.7A Pending CN108175500A (zh) 2016-12-08 2016-12-08 基于手持式三维扫描仪的手术导航空间配准方法

Country Status (1)

Country Link
CN (1) CN108175500A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110946659A (zh) * 2019-12-25 2020-04-03 武汉中科医疗科技工业技术研究院有限公司 影像空间与实际空间的注册方法及系统
CN111759463A (zh) * 2020-07-31 2020-10-13 南京普爱医疗设备股份有限公司 一种提高手术机械臂定位精度的方法
CN112634336A (zh) * 2020-12-31 2021-04-09 华科精准(北京)医疗科技有限公司 一种配准方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实系统
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103445863A (zh) * 2012-06-02 2013-12-18 复旦大学 基于平板电脑的手术导航和增强现实系统
CN105078573A (zh) * 2014-05-11 2015-11-25 复旦大学 基于手持式扫描仪的神经导航空间配准方法
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110946659A (zh) * 2019-12-25 2020-04-03 武汉中科医疗科技工业技术研究院有限公司 影像空间与实际空间的注册方法及系统
CN111759463A (zh) * 2020-07-31 2020-10-13 南京普爱医疗设备股份有限公司 一种提高手术机械臂定位精度的方法
CN112634336A (zh) * 2020-12-31 2021-04-09 华科精准(北京)医疗科技有限公司 一种配准方法及系统

Similar Documents

Publication Publication Date Title
CN110946654B (zh) 一种基于多模影像融合的骨科手术导航系统
CN105719278B (zh) 一种基于统计形变模型的医学图像分割方法
CN105078573B (zh) 基于手持式扫描仪的神经导航空间配准方法
CN108175500A (zh) 基于手持式三维扫描仪的手术导航空间配准方法
CN111640143B (zh) 一种基于PointNet的神经导航快速面配准方法及系统
US20210393240A1 (en) Ultrasonic imaging method and device
CN112382359B (zh) 患者注册方法、装置、电子设备及计算机可读介质
CN109509203A (zh) 一种半自动脑部图像分割方法
CN109965979A (zh) 一种无需标志点的稳健的神经导航自动注册方法
CN103584885B (zh) 一种基于定位导航穿刺针的自由臂超声标定方法
CN106236264A (zh) 基于光学跟踪和图像匹配的胃肠手术导航方法及系统
Lin et al. Real-time automatic registration in optical surgical navigation
CN114092480B (zh) 一种内窥镜调整装置、手术机器人及可读存储介质
CN113171062A (zh) 识别寸、关、尺的方法、终端、系统、介质及计算机设备
CN115578320A (zh) 一种骨科手术机器人全自动空间注册方法及系统
CN108175501A (zh) 一种基于探针的手术导航空间配准方法
CN107392891B (zh) 血管树提取方法、装置、设备及存储介质
CN106296685B (zh) 基于颅外轮廓特征几何不变量多信息3d医学图像配准方法
KR20010109777A (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
CN110853020B (zh) 基于拓扑结构和图谱的衡量视网膜血管网络相似性的方法
CN116171131A (zh) 早孕期胎儿的超声成像方法和超声成像系统
US20230014228A1 (en) Systems, methods, and computer-readable media for automatic computed tomography to computed tomography registration
CN116327362A (zh) 磁探头辅助支气管术中导航方法、装置、介质及电子设备
CN114882093A (zh) 术中三维点云生成方法、装置和术中局部结构导航方法
CN114266831A (zh) 辅助手术的数据处理方法、装置、设备、介质与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180619