CN115245303A - 一种用于内窥镜三维导航的图像融合系统和方法 - Google Patents

一种用于内窥镜三维导航的图像融合系统和方法 Download PDF

Info

Publication number
CN115245303A
CN115245303A CN202110448272.8A CN202110448272A CN115245303A CN 115245303 A CN115245303 A CN 115245303A CN 202110448272 A CN202110448272 A CN 202110448272A CN 115245303 A CN115245303 A CN 115245303A
Authority
CN
China
Prior art keywords
endoscope
coordinate system
image
dimensional
optical positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110448272.8A
Other languages
English (en)
Inventor
李冬瑞
杜成旭
冯文丰
张腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Hospital of Hebei Medical University
Original Assignee
Second Hospital of Hebei Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Hospital of Hebei Medical University filed Critical Second Hospital of Hebei Medical University
Priority to CN202110448272.8A priority Critical patent/CN115245303A/zh
Publication of CN115245303A publication Critical patent/CN115245303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开一种用于内窥镜三维导航的图像融合系统和方法。该系统包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，其中图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据和光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。利用本发明，将内窥镜视野二维图像与检查前三维图像相结合，为医生进行内窥镜检查提供丰富的图像信息用于辅助诊断。

Description

一种用于内窥镜三维导航的图像融合系统和方法
技术领域
本发明涉及内窥镜图像的技术领域，尤其涉及一种用于内窥镜三维导航的图像融合系统和方法。
背景技术
CT/MR等三维图像数据提供了患者身体组织丰富的解剖信息，包括病灶及其与周围组织结构如血管的空间位置关系等。在医学图像引导的介入治疗过程中，医生通过参考患者的三维图像确定病灶与周围组织血管的相对空间位置关系，避免在检查和治疗过程中伤害患者重要的解剖组织结构。
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，可以经口腔进入胃内或经其他天然孔道进入体内。因此可以看到X射线不能显示的病变，借助内窥镜医生可以观察如胃内的溃疡或肿瘤，据此为患者制定出最佳的治疗方案。
然而，内窥镜视野范围有限，很难看清楚病灶全貌，同时无法准确分辨病灶与周围组织血管的空间关系，另外，由于内窥镜在患者体内，医生无法准确分辨其当前在患者体内的具体位置，可能对病灶的定位引入误差。
发明内容
针对现有技术中存在的上述技术问题，本发明提供了一种用于内窥镜三维导航的图像融合系统，可以将检查前CT/MR等三维影像与内窥镜当前视野图像实时融合显示。通过在内窥镜上安装光学定位标记实时定位其空间位置，医生利用内窥镜多角度扫描查看病灶及其周围的组织结构，软件利用多帧内窥镜图像重建出病灶及其周围组织结构的空间点云，并与CT/MR等三维影像中提前分割重建完成的点云进行配准，完成人体空间与术前三维影像空间的配准，之后通过实时移动内窥镜，软件提供当前内窥镜视野中的三维影像并与内窥镜图像进行叠加显示。
本发明实施例提供了一种用于内窥镜三维导航的图像融合系统，包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，其中，图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示；光学定位标记安装在内窥镜上；光学定位系统用于实时追踪光学定位标记的空间位置；内窥镜系统用于内窥镜检查。
本发明实施例还提供了一种用于内窥镜三维导航的图像融合方法，包括：将检查前三维图像导入图形工作站；图形工作站分割病灶及其周围组织结构，输出分割结果的二维图像，将二维图像转换为只有轮廓的三角面片，进一步提取病灶及其周围组织结构的图像点云数据；在内窥镜上安装光学定位标记，设置光学定位系统用于实时追踪光学定位标记的空间位置；利用内窥镜捕捉病灶及其周围组织结构的多帧二维视野图像；基于多帧二维视野图像，图形工作站将多帧二维视野图像重建为光学定位标记所关联的光学定位空间的三维点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据；图形工作站基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；图形工作站计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；移动内窥镜，基于内窥镜的实时空间位置，图形工作站实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
在一些实施例中，所述光学定位标记为用于光学定位的反光小球或者黑白棋盘格。
在一些实施例中，基于内窥镜视角坐标系到光学定位标记坐标系的空间变换、光学定位标记坐标系到光学定位系统坐标系的空间变换、光学定位系统坐标系到检查前三维图像坐标系的空间变换来得到所述内窥镜视角坐标系到检查前三维图像坐标系的空间变换。
与现有技术相比，本发明实施例的有益效果在于：
1、将内窥镜视野二维图像与检查前三维图像相结合，为医生进行内窥镜检查提供丰富的图像信息用于辅助诊断；
2、检查前三维图像可提供病灶与周围组织结构清晰完整的3D地图，方便医生进行内窥镜检查时实时多角度观察病灶与周围组织结构三维空间的相对位置关系；
3、基于点云配准算法自动完成人体空间与术前三维影像空间的配准，节省手动配准时间。
附图说明
图1为本发明实施例的用于内窥镜三维导航的图像融合系统的结构框图。
图2为各坐标系的空间变换的示意图。
图3为本发明实施例的基于内窥镜图像重建三维场景的方法的流程图。
图4为内窥镜图像与当前视野三维影像叠加显示的示意图。
具体实施方式
下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。通过参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。
本发明实施例提供了一种用于内窥镜三维导航的图像融合系统。
图1为本发明实施例的用于内窥镜三维导航的图像融合系统的结构框图。
用于内窥镜三维导航的图像融合系统包括图形工作站、光学定位标记、光学定位系统、内窥镜系统。
图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
光学定位标记安装在内窥镜上，例如可以在输尿管镜末端安装用于光学定位的反光小球或者黑白棋盘格。
光学定位系统用于实时追踪光学定位标记的空间位置。例如可以使用双目相机基于双目定位原理实时追踪安装在内窥镜上的光学定位标记如反光小球或者黑白棋盘格的空间位置。
内窥镜系统用于常规内窥镜检查。内窥镜系统是现有常规的，因此不再赘述。
图3为本发明实施例的用于内窥镜三维导航的图像融合方法的流程图。本发明的用于内窥镜三维导航的图像融合方法的步骤为；
步骤S100，导入检查前三维图像。
在该步骤中，将患者检查前的三维图像数据导入图形工作站，三维图像数据例如CT图像、MR图像、三维超声图像、PET/CT图像等。
步骤S200，图形工作站可基于阈值分割、活动轮廓、稀疏场水平集、深度学习等算法自动分割病灶及其周围组织结构，输出分割结果的二维图像，利用等值面提取等算法将二维图像转换为只有轮廓的三角面片，进一步提取病灶及其周围组织结构的图像点云数据；
在该步骤中，图形工作站分割病灶及其周围组织结构，提取图像点云数据DI。
步骤S300，在内窥镜上安装光学定位标记，设置光学定位系统用于实时追踪光学定位标记的空间位置。
光学定位标记可为表面涂有特殊材质的反光小球，也可为传统的平面黑白棋盘格，可将光学定位标记安装在内窥镜末端，需保证内窥镜检查过程中光学定位标记与内窥镜的相对空间位置关系保持不变，且光学定位标记始终可被光学定位系统所追踪定位；
步骤S400，利用内窥镜捕捉病灶及其周围组织结构的多帧二维视野图像。
在该步骤中，医生利用内窥镜多角度扫描查看病灶及其周围的组织结构，该步骤是现有常规的，因此不再赘述。
步骤S500，基于多帧二维视野图像，图形工作站将多帧二维视野图像重建为光学定位标记所关联的光学定位空间的三维点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据。
基于多帧二维视野图像，图形工作站可基于加权迭代特征算法等自动将多帧二维视野图像重建为光学定位空间的三维点云数据，基于形状轮廓约束等先验信息在整个点云数据中自动分割病灶及其周围组织结构，提取病灶及其周围组织结构在光学定位空间中的光学点云数据DO；
光学点云数据与图像点云数据的区别是，后者是基于检查前三维图像所生成的，即为病灶及其周围组织结构在检查前三维图像空间中的坐标位置信息，而前者是由光学定位空间中多帧内窥镜二维视野图像所生成，即为病灶及其周围组织结构在光学定位空间中的坐标位置信息。
步骤S600，图形工作站基于采样一致性初始配准、迭代最近点等点云配准算法自动匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；
在该步骤中，基于点云配准算法自动完成图像点云数据DI与光学点云数据DO的配准，实现光学定位空间与三维图像空间的统一，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换
Figure BDA0003037769360000051
Figure BDA0003037769360000052
其中R是维度3x3的旋转矩阵，代表两个坐标系之间的姿态变换，为单位正交矩阵，t是维度3x1的平移矢量，代表两个坐标系之间的平移变换。光学定位空间中的一点(xo,yo,zo)T，其齐次坐标(xo,yo,zo,1)T通过左乘空间变换
Figure BDA0003037769360000053
便可求出其在三维图像空间中的坐标(xI,yI,zI,1)T。
步骤S700，图形工作站计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换。
本系统所涉及的空间变换如图2所示，符号T表示空间变换的齐次矩阵。其中，
Figure BDA0003037769360000054
表示内窥镜视角坐标系到光学定位标记坐标系的空间变换，通过机械设计尺寸获得，为已知；
Figure BDA0003037769360000055
表示光学定位标记坐标系到光学定位系统坐标系的空间变换，通过光学定位系统的定位信息获得，为已知；
Figure BDA0003037769360000056
表示光学定位系统坐标系到检查前三维图像坐标系的空间变换，由步骤S600获得；则内窥镜视角坐标系到检查前三维图像坐标系的空间变换
Figure BDA0003037769360000057
的计算公式为：
Figure BDA0003037769360000058
步骤800，移动内窥镜，基于内窥镜的实时空间位置，图形工作站实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示.
在该步骤中，移动内窥镜，图形工作站实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
这样，利用本发明的系统和方法，可以将内窥镜视野二维图像与检查前三维图像相结合，为医生进行内窥镜检查提供丰富的图像信息用于辅助诊断；检查前三维图像可提供病灶与周围组织结构清晰完整的3D地图，方便医生进行内窥镜检查时实时多角度观察病灶与周围组织结构三维空间的相对位置关系；基于点云配准算法自动完成人体空间与术前三维影像空间的配准，节省手动配准时间。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (6)

1.一种用于内窥镜三维导航的图像融合系统，其特征在于，包括图形工作站、光学定位标记、光学定位系统、内窥镜系统，
图形工作站用于导入检查前三维图像并进行重建和后处理，提取病灶及其周围组织结构的图像点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据，基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；基于内窥镜的实时空间位置，实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示；
光学定位标记安装在内窥镜上；
光学定位系统用于实时追踪光学定位标记的空间位置；
内窥镜系统用于内窥镜检查。
2.根据权利要求1所述的用于内窥镜三维导航的图像融合系统，其特征在于，所述光学定位标记为用于光学定位的反光小球或者黑白棋盘格。
3.根据权利要求1所述的用于内窥镜三维导航的图像融合方法，其特征在于，基于内窥镜视角坐标系到光学定位标记坐标系的空间变换、光学定位标记坐标系到光学定位系统坐标系的空间变换、光学定位系统坐标系到检查前三维图像坐标系的空间变换来得到所述内窥镜视角坐标系到检查前三维图像坐标系的空间变换。
4.一种用于内窥镜三维导航的图像融合方法，其特征在于，包括：
将检查前三维图像导入图形工作站；
图形工作站分割病灶及其周围组织结构，输出分割结果的二维图像，将二维图像转换为只有轮廓的三角面片，进一步提取病灶及其周围组织结构的图像点云数据；
在内窥镜上安装光学定位标记，设置光学定位系统用于实时追踪光学定位标记的空间位置；
利用内窥镜捕捉病灶及其周围组织结构的多帧二维视野图像；
基于多帧二维视野图像，图形工作站将多帧二维视野图像重建为光学定位空间的三维点云数据，提取病灶及其周围组织结构在光学定位空间中的光学点云数据；
图形工作站基于点云配准算法匹配图像点云数据和光学点云数据，计算出光学定位系统坐标系到检查前三维图像坐标系的空间变换；
图形工作站计算内窥镜视角坐标系到检查前三维图像坐标系的空间变换；
移动内窥镜，基于内窥镜的实时空间位置，图形工作站实时显示对应于内窥镜图像的三维图像的当前视野，与内窥镜图像叠加融合显示。
5.根据权利要求4所述的用于内窥镜三维导航的图像融合方法，其特征在于，所述光学定位标记为用于光学定位的反光小球或者黑白棋盘格。
6.根据权利要求4所述的用于内窥镜三维导航的图像融合方法，其特征在于，基于内窥镜视角坐标系到光学定位标记坐标系的空间变换、光学定位标记坐标系到光学定位系统坐标系的空间变换、光学定位系统坐标系到检查前三维图像坐标系的空间变换来得到所述内窥镜视角坐标系到检查前三维图像坐标系的空间变换。
CN202110448272.8A 2021-04-25 2021-04-25 一种用于内窥镜三维导航的图像融合系统和方法 Pending CN115245303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110448272.8A CN115245303A (zh) 2021-04-25 2021-04-25 一种用于内窥镜三维导航的图像融合系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110448272.8A CN115245303A (zh) 2021-04-25 2021-04-25 一种用于内窥镜三维导航的图像融合系统和方法

Publications (1)

Publication Number Publication Date
CN115245303A true CN115245303A (zh) 2022-10-28

Family

ID=83696873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110448272.8A Pending CN115245303A (zh) 2021-04-25 2021-04-25 一种用于内窥镜三维导航的图像融合系统和方法

Country Status (1)

Country Link
CN (1) CN115245303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495693A (zh) * 2023-10-24 2024-02-02 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495693A (zh) * 2023-10-24 2024-02-02 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备

Similar Documents

Publication Publication Date Title
US11883118B2 (en) Using augmented reality in surgical navigation
CN110010249B (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
EP2429400B1 (en) Quantitative endoscopy
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
EP2637593B1 (en) Visualization of anatomical data by augmented reality
JP6395995B2 (ja) 医療映像処理方法及び装置
US7756308B2 (en) Registration of three dimensional image data to 2D-image-derived data
Bernhardt et al. Automatic localization of endoscope in intraoperative CT image: A simple approach to augmented reality guidance in laparoscopic surgery
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
Zhang et al. A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy
US20140160264A1 (en) Augmented field of view imaging system
WO2017027638A1 (en) 3d reconstruction and registration of endoscopic data
EP2423877A1 (en) Endoscopic image processing device, method and program
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
KR20150019311A (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
CN114145846A (zh) 基于增强现实辅助的手术导航方法及系统
Liu et al. Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
CN115245303A (zh) 一种用于内窥镜三维导航的图像融合系统和方法
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
CN115245302A (zh) 一种基于内窥镜图像重建三维场景的系统和方法
CN115953377A (zh) 消化道超声内窥镜图像融合方法和系统
CN111462314B (zh) 器官三维图像重建方法、手术导航方法及手术辅助系统
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination