CN111772792B - 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 - Google Patents

基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 Download PDF

Info

Publication number
CN111772792B
CN111772792B CN202010779889.3A CN202010779889A CN111772792B CN 111772792 B CN111772792 B CN 111772792B CN 202010779889 A CN202010779889 A CN 202010779889A CN 111772792 B CN111772792 B CN 111772792B
Authority
CN
China
Prior art keywords
image
surgical
data
dimensional
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010779889.3A
Other languages
English (en)
Other versions
CN111772792A (zh
Inventor
孙殿珉
成金玲
段星光
李建玺
刘治
宋锐
赵洪华
周乐来
陈永健
王校
田广野
张雪峰
左盼莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Original Assignee
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Cancer Hospital & Institute (shandong Cancer Hospital) filed Critical Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Priority to CN202010779889.3A priority Critical patent/CN111772792B/zh
Publication of CN111772792A publication Critical patent/CN111772792A/zh
Application granted granted Critical
Publication of CN111772792B publication Critical patent/CN111772792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，所述方法包括以下步骤：采集手术现场图像并实时获取手术中内窥镜的位置；术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；将医学数字图像数据输入训练好的深度卷积网络，得到精确的第二手术目标部位；对第二手术目标部位进行三维重建，获得三维模型；通过内窥镜获取实时术中图像并与三维模型进行配准；采集手术器械在手术场景坐标系中的姿态和位置，与三维模型位置关系进行配准；通过增强现实显示设备实时输出增强现实手术导航图像。本发明通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。

Description

基于增强现实和深度学习的内窥镜手术导航方法、系统和可 读存储介质
技术领域
本发明涉及图像处理和医疗技术领域，更具体的，涉及一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学以及软件等一体的检测仪器。它包括图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内或经其他天然孔道和手术切口进入体内。在现代医学中，通过内窥镜可以看到X射线不能显示的病变。增强现实技术是指把原本在现实世界的一定时间空间范围内很难体验到实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超现实的感官体验，简称AR技术。目前，虽然VR技术为手术操作提供了极大的便利，但是医务人员仍旧无法将术前三维扫描信息与术中实际操作中的视野信息同步，这不仅增加了医务人员的负担，也分散了医务人员的注意力。因此，采用虚实结合的增强现实技术可以有效解决上述问题。通过三维重建和空间映射模型，将虚拟的三维模型与真实的术中图像进行虚实结合，为医务人员提供更加真实的三维信息，不仅扩展了手术操作视野，还可以帮助医生定位跟踪手术器械，提高手术的准确度和安全性。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质。
为了解决上述的技术问题，本发明第一方面公开了一种基于增强现实和深度学习的内窥镜手术导航方法，所述方法包括：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。
本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。
本方案中，所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。
本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。
本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。
本方案中，所述深度卷积网络的建立过程为：
获取大量相关医学数字图像数据作为训练图像集；
提取所述训练图像集的灰度图、LBP特征图、HOG特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；
将所述的深度卷积特征输入到分类器，进一步得到预测结果；
根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。
本方案中，所述增强现实显示设备为双目头盔显示器。
本发明第二方面公开了一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，包括存储器和处理器，所述存储器中包括基于增强现实和深度学习的内窥镜手术导航方法程序，所述基于增强现实和深度学习的内窥镜手术导航方法程序被所述处理器执行时实现如下步骤：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。
本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。
本方案中，所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。
本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。
本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。
本方案中，所述深度卷积网络的建立过程为：
获取大量相关医学数字图像数据作为训练图像集；
提取所述训练图像集的灰度图、LBP特征图、HOG特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；
将所述的深度卷积特征输入到分类器，进一步得到预测结果；
根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。
本方案中，所述增强现实显示设备为双目头盔显示器。
本方案中，所述的基于增强现实和深度学习的内窥镜手术导航系统包括图像数据采集模块、图像数据导入模块、图像数据配准模块、深度学习模块、三维扫描模块、坐标计算模块、输出显示模块。
本发明第三方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种基于增强现实和深度学习的内窥镜手术导航方法程序，所述一种基于增强现实和深度学习的内窥镜手术导航方法程序被处理器执行时，实现上述的一种基于增强现实和深度学习的内窥镜手术导航方法的步骤。
本发明公开的一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。
附图说明
图1示出了本发明一种基于增强现实和深度学习的内窥镜手术导航方法流程图；
图2示出了本发明一种基于增强现实和深度学习的内窥镜手术导航系统的框图。
具体实施方法
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于增强现实和深度学习的内窥镜手术导航方法流程图。
如图1所示，本发明第一方面公开了一种基于增强现实和深度学习的内窥镜手术导航方法，包括：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。
需要说明的是，本发明中所述的内窥镜具体指手术用内窥镜，可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜及心脏镜中的一个或一个以上。
本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。
本方案中，所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。
需要说明的是，本发明中所述进行全局优化精配准前先进行粗配准，具体通过选取部分特征点进行局部配准从而获得一个初始对应关系，并基于该初始对应关系进行全局粗配准。
本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。
需要说明的是，本发明中所述旋转角度可以根据不同手术情况进行匹配性的提前预设，设旋转角度为θ，旋转次数为n，则旋转次数与旋转角度的数学关系为：其中θ的度数取值设置为5的倍数，5≤θ≤360，n按照四舍五入的原则取整数。
本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。
需要说明的是，本发明中所述配准标记点需按照手术目标部位的复杂程度和手术操作难易进行相应的数量和位置设定；上述不同空间位置坐标系经转换配准后，即可实现虚实空间的叠加融合。
本方案中，所述深度卷积网络的建立过程为：
获取大量相关医学数字图像数据作为训练图像集；
提取所述训练图像集的灰度图、LBP特征图、HOG特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；
将所述的深度卷积特征输入到分类器，进一步得到预测结果；
根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。
需要说明的是，本发明中所述深度卷积网络的输出结果为医学数字图像数据的图像分割结果；所述图像分割结果需经医务人员基于医学知识和临床经验进一步审查确认。
本方案中，所述增强现实显示设备为双目头盔显示器。
图2示出了本发明一种基于增强现实和深度学习的内窥镜手术导航系统的框图。
如图2所示，本发明第二方面公开了一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，包括存储器和处理器，所述存储器中包括基于增强现实和深度学习的内窥镜手术导航方法程序，所述基于增强现实和深度学习的内窥镜手术导航方法程序被所述处理器执行时实现如下步骤：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。
需要说明的是，本发明中所述的内窥镜具体指手术用内窥镜，可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜及心脏镜中的一个或一个以上。
需要说明的是，所述处理器可以是中央处理单元(CentralProcessi ngUnit，CPU)，还可以是其他通用处理器、数字信号处理(DigitalSig nalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircu it，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。
本方案中，所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。
需要说明的是，本发明中所述进行全局优化精配准前先进行粗配准，具体通过选取部分特征点进行局部配准从而获得一个初始对应关系，并基于该初始对应关系进行全局粗配准。
本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。
需要说明的是，本发明中所述旋转角度可以根据不同手术情况进行匹配性的提前预设，设旋转角度为θ，旋转次数为n，则旋转次数与旋转角度的数学关系为：其中θ的度数取值设置为5的倍数，5≤θ≤360，n按照四舍五入的原则取整数。
本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。
需要说明的是，本发明中所述配准标记点需按照手术目标部位的复杂程度和手术操作难易进行相应的数量和位置设定；上述不同空间位置坐标系经转换配准后，即可实现虚实空间的叠加融合。
本方案中，所述深度卷积网络的建立过程为：
获取大量相关医学数字图像数据作为训练图像集；
提取所述训练图像集的灰度图、LBP特征图、HOG特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；
将所述的深度卷积特征输入到分类器，进一步得到预测结果；
根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。
需要说明的是，本发明中所述深度卷积网络的输出结果为医学数字图像数据的图像分割结果；所述图像分割结果需经医务人员基于医学知识和临床经验进一步审查确认。
本方案中，所述增强现实显示设备为双目头盔显示器。
本方案中，所述的基于增强现实和深度学习的内窥镜手术导航系统包括图像数据采集模块、图像数据导入模块、图像数据配准模块、深度学习模块、三维扫描模块、坐标计算模块、输出显示模块。
本发明第三方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种基于增强现实和深度学习的内窥镜手术导航方法程序，所述一种基于增强现实和深度学习的内窥镜手术导航方法程序被处理器执行时，实现上述的一种基于增强现实和深度学习的内窥镜手术导航方法的步骤。
本发明公开的一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (3)

1.一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，包括存储器和处理器，所述存储器中包括基于增强现实和深度学习的内窥镜手术导航方法程序，所述基于增强现实和深度学习的内窥镜手术导航方法程序被所述处理器执行时实现如下步骤：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；其中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据；所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据；所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正；所述旋转角度可以根据不同手术情况进行匹配性的提前预设；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。
2.根据权利要求1所述的一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，所述的基于增强现实和深度学习的内窥镜手术导航系统包括图像数据采集模块、图像数据导入模块、图像数据配准模块、深度学习模块、三维扫描模块、坐标计算模块、输出显示模块。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种基于增强现实和深度学习的内窥镜手术导航方法程序，所述一种基于增强现实和深度学习的内窥镜手术导航方法程序被处理器执行时，实现一种基于增强现实和深度学习的内窥镜手术导航方法的步骤，所述一种基于增强现实和深度学习的内窥镜手术导航方法包括：
确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；
术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；
将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；
对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；其中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据；所述术前点云数据与术中点云数据需进一步基于AMP算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据；所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正；所述旋转角度可以根据不同手术情况进行匹配性的提前预设；
手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；
通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；
通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像；
其中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系；
所述深度卷积网络的建立过程为：
获取大量相关医学数字图像数据作为训练图像集；
提取所述训练图像集的灰度图、LBP特征图、HOG特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；
将所述的深度卷积特征输入到分类器，进一步得到预测结果；
根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤；
所述增强现实显示设备为双目头盔显示器。
CN202010779889.3A 2020-08-05 2020-08-05 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 Active CN111772792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010779889.3A CN111772792B (zh) 2020-08-05 2020-08-05 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010779889.3A CN111772792B (zh) 2020-08-05 2020-08-05 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Publications (2)

Publication Number Publication Date
CN111772792A CN111772792A (zh) 2020-10-16
CN111772792B true CN111772792B (zh) 2023-11-28

Family

ID=72765864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010779889.3A Active CN111772792B (zh) 2020-08-05 2020-08-05 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN111772792B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112515767B (zh) * 2020-11-13 2021-11-16 中国科学院深圳先进技术研究院 手术导航装置、设备及计算机可读存储介质
CN114550876A (zh) * 2020-11-18 2022-05-27 台北医学大学 基于增强现实的手术决策支持系统及其方法
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
CN112802185B (zh) * 2021-01-26 2022-08-02 合肥工业大学 面向微创手术空间感知的内窥镜图像三维重构方法和系统
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113081268A (zh) * 2021-03-31 2021-07-09 上海电气集团股份有限公司 基于AR和IoT的手术引导系统
CN113133828B (zh) * 2021-04-01 2023-12-01 上海复拓知达医疗科技有限公司 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质
CN113288425A (zh) * 2021-05-27 2021-08-24 徐州医科大学附属医院 一种四肢骨折固定中导针用可视化导航系统
CN114224512B (zh) * 2021-12-30 2023-09-19 上海微创医疗机器人（集团）股份有限公司 碰撞检测方法、装置、设备、可读存储介质和程序产品
CN114010314B (zh) * 2021-10-27 2023-07-07 北京航空航天大学 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统
CN114145846B (zh) * 2021-12-06 2024-01-09 北京理工大学 基于增强现实辅助的手术导航方法及系统
CN113925611A (zh) * 2021-12-16 2022-01-14 北京诺亦腾科技有限公司 对象三维模型和对象实体的匹配方法、装置、设备及介质
CN113952033B (zh) * 2021-12-21 2022-04-19 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法
CN117710279A (zh) * 2022-09-06 2024-03-15 中国科学院自动化研究所 内窥镜定位方法、电子设备和非暂态计算机可读存储介质
CN116153147A (zh) * 2023-02-28 2023-05-23 中国人民解放军陆军特色医学中心 3d-vr双目立体视觉影像构建方法及内镜操作教学装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端

Also Published As

Publication number Publication date
CN111772792A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111772792B (zh) 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
US8939892B2 (en) Endoscopic image processing device, method and program
EP2637593B1 (en) Visualization of anatomical data by augmented reality
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
Edwards et al. SERV-CT: A disparity dataset from cone-beam CT for validation of endoscopic 3D reconstruction
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
US20160228075A1 (en) Image processing device, method and recording medium
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP2011212301A (ja) 投影画像生成装置および方法、並びにプログラム
US9830737B2 (en) Virtual endoscopic image generation device, method, and medium containing program
JP2017164496A (ja) 医用画像処理装置及び医用画像処理プログラム
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航系统
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
US20230123621A1 (en) Registering Intra-Operative Images Transformed from Pre-Operative Images of Different Imaging-Modality for Computer Assisted Navigation During Surgery
CN115105202A (zh) 一种用于腔镜手术中的病灶确认方法及系统
KR20220096157A (ko) 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
KR101977650B1 (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
Lu et al. Virtual-real registration of augmented reality technology used in the cerebral surgery lesion localization
Morton Validation of 3D surface measurements using computed tomography
Deligianni Visual augmentation for virtual environments in surgical training.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant