CN116327364A - 内窥镜辅助支气管术中导航方法、系统、介质及电子设备 - Google Patents

内窥镜辅助支气管术中导航方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN116327364A
CN116327364A CN202310395941.9A CN202310395941A CN116327364A CN 116327364 A CN116327364 A CN 116327364A CN 202310395941 A CN202310395941 A CN 202310395941A CN 116327364 A CN116327364 A CN 116327364A
Authority
CN
China
Prior art keywords
virtual
image
dimensional
bronchus
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310395941.9A
Other languages
English (en)
Inventor
吕文尔
侯小燕
王少白
刘金涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhuoxin Medical Technology Co ltd
Original Assignee
Shanghai Zhuoxin Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuoxin Medical Technology Co ltd filed Critical Shanghai Zhuoxin Medical Technology Co ltd
Priority to CN202310395941.9A priority Critical patent/CN116327364A/zh
Publication of CN116327364A publication Critical patent/CN116327364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种内窥镜辅助支气管术中导航方法、系统、介质及电子设备，该方法包括获取三维扫描图像用于建立支气管三维虚拟模型和规划导航路径；选择目标点和激活点；在初始激活点处，在支气管三维虚拟模型内生成虚拟内窥镜图像组，在支气管内生成目标内窥镜图像；选取虚拟内窥镜图像组中的最优虚拟内窥镜图像；配准融合目标内窥镜图像和最优虚拟内窥镜图像并变换三维虚拟模型以对内窥镜进行导航；逐个激活点执行生成目标内窥镜图像和获得最优虚拟内窥镜图像，配准融合目标内窥镜图像和最优虚拟内窥镜图像以导航内窥镜直至到达目标点。该方法能够建立三维CT图像与真实内窥镜图像之间的关联，从而辅助确定导航路径以控制诊疗器械更准确地导航。

Description

内窥镜辅助支气管术中导航方法、系统、介质及电子设备
技术领域
本发明涉及医疗器械导航技术领域，尤其涉及一种内窥镜辅助支气管术中导航方法、系统、介质及电子设备。
背景技术
基于内窥镜进行肺部结节活检是进行肺癌筛查的重要手段，在内窥镜镜检之前，医生首先对病人进行三维电子计算机断层扫描(Computed Tomography，CT)，获取肺和支气管等组织的形态位置，以及肺部结节的形态位置。然后在镜检过程中，医生通过操作内窥镜导航到期望的肺结节位置。
然而在操作内窥镜的导航过程中医生对三维CT图像和真实的内窥镜图像没有实际位置的关联，医生操作内窥镜的导航过程实际上是在进行盲检，这种盲检严重依赖医生的经验和内窥镜操作技术，操作过程中的不确定性强，手术成功率受限于医生的技术水平。因此，有必要提供一种新的支气管术中导航方法以解决上述问题。
发明内容
本发明的目的在于提供一种内窥镜辅助支气管术中导航方法、系统、介质及电子设备，用以解决三维CT图像与真实内窥镜图像没有实际的位置关联的问题。
第一方面，本发明提供的内窥镜辅助支气管术中导航方法包括：获取支气管的三维扫描图像，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径；根据设定标准选择所述导航路径上的目标点和N个激活点，N为正整数；在所述支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在所述支气管内的初始激活点处通过内窥镜生成目标内窥镜图像；比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像；对所述目标内窥镜图像和所述最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述支气管三维虚拟模型进行变换以使所述支气管三维虚拟模型与所述支气管方位一致，沿所述导航路径对所述内窥镜进行导航；在逐个激活点处执行在所述支气管三维虚拟模型内生成虚拟内窥镜图像组和在所述支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述内窥镜进行导航，直至所述内窥镜到达所述目标点以完成导航。
本发明提供的内窥镜辅助支气管术中导航方法的有益效果在于：基于对支气管的三维重建得到支气管三维虚拟模型和通过在支气管三维虚拟模型内进行虚拟内窥镜渲染的方式辅助实现建立三维CT图像与真实内窥镜图像之间的关联，能够帮助医生更好地导航到已定位的结节或是需要导航的位置。该方法辅助医生确定导航路径并控制支气管镜、活检和诊疗器械进行更准确地导航，从而精准定位肺结节等病灶。
一种可能的实施例中，比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像，包括：将所述虚拟内窥镜图像组中的虚拟内窥镜图像逐一与所述目标内窥镜图像进行相似度评估；选取所述虚拟内窥镜图像组中与所述目标内窥镜图像相似度最高的所述虚拟内窥镜图像作为所述最优虚拟内窥镜图像。
另一种可能的实施例中，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径，包括：根据所述三维扫描图像进行支气管分割；进行所述支气管的三维重建以建立支气管三维虚拟模型；提取所述支气管三维虚拟模型的中心线，遍历所述中心线生成支气管树；根据所述三维扫描图像识别所述支气管中的结节，进行所述结节的三维重建；根据所述结节的位置和所述支气管树规划导航路径。
其它可能的实施例中，根据所述结节的位置和所述支气管树规划导航路径，包括：根据所述结节的位置，在所述支气管树上选择到达所述结节的可行路径；选择所述可行路径中的最短路径作为导航路径。
根据设定标准选择所述导航路径上的N个激活点，包括：将所述支气管三维虚拟模型中分叉路口处的点设为节点；选择所述导航路径上的所述节点作为所述激活点。
第二方面，本发明还提供了一种内窥镜辅助支气管术中导航系统，包括：
路径规划单元，用于获取支气管的三维扫描图像，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径；
选择单元，用于根据设定标准选择所述导航路径上的目标点和N个激活点，N为正整数；
图像生成单元，用于在所述支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在所述支气管内的初始激活点处通过内窥镜生成目标内窥镜图像；
图像选取单元，用于比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像；
变换单元，用于对所述目标内窥镜图像和所述最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述支气管三维虚拟模型进行变换以使所述支气管三维虚拟模型与所述支气管方位一致，沿所述导航路径对所述内窥镜进行导航；
导航单元，用于在逐个激活点处执行在所述支气管三维虚拟模型内生成虚拟内窥镜图像组和在所述支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述内窥镜进行导航，直至所述内窥镜到达所述目标点以完成导航。
所述图像选取单元比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像，具体用于：将所述虚拟内窥镜图像组中的虚拟内窥镜图像逐一与所述目标内窥镜图像进行相似度评估；选取所述虚拟内窥镜图像组中与所述目标内窥镜图像相似度最高的所述虚拟内窥镜图像作为所述最优虚拟内窥镜图像。
所述路径规划单元根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径，具体用于：根据所述三维扫描图像进行支气管分割；进行所述支气管的三维重建以建立支气管三维虚拟模型；提取所述支气管三维虚拟模型的中心线，遍历所述中心线生成支气管树；根据所述三维扫描图像识别所述支气管中的结节，进行所述结节的三维重建；根据所述结节的位置和所述支气管树规划导航路径。
根据所述结节的位置和所述支气管树规划导航路径，包括：根据所述结节的位置，在所述支气管树上选择到达所述结节的可行路径；选择所述可行路径中的最短路径作为导航路径。
所述选择单元根据设定标准选择所述导航路径上的N个激活点，包括：将所述支气管三维虚拟模型中分叉路口处的点设为节点；选择所述导航路径上的所述节点作为所述激活点。
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
第四方面，本发明还提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述方法。
关于上述第二方面至第四方面的有益效果可以参见上述第一方面的描述。
附图说明
图1为本发明实施例提供的内窥镜辅助支气管术中导航方法的流程示意图；
图2为本发明实施例提供的选择初始视觉生成虚拟内窥镜图像采用光线投射法时的结构示意图；
图3为本发明实施例提供的支气管三维虚拟模型的示意图；
图4为本发明实施例提供的对支气管三维虚拟模进行中心线提取的结果示意图；
图5为本发明实施例提供的根据结节的位置和支气管树规划的导航路径的示意图；
图6为本发明实施例提供的随机生成的一帧虚拟内窥镜图像；
图7为本发明实施例提供的目标内窥镜图像；
图8为本发明实施例提供的最优虚拟内窥镜图像；
图9为本发明实施例提供的将最优虚拟内窥镜图像和目标内窥镜图像进行配准融合后的结果示意图；
图10为本发明实施例提供的内窥镜辅助支气管术中导航装置的结构示意图；
图11为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对现有技术存在的问题，本发明的实施例提供了一种内窥镜辅助支气管术中导航方法、系统、介质及电子设备，以解决三维CT图像与真实内窥镜图像没有实际的位置关联的问题。
本实施例提供了一种内窥镜辅助支气管术中导航方法。参见说明书附图1，该方法包括：
S1：获取支气管的三维扫描图像，根据三维扫描图像建立支气管三维虚拟模型，根据支气管三维虚拟模型规划导航路径。
在S1中，一种可能的实施例中，获取支气管的三维扫描图像之后，还包括进行三维扫描图像的质量进行评估。三维扫描图像质量评估的标准包括：三维扫描图像是否包含气管入口和整个肺部区域，分辨率是否满足设定标准。
在一个具体的实施例中，三维扫描图像要求包含气管入口和整个肺部区域，分辨率要求小于0.8mm，层厚小于1mm，根据满足三维扫描图像质量评估要求的三维扫描图像建立支气管三维虚拟模型。
一种可能的实施例中，根据三维扫描图像建立支气管三维虚拟模型，根据支气管三维虚拟模型规划导航路径，包括：根据三维扫描图像进行支气管分割；进行支气管的三维重建以建立支气管三维虚拟模型；提取支气管三维虚拟模型的中心线，遍历中心线生成支气管树；根据三维扫描图像识别支气管中的结节，进行结节的三维重建；根据结节的位置和支气管树规划导航路径。
一种可能的实施例中，在建立支气管三维虚拟模型后还包括对支气管三维虚拟模型进行表面平滑处理，以使支气管三维虚拟模型和真实的支气管更接近。
一种可能的实施例中，根据三维扫描图像识别支气管中的结节的方式可以有多种，例如：采用深度学习或传统图像处理的方式识别结节，或，采用根据三维扫描图像指定结节上的某一点的交互方式识别结节，或，给定某个断面结节的外边缘形态，根据算法识别结节的整体形态和位置，等等。
一种可能的实施例中，支气管的三维重建和结节的三维重建均采用移动立方体等面重建方法完成。
在一个具体的实施例中，根据结节的位置和支气管树规划导航路径，包括：根据结节的位置，在支气管树上选择到达结节的可行路径；选择可行路径中的最短路径作为导航路径。
在一个具体的实施例中，通过人机交互结合支气管拓扑结构生成导航路径，即通过在支气管拓扑结构上通过人工指定导航路径的方式完成导航路径的规划，使得导航路径的规划更为灵活。
一种可能的实施例中，三维扫描图像为三维CT图像。
S2：根据设定标准选择导航路径上的目标点和N个激活点，N为正整数。
在S2中，一种可能的实施例中，根据设定标准选择导航路径上的N个激活点，包括：将支气管三维虚拟模型中分叉路口处的点设为节点；选择导航路径上的节点作为激活点。
一种可能的实施例中，若导航路径的最后一点不是节点，则将其设置为激活点。
示例性地，目标点为结节所在位置的示意点。
S3：在支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在支气管内的初始激活点处通过内窥镜生成目标内窥镜图像。
在S3中，一种可能的实施例中，沿导航路径进行内窥镜导航，内窥镜要到达的第一个激活点为初始激活点。在支气管中，初始激活点位于隆突处。
在支气管三维虚拟模型内的初始激活点处，选择一个内窥镜获取图像的角度作为初始视觉开始进行虚拟内窥镜渲染得到虚拟内窥镜图像，在初始激活点处能够以内窥镜获取图像的不同角度分别进行虚拟内窥镜渲染得到虚拟内窥镜图像，从而在初始激活点处进行虚拟内窥镜渲染能够生成包括多张图像的虚拟内窥镜图像组。
参见说明书附图2，一种可能的实施例中，选择初始视觉生成虚拟内窥镜图像采用光线投射法，类似在重建的支气管模型里放置相机拍照生成图像，为了使生成的虚拟内窥镜图像和真实测内窥镜图像尽可能相似，需要事先测量好支气管镜成像系统的焦距和视野范围尺寸。照亮的支气管内壁可以近似用朗伯光照模型生成虚拟内窥镜图像，满足以下公式：
Figure BDA0004177643570000081
Figure BDA0004177643570000082
其中，I(x，y)表示生成的虚拟内窥镜图像，La表示环境光因子，R表示从光源到所观察的表面对应点p的距离，/>
Figure BDA0004177643570000083
为衰减因子，Φ表示相机轴线和相机到表面点p的夹角，θ表示光源方向和p点表面法线的夹角。
一种可能的实施例中，目标内窥镜图像基于内窥镜自带的成像系统生成。
S4：比较虚拟内窥镜图像组与目标内窥镜图像，在虚拟内窥镜图像组中选取最优虚拟内窥镜图像。
在S4中，一种可能的实施例中，比较虚拟内窥镜图像组与目标内窥镜图像，在虚拟内窥镜图像组中选取最优虚拟内窥镜图像，包括：将虚拟内窥镜图像组中的虚拟内窥镜图像逐一与目标内窥镜图像进行相似度评估；选取虚拟内窥镜图像组中与目标内窥镜图像相似度最高的虚拟内窥镜图像作为最优虚拟内窥镜图像。
一种可能的实施例中，虚拟内窥镜图像组中的虚拟内窥镜图像与目标内窥镜图像采用归一化互信息计算进行相似度评估。在本实施例中，初始视觉包括6个参数：虚拟相机三维位置x，y，z和初始照射角度α，β，γ，待优化的参数为实际参数和初始参数的偏差，Δx，Δy，Δz，Δα，Δβ，Δγ，设定位置偏差绝对值小于5和角度偏差绝对值小于18。通过优化求解得到虚拟内窥镜图像。
示例性地，归一化互信息计算的公式如下：HMI(A，B)＝H(A)+H(B)-H(A，B)，其中，
Figure BDA0004177643570000091
H(B)同理，H(A，B)＝-∑a,bpAB(a，b)log pAB(a，b)。其中，HMI(A，B)表示虚拟内窥镜图像与目标内窥镜图像的归一化互信息，H(A)表示目标内窥镜图像熵，H(B)表示虚拟内窥镜图像熵，H(A，B)表示目标内窥镜图像和虚拟内窥镜图像联合熵，N取256，pi表示灰度值为i的像素点在图像中出现的概率，pAB（a，b)是同一个位置的像素点在A图像中灰度值为a，在B图像中的灰度值为b的概率。
S5：对目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对支气管三维虚拟模型进行变换以使支气管三维虚拟模型与支气管方位一致，沿导航路径对内窥镜进行导航。
在S5中，一种可能的实施例中，采用基于归一化互信息的配准方法对目标内窥镜图像和最优虚拟内窥镜图像进行配准融合。对支气管三维虚拟模型进行的变换包括平移和旋转。在本实例中，采用一种进行优化算法优化求解参数，搜索参数空间和确定性转模型映射到图像顶部的最佳变换，也可以采用可以完成参数搜索的其它优化算法。
S6：在逐个激活点处执行在支气管三维虚拟模型内生成虚拟内窥镜图像组和在支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对内窥镜进行导航，直至内窥镜到达目标点以完成导航。
在一个具体的实施例中，根据本发明提供的内窥镜辅助支气管术中导航方法，进行支气管三维重建得到的支气管三维虚拟模型示意图如图3所示，对支气管三维虚拟模进行中心线提取的结果如图4所示，根据结节的位置和支气管树规划的导航路径如图5所示。随机生成的其中一帧虚拟内窥镜图像如图6所示，目标内窥镜图像如图7所示，比较虚拟内窥镜图像组与目标内窥镜图像后在虚拟内窥镜图像组中选取的最优虚拟内窥镜图像如图8所示，将最优虚拟内窥镜图像和目标内窥镜图像进行配准融合后的结果如图9所示。
本发明提供的内窥镜辅助支气管术中导航方法具有以下有益效果：基于对支气管的三维重建得到支气管三维虚拟模型和通过在支气管三维虚拟模型内进行虚拟内窥镜渲染的方式辅助实现建立三维CT图像与真实内窥镜图像之间的关联，能够帮助医生更好地导航到已定位的结节或是需要导航的位置。该方法辅助医生确定导航路径并控制支气管镜、活检和诊疗器械进行更准确地导航，从而精准定位肺结节等病灶，达到提高肺癌活检阳性率的目的。
参见说明书附图10，本实施例还提供了一种内窥镜辅助支气管术中导航系统，该系统包括：
路径规划单元101，用于获取支气管的三维扫描图像，根据三维扫描图像建立支气管三维虚拟模型，根据支气管三维虚拟模型规划导航路径。
选择单元102，用于根据设定标准选择所导航路径上的目标点和N个激活点，N为正整数。
图像生成单元103，用于在支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在支气管内的初始激活点处通过内窥镜生成目标内窥镜图像。
图像选取单元104，用于比较虚拟内窥镜图像组与目标内窥镜图像，在虚拟内窥镜图像组中选取最优虚拟内窥镜图像。
变换单元105，用于对目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对支气管三维虚拟模型进行变换以使支气管三维虚拟模型与支气管方位一致，沿导航路径对内窥镜进行导航。
导航单元106，用于在逐个激活点处执行在支气管三维虚拟模型内生成虚拟内窥镜图像组和在支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对内窥镜进行导航，直至内窥镜到达目标点以完成导航。
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本申请的另一些实施例中，本申请实施例公开了一种电子设备，如图11所示，该电子设备110可以包括：一个或多个处理器111；存储器112；显示器113；一个或多个应用程序(未示出)；以及一个或多个计算机程序114，上述各器件可以通过一个或多个通信总线115连接。其中该一个或多个计算机程序114被存储在上述存储器112中并被配置为被该一个或多个处理器111执行，该一个或多个计算机程序114包括指令，上述指令可以用于执行如图1及相应实施例中的各个步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种内窥镜辅助支气管术中导航方法，其特征在于，包括：
获取支气管的三维扫描图像，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径；
根据设定标准选择所述导航路径上的目标点和N个激活点，N为正整数；
在所述支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在所述支气管内的初始激活点处通过内窥镜生成目标内窥镜图像；
比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像；
对所述目标内窥镜图像和所述最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述支气管三维虚拟模型进行变换以使所述支气管三维虚拟模型与所述支气管方位一致，沿所述导航路径对所述内窥镜进行导航；
在逐个激活点处执行在所述支气管三维虚拟模型内生成虚拟内窥镜图像组和在所述支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述内窥镜进行导航，直至所述内窥镜到达所述目标点以完成导航。
2.根据权利要求1所述的方法，其特征在于，比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像，包括：
将所述虚拟内窥镜图像组中的虚拟内窥镜图像逐一与所述目标内窥镜图像进行相似度评估；
选取所述虚拟内窥镜图像组中与所述目标内窥镜图像相似度最高的所述虚拟内窥镜图像作为所述最优虚拟内窥镜图像。
3.根据权利要求1所述的方法，其特征在于，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径，包括：
根据所述支气管三维扫描图像进行支气管分割；
进行所述支气管的三维重建以建立支气管三维虚拟模型；
提取所述支气管三维虚拟模型的中心线，遍历所述中心线生成支气管树；
根据所述三维扫描图像识别所述支气管中的结节，进行所述结节的三维重建；
根据所述结节的位置和所述支气管树规划导航路径。
4.根据权利要求3所述的方法，其特征在于，根据所述结节的位置和所述支气管树规划导航路径，包括：
根据所述结节的位置，在所述支气管树上选择到达所述结节的可行路径；
选择所述可行路径中的最短路径作为导航路径。
5.根据权利要求1所述的方法，其特征在于，根据设定标准选择所述导航路径上的N个激活点，包括：
将所述支气管三维虚拟模型中分叉路口处的点设为节点；
选择所述导航路径上的所述节点作为所述激活点。
6.一种内窥镜辅助支气管术中导航系统，其特征在于，包括：
路径规划单元，用于获取支气管的三维扫描图像，根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径；
选择单元，用于根据设定标准选择所述导航路径上的目标点和N个激活点，N为正整数；
图像生成单元，用于在所述支气管三维虚拟模型内的初始激活点处进行虚拟内窥镜渲染生成虚拟内窥镜图像组，在所述支气管内的初始激活点处通过内窥镜生成目标内窥镜图像；
图像选取单元，用于比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像；
变换单元，用于对所述目标内窥镜图像和所述最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述支气管三维虚拟模型进行变换以使所述支气管三维虚拟模型与所述支气管方位一致，沿所述导航路径对所述内窥镜进行导航；
导航单元，用于在逐个激活点处执行在所述支气管三维虚拟模型内生成虚拟内窥镜图像组和在所述支气管内生成目标内窥镜图像，选取虚拟内窥镜图像组中的最优虚拟内窥镜图像，对同一激活点处生成的目标内窥镜图像和最优虚拟内窥镜图像进行配准融合，根据配准矩阵对所述内窥镜进行导航，直至所述内窥镜到达所述目标点以完成导航。
7.根据权利要求6所述的系统，其特征在于，所述图像选取单元比较所述虚拟内窥镜图像组与所述目标内窥镜图像，在所述虚拟内窥镜图像组中选取最优虚拟内窥镜图像，具体用于：
将所述虚拟内窥镜图像组中的虚拟内窥镜图像逐一与所述目标内窥镜图像进行相似度评估；
选取所述虚拟内窥镜图像组中与所述目标内窥镜图像相似度最高的所述虚拟内窥镜图像作为所述最优虚拟内窥镜图像。
8.根据权利要求6所述的系统，其特征在于，所述路径规划单元根据所述三维扫描图像建立支气管三维虚拟模型，根据所述支气管三维虚拟模型规划导航路径，具体用于：
根据所述三维扫描图像进行支气管分割；
进行所述支气管的三维重建以建立支气管三维虚拟模型；
提取所述支气管三维虚拟模型的中心线，遍历所述中心线生成支气管树；
根据所述三维扫描图像识别所述支气管中的结节，进行所述结节的三维重建；
根据所述结节的位置和所述支气管树规划导航路径。
9.根据权利要求8所述的系统，其特征在于，根据所述结节的位置和所述支气管树规划导航路径，包括：
根据所述结节的位置，在所述支气管树上选择到达所述结节的可行路径；
选择所述可行路径中的最短路径作为导航路径。
10.根据权利要求6所述的系统，其特征在于，所述选择单元根据设定标准选择所述导航路径上的N个激活点，包括：
将所述支气管三维虚拟模型中分叉路口处的点设为节点；
选择所述导航路径上的所述节点作为所述激活点。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
12.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至5中任一项所述的方法。
CN202310395941.9A 2023-04-12 2023-04-12 内窥镜辅助支气管术中导航方法、系统、介质及电子设备 Pending CN116327364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395941.9A CN116327364A (zh) 2023-04-12 2023-04-12 内窥镜辅助支气管术中导航方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395941.9A CN116327364A (zh) 2023-04-12 2023-04-12 内窥镜辅助支气管术中导航方法、系统、介质及电子设备

Publications (1)

Publication Number Publication Date
CN116327364A true CN116327364A (zh) 2023-06-27

Family

ID=86885798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395941.9A Pending CN116327364A (zh) 2023-04-12 2023-04-12 内窥镜辅助支气管术中导航方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN116327364A (zh)

Similar Documents

Publication Publication Date Title
Lin et al. Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey
US7889905B2 (en) Fast 3D-2D image registration method with application to continuously guided endoscopy
US11823431B2 (en) System and method for detecting trachea
Mori et al. Tracking of a bronchoscope using epipolar geometry analysis and intensity-based image registration of real and virtual endoscopic images
Stoyanov et al. A practical approach towards accurate dense 3D depth recovery for robotic laparoscopic surgery
US20170046833A1 (en) 3D Reconstruction and Registration of Endoscopic Data
Mahmoud et al. On-patient see-through augmented reality based on visual SLAM
RU2711140C2 (ru) Редактирование медицинских изображений
US20170330356A1 (en) Unified coordinate system for multiple ct scans of patient lungs
US20050200624A1 (en) Method and apparatus for determining a plane of symmetry of a three-dimensional object
JP2012505695A (ja) 画像に基づくローカライゼーション方法及びシステム
Zhou et al. Real-time dense reconstruction of tissue surface from stereo optical video
Röhl et al. Real-time surface reconstruction from stereo endoscopic images for intraoperative registration
CN112734776A (zh) 一种微创手术器械定位方法和系统
CN111260704A (zh) 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置
Reichard et al. Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
CN116327362A (zh) 磁探头辅助支气管术中导航方法、装置、介质及电子设备
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计系统
CN116327364A (zh) 内窥镜辅助支气管术中导航方法、系统、介质及电子设备
JP5525727B2 (ja) ３ｄ−２ｄ姿勢推定に基づく案内方法及び生の気管支鏡検査への応用を有する３ｄ−ｃｔレジストレーション
Chen et al. Video-guided calibration of an augmented reality mobile C-arm
US20210052146A1 (en) Systems and methods for selectively varying resolutions
Khare et al. Toward image-based global registration for bronchoscopy guidance
Lin Visual SLAM and Surface Reconstruction for Abdominal Minimally Invasive Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination