CN111714205A - 使用深度学习在荧光镜检查视频中进行导管尖端检测 - Google Patents

使用深度学习在荧光镜检查视频中进行导管尖端检测 Download PDF

Info

Publication number
CN111714205A
CN111714205A CN202010198896.4A CN202010198896A CN111714205A CN 111714205 A CN111714205 A CN 111714205A CN 202010198896 A CN202010198896 A CN 202010198896A CN 111714205 A CN111714205 A CN 111714205A
Authority
CN
China
Prior art keywords
fluoroscopic
catheter tip
images
fluoroscopic images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010198896.4A
Other languages
English (en)
Inventor
G·阿莱克斯安德罗尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111714205A publication Critical patent/CN111714205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及使用深度学习在荧光镜检查视频中进行导管尖端检测。一种姿势估计的系统和方法，其能够生成高质量的3D重建体和荧光镜检查计算机断层扫描图像，以识别微小损伤和磨玻璃损伤。

Description

使用深度学习在荧光镜检查视频中进行导管尖端检测
优先权要求
本申请要求标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年11月26日提交的美国临时申请序列号62/940,686以及标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年5月23日提交的美国临时申请序列号62/852,092以及标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年3月21日提交的美国临时申请序列号62/821,696的优先权，其各自的全部内容通过引用合并于此。
技术领域
本公开涉及成像领域，尤其涉及估计成像装置的姿势以改善从中得出的荧光计算机断层摄影图像的清晰度。
背景技术
在导航程序中，荧光镜检查成像装置通常位于手术室中。临床医生可以使用标准的荧光镜检查成像装置，例如，以在医疗装置已经被导航到期望位置之后可视化并且确认其布置。然而，尽管标准的荧光镜检查图像显示例如金属工具和骨骼的高密度物体以及例如心脏的大的软组织物体，但是荧光镜检查图像难以分辨例如损伤的感兴趣的小的软组织物体。此外，荧光镜检查图像只是二维投影，而为了在体内准确且安全地导航，需要进行体成像。
荧光镜检查装置的姿势估计是作为三维(3D)重建过程的一部分应用的一个步骤，其中从二维(2D)荧光镜检查图像生成3D体，从而形成荧光镜检查计算机断层扫描(FCT)图像集。另外，姿势估计可以帮助在不同的成像模态之间进行配准(例如，术前计算机断层扫描(CT)图像)。姿势估计的现有技术方法虽然有效，但是仍然缺乏牢靠性或导致比期望的图像处理过程慢。
因此，需要一种方法和系统，其可以提供荧光镜检查成像装置的快速、准确和牢靠的姿势估计以及由标准荧光镜检查成像装置获取的图像的3D重建。
发明内容
本公开的一个方面涉及一种用于增强荧光镜检查计算机断层扫描图像的方法，该方法包括：获取多个荧光镜检查图像，为所述多个荧光镜检查图像中的每个确定荧光镜检查成像装置的初始姿势估计，接收导管尖端在至少一个所述荧光镜检查图像中的指示，在其余的荧光镜检查图像中投影所述导管尖端的位置，使用模型分析所述图像以识别所述导管尖端在所述荧光镜检查图像中的位置，基于由所述模型识别的所述导管尖端的位置更新所述初始姿势估计，和利用更新的姿势估计生成所述多个荧光镜检查图像的三维(3D)重建。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行本文所述的方法和系统的动作。
本公开的进一步方面可以包括以下特征中的一个或多个。该方法可以包括显示从3D重建得到的荧光镜检查计算机断层扫描图像。该方法可以包括裁剪在其上投影了导管尖端的位置的多个荧光镜检查图像以限定感兴趣区域。该方法可以包括确定每个裁剪的荧光镜检查图像中用于检测导管尖端的置信度估计。该方法可以包括以获取所述多个荧光镜检查图像的顺序，识别裁剪的荧光镜检查图像的位于任一侧的置信度估计低于确定的阈值的两个另外的裁剪的荧光镜检查图像。所述方法，其中两个另外的裁剪的荧光镜检查图像的置信度估计高于所述确定的阈值。该方法可以包括从置信度估计高于确定的阈值的两个裁剪的荧光镜检查图像中的导管尖端的位置，内插置信度估计低于确定的阈值的裁剪的荧光镜检查图像中的导管尖端的位置。所述方法，其中自动生成导管尖端的接收到的指示。所述方法，其中姿势的初始估计包括针对所述多个荧光镜检查图像中的每一个生成概率图，该概率图指示荧光镜检查图像的每个像素属于标记物投影的概率。该方法还包括生成用于将标记物投影在荧光镜检查图像上的候选者。该方法可以包括基于概率图识别具有是标记物在图像上的投影的最高标记物投影概率的候选者。所描述的技术的实施方式可以包括硬件、方法或过程或计算机可访问介质上的计算机软件，其包括安装在系统上的软件、固件、硬件或它们的组合，在操作中其导致或引起系统执行动作。一个或多个计算机程序可以被配置为通过包含指令来执行特定操作或动作，所述指令在由数据处理设备执行时使所述设备执行所述动作。
本公开的另一方面涉及一种用于增强荧光镜检查计算机断层扫描图像的系统，其包括：计算装置，其与荧光镜检查成像装置通信并且包括处理器和存储器，所述存储器被配置为存储多个荧光镜检查图像以及应用，所述应用当由所述处理器执行时使所述处理器执行以下步骤：为所述多个荧光镜检查图像中的每个确定荧光镜检查成像装置的初始姿势估计；接收导管尖端在至少一个所述荧光镜检查图像中的指示；在其余的荧光镜检查图像中投影所述导管尖端的位置；和裁剪具有导管尖端的投影位置的荧光镜检查图像，以限定一组帧；从神经网络导出的模型，所述神经网络与所述存储器通信并且被配置为分析所述帧以识别所述导管尖端在所述帧中的位置；所述存储器从所述模型接收所述帧中所述导管尖端的识别的位置，并且所述处理器执行以下应用的步骤：基于由所述神经网络识别的所述导管尖端的位置更新所述初始姿势估计，和利用更新的姿势估计生成所述多个荧光镜检查图像的三维(3D)重建。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行本文所述的方法和系统的动作。
本公开的该方面的实施方式可以包括以下特征中的一个或多个。所述系统，其中所述处理器进一步执行显示从所述3D重建得到的荧光镜检查计算机断层扫描图像的应用的步骤。所述系统，其中所述处理器进一步执行针对每个裁剪的荧光镜检查图像生成导管尖端的检测的置信度估计的应用的步骤。所述系统，其中所述处理器还执行以下应用的步骤：以获取所述多个荧光镜检查图像的顺序，识别裁剪的荧光镜检查图像的位于任一侧的置信度估计低于确定的阈值的两个另外的裁剪的荧光镜检查图像。所述系统，其中所述两个另外的裁切的荧光镜检查图像的置信度估计高于确定的阈值。所述系统，其中所述处理器还执行以下应用的步骤：从置信度估计高于确定的阈值的两个裁剪的荧光镜检查图像中的导管尖端的位置，内插置信度估计低于确定的阈值的裁剪的荧光镜检查图像中的导管尖端的位置。所述系统，其中姿势的初始估计包括针对所述多个荧光镜检查图像中的每一个生成概率图，该概率图指示荧光镜检查图像的每个像素属于标记物投影的概率。该系统进一步包括生成用于标记物在荧光镜检查图像上的投影的候选者，并基于概率图识别具有最高的标记物投影概率的候选者，该候选者是标记物在图像上的投影。
本公开的进一步方面涉及一种用于增强荧光镜检查计算机断层扫描图像的方法，该方法包括：获取多个荧光镜检查图像，为所述多个荧光镜检查图像中的每个确定荧光镜检查成像装置的初始姿势估计，接收导管尖端在至少两个所述荧光镜检查图像中的指示，在其余的荧光镜检查图像中投影所述导管尖端的位置，裁剪投影了所述导管尖端的位置的所述多个荧光镜检查图像以生成多个帧，分析每个帧作为主帧以确定导管尖端在主帧中的位置，将导管尖端在每个主帧中的位置与导管尖端在至少两个另外帧中的位置进行比较，以确认在每个主帧中确定的导管尖端位置，基于在每个主帧中确认的位置更新所述初始姿势估计，利用更新后的姿势估计生成所述多个荧光镜检查图像的三维(3D)重建，并显示从3D重建获得的荧光镜检查计算机断层扫描图像。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行本文所述的方法和系统的动作。
附图说明
附图中示出了各种示例性实施例。将理解的是，为了图示的简化和清楚起见，在下面引用的附图中示出的元件不必按比例绘制。此外，在认为适当的情况下，可以在附图中重复附图标记以指示相似、对应或类似的元件。这些附图在下面列出。
图1是被配置为与本公开的方法一起使用的系统的示意图。根据本公开通过利用标记物的结构估计成像装置的姿势的方法的流程图；
图2是根据本公开的球形标记物的二维网格结构的示意图；
图3是本公开方法的流程图；
图4示出了由本公开的荧光镜检查装置捕获的示例性图像；
图5是为图4的图像生成的概率图；
图6A-6C示出了图2的球形标记物的2D网格结构在覆盖在图5的概率图上的图4图像上投影的不同示例性候选者；
图7描绘了根据本公开的用于在荧光镜检查图像中标记导管尖端的本公开的用户界面；
图8描绘了根据本公开的识别在裁剪的帧中的导管尖端的位置的神经网络的结果；
图9描绘了两个荧光镜检查计算机断层扫描图像，一个使用已知的姿势估计技术，一个使用本公开的姿势估计技术；
图10是根据本公开的计算装置的示意图；和
图11是根据本公开的用于气道导航的应用的用户界面。
具体实施方式
本公开涉及一种姿势估计的系统和方法，其克服了现有技术的姿势估计技术的缺点并产生高质量的3D重建体和FCT图像集。更高质量的3D重建和FCT图像集可实现更高的软组织分辨率。与使用现有技术取得的相比，软组织的分辨率更高能够识别出软组织中更小损伤且磨玻璃损伤。
图1是示例性系统的透视图，其用于经由肺的气道将医疗装置(例如活检或治疗工具)导航到目标。系统100的一个方面是一种软件应用，用于检查已从系统100单独获取的计算机断层扫描(CT)图像数据。CT图像数据的查看使用户可以识别一个或多个目标，并规划通往所识别目标的路径。这通常称为规划阶段。该软件应用的另一方面是导航阶段，该导航阶段允许用户使用用户界面将导管或其他工具导航到目标(导航阶段)，并确认导管或工具相对于目标的放置。目标通常是在规划阶段通过查看CT图像数据确定的用于活检或治疗的感兴趣组织。在导航之后，可将如活检工具或治疗工具的医疗装置插入导管中，以从位于目标处或附近的组织获得组织样品或治疗该组织。可以选择治疗工具以实现微波消融、射频消融、低温消融、化学消融或临床医生优选的其他目标治疗机制。
图1的一方面是导管引导组件102，其在远端处包括传感器104。导管引导组件102包括导管106。在实践中，导管106插入支气管镜108中以接近患者P的腔网络。具体地，导管导引组件102的导管106可插入支气管镜108的工作通道中以导航通过患者的腔网络。如果配置用于电磁导航(EMN)(如下所述)，则可将可定位的引导件(LG)110(其可包括诸如电磁(EM)传感器的传感器104)插入导管106中并锁定到位，使得传感器104延伸超出导管106的远侧尖端的期望距离。然而，应注意，在不脱离本公开的范围的情况下，传感器104可被结合到支气管镜108、导管106或活检或治疗工具中的一个或多个中。
如果将导管106插入支气管镜108中，则导管106和LG 110的远端延伸超过支气管镜108的远端。可以基于位置数据得出传感器104并因此LG 110的远端部分在电磁场中的定位或位置以及方向，该位置数据是通过磁场中存在EM传感器或通过本文所述的其他方式产生的电流的形式。尽管作为本公开的一部分不需要使用EM传感器和EMN，但是它们的使用可以进一步增强本公开在腔内导航(例如肺的导航)中的实用性。由于支气管镜108、导管106、LG110或其他工具可以在本文中互换使用或组合使用，因此术语导管在本文中用于指代这些元件中的一个或多个。此外，作为使用EM传感器的替代，可以结合本公开使用诸如光纤布拉格传感器、超声传感器、加速度计以及其他的挠性传感器，以将输出提供给跟踪系统114，以确定导管位置，在不脱离本公开的范围的情况下导管包括但不限于支气管镜108、导管106、LG 110或活检或治疗工具。
系统100通常可以包括手术台112，其配置为支撑患者P；支气管镜108，其配置为通过患者P的口插入患者P的气道；联接到支气管镜108的监测设备114(例如，视频显示器，用于显示从支气管镜108的视频成像系统接收的视频图像)。如果配置用于EMN，则系统100可以包括定位或跟踪系统114和定位模块116，多个参考EM传感器118和包括多个不透射线或部分不透射线的标记物121的发射器垫120(图2)。尽管在图2中示出为标记物121的重复图案，可以采用其他图案，包括在发射器垫120中的不同相对深度处的三维标记物，或非重复图案，而不脱离本公开的范围。还包括计算装置122，其包括软件和/或硬件，用于促进目标的识别、到目标的路径规划、医疗装置到目标的导航和/或导管106或通过其的合适装置相对于目标放置的确认和/或确定。计算装置122可以类似于图10的工作站1001并且可以被配置为执行包括图3的方法的本公开的方法。计算装置122可以是包括处理器和存储介质的任何合适的计算装置，其中处理器能够执行作为一个或多个应用存储在存储介质上的指令。计算装置122可进一步包括被配置为存储患者数据、包括CT图像的CT数据集合、包括荧光镜检查图像和视频的荧光镜数据集合、荧光镜3D重建、导航规划以及任何其它这类数据的数据库。尽管未明确示出，但是计算装置122可包括输入，或可以其它方式被配置为接收CT数据集合、荧光镜检查图像/视频和本文描述的其它数据。另外，计算装置122包括被配置为显示图形用户界面的显示器。计算装置122可连接到可通过其访问一个或多个数据库的一个或多个网络。下面结合图10描述计算装置的更多细节。
关于规划阶段，计算装置122利用先前获取的CT图像数据生成和查看患者P的气道的三维模型或渲染，能够在三维模型上识别目标(自动、半自动或手动)，并允许确定通过患者P的气道到位于目标处及其周围的组织的路径。更具体地，将从CT扫描中获取的CT图像和CT图像数据集进行处理并组装成三维CT体，然后将其用于生成患者P的气道的三维模型。三维模型可显示在与计算装置122关联的显示器上，或以任何其它合适的方式显示。这样的用户界面的实例可以在图11中看到。使用计算装置122，呈现了三维模型的各种视图或从三维模型生成的增强的二维图像。增强的二维图像可具有某些三维功能，因为它们是从三维数据生成的。可操纵三维模型以促进在三维模型或二维图像上识别目标，并可选择通过患者P的气道到位于目标的组织的合适路径。一旦选择后，就可保存路径规划、三维模型以及从中得出的图像，并将其导出到导航系统中，以在导航阶段期间使用。
如上所述，系统100中还包括能够获取患者P的荧光镜检查或X射线图像或视频(荧光镜检查图像数据集)的荧光镜检查成像装置124。荧光镜检查成像装置124捕获的图像、图像序列或视频可存储在荧光镜检查成像装置124内，或发射到计算装置122以用于存储、处理和显示。另外，荧光镜检查成像装置124可相对于患者P移动，使得可相对于患者P从不同角度或视角获取图像以创建荧光镜检查图像的序列，如荧光镜检查视频。可以使用标记物121以及下面描述的姿势估计和图像处理技术来估计在捕获图像时荧光镜检查成像装置124相对于患者P的姿势。
标记物121可以被结合到发射器垫120中，被结合到手术台112中，或者以其他方式被结合到放置在手术台112上或附近的另一器具中，从而可以在荧光镜检查图像中看到它们。标记物121通常定位在患者P下方和在患者P与荧光镜检查成像装置124的辐射源或感测单元之间。荧光镜检查成像装置124可包括单个成像装置或多于一个成像装置。
图3是根据本公开的用于姿势估计和荧光镜检查计算机断层扫描图像的流程图。作为该过程的一部分，将导管106导航到患者“P”中的期望位置。这可以通过遵循上述路径规划和EM系统或者在支气管镜成像或使用荧光镜检查成像装置124的荧光镜检查成像下完成。在将导管106导航到期望位置之后，可以在步骤302获取荧光镜检查扫描。当荧光镜检查成像装置124围绕患者“P”旋转时，该荧光镜检查扫描以不同角度获取多个2D荧光镜检查图像。荧光镜检查成像装置124获取的每个2D图像包括如图4所示的标记物121。
在获取荧光镜检查图像之后，初始姿势估计过程303包括步骤304-308，如下所述。计算装置对在荧光镜扫描302期间获取的每个2D图像进行姿势估计处理。初始姿势估计303开始于在步骤304生成概率图的步骤。概率图指示图像的像素属于发射器垫120的标记物121的投影的概率。
图2是根据本公开的球形标记物220的二维(2D)网格结构的示意图。图4是患者的由荧光镜检查成像装置124捕获的示例性图像400，其中标记物121的2D网格结构是可见的。球形标记物220的2D网格结构包括布置在二维网格图案中的多个球形标记物，如球形标记物230a和230b。图像400包括球形标记物220的2D网格结构的一部分的投影和导管106的投影。球形标记物220的2D网格结构在图像400上的投影包括球形标记物例如球形标记物410a、410b和410c的投影。导管106在图像中也是可观察到的。
例如，可以通过将图像馈送到简单的标记物检测器(例如哈里斯角检测器)中生成概率图，所述检测器输出对应于每个像素属于标记物的概率的平滑密度的新图像。现在参考图5，其是为图4的图像400生成的概率图500。概率图500包括像素或密度，例如密度510a、510b和510c，其相应地对应于标记物410a、410b和410c。在一些实施例中，可以缩小概率图的比例(即，减小尺寸)，以简化所需的计算。应当指出，如示于图6A-6C的概率图400按比例缩小了四分之一(例如整个图像的四分之一)。
在步骤306中，可以生成用于标记物的结构在图像上的投影的不同候选者。可以通过将成像装置虚拟地定位在不同的可能姿势的范围内来生成不同的候选者。荧光镜检查成像装置124的“可能的姿势”是指荧光镜检查成像装置124的三维位置和方向。在一些实施例中，可以根据成像装置的几何结构和/或自由度来限制该范围。对于每个这样的可能姿势，生成标记物121的至少一部分的虚拟投影，就好像荧光镜检查成像装置124在定位在该姿势时实际上捕获了标记物121的结构的图像。
在步骤308，基于图像概率图，识别具有是标记物121的结构在图像上的投影的最高概率的候选者。每个候选者，即标记物结构的虚拟投影，可以覆盖或关联到概率图。然后可以确定概率得分，或将其与候选者的每个标记物投影相关联。在一些实施例中，概率得分可以是正的或负的，即，如果虚拟标记物投影落在低概率的像素内，则可能会有代价。然后可以求和候选者的所有标记物投影的概率得分，并且可以为每个候选者确定总概率得分。例如，如果标记物的结构是二维网格，则投影将具有网格形式。投影网格的每个点将位于概率图的至少一个像素上。如果2D网格候选者的点位于最高密度像素上，即其点位于图像上标记物中心的投影上，则它将收到最高概率得分。具有最高概率得分的候选者可以被确定为具有最高概率成为标记物结构在图像上的投影的候选者。然后可以基于用于生成所识别的候选者的成像装置的虚拟姿势来估计在捕获图像时成像装置的姿势。
上面的步骤304-308描述了一个可能的姿势估计过程303，然而，本领域技术人员将认识到，在不脱离本公开的范围的情况下，可以采取初始姿势估计的其他方法和过程。
现在参考图6A-6C，其示出了图2的球形标记物220的2D网格结构在覆盖在图5的概率图500上的图4图像400上投影的不同示例性候选者600a-c。候选者600a、600b和600c被表示为加号(“+”)的网格，而每个这样的符号表示标记物的投影中心。候选者600a、600b和600c是球形标记物220的2D网格结构的虚拟投影，就好像用于捕获图像400的荧光镜检查成像装置124位于与这些投影相对应关联的三个不同姿势一样。如果荧光镜检查成像装置位于：位置[0，-50，0]，角度：-20度，产生候选者600a。如果荧光镜检查成像装置位于：位置[0，-10，0]，角度：-20度，产生候选者600b。如果荧光镜检查成像装置位于：位置[7.5，-40，11.25]，角度：-25度，产生候选者600c。上述坐标相对于球形标记物220的2D网格结构。概率图500的密度510a在6A-6C中指示。加号610a、610b和610c相应地是候选者600a、600b和600c的标记物投影的中心，它们最接近密度510a。可以看到加号610c是最适合密度510a的符号，因此相应地将在候选者600a、600b和600c的符号610a、610b和610c中获得最高概率得分。还可以看到，候选者600c因此将获得最高概率得分，因为其标记物投影最适合概率图400。因此，在这三个示例性候选者600a、600b和600c中，候选者500c将被识别为具有最高概率是球形标记物220的2D网格结构在图像400上的投影。
如上所述，对于在步骤302进行的荧光镜检查扫描中的每个图像，进行姿势估计过程303。处理的结果是针对所获取的每个图像确定荧光镜检查成像装置124的姿势。尽管此数据可用于生成3D重建，并在需要时将3D重建与从术前CT扫描生成的3D模型进行配准，但可以进行进一步的精细化以实现优异的结果。
在步骤310，可以在计算装置122上显示用户界面(图7)，其中呈现了在步骤302的荧光镜检查扫描期间获取的两个图像，并且要求临床医生识别在那些图像中导管106的远端的位置。
从两个图像的标记(尽管在此被描述为手动)，也可以使用类似于上述概率映射的过程自动检测，可以计算3D空间中静态3D导管尖端位置的初始估计。在步骤312，将导管106的计算出的位置投影到在步骤302中获取的荧光镜检查扫描的所有其余图像上。
尽管本文描述的方法依赖于两个荧光镜检查图像中导管106的尖端的标记，但是本公开不限于此。根据本公开的进一步方面，可以基于单个荧光镜检查图像中导管106的尖端的标记来确定导管106的位置。这可以参考使用EMN系统和传感器104的导管106的检测位置来完成。
因为在网格结构(图2)中球形标记物220的间隔是已知的并且与发射器垫120中的天线间隔预定距离，所以每个球形标记物230在发射器垫120中产生的场中的EM位置是已知的。当考虑单个图像以及导管106的尖端的位置时，可以通过将球形标记物的EM位置与检测到的EM传感器104的位置进行比较来确定导管的垂直位置(即，在前后方向上)，所述检测到的EM传感器104的位置应基本上与荧光镜检查成像坐标中沿AP轴线的导管106的尖端位置相关。导管106的尖端位置的其余两个坐标可以使用多种处理技术来解析。通过在帧中标记导管106的尖端，提供了两个可用于生成两个线性方程的值。可以求解这两个线性方程，以给出导管106尖端位置的其余两个坐标。
如同以上关于图6A-6C描述的概率映射一样，其中导管106的位置已经被投影的2D荧光镜检查图像可以在步骤314被裁剪，例如产生原始图像的四分之一或二分之一大小的图像。当然，在不脱离本公开的范围的情况下，也可以通过后续步骤来处理完整图像或其他尺寸的裁剪图像。这些裁剪的图像限定了感兴趣的区域，并减少了后续步骤要分析的数据量。
在步骤316，与计算装置122通信的用于导管尖端检测的训练模型或一些其他合适的学习软件或算法访问其中已经投影了导管106的尖端位置的2D荧光镜检查图像。该模型可以是已经被训练以识别处于或高于特定置信度水平的导管尖端的神经网络。通过允许神经网络分析其中出现导管的图像(例如，来自荧光镜检查扫描)并允许神经网络执行图像分析以识别导管尖端的位置，完成此操作。在被提供给神经网络进行处理之前，在荧光镜检查扫描的每个图像或帧中导管106的尖端的实际位置是已知的。在通过神经网络对每个帧进行每次分析之后，提供一个得分。随着时间的流逝和训练，神经网络变得更加善于区分导管106，特别是与获取图像时导管106所处的患者的组织或其他材料不同的导管106的尖端。结果是在用于分析图像时以高置信度识别导管106的尖端的位置的模型或神经网络。可用于生成模型的神经网络的实例包括卷积神经网络或完全连接的网络。
为了改善模型或神经网络，必须对其进行训练以检测导管106的位置。建议的回归神经网络以监督方式进行训练。训练集包括成千上万的荧光镜检查2D图像，其中手动标记了相容的导管尖端坐标。训练神经网络的一种方法是将荧光镜检查视频的每个帧标识为主帧，并为每个主帧标识至少一个参考帧，以及在某些实施例中两个参考帧。这些参考帧可以顺序地紧接在主帧之前和之后，或者以更大的间隔(例如，在之前和之后的10、15或20个帧)。参考帧有助于利用荧光镜检查视频中的时间信息来帮助估计导管106的尖端的坐标。主帧和参考帧之间的位置应该只有很小的变化，因此神经网络将确定超出可接受范围的某个距离处的检测为假阳性检测。通过重复处理代表导管106的图像和检测图案，对神经网络进行训练以检测导管的尖端。如上所述，被分析的帧可能在此分析之前已被神经网络裁剪。神经网络分析可以并行处理多个帧，这有助于过程的规则化，并向神经网络提供更多信息以进一步完善训练。
在训练过程中，在神经网络中采用损失函数最小化。一种这样的损失函数是在连续帧中比较导管106的尖端的运动。如果运动距离超过帧之间的平均运动，则损失函数会降低该帧及其参考帧的得分。启发式可以用来确定错误的检测。当导管106的尖端在图像中被遮盖并且不容易被检测到时，可能发生这些错误检测。错误的检测是训练过程的一部分，并且随着训练的继续，随着神经网络学习图像中导管106的模式，这些错误将大大减少。
利用模型或神经网络已经在每个帧中识别出导管106的尖端，现在以甚至更高的精度知道了每个荧光镜检查图像中的尖端导管106的2D位置。在步骤318，计算装置可以使用该数据来针对在步骤304的荧光镜检查扫描期间获取的每个图像更新荧光镜检查成像装置124的姿势估计。在一个实施例中，这可以通过使用从先前的迭代开始的导管106的位置的附加信息为每个帧重复姿势估计过程直到所有帧都已经被处理来实现。
图8描绘了由模型或神经网络在一系列图像中识别导管106的尖端的处理结果。请注意，使用此过程，一旦训练了神经网络，就可以在与荧光镜检查成像装置124的各种位置和角度上非常精确地识别导管106的尖端。在一个非限制性实例中，在150幅荧光镜检查视频上训练了神经网络之后(例如，从扫描步骤302开始)，人工磨事实(manual groundtruth)与神经网络识别的尖端坐标之间的欧几里得距离为0.31mm，标准偏差为0.29mm。
在使用EMN系统或另一个导管位置的情况下，可以将来自该系统的导管尖端的检测到的3D位置与由模型或神经网络得出的检测到的2D位置结合起来，以更可靠地确定导管106的尖端的位置。另外，可以采用这样的信息将在步骤304获取的荧光镜检查图像与诸如CT扫描之类的术前图像配准，该术前图像已经制定了导航计划。
利用成像装置124的更新的姿势估计，可以在步骤320处由计算装置122生成荧光镜检查扫描的3D重建。由于通过使用导管106的尖端和由神经网络执行的处理所提供的增强的姿势估计，与传统的荧光镜检查3D重建方法相比，所述3D重建的清晰度大大提高。在图9中可以观察到提高的清晰度的例子，其中在3D重建之后，可以在步骤322显示FCT图像。在图9中，描绘了两个FCT图像，图像902是从姿势估计技术导出的FCT图像，而没有使用图3中描述的神经网络和方法。图像904描绘了通过利用图3的方法获得的FCT图像。可以看出，图像904显示导管106以及肺的软组织的明显更大的清晰度。清晰度的这种提高允许对FCT图像进行实时检查，以识别通常在荧光镜检查图像中无法观察到的小损伤和磨玻璃损伤。
为了改善图3的方法的结果，可以采用几种后处理技术。例如，可以给模型或神经网络在每帧中对导管106的尖端的检测进行置信度估计。结果，在存在置信度估计低的帧的情况下，导管106的检测可能被拒绝。可以从两个帧中获取导管106的尖端的位置，在该两个帧中检测具有高的置信度，然后进行插值以找到对导管106的尖端在原始帧中的位置的更好的估计。置信度估计可以是特定帧中信噪比低的结果，或者该帧中出现主要遮挡的结果。例如，将帧的主要部分与中值或平均信噪比进行比较可以发现，帧的主要部分实际上是遮挡，并因此应予以拒绝。在不脱离本公开的范围的情况下，可以采用检测遮挡或确定给定帧的置信度估计的其他方法。用于插值的帧可以是任何帧，并且不必与导管尖端检测的置信度低的帧类似地间隔开。它们可以是检测置信度高的最近帧，或者是检测置信度高的任何一对帧。但是，通常，帧之间的位置差应尽可能小，以实现位置的精确内插。在使用插值克服平滑算法之后，可以采用该算法进一步细化在检测置信度低的那些帧中，例如在其中识别出遮挡的那些帧中导管106的尖端的位置的确定。
现在参照图10，其是被配置为与包括图3的方法的本公开的方法一起使用的系统1000的示意图。系统1000可以包括工作站1001，并且可选地连接到荧光镜检查成像装置124(图1)。在一些实施例中，工作站1001可以例如通过无线通信直接或间接地与荧光镜1015耦合。工作站1001可以包括存储器1002、处理器1004、显示器1006和输入装置1010。处理器或硬件处理器1004可以包括一个或多个硬件处理器。工作站1001可以任选地包括输出模块1012和网络接口1008。存储器1002可以存储应用程序1018和图像数据1014。应用程序1018可包括可由处理器1004执行以执行包括图3的方法的本公开的方法的指令。
应用程序1018可以进一步包括用户界面1016。图像数据1014可包括CT扫描、荧光镜检查图像、产生的荧光镜3D重建和/或任何其它荧光镜检查图像数据和/或所生成的一个或多个虚拟荧光镜检查图像。处理器1004可与存储器1002、显示器1006、输入装置1010、输出模块1012、网络接口1008和荧光镜1015联接。工作站1001可以是例如个人计算机的固定计算装置或例如平板计算机的便携式计算装置。工作站1001可以嵌入多个计算机装置。
存储器1002可包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述任何非暂时性计算机可读存储介质包括可由处理器1004执行并且控制工作站1001的操作并且在一些实施例中，还可控制荧光镜1015的操作的指令。荧光镜检查成像装置124可用于捕获荧光镜检查图像的序列，基于所述序列生成荧光镜3D重建，以及根据本公开捕获实时2D荧光镜检查视图。在一个实施例中，存储器1002可包括一个或多个存储装置，如固态存储装置，如闪存芯片。替代地，或除了一个或多个固态存储装置之外，存储器1002可以包括通过大容量存储控制器(未展示)和通信总线(未展示)连接到处理器1004的一个或多个大容量存储装置。
尽管本文中所含有的计算机可读介质的描述指的是固态存储器，但是本领域技术人员应了解，计算机可读存储介质可以是可由处理器1004访问的任何可用介质。即，计算机可读存储介质可以包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的非瞬态、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光学存储、磁带盒、磁带、磁盘存储或其它磁存储设备或可以用于存储所需信息并且可以由工作站1001访问的任何其它介质。
在由处理器1004执行时，应用程序1018可以使显示器1006呈现用户界面1016。用户界面1016可以被配置为向用户呈现单个屏幕，该单个屏幕包括从医疗装置的尖端来看的目标的3D模型的三维(3D)视图、显示医疗装置的实时二维(2D)荧光镜检查视图以及对应于目标3D模型、覆盖在实时2D荧光镜检查视图以及本文描述的其他图像和屏幕上的目标标记。用户界面1016可以进一步被配置为取决于医疗装置尖端是否在三维上与目标对准而以不同的颜色显示目标标记。
网络接口1008可以被配置成连接到例如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网的网络。网络接口1008可以用于连接工作站1001和荧光镜1015。网络接口1008还可以用于接收图像数据1014。输入装置1010可以是用户可用来与工作站1001交互的任何装置，例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块1012可以包括任何连接端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其它类似连接端口。
虽然已在图中示出本公开的若干方面，但并非意在将本公开限于这些实施例，而是希望本公开具有如所属领域将允许的广泛的范围，且对说明书的理解也是如此。因此，以上描述不应被解释为限制性的，而仅仅是特定方面的范例。

Claims (20)

1.一种增强荧光镜检查计算机断层扫描图像的方法，包括：
获取多个荧光镜检查图像；
为所述多个荧光镜检查图像的每一个确定荧光镜检查成像装置的初始姿势估计；
在至少一个所述荧光镜检查图像中接收导管尖端的指示；
在其余的荧光镜检查图像中投影所述导管尖端的位置；
用模型分析所述图像，以在所述荧光镜检查图像中识别出所述导管尖端的位置；
基于所述模型识别的所述导管尖端的位置更新所述初始姿势估计；和
利用更新的姿势估计，生成所述多个荧光镜检查图像的三维(3D)重建。
2.根据权利要求1所述的方法，还包括显示从所述3D重建得到的荧光镜检查计算机断层扫描图像。
3.根据权利要求1所述的方法，还包括裁剪在其上投影了所述导管尖端的位置的所述多个荧光镜检查图像以限定感兴趣区域。
4.根据权利要求3所述的方法，还包括确定每个裁剪的荧光镜检查图像中用于检测所述导管尖端的置信度估计。
5.根据权利要求4所述的方法，还包括以获取所述多个荧光镜检查图像的顺序，识别裁剪的荧光镜检查图像的位于任一侧的置信度估计低于确定的阈值的两个另外的裁剪的荧光镜检查图像。
6.根据权利要求5所述的方法，其中所述两个另外的裁切的荧光镜检查图像的置信度估计高于确定的阈值。
7.根据权利要求5所述的方法，还包括从置信度估计高于确定的阈值的所述两个裁剪的荧光镜检查图像中的导管尖端的位置，内插置信度估计低于确定的阈值的所述裁剪的荧光镜检查图像中的导管尖端的位置。
8.根据权利要求1所述的方法，其中自动生成所述导管尖端的接收到的指示。
9.根据权利要求1所述的方法，其中姿势的初始估计包括针对所述多个荧光镜检查图像中的每一个生成概率图，所述概率图指示所述荧光镜检查图像的每个像素属于标记物投影的概率。
10.根据权利要求9所述的方法，还包括生成用于将标记物投影在所述荧光镜检查图像上的候选者。
11.根据权利要求10所述的方法，还包括基于所述概率图识别具有是标记物在图像上的投影的最高标记物投影概率的候选者。
12.一种增强荧光镜检查计算机断层扫描图像的系统，包括：
计算装置，其与荧光镜检查成像装置通信并且包括处理器和存储器，所述存储器被配置为存储多个荧光镜检查图像以及应用，所述应用在由所述处理器执行时使所述处理器执行以下步骤：
为所述多个荧光镜检查图像的每一个确定荧光镜检查成像装置的初始姿势估计；
在至少一个所述荧光镜检查图像中接收导管尖端的指示；
在其余的荧光镜检查图像中投影所述导管尖端的位置；和
裁剪具有导管尖端的投影位置的荧光镜检查图像，以限定一组帧；
神经网络，其与所述存储器通信并被配置为分析所述帧，以识别所述导管尖端在所述帧中的位置；
所述存储器从所述神经网络接收识别的所述导管尖端在所述帧中的位置，并且所述处理器执行基于所述神经网络识别的所述导管尖端的位置更新所述初始姿势估计的应用的步骤；和
利用更新的姿势估计，生成所述多个荧光镜检查图像的三维(3D)重建。
13.根据权利要求12所述的系统，其中所述处理器进一步执行显示从所述3D重建得到的荧光镜检查计算机断层扫描图像的应用的步骤。
14.根据权利要求12所述的系统，其中所述处理器进一步执行针对每个裁剪的荧光镜检查图像生成导管尖端的检测的置信度估计的应用的步骤。
15.根据权利要求14所述的系统，其中所述处理器还执行以下应用的步骤：以获取所述多个荧光镜检查图像的顺序，识别裁剪的荧光镜检查图像的位于任一侧的置信度估计低于确定的阈值的两个另外的裁剪的荧光镜检查图像。
16.根据权利要求15所述的系统，其中所述两个另外的裁切的荧光镜检查图像的置信度估计高于确定的阈值。
17.根据权利要求16所述的系统，其中所述处理器还执行以下应用的步骤：从置信度估计高于确定的阈值的所述两个裁剪的荧光镜检查图像中的导管尖端的位置，内插置信度估计低于确定的阈值的所述裁剪的荧光镜检查图像中的导管尖端的位置。
18.根据权利要求17所述的系统，其中姿势的初始估计包括针对所述多个荧光镜检查图像中的每一个生成概率图，所述概率图指示所述荧光镜检查图像的每个像素属于标记物投影的概率。
19.根据权利要求18所述的系统，进一步包括生成用于标记物在荧光镜检查图像上的投影的候选者，并基于所述概率图识别具有是标记物在图像上的投影的最高标记物投影概率的候选者。
20.一种增强荧光镜检查计算机断层扫描图像的方法，包括：
获取多个荧光镜检查图像；
为所述多个荧光镜检查图像的每一个确定荧光镜检查成像装置的初始姿势估计；
在至少两个所述荧光镜检查图像中接收导管尖端的指示；
在其余的荧光镜检查图像中投影所述导管尖端的位置；
裁剪投影了所述导管尖端的置的所述多个荧光镜检查图像，以生成多个帧；
分析每个帧，以确定所述导管尖端在所述帧中的位置；
比较所述导管尖端在每个帧中的位置与所述导管尖端在至少两个另外帧中的位置，以确认所述导管尖端在每个帧中的确定的位置；
基于每个帧中确认的位置更新所述初始姿势估计；
利用更新的姿势估计，生成所述多个荧光镜检查图像的三维(3D)重建；和
显示从所述3D重建得到的荧光镜检查计算机断层扫描图像。
CN202010198896.4A 2019-03-21 2020-03-20 使用深度学习在荧光镜检查视频中进行导管尖端检测 Pending CN111714205A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962821696P 2019-03-21 2019-03-21
US62/821,696 2019-03-21
US201962852092P 2019-05-23 2019-05-23
US62/852,092 2019-05-23
US201962940686P 2019-11-26 2019-11-26
US62/940,686 2019-11-26
US16/798,378 2020-02-23
US16/798,378 US20200297292A1 (en) 2019-03-21 2020-02-23 Catheter tip detection in fluoroscopic video using deep learning

Publications (1)

Publication Number Publication Date
CN111714205A true CN111714205A (zh) 2020-09-29

Family

ID=69953767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198896.4A Pending CN111714205A (zh) 2019-03-21 2020-03-20 使用深度学习在荧光镜检查视频中进行导管尖端检测

Country Status (3)

Country Link
US (1) US20200297292A1 (zh)
EP (1) EP3712847A1 (zh)
CN (1) CN111714205A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11819288B2 (en) * 2020-03-19 2023-11-21 Verb Surgical Inc. Trocar pose estimation using machine learning for docking surgical robotic arm to trocar

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090062641A1 (en) * 2007-08-21 2009-03-05 Adrian Barbu Method and system for catheter detection and tracking in a fluoroscopic image sequence
US20140343401A1 (en) * 2013-05-14 2014-11-20 Michael Huber Systems and methods for considering target motion in medical field
US20170035379A1 (en) * 2015-08-06 2017-02-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN109069217A (zh) * 2016-02-12 2018-12-21 直观外科手术操作公司 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10702226B2 (en) * 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11089975B2 (en) * 2017-03-31 2021-08-17 DePuy Synthes Products, Inc. Systems, devices and methods for enhancing operative accuracy using inertial measurement units
EP3480787B1 (en) * 2017-11-06 2022-07-20 Siemens Healthcare GmbH Determining a correspondence between frames of a set of medical image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090062641A1 (en) * 2007-08-21 2009-03-05 Adrian Barbu Method and system for catheter detection and tracking in a fluoroscopic image sequence
US20140343401A1 (en) * 2013-05-14 2014-11-20 Michael Huber Systems and methods for considering target motion in medical field
US20170035379A1 (en) * 2015-08-06 2017-02-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN109069217A (zh) * 2016-02-12 2018-12-21 直观外科手术操作公司 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法
US20190038365A1 (en) * 2016-02-12 2019-02-07 Intuitive Surgical Operations, Inc Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery

Also Published As

Publication number Publication date
US20200297292A1 (en) 2020-09-24
EP3712847A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP6509906B2 (ja) 医療機器の作動方法
CN102843972B (zh) 用于将图像与管状结构融合的基于仪器的图像配准
US10762380B2 (en) Registration system for registering an imaging device with a tracking device
EP3855396A2 (en) Orientation detection in fluoroscopic images
EP3871603B1 (en) Methods and systems for digital mammography imaging
CN111568544A (zh) 用于使医疗装置相对于目标的导航视觉化的系统和方法
US11925333B2 (en) System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11950950B2 (en) Zoom detection and fluoroscope movement detection for target overlay
EP3712847A1 (en) Catheter tip detection in fluoroscopic video using deep learning
US20230145801A1 (en) Systems and methods of visualizing a medical device relative to a target
EP4346613A1 (en) Volumetric filter of fluoroscopic sweep video
WO2024079639A1 (en) Systems and methods for confirming position or orientation of medical device relative to target
CN117412724A (zh) 在程序内成像期间评估屏气的系统和方法
CN112618016A (zh) 用于经皮插入的设备的图像引导导航的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination