CN113171174A - 荧光镜图像中的取向检测 - Google Patents

荧光镜图像中的取向检测 Download PDF

Info

Publication number
CN113171174A
CN113171174A CN202110059783.0A CN202110059783A CN113171174A CN 113171174 A CN113171174 A CN 113171174A CN 202110059783 A CN202110059783 A CN 202110059783A CN 113171174 A CN113171174 A CN 113171174A
Authority
CN
China
Prior art keywords
fluoroscopic
orientation
fluoroscopic image
neural network
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110059783.0A
Other languages
English (en)
Inventor
D·奥瓦迪亚
G·阿莱克斯安德罗尼
A·比仁鲍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN113171174A publication Critical patent/CN113171174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

使用深度学习在荧光镜图像中进行自动取向检测的系统和方法能够进行局部配准以用于在电磁导航支气管镜(ENB)系统中校正初始的CT到身体的配准。

Description

荧光镜图像中的取向检测
相关申请的交叉引用
本申请要求2020年1月24日提交的美国临时申请号62/965,668的权益和优先权。
技术领域
本公开涉及成像领域,且尤其涉及荧光镜图像(荧光透视图像,fluoroscopicimage)中的取向检测。
背景技术
荧光镜成像设备在导航程序期间通常位于手术室中。在导航程序中,可以显示各种CT截面视图、3D视图和/或指导说明,以帮助临床医生将导航导管沿预定路径引导至一个或多个目标,直到导航导管与一个或多个目标对齐。在导航程序期间,可以执行局部配准(local registration)以更准确地显示导航导管相对于一个或多个目标的位置。为了执行局部配准,获取并且处理患者的荧光镜扫描(fluoroscopy sweep)。然后,扫描视频被用于重构目标周围的体积以获得目标与导航导管之间的关系。
在设置用于局部配准的荧光镜检查期间,荧光镜被定位于患者上方,获取荧光镜图像,临床医生通过选择与患者身体在荧光镜图像中的取向相对应的适当图像标签来确定并手动设置荧光镜图形的取向。但是,该步骤使局部配准过程复杂化,尤其是当使用具有不同设置的不同荧光镜时。此手动步骤也容易出现人为错误。因此,需要一种方法,该方法可以提供用于监测患者身体在荧光镜图像中的取向的快速、准确和稳健的方法。
发明内容
一方面,本公开的特征在于一种在医疗设备导航过程中执行局部配准的方法。所述方法包括:获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像;通过神经网络处理所述荧光镜图像,以基于通过所述神经网络对所述荧光镜图像的处理,确定所述患者身体在所述荧光镜图像中的取向;以及至少基于所述患者身体在所述荧光镜图像中的经确定的取向,生成所述荧光镜图像的三维(3D)重构。
实施方式可以包括下述特征中的一个或多个特征。所述荧光镜图像可以通过使用荧光镜成像设备执行荧光镜扫描来捕获,并且来自荧光镜扫描的荧光镜图像中的每一个可以使用神经网络来处理。处理的结果可以被组合以确定患者身体在荧光镜图像中的取向。所述处理可以包括针对荧光镜图像中的每个荧光镜图像,生成用于取向候选的概率值并且选择具有最高概率值的取向候选。所述取向候选可以是四个翻转(flip)候选。所述至少一个解剖特征可以是亚解剖区域(sub-anatomical region)。所述方法可以包括:从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息;基于所述位置信息,识别所述亚解剖区域;以及基于识别到的亚解剖区域,由经训练的神经网络处理所述荧光镜图像,以确定所述患者身体在所述荧光镜图像中的取向。
所述荧光镜图像可以形成荧光镜扫描的一部分。所述荧光镜图像的子集由所述神经网络处理。所述方法可以包括调整所述荧光镜图像的大小。所述亚解剖区域可以是肺叶。所述医疗设备可以是导航导管,并且所述电磁传感器可以形成电磁导航系统的一部分。所述神经网络可以是卷积神经网络,所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。
在另一方面,本公开的特征在于一种用于使用荧光检查法(fluoroscopy)执行局部配准的系统。所述系统可以包括与荧光镜通信的处理器;和存储器,所述存储器存储神经网络和指令,所述指令在由所述处理器执行时导致所述处理器:获取患者身体内的至少解剖结构和医疗设备的荧光镜图像;利用神经网络处理所述荧光镜图像;基于利用所述神经网络对所述荧光镜图像进行处理的结果,确定所述患者身体在所述荧光镜图像中的取向;至少基于经确定的取向候选的取向,生成所述荧光镜图像的三维(3D)重构;以及基于所述3D重构,执行局部配准。
实施方式可以包括下述特征中的一个或多个特征。所述指令在由所述处理器执行时可以进一步使得所述处理器生成并且显示从所述3D重构获得的荧光镜计算机断层扫描图像。所述指令在由所述处理器执行时可以进一步使得所述处理器:获取患者身体内的至少医疗设备的荧光镜图像序列;使用所述荧光镜图像序列的第一部分训练所述神经网络;以及使用所述荧光镜图像序列的第二部分验证所述神经网络。所述神经网络可以包含取向候选。所述取向候选可以包括翻转候选。例如,所述翻转候选可以包括:(1)头朝上、右臂向左,(2)头朝上、右臂向左,(3)头朝下、右臂向左,以及(4)头朝下,右臂向右。
在另一方面,本公开的特征在于一种用于检测患者身体在荧光镜图像帧序列中的取向的方法。所述方法包括:从所述患者身体的荧光镜扫描中获取所述荧光镜图像帧序列;利用卷积神经网络处理所述荧光镜图像帧,以获得取向候选的概率值;对于所述荧光镜图像帧的子集中的每个荧光镜图像帧,选择具有最高概率值的取向候选;以及确定所述患者身体的取向与被选择次数最多的所述取向候选相对应。
实施方式可以包括下述特征中的一个或多个特征。所述方法可以包括:确定基于整个所述荧光镜图像帧中的概率值的一致性的置信度;确定所述置信度大于阈值;以及响应于确定所述置信度大于所述阈值,至少基于经确定的取向,生成所述荧光镜图像帧的三维(3D)重构。所述方法可以包括:确定所述置信度不大于所述阈值;以及响应于确定所述置信度不大于所述阈值,请求用户确认所述经确定的取向。
附图说明
附图中示出了各种示例性实施例。将理解的是,为了图示的简化和清楚起见,在下面引用的附图中示出的元件不必按比例绘制。此外,在认为适当的情况下,可以在图示中重复附图标记以指示相似、对应或类似的元件。下面列出附图。
图1是被配置为与本公开的方法一起使用的系统的示意图;
图2是根据本公开的一方面的在不同取向上的荧光镜图像的示例;
图3是根据本公开的一方面的卷积神经网络模型的流程图;
图4是根据本公开的方面的荧光镜图像的示例,其展示了如何可以修改荧光镜图像以改善取向检测;
图5是根据本公开的一方面的使用神经网络检测患者身体在荧光镜图像中的取向的方法的流程图;
图6是根据本公开的一方面的训练神经网络模型的方法的流程图;
图7是根据本公开的另一方面的使用神经网络检测患者身体在荧光镜图像中的取向的方法的流程图;和
图8是根据本公开的计算设备的示意性框图。
具体实施方式
如上所述,在设置用于局部配准的荧光镜检查期间,将荧光镜定位在患者上方,捕获荧光镜图像,临床医生通过选择与患者身体在荧光镜图像中的取向相对应的适当图像标签来确定并手动设置荧光镜图形的取向。但是,此手动步骤容易出现人为错误。例如,临床医生通常不能通过查看荧光镜或荧光镜捕获的荧光镜图像来分辨肺的取向。
本公开涉及一种基于包括神经网络的深度学习模型来自动检测荧光镜图像取向的系统和方法。可以使用荧光镜图像(例如来自荧光镜扫描的荧光镜图像)序列来训练和验证神经网络。经训练的神经网络接收荧光镜图像帧、提取特征、并且将荧光镜图像帧分类为多个候选取向选项(例如,候选翻转选项)中的一个。为了实现更稳健的分类,可以将神经网络应用于来自荧光镜扫描的多个荧光镜图像帧,并且将结果进行组合以获得关于荧光镜图像帧中的取向的最终决定。在单个荧光镜扫描中多次应用神经网络可以估计分类的不确定性。在高度不确定的情况下,本公开的系统和方法可以在荧光镜扫描的荧光镜图像中提示用户确认患者身体的取向。
图1是示例性系统100的立体图,该系统用于经由肺的气道将医疗设备(例如,活检或治疗工具)导航到目标。系统100的一个方面是用于查看已经从系统100单独地获取的计算机断层扫描(CT)图像数据的软件应用。查看CT图像数据允许用户识别一个或多个目标并且计划到被识别的目标的路径。这通常称为计划阶段。软件应用的另一方面是导航阶段,导航阶段允许用户使用用户界面将导管或其他工具导航到目标(导航阶段),并且确认导管或工具相对于目标的放置。可以在导航阶段执行局部配准,以便临床医生可以在显示的医学图像中更准确地看到导管或工具相对于目标的位置。目标通常是在计划阶段通过查看CT图像数据被识别的用于进行活检或治疗的感兴趣组织。
在导航之后,可以将医疗设备诸如活检工具或治疗工具插入到导管中,以从位于目标处的组织或接近于目标的组织获得组织采样或者以治疗这样的组织。可以选择治疗工具以实现微波消融、射频消融、低温消融、化学消融或临床医生优选的其他目标治疗机制。
图1的一方面是导管引导组件102,其在远端处包括传感器104。导管引导组件102包括导管106。在实践中,导管106插入支气管镜108中以接近患者P的腔网络。具体地,导管导引组件102的导管106可以插入支气管镜108的工作通道中以导航通过患者的腔网络。如果被配置为用于电磁导航(EMN)(如下所述),则可定位引导件(LG)110(其可以包括诸如电磁(EM)传感器的传感器104)可以插入导管106中并锁定到位,使得传感器104延伸期望距离超出导管106的远侧尖端。然而,在不脱离本公开的范围的情况下,传感器104可以被并入到支气管镜108、导管106或活检或治疗工具中的一个或多个中。
如果导管106被插入支气管镜108中,则导管106和LG 110的远端延伸超出支气管镜108的远端。可以基于位置数据得出传感器104并因此LG 110的远端部分在电磁场中的定位或位置以及取向,该位置数据是通过磁场中存在EM传感器或通过本文所述的其他方式产生的电流的形式。尽管作为本公开内容的一部分不需要使用EM传感器和EMN,但是它们的使用可以进一步增强本公开内容在腔内导航(例如肺的导航)中的实用性。在一些方面,当在荧光镜图像中确定患者身体的取向时,EM传感器可以用于确定导管106位于哪个解剖区域或亚解剖区域中,如下面更详细地描述的。由于支气管镜108、导管106、LG 110或其他工具可以在本文中可互换地使用或组合使用,因此术语导管在此处将用于指代这些元件中的一种或多种。此外,在不脱离本公开的范围的情况下,作为使用EM传感器的替代,可以结合本公开使用诸如光纤布拉格传感器、超声传感器、加速度计等的挠性传感器以将输出提供给跟踪系统114,用于确定导管(包括但不限于支气管镜108、导管106、LG 110或活检或治疗工具)的位置。
系统100通常可以包括:手术台112,其被配置为支撑患者P;支气管镜108,其被配置为通过患者P的口插入患者P的气道;联接到支气管镜108的监测设备114(例如,视频显示器,用于显示从支气管镜108的视频成像系统接收的视频图像)。如果被配置为用于EMN,则系统100可以包括定位或跟踪系统114和定位模块116、参考EM传感器118和包括不透射线或部分不透射线的标记物的发射器垫120。在不脱离本公开的范围的情况下,可以采用其他图案,包括在发射器垫120中的不同相对深度处的三维标记物,或非重复图案。
还包括有计算设备122,其包括软件和/或硬件,该软件和/或硬件用于促进对目标的识别、到目标的路径计划、医疗设备到目标的导航、局部配准、以及/或者对导管106或穿过其的合适的设备相对于目标的放置的确认和/或确定。计算设备122可以类似于图8的工作站801并且可以被配置成执行包括图5-图7的方法在内的本公开内容的方法。计算设备122可以是包括处理器和存储介质的任何合适的计算设备,其中,处理器能够执行被存储在作为一个或多个应用的存储介质上的指令。计算设备122可以进一步包含数据库,所述数据库被配置成存储患者数据、包括CT图像的CT数据集、包括荧光镜图像(例如来自荧光镜扫描的荧光镜图像)和视频的荧光镜数据集、荧光镜3D重构、导航计划以及任何其它此类数据。尽管未明确展示,但是计算设备122可以包含输入,或者可以另外被配置成接收CT数据集、荧光镜图像/视频和本文描述的其它数据。另外,计算设备122包括被配置成显示图形用户界面的显示器。计算设备122可以连接到一个或多个网络,通过所述一个或多个网络可以访问一个或多个数据库。在下面结合图8描述计算设备的进一步细节。
关于规划阶段,计算设备122利用预先获取的CT图像数据来生成并查看患者P的气道的三维模型或渲染,实现对三维模型上的目标(自动地、半自动地或手动地)的标识,并允许确定通过患者P的气道到达位于目标处和目标周围的组织的路径。更具体地,从CT扫描获取的CT图像和CT图像数据集被处理并组装成三维CT体积,然后将其用于生成患者P的气道的三维模型。三维模型可以在与计算设备122相关联的显示器上显示,或以任何其它合适的方式显示。使用计算设备122,呈现了三维模型或由三维模型生成的增强的二维图像的各个视图。增强的二维图像可以具有某些三维能力,因为其是由三维数据生成的。可以操纵三维模型以促进对三维模型或二维图像上的目标的标识,并且可以进行对通过患者P的气道进入位于目标处的组织的合适的路径的选择。一旦被选择,路径计划、三维模型以及从其得出的图像就可以被保存并且被导出到导航系统以在导航阶段期间使用。
如上所示,系统100中还包括能够获取患者P的荧光镜或X射线图像或视频(荧光镜图像数据集)的荧光镜成像设备124。由荧光镜成像设备124捕获的图像、图像系列或视频可以存储在荧光镜成像设备124内,或传输到计算设备122以用于存储、处理和显示。另外,荧光镜成像设备124可以相对于患者P移动,从而可以从相对于患者P的多个不同角度或视角获取图像,以创建荧光镜图像序列,诸如荧光镜扫描或荧光镜视频。可以使用标记物121来估计荧光镜成像设备124相对于患者P的姿势。可以针对荧光镜扫描或视频中的每个图像或图像的一部分进行姿势估计过程。处理的结果是针对每个获取的荧光镜图像确定荧光镜成像设备124的姿势。而且,可以使用下面描述的图像处理技术来确定在荧光镜图像中捕获的患者身体的取向。姿势估计数据和患者取向数据以及其他必要数据可以用于生成3D重构,并且在需要时将3D重构配准到从术前CT扫描生成的3D模型中。
标记物121可以被结合到发射器垫120中、结合到手术台112中、或者以其他方式结合到被放置在手术台112上或操作台附近的另一器具中,使得它们可以在荧光镜图像中被看到。标记物121通常地被定位在患者P下方并且在患者P与荧光镜成像设备124的辐射源或感测单元之间。荧光镜成像设备124可以包含单个成像设备或多于一个成像设备。
在局部配准期间,荧光镜成像设备124可以例如根据荧光镜成像设备124的输出设置(例如翻转设置)、荧光镜成像设备124的品牌和/或荧光镜相对于患者床的位置,输出图2中所示的荧光镜图像210-240中的一个。在某些方面,荧光镜成像设备124可以输出荧光镜图像,其中患者身体的取向对应于图2的荧光镜图像210-240中的一个所示的患者身体的取向。患者身体在荧光镜图像210中的取向是头朝上、右臂向左;患者身体在荧光镜图像220中的取向是头朝上、右臂向右;患者身体在荧光镜图像230中的取向是头朝下、右臂向左;患者身体在荧光镜图像240中的取向是头朝下、右臂向右。患者身体在荧光镜图像中的取向被需要以正确生成3D荧光镜重构。在某些方面,本公开的特征在于可以基于患者身体的候选取向来自动检测患者身体在荧光镜图像(如图2中所示的荧光镜图像210-240)中的取向的系统和方法。
本公开的各方面使用深度学习来对患者身体在荧光镜图像中的取向进行分类。例如,可以使用神经网络对荧光镜图像进行分类。神经网络可以包括特征提取层和分类层。在特征提取层中,输入的荧光镜图像由多个卷积层处理。每个卷积层之后是非线性运算和采样运算。在分类层中,特征提取层的输出由一个或多个附加层处理,并为每个可能的输出类别输出概率值。输出类别是荧光镜图像中不同的可能的患者身体取向。
图3是示出根据一些方面的神经网络模型的示例的网络图,该神经网络模型可以用于将输入的荧光镜图像分类为不同的取向或翻转候选中的一个。输入的荧光镜图像、图3的神经网络模型的内核(kernel)、激活热力图(activation map)、全连接层(fullyconnected layer)以及其他特征的指示大小并非旨在限制,而是旨在示出根据本公开的方面的实现神经网络的许多方式之一。步骤1–7与神经网络模型的特征提取层有关,而步骤8与神经网络模型的分类层有关。在步骤1,由第一处理层处理输入的荧光镜图像302,该第一处理层可以包括第一卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第一卷积层可以包括1个输入通道和16个输出通道,并且可以使用7×7像素内核。来自第一处理层的输出是16个64×64像素激活热力图304。在步骤2,由第二处理层处理16个64×64像素激活热力图304,该第二处理层可以包括第二卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第二卷积层可以包括16个输入通道和32个输出通道,并且可以使用5×5像素内核。来自第二卷积层的输出是32个32×32像素激活热力图306。
在步骤3,由第三处理层处理32×32×32像素激活热力图306,该第三处理层可以包括第三卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第三卷积层可以包括32个输入通道和64个输出通道,并且可以使用3×3像素内核。来自第三卷积层的输出是64个16×16像素激活热力图308。
在步骤4,由第四处理层处理64个16×16像素激活热力图308,该第四处理层可以包括第四卷积层、批归一化层、修正线性单元(ReLU)层和最大池化层。第四卷积层可以包括64个输入通道和64个输出通道,并且可以使用3×3像素内核。第四卷积层的输出是64个8×8像素激活热力图310。
在步骤5,由第五处理层处理64个8×8像素激活热力图310,该第五处理层可以包括第五卷积层、批量归一化层、修正线性单元(ReLU)层和最大池化层。第五卷积层可以包括64个输入通道和64个输出通道,并且可以使用3×3像素内核。第五卷积层的输出是64个4×4像素激活热力图312。
在步骤6,由第六处理层处理64个4×4像素激活热力图312,该第六处理层可以包括第六卷积层、批归一化层和修正线性单元(ReLU)层。第六卷积层可以包括64个输入通道和32个输出通道,并且可以使用1×1像素内核。第六处理层的输出是32个4×4像素激活热力图314。在步骤7,由第七处理层处理32个4×4像素激活热力图314,该第七处理层可以包括平均池化层。第七处理层的输出是1×1×32特征数组316。在步骤8,由第八处理层处理1×1×32特征数组316,该第八处理层包括全连接层、softmax处理层和对应于四个翻转候选的概率值数组318,该全连接层具有32个输入和对应于四个翻转候选的4个输出。
在各方面中,可以对用于训练卷积神经网络的荧光镜图像进行预处理,以改善或优化通过卷积神经网络的图像取向检测。例如,如图4所示,可以旋转用于训练的荧光镜图像210以获得旋转的荧光镜图像412。在各方面中,用于训练的荧光镜图像210可以在-5度与+5度之间旋转。
在各方面中,可以预处理输入到经训练和验证的卷积神经网络以检测荧光镜图像的取向的荧光镜图像,以改善或优化通过卷积神经网络的图像取向检测的性能。例如,也如图4中所示,可以将放大或扩大过程应用于荧光镜图像210以获得扩大的荧光镜图像414,然后可以将其应用于经训练和验证的卷积网络,以确定患者在荧光镜图像414中的取向。
作为导航过程的一部分,将医疗设备(例如导管106)导航到患者“P”中的期望位置。这可以通过遵循上述路径规划和EM系统或者在支气管镜成像下或者在使用荧光镜成像设备124的荧光镜成像下完成。在将导管106导航到期望位置之后,可以执行荧光镜扫描。当荧光镜成像设备124围绕患者“P”旋转时,该荧光镜扫描以多个不同的角度获取2D荧光镜图像。图5是根据本公开的一方面的方法700的流程图,该方法使用神经网络模型检测患者身体在获取的2D荧光镜图像中的取向并且使用检测的取向来生成荧光镜图像的3D重构。在框502处,获取通过荧光镜扫描捕获的在患者身体内的解剖结构和医疗设备的荧光镜图像。在框504,通过神经网络处理荧光镜图像,以确定患者身体在荧光镜图像中的取向。并且在框506处,基于经确定的取向,生成荧光镜图像的3D重构。
为了改善神经网络,必须对该神经网络进行训练以检测患者身体的取向。以监督的方式训练神经网络。训练集可以包括示出目标和医疗设备的数千个荧光镜2D图像。
图6是根据本公开的一方面的用于训练神经网络模型的一种方法600的示例的流程图。这种训练方法并不意味着是限制性的,而是可以如何训练神经网络的一个示例。在框602处,获取患者身体内的目标和医疗设备的多个荧光镜图像。可以通过执行多次荧光镜扫描来获得多个荧光镜图像。在一些方面,在执行多次荧光镜扫描之前,临床医生可以将荧光镜垂直于患者的床(其可以包括标记物网格)放置。
在框604处,将多个荧光镜图像划分为两组荧光镜图像,基于这两组荧光镜图像,医疗设备位于一对解剖特征中的一个。在框606处,将一组荧光镜图像划分为训练集、验证集和测试集。在框608处,将训练集中的荧光镜图像旋转小角度,例如3度。替代地或附加地,可以通过放大操作来扩大或处理训练集中的荧光镜图像。在框610处,使用交叉熵损失函数和训练集中的荧光镜图像来训练卷积神经网络模型。在其他方面,交叉熵损失函数可以由适合于训练神经网络以检测患者在荧光镜图像中的取向的任何损失函数来代替。例如,交叉熵损失函数可以由均方误差损失函数代替。
在框612处,使用验证集中的荧光镜图像来验证卷积神经网络模型,然后,在框614处,使用测试集中的荧光镜图像来测试卷积神经网络模型。在各方面,可以将与四个翻转候选相对应的翻转概率值各自设置为常数0.25,以进行训练和验证。在框616处,方法600确定另一组荧光镜图像是否需要训练。如果另一组荧光镜图像需要训练,则针对另一组荧光镜图像重复框606-614。否则,方法600在框618处结束。
图7是根据本公开的一方面的方法700的流程图,该方法使用神经网络模型检测患者身体在2D荧光镜图像中的取向并且使用检测到的取向生成2D荧光镜图像的3D重构。在框702处,获取患者身体(包括肺和导管)的荧光镜图像。在其他方面,肺可以是任何解剖结构或特征,并且导管可以是适用于涉及解剖结构的手术的任何医疗设备。在获取荧光镜图像之后,可以对荧光镜图像进行预处理以改善方法的性能(包括神经网络的性能)。预处理可以包括减小所获取的荧光镜图像的大小。
在框704处,肺被识别为右肺或左肺。可以例如通过当导管被设置在肺中时确定导管的位置来识别肺。可以通过本文所述的EMN系统使用设置在导管上的EM传感器来确定导管的位置。在其他方面,在框704处,可能不需要导管来将肺识别为右肺或左肺。在框706处,考虑到识别出的肺,通过卷积神经网络处理荧光镜图像,以确定与取向候选相关联的概率值。在一些方面,对于每个荧光镜图像,可以生成对应于每个取向候选的概率值数组,例如,对于四个翻转取向候选为[0.10 0 0.70 0.20]。在框708处,对于荧光镜扫描帧的子集中的每个荧光镜图像,选择具有最高概率值的取向候选。在框709处,确定具有最大数量的所选取向候选的取向。
为了改善图7的方法的结果,可以采用几种后处理技术。例如,可以给荧光镜视频的每个帧中的患者身体的取向的检测给出置信度估计或水平。例如,在框710处,估计或确定基于荧光镜扫描的概率值的一致性的置信度。接下来,方法700包括在框712处确定置信度水平是否大于阈值。如果置信度大于阈值,则在框714处基于经确定的取向来生成荧光镜图像的3D重构。
如果置信度不大于阈值,则在框716处,请求用户确认经确定的取向。接下来,方法700包括在框718处确定经确定的取向是否被确认。如果经确定的取向被确认,则在框714处基于经确定的取向来生成荧光镜图像的3D重构。如果经确定的取向没有被确认,则在框720处要求用户输入不同的经确定的取向,并且在框714处基于不同的经确定的取向,生成荧光镜图像的3D重构。在其他方面,如果存在荧光镜视频帧,对此置信度估计值低或低于预定阈值,则可以拒绝对患者身体的取向的确定,而无需执行框716和718的确认。
现在参考图8,其是被配置为与包括图3至图7所示的方法的本公开的方法一起使用的系统800的示意图。系统800可以包括工作站801,并且该工作站被可选地连接到荧光镜成像设备124(图1)。在一些实施例中,工作站801可以例如通过无线通信与荧光镜815直接地或间接地耦接。工作站801可以包括存储器802、处理器804、显示器806和输入设备810。处理器或硬件处理器804可以包括一个或多个硬件处理器。工作站801可以可选地包括输出模块812和网络接口808。存储器802可以存储应用818和图像数据814。应用818可以包括可由处理器804执行的用于执行包括图3至图7的方法和技术的本公开的方法的指令。
应用818可以进一步包括用户界面816。图像数据814可包括CT扫描、荧光镜图像、生成的荧光镜3D重建和/或任何其它荧光镜图像数据和/或生成的一个或多个虚拟荧光镜检查图像。处理器804可以与存储器802、显示器806、输入设备810、输出模块812、网络接口808和荧光镜815耦接。工作站801可以是诸如个人计算机的固定计算设备、或者是诸如平板计算机的便携式计算设备。工作站801可以嵌入式计算机设备。
存储器802可以包括用于存储包含指令的数据和/或软件的任何非暂时性计算机可读存储介质,所述指令可由处理器804执行并且控制工作站801的操作并且在一些实施例中还可以控制荧光镜815的操作。荧光镜成像设备124可以用于捕获荧光镜图像序列,基于所述序列生成荧光镜3D重构,以及根据本公开捕获实时2D荧光镜视图。在一个实施例中,存储器802可以包括诸如固态存储设备的一个或多个存储设备,例如,闪速存储器芯片。作为一个或多个固态存储设备的替代或补充,存储器802可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器804的一个或多个大容量存储设备。
尽管本文中包括的计算机可读介质的描述指的是固态存储,但是本领域技术人员应当理解的是,计算机可读存储介质可以是可以被处理器804访问的任何可用的介质。也就是说,计算机可读存储介质可以包含以用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实施的非暂时性、易失性和非易失性、可移动和不可移动介质。例如,计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光光碟或其它光学存储设备、盒式磁带、磁带、磁盘存储或其它磁存储设备、或可以用来存储所需的信息并且可以被工作站801访问的任何其它介质。
在由处理器804执行时,应用818可以使显示器806呈现用户界面816。用户界面816可以被配置为向用户呈现单个屏幕,该单个屏幕包括:从医疗设备的尖端来看的目标的3D模型的三维(3D)视图;显示医疗设备的实时二维(2D)荧光镜视图;以及对应于目标的3D模型、覆盖在实时2D荧光镜视图、荧光镜扫描的荧光镜图像的3D重构以及其他图像和屏幕上的目标标记物。用户界面816可以被进一步配置成根据医疗设备尖端在三个维度上是否与目标对准而以不同的颜色显示目标标记物。
网络接口808可以被配置成连接到网络诸如由有线网络和/或无线网络构成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口808可以被用于在工作站801与荧光镜815之间进行连接。网络接口808也可以被用于接收图像数据814。输入设备810可以是用户可以通过其与工作站801交互的任何设备,例如鼠标、键盘、脚踏板、触摸屏和/或语音界面。输出模块812可以包含任何连接端口或总线,例如并行端口、串行端口、通用串行总线(USB)或本领域的技术人员已知的任何其它类似的连接端口。
虽然已经在附图中示出了本公开的若干方面,但并非意图将本公开限于此,而是意图使本公开的范围与本领域所允许的一样广泛,并且同样地理解本说明书。因此,以上描述不应被解释为限制性的,而是仅作为特定方面的范例。

Claims (20)

1.一种在医疗设备导航过程中执行局部配准的方法,所述方法包括:
获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像;
通过神经网络处理所述荧光镜图像;
基于通过所述神经网络对所述荧光镜图像的处理,确定所述患者身体在所述荧光镜图像中的取向;以及
至少基于所述患者身体在所述荧光镜图像中的经确定的取向,生成所述荧光镜图像的三维重构即3D重构。
2.根据权利要求1所述的方法,其中,通过利用所述荧光镜成像设备执行荧光镜扫描,捕获所述荧光镜图像,并且
其中,使用所述神经网络处理来自所述荧光镜扫描的所述荧光镜图像中的每一个,并且将所述处理的结果进行组合以确定所述患者身体在所述荧光镜图像中的取向。
3.根据权利要求1所述的方法,其中,所述至少一个解剖特征是亚解剖区域,所述方法进一步包括:
从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息;
基于所述位置信息,识别所述亚解剖区域;以及
基于识别到的亚解剖区域,由经训练的神经网络处理所述荧光镜图像,以确定所述患者身体在所述荧光镜图像中的取向。
4.根据要求要求3所述的方法,其中,所述荧光镜图像形成荧光镜扫描的一部分。
5.根据要求要求3所述的方法,其进一步包括调整所述荧光镜图像的大小。
6.根据权利要求3所述的方法,其中,所述亚解剖区域是肺叶。
7.根据权利要求4所述的方法,其中,所述荧光镜图像的子集由所述神经网络处理。
8.根据权利要求1所述的方法,其中,所述神经网络是卷积神经网络,所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。
9.根据权利要求3所述的方法,其中,所述医疗设备是导航导管,并且所述电磁传感器形成电磁导航系统的一部分。
10.根据权利要求2所述的方法,其中,所述处理包括针对所述荧光镜图像中的每个荧光镜图像:
生成取向候选的概率值;和
选择具有最高概率值的所述取向候选。
11.根据权利要求10所述的方法,其中,所述取向候选是四个翻转候选。
12.一种用于使用荧光检查法执行局部配准的系统,所述系统包括:
与荧光镜通信的处理器;和
存储器,所述存储器被配置为存储神经网络和指令,所述指令在由所述处理器执行时导致所述处理器:
获取患者身体内的至少解剖结构和医疗设备的荧光镜图像;
利用神经网络处理所述荧光镜图像;
基于利用所述神经网络对所述荧光镜图像进行处理的结果,确定所述患者身体在所述荧光镜图像中的取向;
至少基于经确定的取向候选的取向,生成所述荧光镜图像的三维重构即3D重构;以及
基于所述3D重构,执行局部配准。
13.根据权利要求12所述的系统,其中,所述指令在由所述处理器执行时进一步使得所述处理器生成并且显示从所述3D重构获得的荧光镜计算机断层扫描图像。
14.根据权利要求12所述的系统,其中,所述指令在由所述处理器执行时进一步使得所述处理器:
获取患者身体内的至少医疗设备的荧光镜图像序列;
使用所述荧光镜图像序列的第一部分训练所述神经网络;以及
使用所述荧光镜图像序列的第二部分验证所述神经网络。
15.根据权利要求14所述的系统,其中,所述神经网络包含取向候选。
16.根据权利要求15所述的系统,其中,所述取向候选包括翻转候选。
17.根据权利要求16所述的系统,其中,所述翻转候选包括:(1)头朝上、右臂向左,(2)头朝上、右臂向左,(3)头朝下、右臂向左,以及(4)头朝下、右臂向右。
18.一种用于检测患者身体在荧光镜图像帧序列中的取向的方法,所述方法包括:
从所述患者身体的荧光镜扫描中获取所述荧光镜图像帧序列;
利用卷积神经网络处理所述荧光镜图像帧,以获得取向候选的概率值;
对于所述荧光镜图像帧的子集中的每个荧光镜图像帧,选择具有最高概率值的取向候选;以及
确定所述患者身体的取向与被选择次数最多的所述取向候选相对应。
19.根据权利要求18所述的方法,其进一步包括:
确定基于整个所述荧光镜图像帧中的概率值的一致性的置信度;
确定所述置信度大于阈值;以及
响应于确定所述置信度大于所述阈值,至少基于经确定的取向,生成所述荧光镜图像帧的三维重构即3D重构。
20.根据权利要求19所述的方法,其进一步包括:
确定所述置信度不大于所述阈值;以及
响应于确定所述置信度不大于所述阈值,请求用户确认所述经确定的取向。
CN202110059783.0A 2020-01-24 2021-01-18 荧光镜图像中的取向检测 Pending CN113171174A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062965668P 2020-01-24 2020-01-24
US62/965,668 2020-01-24
US17/096,815 US11847730B2 (en) 2020-01-24 2020-11-12 Orientation detection in fluoroscopic images
US17/096,815 2020-11-12

Publications (1)

Publication Number Publication Date
CN113171174A true CN113171174A (zh) 2021-07-27

Family

ID=74205708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110059783.0A Pending CN113171174A (zh) 2020-01-24 2021-01-18 荧光镜图像中的取向检测

Country Status (5)

Country Link
US (1) US11847730B2 (zh)
EP (1) EP3855396A3 (zh)
CN (1) CN113171174A (zh)
AU (1) AU2020294163A1 (zh)
CA (1) CA3102807A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768852B (zh) * 2021-04-28 2022-06-21 緯創資通股份有限公司 人體方向之偵測裝置及人體方向之偵測方法
CN113633375B (zh) * 2021-08-04 2023-02-28 天津国科医工科技发展有限公司 一种非诊疗目的的虚拟支气管镜的构建方法
CN114594768B (zh) * 2022-03-03 2022-08-23 安徽大学 一种基于视觉特征图重构的移动机器人导航决策方法
WO2024079627A1 (en) * 2022-10-14 2024-04-18 Covidien Lp Systems and methods of detecting and correcting for patient and/or imaging system movement for target overlay

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373916B1 (en) 1999-05-10 2002-04-16 Shimadzu Corporation X-ray CT apparatus
US9833167B2 (en) 1999-05-18 2017-12-05 Mediguide Ltd. Method and system for superimposing virtual anatomical landmarks on an image
US6413981B1 (en) 1999-08-12 2002-07-02 Ortho-Mcneil Pharamceutical, Inc. Bicyclic heterocyclic substituted phenyl oxazolidinone antibacterials, and related compositions and methods
US6473634B1 (en) 2000-11-22 2002-10-29 Koninklijke Philips Electronics N.V. Medical imaging at two temporal resolutions for tumor treatment planning
US6472372B1 (en) 2000-12-06 2002-10-29 Ortho-Mcneil Pharmaceuticals, Inc. 6-O-Carbamoyl ketolide antibacterials
US20030092988A1 (en) 2001-05-29 2003-05-15 Makin Inder Raj S. Staging medical treatment using ultrasound
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
ES2706542T3 (es) 2004-07-09 2019-03-29 Hologic Inc Sistema de diagnóstico para mamografía multimodal
US7574028B2 (en) 2004-11-23 2009-08-11 Carestream Health, Inc. Method for recognizing projection views of radiographs
US7551759B2 (en) 2004-12-07 2009-06-23 Siemens Medical Solutions Usa, Inc. Target identification using time-based data sets
US9055906B2 (en) 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
IL184151A0 (en) 2007-06-21 2007-10-31 Diagnostica Imaging Software Ltd X-ray measurement method
US8335359B2 (en) 2007-07-20 2012-12-18 General Electric Company Systems, apparatus and processes for automated medical image segmentation
US8396533B2 (en) * 2007-08-21 2013-03-12 Siemens Aktiengesellschaft Method and system for catheter detection and tracking in a fluoroscopic image sequence
US20180009767A9 (en) 2009-03-19 2018-01-11 The Johns Hopkins University Psma targeted fluorescent agents for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8625869B2 (en) 2010-05-21 2014-01-07 Siemens Medical Solutions Usa, Inc. Visualization of medical image data with localized enhancement
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
WO2013116140A1 (en) 2012-02-03 2013-08-08 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
WO2013173227A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for registration of a medical device using a reduced search space
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US20130303945A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Electromagnetic tip sensor
EP2849669B1 (en) 2012-05-14 2018-11-28 Intuitive Surgical Operations Inc. Systems and methods for deformation compensation using shape sensing
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
US9801551B2 (en) 2012-07-20 2017-10-31 Intuitive Sugical Operations, Inc. Annular vision system
JP6074587B2 (ja) 2012-08-06 2017-02-08 株式会社Joled 表示パネル、表示装置ならびに電子機器
KR102194463B1 (ko) 2012-08-14 2020-12-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 비전 시스템의 정합을 위한 시스템 및 방법
CN104736085B (zh) 2012-10-12 2018-01-30 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US20140188440A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
EP2968857B1 (en) 2013-03-15 2022-05-04 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments
US20140343401A1 (en) * 2013-05-14 2014-11-20 Michael Huber Systems and methods for considering target motion in medical field
EP3027138A4 (en) 2013-07-29 2017-07-05 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
GB201313810D0 (en) * 2013-08-01 2013-09-18 King S College London Method and system for tomosynthesis imaging
CN105473098B (zh) 2013-08-15 2019-03-26 直观外科手术操作公司 用于医疗程序确认的系统和方法
CN105451802B (zh) 2013-08-15 2019-04-19 直观外科手术操作公司 用于导管定位和插入的图形用户界面
JP6656148B2 (ja) 2013-10-24 2020-03-04 オーリス ヘルス インコーポレイテッド ロボット支援管腔内手術のためのシステムおよび関連する方法
US10610306B2 (en) 2013-12-09 2020-04-07 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
EP3092479A4 (en) 2014-01-06 2017-11-22 Body Vision Medical Ltd. Surgical devices and methods of use thereof
JP6688557B2 (ja) 2014-01-07 2020-04-28 キヤノンメディカルシステムズ株式会社 X線ct装置
KR20160118295A (ko) 2014-02-04 2016-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
US20150223765A1 (en) 2014-02-07 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for using x-ray field emission to determine instrument position and orientation
KR102521043B1 (ko) 2014-03-17 2023-04-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비백색광 일반 조명기를 포함하는 수술 시스템
JP6425396B2 (ja) 2014-03-17 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
JP6359312B2 (ja) 2014-03-27 2018-07-18 キヤノンメディカルシステムズ株式会社 X線診断装置
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR20220065894A (ko) 2014-07-28 2022-05-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
US11351000B2 (en) 2014-07-28 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for planning multiple interventional procedures
EP3182875B1 (en) 2014-08-23 2021-04-07 Intuitive Surgical Operations, Inc. Systems for display of pathological data in an image guided procedure
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10314513B2 (en) 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
US10376134B2 (en) 2014-10-17 2019-08-13 Intutitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
JP2017536870A (ja) 2014-10-20 2017-12-14 ボディ・ビジョン・メディカル・リミテッドBody Vision Medical Ltd. 外科的デバイスおよび外科的デバイスの使用方法
KR102540633B1 (ko) 2014-11-13 2023-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정위 데이터를 필터링하기 위한 시스템 및 방법
WO2016106114A1 (en) 2014-12-22 2016-06-30 Intuitive Surgical Operations, Inc. Flexible electromagnetic sensor
EP3280312A4 (en) 2015-04-06 2019-02-20 Intuitive Surgical Operations Inc. SYSTEMS AND METHOD FOR REGISTERING COMPENSATION IN IMAGED SURGERY
EP3297529A4 (en) 2015-05-22 2019-01-09 Intuitive Surgical Operations Inc. SYSTEMS AND METHOD FOR REGISTERING IMAGED SURGERY
WO2017030913A2 (en) 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
CN108024693B (zh) 2015-09-10 2021-07-09 直观外科手术操作公司 在图像引导医疗程序中利用跟踪的系统和方法
CN108778113B (zh) 2015-09-18 2022-04-15 奥瑞斯健康公司 管状网络的导航
US10405753B2 (en) 2015-11-10 2019-09-10 Intuitive Surgical Operations, Inc. Pharmaceutical compositions of near IR closed chain, sulfo-cyanine dyes
EP3391030A4 (en) 2015-12-14 2019-06-12 Intuitive Surgical Operations Inc. APPARATUS AND METHOD FOR GENERATING ANATOMIC TARGET 3D DATA USING OPTICAL FIBER SHAPE DETECTION
US9996361B2 (en) 2015-12-23 2018-06-12 Intel Corporation Byte and nibble sort instructions that produce sorted destination register and destination index mapping
CN113729977A (zh) 2016-02-12 2021-12-03 直观外科手术操作公司 用于在图像引导手术中使用配准荧光透视图像的系统和方法
EP4375934A3 (en) * 2016-02-12 2024-07-31 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
JP6976266B2 (ja) 2016-03-10 2021-12-08 ボディ・ビジョン・メディカル・リミテッドBody Vision Medical Ltd. 多視点ポーズ推定を使用するための方法およびシステム
CN111329553B (zh) * 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
US10702137B2 (en) 2016-03-14 2020-07-07 Intuitive Surgical Operations, Inc.. Endoscopic instrument with compliant thermal interface
US20170296679A1 (en) 2016-04-18 2017-10-19 Intuitive Surgical Operations, Inc. Compositions of Near IR Closed Chain, Sulfo-Cyanine Dyes and Prostate Specific Membrane Antigen Ligands
US11266387B2 (en) 2016-06-15 2022-03-08 Intuitive Surgical Operations, Inc. Systems and methods of integrated real-time visualization
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR20230164237A (ko) 2016-06-30 2023-12-01 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
WO2018035122A1 (en) 2016-08-16 2018-02-22 Intuitive Surgical Operations, Inc. Augmented accuracy using large diameter shape fiber
CN109561934B (zh) 2016-08-23 2022-03-08 直观外科手术操作公司 用于医疗程序期间监测患者运动的系统和方法
US11980344B2 (en) 2016-09-21 2024-05-14 Intuitive Surgical Operations, Inc. Systems and methods for instrument buckling detection
WO2018064566A1 (en) 2016-09-30 2018-04-05 Intuitive Surgical Operations, Inc. Systems and methods for entry point localization
US10823627B2 (en) 2016-10-21 2020-11-03 Intuitive Surgical Operations, Inc. Shape sensing with multi-core fiber sensor
KR20190067917A (ko) 2016-11-02 2019-06-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
US11547490B2 (en) 2016-12-08 2023-01-10 Intuitive Surgical Operations, Inc. Systems and methods for navigation in image-guided medical procedures
WO2018107119A1 (en) 2016-12-09 2018-06-14 Intuitive Surgical Operations, Inc. System and method for distributed heat flux sensing of body tissue
US11779396B2 (en) 2017-01-09 2023-10-10 Intuitive Surgical Operations, Inc. Systems and methods for registering elongate devices to three dimensional images in image-guided procedures
US10580159B2 (en) * 2017-01-31 2020-03-03 Siemens Healthcare Gmbh Coarse orientation detection in image data
US11690678B2 (en) 2017-02-01 2023-07-04 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
WO2018144726A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods for data filtering of passageway sensor data
EP3576598B1 (en) 2017-02-01 2024-04-24 Intuitive Surgical Operations, Inc. System of registration for image-guided procedures
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
US11571262B2 (en) 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
WO2018195216A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
EP3629882A4 (en) 2017-05-24 2021-05-19 Body Vision Medical Ltd. METHODS OF USING RADIAL ENDOBRONCHIC ULTRASONIC PROBES FOR THREE-DIMENSIONAL IMAGE RECONSTRUCTION AND IMPROVED TARGET LOCATION
WO2018237187A2 (en) 2017-06-23 2018-12-27 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR NAVIGATING A TARGET LOCATION DURING A MEDICAL ACT
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
EP3644885B1 (en) 2017-06-28 2023-10-11 Auris Health, Inc. Electromagnetic field generator alignment
AU2018292281B2 (en) 2017-06-28 2023-03-30 Auris Health, Inc. Electromagnetic distortion detection
US10699448B2 (en) * 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10818019B2 (en) * 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration
JP7213867B2 (ja) 2017-08-16 2023-01-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 医療処置中に患者の動きをモニタするためのシステムおよび方法
WO2019040493A1 (en) * 2017-08-21 2019-02-28 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR AUGMENTED REALITY GUIDANCE
WO2019075074A1 (en) * 2017-10-10 2019-04-18 Covidien Lp SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
WO2019113391A1 (en) 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
US11510736B2 (en) 2017-12-14 2022-11-29 Auris Health, Inc. System and method for estimating instrument location
EP3684283A4 (en) 2017-12-18 2021-07-14 Auris Health, Inc. METHODS AND SYSTEMS FOR MONITORING AND NAVIGATION OF INSTRUMENTS IN LUMINAL NETWORKS
US10893842B2 (en) * 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US20190298451A1 (en) 2018-03-27 2019-10-03 Intuitive Surgical Operations, Inc. Systems and methods for delivering targeted therapy
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
JP7214747B2 (ja) 2018-03-28 2023-01-30 オーリス ヘルス インコーポレイテッド 位置センサの位置合わせのためのシステム及び方法
CN114601559B (zh) 2018-05-30 2024-05-14 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和介质
KR102455671B1 (ko) 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
EP3801189B1 (en) 2018-05-31 2024-09-11 Auris Health, Inc. Path-based navigation of tubular networks
US11192027B2 (en) 2018-08-01 2021-12-07 Sony Interactive Entertainment LLC Terrain radar and gradual building of a route in a virtual environment of a video game
US11080902B2 (en) 2018-08-03 2021-08-03 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomical tree structures
CA3109584A1 (en) 2018-08-13 2020-02-20 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
US11896316B2 (en) 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11633623B2 (en) 2019-04-19 2023-04-25 University Of Maryland, Baltimore System and method for radiation therapy using spatial-functional mapping and dose sensitivity of branching structures and functional sub-volumes

Also Published As

Publication number Publication date
EP3855396A2 (en) 2021-07-28
US11847730B2 (en) 2023-12-19
EP3855396A3 (en) 2021-10-06
US20210233301A1 (en) 2021-07-29
AU2020294163A1 (en) 2021-08-12
CA3102807A1 (en) 2021-07-24

Similar Documents

Publication Publication Date Title
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN106793938B (zh) 用于标注活检位置的方法
CN106659373B (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
US9265587B2 (en) Method for determining an insertion trajectory of a tool in a deformable tissular matrix and robotic system executing the method
US11847730B2 (en) Orientation detection in fluoroscopic images
JP2021049345A (ja) 経皮挿入デバイスの画像誘導ナビゲーションのためのシステムおよび方法
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
JP2017502807A (ja) 外科装置及び該使用の方法
US12064280B2 (en) System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US12114933B2 (en) System and method for interventional procedure using medical images
JP2019069037A (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
CN115843232A (zh) 用于目标覆盖的缩放检测和荧光镜移动检测
JP6703470B2 (ja) データ処理装置及びデータ処理方法
EP3712847A1 (en) Catheter tip detection in fluoroscopic video using deep learning
US20240206980A1 (en) Volumetric filter of fluoroscopic sweep video
EP3944190A1 (en) Systems and methods for estimating the movement of a target using universal deformation models for anatomic tissue
JP2021049344A (ja) 経皮挿入デバイスの画像誘導ナビゲーションのためのシステムおよび方法
CN116098704A (zh) 使医疗装置相对于目标可视化的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination