CN116098704A - 使医疗装置相对于目标可视化的系统和方法 - Google Patents

使医疗装置相对于目标可视化的系统和方法 Download PDF

Info

Publication number
CN116098704A
CN116098704A CN202211396648.6A CN202211396648A CN116098704A CN 116098704 A CN116098704 A CN 116098704A CN 202211396648 A CN202211396648 A CN 202211396648A CN 116098704 A CN116098704 A CN 116098704A
Authority
CN
China
Prior art keywords
tool
reconstruction
lesion
fluoroscopic
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211396648.6A
Other languages
English (en)
Inventor
E·科佩尔
O·P·维加藤
A·比仁鲍姆
M·E·考尔卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN116098704A publication Critical patent/CN116098704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/465—Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

通过处理来自在初始荧光镜检查扫描之后进行的当前荧光镜检查扫描的当前荧光镜检查图像使工具相对于病变的当前视图可视化的系统和方法。该处理包括：确定该当前荧光镜检查图像的当前3D重建或该当前荧光镜检查图像的子集中工具和病变的位置和/或取向；基于该工具和该病变的该位置和/或取向生成3D渲染；以及显示该3D渲染。可以从用户界面或通过分割该当前3D重建或该当前荧光镜检查图像的子集来获得该工具和该病变的该位置和/或取向，该用户界面使用户能够在该当前3D重建或该当前荧光镜检查图像的子集中标记该当前位置和/或取向。

Description

使医疗装置相对于目标可视化的系统和方法
相关申请的交叉引用
本申请要求美国申请序列号63/277,738的权益。
技术领域
本公开涉及成像领域，并且具体地涉及使用基于荧光镜检查图像的三维(3D)渲染使医疗装置相对于病变的当前视图可视化。
背景技术
荧光镜检查成像装置在导航程序期间通常位于手术室中。临床医生可以使用标准的荧光镜检查成像装置，例如，以在医疗装置已经被导航到期望位置之后可视化并且确认医疗装置的放置。然而，尽管标准的荧光镜检查图像显示诸如金属工具和骨骼等高密度物体以及诸如心脏等大的软组织物体，但是荧光镜检查图像难以分辨诸如病变等感兴趣的小的软组织物体。此外，荧光镜图像仅仅是二维(2D)投影。因此，需要体积成像以安全且精确地在身体内导航。
发明内容
本公开的技术总体上涉及使医疗工具相对于病变的定位可视化。在一个方面，本公开提供了一种用于引起导管中的工具相对于病变的3D渲染的显示的方法。该方法包括：从在该导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；针对该第一荧光镜检查图像中的每个荧光镜检查图像估计该荧光镜检查成像装置的姿势以获得估计的姿势；以及使用所估计的姿势生成该第一荧光镜检查图像的第一三维(3D)重建。该方法还包括接收该第一3D重建中该工具上的两个点的位置并且接收该第一3D重建中该病变的位置。该方法还包括：基于该工具上的两个点的该位置和该病变的该位置来生成该工具相对于该病变的3D渲染；以及引起该3D渲染的显示。
本公开的另外的方面可以包括以下特征中的一个或多个特征。该方法可以包括引起该第一3D重建的显示并且引起用户界面的显示，该用户界面使用户能够在该第一3D重建中标记该工具上的两个点的该位置。该方法可以包括分割该第一3D重建中的该工具以获得分割的工具并且基于所分割的工具确定该工具上的两个点的该位置。分割该工具可以包括使用神经网络分割该工具。
该方法可以包括引起该第一3D重建的显示并且引起用户界面的显示，该用户界面使用户能够在该第一3D重建中标记该病变的该位置。该方法可以包括：引起该第一3D重建的显示；引起用户界面的显示，该用户界面使用户能够在该第一3D重建中标记该病变的该位置；接收第二荧光镜检查图像并且生成该第二荧光镜检查图像的第二3D重建；将该第一3D重建与该第二3D重建配准；以及基于该配准确定该第二3D重建中该病变的位置。该方法可以包括：引起该第一3D重建的显示；引起用户界面的显示，该用户界面使用户能够在该第一3D重建中标记导管尖端的方向；基于该导管尖端的该方向生成该导管相对于该工具和该病变的3D渲染；以及引起该导管相对于该工具和该病变的该3D渲染的显示。
该方法可以包括：分割该第一3D重建中的导管以获得分割的导管；基于所分割的导管生成该导管相对于该工具和该病变的3D渲染；以及引起该导管相对于该工具和该病变的该3D渲染的显示。
该方法可以包括引起用户界面的显示，该用户界面使用户能够将该3D渲染的视图调整到不同的角度。该方法可以包括确定该第一3D重建中解剖结构的取向；生成在该取向下该解剖结构的3D渲染；以及引起在该取向下该解剖结构的该3D渲染的显示。
在另一方面，本公开提供了一种用于显示导管中的工具相对于病变的3D渲染的系统。该系统包括显示器、与该显示器通信的处理器以及存储神经网络的存储器。该存储器还存储指令，该指令在由该处理器执行时使该处理器：从在该导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；针对该第一荧光镜检查图像中的每个荧光镜检查图像估计该荧光镜检查成像装置的姿势以获得估计的姿势；使用所估计的姿势生成该第一荧光镜检查图像的第一三维(3D)重建；将神经网络应用于该第一3D重建以确定该第一3D重建中该工具的位置和取向；接收该第一3D重建中该病变的位置；基于该工具的该位置和取向以及该病变的该位置生成该工具相对于该病变的3D渲染；以及在该显示器上显示该3D渲染。
本公开的另外的方面可以包括以下特征中的一个或多个特征。该指令可以使该处理器：接收第二荧光镜检查图像；生成该第二荧光镜检查图像的第二3D重建；将该第一3D重建(其中该病变被标记)与该第二3D重建配准；并且基于该配准确定该第二3D重建中该病变的位置。该指令可以使该处理器分割该第一3D重建中的该病变的形状以获得该病变的分割的形状，以及基于该病变的所分割的形状生成该3D渲染。
在另一方面，本公开提供了另一种用于引起导管中的工具相对于病变的3D渲染的显示的方法。该方法包括：从在该导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；针对该第一荧光镜检查图像中的每个荧光镜检查图像估计该荧光镜检查成像装置的姿势以获得估计的姿势；利用所估计的姿势生成该第一荧光镜检查图像的第一三维(3D)重建；接收间隔至少15度的角度下的两个第二荧光镜检查图像；接收该两个第二荧光镜检查图像中该工具上的两个点的位置；接收该病变的位置；基于该工具上的两个点的该位置和该病变的该位置生成该工具相对于该病变的3D渲染；以及引起该3D渲染的显示。
本公开的另外的方面可以包括以下特征中的一个或多个特征。该方法可以包括：引起该两个第二荧光镜检查图像的显示；以及引起用户界面的显示，该用户界面使用户能够在该两个第二荧光镜检查图像中标记该工具上的两个点的该位置。该方法可以包括：通过将神经网络应用于该两个第二荧光镜检查图像来分割该两个第二荧光镜检查图像中的该工具以获得分割的工具；以及基于所分割的工具确定该工具上的两个点的该位置。
该方法可以包括：引起该两个第二荧光镜检查图像的显示；以及引起用户界面的显示，该用户界面使用户能够在该两个第二荧光镜检查图像中标记该病变的该位置。该方法可以包括：引起该第一3D重建的显示；引起用户界面的显示，该用户界面使用户能够在该第一3D重建中标记该病变的该位置；将该第一3D重建与该两个第二荧光镜检查图像配准；以及基于该配准确定该两个第二荧光镜检查图像中该病变的该位置。该方法可以包括：确定关于该工具相对于该病变的定位的信息；以及引起该信息的显示。该信息可以包括该工具的尖端与该病变的中心之间的距离或该工具与该病变之间的对准状态。
本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目标和优点将是显而易见的。
附图说明
在附图中绘示了各种示范性方面。应当理解，为了说明的简单和清楚，下面引用的附图中所示的元件不必按比例绘制。而且，在认为适当的情况下，可以在附图中重复附图标记以指示相同的、对应或类似的元件。附图列举如下。
图1是被配置为与本公开的方法一起使用的系统的示意图；
图2是本公开的方法的流程图；
图3是根据本公开的球形标记物的二维(2D)网格结构的示意图；
图4示出了由本公开的荧光镜检查装置捕获的示例性图像；
图5是为图4的图像生成的概率图；
图6描绘了根据本公开的用于在3D重建中标记工具、病变和/或导管的本公开的用户界面；
图7是本公开的另一种方法的流程图；
图8是本公开的另一种方法的流程图；
图9描绘了根据本公开的用于在两个当前荧光镜检查图像中标记工具、病变和/或导管的本公开的用户界面；
图10是根据本公开的计算机的示意图；并且
图11是根据本公开的用于导航通过气道的应用程序的用户界面。
具体实施方式
本公开涉及使医疗装置在三维空间中相对于目标的定位可视化的系统和方法。本公开的系统和方法在临床医生使医疗装置朝目标，例如病变前进时向临床医生提供指导，并且使临床医生能够确认医疗装置在目标中的放置。
图1是用于将医疗装置，例如活检或治疗工具经由肺的气道导航到目标的示例性系统的透视图。系统100的一个方面是用于查看已经从系统100单独地获取的计算机断层扫描(CT)图像数据的软件应用程序。查看CT图像数据允许用户识别一个或多个目标并且计划到被识别的目标的路径。这通常称为计划阶段。软件应用程序的另一方面是导航阶段，该导航阶段允许用户使用用户界面将导管或其他工具导航到目标(导航阶段)，并且确认导管或工具相对于目标的放置。目标通常是在计划阶段通过查看CT图像数据被识别的用于进行活检或治疗的感兴趣组织。在导航之后，可以将医疗设备诸如活检工具或治疗工具插入到导管中，以从位于目标处的组织或接近于目标的组织获得组织采样或者以治疗这样的组织。可以选择治疗工具以实现微波消融、射频消融、低温消融、化学消融或临床医生优选的其他目标治疗机制。
图1的一方面是导管引导组件102，其在远端处包括传感器104。导管引导组件102包括导管106。在实践中，导管106被插入到支气管镜108中以进入患者P的腔网络。具体地，导管引导组件102的导管106可以被插入到支气管镜108的工作通道中以用于导航通过患者的腔网络。如果系统100被配置用于电磁导航(EMN)，则可以将可定位的引导件(LG)110(其可以包括诸如电磁(EM)传感器等传感器104)插入导管106中并锁定到位，使得传感器104延伸期望距离超出导管106的远侧尖端。然而，应当注意，在不脱离本公开的范围的情况下，传感器104可以被结合到支气管镜108、导管106或者活检或治疗工具中的一者或多者中。
如果导管106被插入支气管镜108中，则导管106和LG 110的远侧端部均延伸超出支气管镜108的远侧端部。可以基于位置数据得出传感器104并因此LG 110的远端部分在电磁场中的定位或位置以及取向，该位置数据是通过磁场中存在EM传感器或通过本文所述的其他方式产生的电流的形式。在一些方面，本公开的方法可以包括可视化和/或显示LG 110的状态信息。尽管作为本公开的一部分不需要使用EM传感器和EMN，但是它们的使用可以进一步增强本公开在腔内导航(例如，肺的导航)中的实用性。由于支气管镜108、导管106、LG110或其他工具可以在本文中可互换地使用或组合使用，因此术语导管在此处将用于指代这些元件中的一种或多种。此外，在不脱离本公开的范围的情况下，作为使用EM传感器的替代方案，可以结合本公开使用诸如光纤布拉格传感器、超声传感器、加速度计等挠性传感器以将输出提供给跟踪系统114，用于确定导管(包括但不限于支气管镜108、导管106、LG 110或者活检或治疗工具)的定位。
系统100可以大体上包括：操作台112，该操作台被配置为支撑患者P；支气管镜108，该支气管镜被配置为穿过患者P的嘴插入患者P的气道中；跟踪系统114(例如，视频显示器，用于显示从支气管镜108的视频成像系统接收的视频图像)，该跟踪系统耦合到支气管镜108。如果被配置用于EMN，则系统100可以包括定位或跟踪系统114和定位模块116，多个参考EM传感器118和包括多个不透射线或部分不透射线的标记物121的发射器垫120(图3)。尽管在图3中示出为标记物121的重复图案，但是在不脱离本公开的范围的情况下可以采用其他图案，包括在发射器垫120中的不同相对深度处的三维标记物，或者采用非重复图案。
还包括计算装置122，该计算装置包括软件和/或硬件，该软件和/或硬件用于促进对目标的识别、到目标的路径计划、医疗装置到目标的导航，和/或对导管106或穿过其的合适的装置相对于目标的放置的确认和/或确定。计算装置122可以类似于图10的工作站1001并且可以被配置为执行包括图2、图7和图8的方法在内的本公开的方法。计算装置122可以是包括处理器和存储介质的任何合适的计算装置，其中处理器能够执行作为一个或多个应用程序存储在存储介质上的指令。计算装置122还可以包括数据库，该数据库被配置为存储患者数据、包括CT图像的CT数据集、包括荧光镜检查图像和视频的荧光镜检查数据集、荧光镜检查3D重建、导航计划以及任何其他此类数据。尽管未明确展示，但是计算装置122可以包括输入，或者可以另外被配置为接收CT数据集、荧光镜检查图像/视频和本文描述的其他数据。另外，计算装置122包括被配置为显示图形用户界面的显示器。计算装置122可以连接到一个或多个网络，通过该一个或多个网络可以访问一个或多个数据库。下面结合图10描述计算装置的另外的细节。
关于计划阶段，计算装置122利用预先获取的CT图像数据来生成并查看患者P的气道的三维模型或渲染，使得能够进行对三维模型上的目标的识别(自动地、半自动地或手动地)，并且允许确定通过患者P的气道到达位于目标处和目标周围的组织的路径。更具体地，从CT扫描获取的CT图像和CT图像数据集被处理并组装成三维CT体积，然后将其用于生成患者P的气道的三维模型。该三维模型可以在与计算装置122相关联的显示器上显示，或者以任何其他合适的方式显示。此类用户界面的示例可以在图11中看到。使用计算装置122，呈现了三维模型或由三维模型生成的增强的二维图像的各个视图。增强的二维图像可以具有某些三维能力，因为它们是由三维数据生成的。可以操纵三维模型以促进对三维模型或二维图像上的目标的识别，并且可以进行对通过患者P的气道进入位于目标处的组织的合适的路径的选择。一旦进行选择，就可以保存路径计划、三维模型以及由其得到的图像并且将其导出到导航系统中以用于在导航阶段期间使用。
系统100中还包括能够获取患者P的荧光镜检查或x射线图像或视频(其通常可以被称为荧光镜检查图像数据集)的荧光镜检查成像装置124。如图1中所示出的，荧光镜检查成像装置124是C臂荧光镜的形式，该荧光镜检查成像装置相对于患者P移动，使得可以从相对于患者P的不同角度或视角获取荧光镜检查图像，以生成诸如荧光镜检查视频等荧光镜检查图像序列。由荧光镜检查成像装置124捕获的荧光镜检查图像、荧光镜检查图像序列或视频可以存储在荧光镜检查成像装置124内或者传输到计算装置122以用于存储、处理和显示。另外，荧光镜检查成像装置124可以。可以使用标记物121以及下面描述的姿势估计和图像处理技术来估计在捕获该荧光镜检查图像时荧光镜检查成像装置124相对于患者P的姿势。
标记物121可以被结合到发射器垫120中、被结合到操作台112中或者以其他方式结合到被放置在操作台112上或该操作台附近的另一器具中，使得它们可以在荧光镜检查图像中被看到。标记物121通常地被定位在患者P下方并且在患者P与荧光镜成像设备124的辐射源或感测单元之间。荧光镜检查成像装置124可以包括单个成像装置或多于一个成像装置。
图2是根据本公开的用于在导航期间使相对于病变的工具(例如，可定位的引导件(LG))和/或状态信息可视化的方法的流程图。在一些情况下，荧光镜检查导航涉及使用局部配准来导航工具(例如，延伸工作通道(EWC)内部的LG)，并且使用局部配准校正重新导航该工具。此后，临床医生可能想要确认该工具已经到达病变或与病变对准。该工具可以是延伸工作通道内部的LG或不同的工具，诸如活检工具、经支气管进入服用或治疗工具(例如，微波消融导管)。根据本公开的方面，执行第二荧光镜检查导航方法以确认该工具已经到达病变而不更新配准或执行电磁(EM)校正。第二荧光镜检查导航方法可以不涉及将荧光镜在导管上居中、设置荧光镜检查图像取向或配置荧光镜设置，因为在第一荧光镜检查导航方法期间执行了这些功能。在各方面，在第二荧光镜检查导航方法期间，临床医生可以滚动来自第一荧光镜检查导航方法的3D重建的切片。在一些方面，在第二荧光镜检查导航方法期间没有执行EM校正。
作为该程序的一部分，将导管106导航到患者“P”中的期望位置。这可以通过遵循路径计划并使用上述EMN系统或使用荧光镜检查成像装置124进行的荧光镜检查成像来完成。在将导管106导航到期望位置之后，执行导管106的第一荧光镜检查扫描。当荧光镜检查成像装置124围绕患者“P”旋转时，第一荧光镜检查扫描以不同角度获取2D荧光镜检查图像。由荧光镜检查成像装置124获取的每个2D荧光镜检查图像包括如图3所描绘的标记物121。在框202处，接收来自通过荧光镜检查成像装置124进行的对导管的第一荧光镜检查扫描的第一荧光镜检查图像。
在接收到第一荧光镜检查图像之后，在框204处，针对第一荧光镜检查图像中的每个荧光镜检查图像估计荧光镜检查成像装置124(例如，C臂荧光镜)的姿势。姿势估计可以从生成概率图开始，该概率图的示例在图5中展示。概率图指示图像的像素属于发射器垫120的标记物121的投影的概率。
图3是根据本公开的球形标记物330a、330b的二维(2D)网格结构的示意图。图4是患者的由荧光镜检查成像装置124捕获的图像400的示例，其中标记物121的2D网格结构是可见的。球形标记物的2D网格结构320包括布置成二维网格图案的多个球形标记物，诸如球形标记物330a和330b。图像400包括球形标记物330a、330b的2D网格结构的一部分的投影和导管106的投影。球形标记物330a、330b的2D网格结构在图像400上的投影包括球形标记物的投影，诸如球形标记物410a、410b和410c的投影。导管引导组件102在该图像中也是可观察到的。
例如，可以通过将图像馈送到简单的标记物检测器(诸如哈里斯角检测器)中生成概率图，该检测器输出对应于每个像素属于标记物的概率的平滑密度的新图像。现在参考图5，其是为图4的图像400生成的概率图500。概率图500包括像素或密度，诸如密度510a、510b和510c，其相应地对应于标记物410a、410b和410c。在一些方面，可以缩小概率图(即，减小尺寸)，以简化所需的计算。
可以生成用于标记物的结构在图像上的投影的不同候选者。可以通过将成像装置虚拟地定位在不同的可能姿势的范围内来生成不同的候选者。荧光镜检查成像装置124的“可能姿势”是指荧光镜检查成像装置124的三维定位和取向。在一些方面，可以根据成像装置的几何结构和/或自由度来限制此种范围。对于每个这样的可能姿势，生成标记物121的至少一部分的虚拟投影，就好像荧光镜检查成像装置124在定位在该姿势时实际上捕获了标记物121的结构的图像。
基于图像概率图，识别有最高的概率是标记物121的结构在图像上的投影的候选者。每个候选者，即标记物结构的虚拟投影，可以覆盖或关联到概率图。然后可以确定概率得分，或将其与候选者的每个标记物投影相关联。在一些方面，概率得分可以是正的或负的，即，如果虚拟标记物投影落在低概率的像素内，则可能会有代价。然后可以求和候选者的所有标记物的投影的概率得分，并且可以为每个候选者确定总概率得分。例如，如果标记物的结构是二维网格，则投影将具有网格形式。投影网格的每个点将位于概率图的至少一个像素上。如果2D网格候选者的点位于最高密度像素上，即，如果其点位于图像上标记物的中心的投影上，则它接收最高概率得分。具有最高概率得分的候选者可以被确定为具有成为标记物的结构在图像上的投影的最高概率的候选者。然后可以基于用于生成所识别的候选者的成像装置的虚拟姿势来估计在捕获图像时成像装置的姿势。
上述姿势估计过程是一种可能的姿势估计过程；然而，本领域技术人员将认识到，在不脱离本公开的范围的情况下，可以采取姿势估计的其他方法和过程。
如上所述，针对在第一荧光镜检查扫描中的每个图像进行姿势估计过程。处理的结果是针对所获取的每个图像确定荧光镜检查成像装置124的姿势。在框206处，利用所估计的姿势生成第一荧光镜检查图像的第一3D重建。方法200可以包括显示第一3D重建并且显示用户界面，该用户界面使用户能够在第一3D重建中标记工具上的两个点的位置。方法200可以包括分割第一3D重建中的工具并且基于工具的分割确定工具上的两个点的位置。分割该工具可以包括使用神经网络分割该工具。方法200可以包括显示第一3D重建并且显示用户界面，该用户界面使用户能够在第一3D重建中标记病变的位置。
在期望时，3D重建可以与由术前CT扫描生成的3D模型配准。在导航该工具之后，可以基于第二荧光镜检查扫描生成3D渲染，以使工具和/或导管相对于病变的当前位置可视化。为此，可以获得来自第二荧光镜检查扫描的第二荧光镜检查图像，并且可以生成第二荧光镜检查图像的第二3D重建。
对于可视化方法，获得了在3D重建中工具的位置和取向以及病变的位置。可以通过提示用户在3D重建中的两个点处标记工具来获得工具的位置和取向。另外地或可替代地，可以通过执行用于处理3D重建的软件指令以使用诸如卷积神经网络(CNN)等合适的图像处理方法分割工具来获得工具的位置和取向。可以通过提示用户在3D重建中标记病变来获得在3D重建中病变的位置。另外地或可替代地，可以通过使用诸如交互信息方法等合适的方法将第一3D重建与第二3D重建配准来获得病变的位置。由于用户在第一重建中标记了病变，因此该系统知道在第二重建中病变的位置。
可以在计算装置122的显示器上显示用户界面，其中将第二3D重建呈现给临床医生，并且要求临床医生识别在第二3D重建中工具上的两个点的位置和病变的位置。例如，如图6所展示的，用户界面601显示在计算装置122的显示器上，其中呈现第二3D重建602，并且临床医生被指令604要求在第二3D重建602中标记工具612上的两个点的位置和病变613的位置。然后，临床医生可以使用输入装置1010(图10)，例如轨迹球或轨迹板，以将标记622放置在工具612上的两个点处并将标记623放置在病变613上的一个位置处。指令604可以包括用于在导管611上标记两个点的任选的指令。然后，临床医生可以在导管611上的两个点处放置标记621。在一些方面，临床医生可以标记导管611的尖端和导管611的尖端的方向。
用户界面601还包括滚动按钮607，临床医生可以选择并向左或向右移动该滚动按钮以更改到第二3D重建的不同切片。临床医生可以移动滚动按钮607以搜索第二3D重建的切片，该切片给予临床医生导管611、工具612和病变613的最佳视图，使得临床医生可以精确地放置标记621-623。
另外地或可替代地，计算装置122可以执行自动分割导管611和/或工具612的应用程序，以确定导管611或导管611和/或工具612的尖端的位置和取向。在该另外的或替代性方面，基于所分割的导管611和/或工具612生成导管611或导管611和/或工具612的尖端相对于病变613的3D渲染。可以使用诸如卷积神经网络(CNN)等合适的方法来执行分割。
用户界面601还包括后退按钮606，临床医生可以选择该后退按钮以返回到用户界面601的先前屏幕。例如，如果临床医生发现现有的第二荧光镜检查图像的质量较差，则临床医生可以选择“后退”按钮606，该“后退”按钮将用户界面601返回到“捕获”屏幕，临床医生可以使用该“捕获”屏幕来再捕获第二荧光镜检查图像。用户界面601还包括“接受”按钮608，临床医生可以选择该“接受”按钮以确认标记621-623在第二3D重建602上的放置。
在临床医生选择接受按钮608之后，计算装置122(图1)在框212处接收在第一3D重建中工具上的两个点的位置，并且在框214处接收在第一3D重建中病变的位置，该位置是基于标记622、623来确定的。在框216处，基于工具上的两个点的位置和病变的位置生成工具相对于病变的3D渲染。在框218处，在计算装置122的显示器上显示3D渲染。例如，可以在图11的用户界面1101中显示工具相对于病变的3D渲染。在一些方面，系统软件可以分割3D重建上的导管和工具或标记导管尖端方向，并且还可以显示导管或导管尖端。系统软件可以允许用户从多个角度查看3D渲染。还显示解剖取向。
在框216处，还可以基于第二3D重建生成导管的3D渲染。可替代地，可以基于第二3D重建生成线或通用工具和/或导管。软件应用程序可以识别哪些工具和/或导管被渲染并显示。软件应用程序可以基于用户输入识别工具和/或导管，或者可以从2D荧光镜检查图像自动识别工具和/或导管。3D渲染可以将工具和/或导管表示为看上去与实际工具和/或导管相同的3D模型。
病变的3D渲染可以基于从计划应用程序中的术前CT图像提取的计划的目标形状。计划应用程序可以自动分割计划的目标形状或者可以显示用户界面，该用户界面使用户能够标记计划的目标形状。在一些方面，软件应用程序可以调整病变的定位和/或形状以匹配3D重建中病变的定位和/或形状。作为另一选项，软件应用程序可以直接从3D重建中提取病变的形状和/或定位。
为了理解解剖结构的取向，软件应用程序可以基于3D重建或与3D重建配准的术前CT显示解剖结构(例如，肋或气道)的轴或渲染。
除了3D渲染之外，确认视图还可以包括关于工具相对于目标的定位的统计数据或状态信息(因为目标的大小从计划中已知)。例如，状态信息可以包括工具是否位于病变内部、工具到病变的中心的距离、工具是否在病变的中央部分内部、工具是否与病变对准、工具的外推是否到达病变或病变的中心部分，和/或工具的外推与病变的中心的距离。在一些方面，状态信息中的至少一些状态信息可以显示在3D渲染上。例如，工具到病变的中心的距离可以在3D渲染中显示为将工具的尖端连接到病变的中心的线和与指示距离的线相邻的文本。
3D渲染显示窗口可以包括用户界面，该用户界面使用户能够旋转相机或沿导管的尖端选择如枪筒视图/靶心视图等视图或选择相机取向，诸如前后视图。
在一些方面，可以自动确定病变的位置。例如，可以采用图7的方法的全部或一部分。在框702处，显示第一3D重建。在框704处，显示使用户能够在第一3D重建中标记病变的位置的用户界面。在第一3D重建中标记病变之后，在框706处，接收第二荧光镜检查图像。在框708处，由第二荧光镜检查图像生成第二3D重建。
在框710处，将第一3D重建与第二3D重建配准。然后，在框712处，基于在框710处执行的配准来确定第二3D重建中病变的位置。
图8展示了生成并显示工具相对于病变的3D渲染以帮助临床医生使手术体积可视化的替代性方法800。方法800的框802-806与方法200的框202-206相同。在框808处，接收间隔至少15度的角度下的两个第二荧光镜检查图像。通过用在第一角度下定位的荧光镜检查成像装置捕获一个荧光镜检查图像和用在与第一角度间隔至少15度的第二角度下定位的荧光镜检查成像装置捕获另一荧光镜检查图像来获得两个第二荧光镜检查图像。
在框810处，接收两个第二荧光镜检查图像中工具上的两个点的位置，并且在框812处，接收病变的位置。可以根据在用户界面中显示的两个第二荧光镜检查图像上由临床医生放置的标记来确定两个第二荧光镜检查图像中工具上的点的位置。例如，如图9所展示的，用户界面901显示在计算装置122的显示器上，其中呈现了在第二荧光镜检查扫描期间获取的两个第二荧光镜检查图像910a、910b，并且要求临床医生在荧光镜检查图像910a、910b中标记两个点的位置。用户界面901包括提示用户使用轨迹球模块在第二荧光镜检查图像910a、910b中标记工具、病变或目标以及导管的消息。在图9的示例中，标记921a、921b被放置在导管911a、911b上；标记922a、922b被放置在工具912a、912b上；并且标记923a、923b被放置在工具913a、913b上。用户界面901还包括询问工具和病变是否在第二荧光镜检查图像910a、910b中可见的消息。用户界面901还包括超链接文本“替代图像”，如果工具或病变不可见或临床医生难以查看，则临床医生可以选择该“替代图像”以替代第二荧光镜检查图像910a、910b中的一个或两个荧光镜检查图像。
在本公开的方面中，在医疗程序之前或在医疗程序开始时获取第一荧光镜检查图像，并且在医疗程序期间，诸如当工具912被引导通过导管911朝向病变913时获取第二荧光镜检查图像。
可替代地，方法800的框808-816可以由包括以下的框替代：显示第一3D重建；显示用户界面，该用户界面使用户能够在第一3D重建中标记导管尖端的方向；基于导管尖端的方向生成导管相对于工具和病变的3D渲染；以及显示导管相对于工具和病变的3D渲染。
虽然此处将第二荧光镜检查图像的标记描述为手动的，但也可以使用分割过程自动检测导管和/或工具的一部分。例如，方法800的框808-816可以由包括以下的框替代：分割第一3D重建中的导管；基于导管的分割生成导管相对于工具和病变的3D渲染；以及显示导管相对于工具和病变的3D渲染。
用于获得导管和/或工具的一部分的位置和取向的分割过程可以包括裁剪第二荧光镜检查图像以产生例如原始第二荧光镜检查图像的尺寸的四分之一或一半的图像。当然，在不脱离本公开的范围的情况下，也可以处理完整图像或其他尺寸的裁剪图像。这些裁剪的图像限定了感兴趣区域，并减少了神经网络要处理的数据量。
用于分割导管611或工具612的训练模型或与计算装置122通信的一些其他适当学习软件或算法访问2D荧光镜检查图像，其中导管611或工具612的位置和取向已被投影。模型可以是经过训练以以处于或高于某一置信水平识别导管611或工具612的一部分或者导管611或工具612上的两个位置的神经网络。这通过允许神经网络分析其中出现导管和/或工具的荧光镜检查图像(例如，来自荧光镜检查扫描)并允许神经网络执行图像分析以识别患者体内导管或工具的至少一部分的位置和取向来完成。在被提供给神经网络进行处理之前，在荧光镜检查扫描的每个图像或帧中导管和/或工具的部分的实际位置和取向是已知的。在通过神经网络对每个帧进行每次分析之后，提供一个得分。
随着时间的推移和训练，神经网络变得更加擅于区分导管和/或工具的一部分，因为其与采集图像时导管和/或工具所在的患者组织或其他材料不同。结果是在用于分析图像时以高置信度识别导管和/工具的部分的位置和取向的模型或神经网络。可用于生成模型的神经网络的实例包括卷积神经网络或完全连接的网络。
为了改进模型或神经网络，训练模型或神经网络以检测导管和/或工具的一部分的位置和取向。可以以监督的方式训练神经网络。训练集可以包括数千个荧光镜检查2D图像，其中手动标记了导管和/或工具的坐标。训练神经网络的一种方法是将荧光镜检查视频的每个帧识别为主帧，并且对于每个主帧，识别至少一个参考帧，并且在某些方面，两个参考帧。这些参考帧可以顺序地紧接在主帧之前和之后，或以更大的间隔(例如，在之前和之后的10、15或20个帧)。参考帧有助于利用荧光镜检查视频中的时间信息来帮助估计导管和/或工具的部分的坐标。主帧和参考帧之间的定位应仅有小的变化，因此神经网络将确定超出可接受范围的某个距离处的检测为假阳性检测。
通过重复处理代表导管和/或工具的荧光镜检查图像和图案的检测，对神经网络进行训练以检测导管和/或工具的部分。如上所述，被分析的帧可以在此分析之前已被神经网络裁剪。由于神经网络分析多个荧光镜检查图像，可以并行处理荧光镜检查图像，这有助于过程的规则化，并向神经网络提供更多信息以进一步完善训练。
在神经网络的训练期间，采用损失函数的最小化。一种此种损失函数是在连续帧中比较导管和/或工具的部分的运动。如果运动距离超过帧之间的平均运动，则损失函数会降低该帧及其参考帧的得分。启发式可以用来确定错误的检测。当导管和/或工具的部分在图像中被遮盖并且不容易被检测到时，可能发生这些错误检测。错误检测是训练过程的一部分，并且随着训练的继续，随着神经网络学习图像中导管和/或工具的部分的图案，这些错误检测将大大减少。
在采用EMN系统或另一导管和/或工具位置的情况下，来自EMN系统的导管和/或工具的部分的检测到的3D位置和取向可以与由模型或神经网络导出的导管和/或工具的部分的检测到的位置和取向组合，以提供对导管和/或工具的部分的位置和方向的更稳健的确定。
为了改进上述分割的结果，可以采用后处理技术。例如，可以对通过神经网络进行的第二荧光镜检查图像或第二3D重建中工具612的分割给出置信度估计。因此，在对于第二荧光镜检查图像或第二3D重建，置信度估计为低的情况下，可以拒绝工具612的分割。如果工具612的分割被拒绝，则可以显示用户界面601以使临床医生能够手动标记工具612。可以从第二荧光镜检查图像或第二3D重建获取工具612的位置和取向，其中分割具有高置信度。
置信度估计可以是特定第二荧光镜检查图像中低信噪比或第二荧光镜检查图像中主要遮挡的出现的结果。例如，将第二荧光镜检查图像的主要部分与中值或平均信噪比进行比较可以发现，第二荧光镜检查图像的主要部分是遮挡，并且因此应予以拒绝。在不脱离本公开的范围的情况下，可以采用检测遮挡或确定给定第二荧光镜检查图像的置信度估计的其他方法。
在框814处，基于从分割过程获得的工具上的两个点的位置或工具的位置和取向以及病变的位置来生成工具相对于病变的3D渲染。然后，在框816处，将3D渲染显示给临床医生。
在一些方面，方法800可以包括显示用户界面，该用户界面使用户能够将3D渲染的视图调整到不同角度。该方法可以包括确定：第一3D重建中解剖结构的取向；生成在确定的取向下解剖结构的3D渲染；以及显示在该取向下解剖结构的3D渲染。
现在参照图10，其是被配置为与包括图2、图7和图8的方法在内的本公开的方法一起使用的系统1000的示意图。系统1000可以包括工作站1001，并且任选地连接到荧光镜检查成像装置124(图1)。在某些方面，工作站1001可以例如通过无线通信直接或间接地与荧光镜1015耦合。工作站1001可以包括存储器1002、处理器1004、显示器1006和输入装置1010。处理器1004可以包括一个或多个硬件处理器。工作站1001可以任选地包括输出模块1012和网络接口1008。存储器1002可以存储应用程序1018和图像数据1014。应用程序1018可以包括可由处理器1004执行的指令，用于执行包括图2、图7和图8的方法在内的本公开的方法。
应用程序1018还可以包括用户界面1016。图像数据1014可以包括CT扫描、第一荧光镜检查图像和第二荧光镜检查图像、生成的第一荧光镜检查3D重建和第二荧光镜检查3D重建和/或任何其他荧光镜检查图像数据和/或生成的一个或多个虚拟荧光镜检查图像。处理器1004可以与存储器1002、显示器1006、输入装置1010、输出模块1012、网络接口1008和荧光镜1015耦合。工作站1001可以是固定计算装置，诸如个人计算机，或便携式计算装置诸如平板计算机。工作站1001可以嵌入多个计算机装置。
存储器1002可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，该数据和/或软件包括指令，该指令可由处理器1004执行并且其控制工作站1001的操作并且在一些方面还可以控制荧光镜1015的操作。荧光镜检查成像装置124可以用于捕获荧光镜检查图像序列，基于该荧光镜检查图像序列生成荧光镜检查3D重建，并根据本公开捕获实时2D荧光镜检查视图。在一个方面，存储器1002可以包括一个或多个存储装置，诸如固态存储装置，例如，闪速存储器芯片。可替代地，或者除了该一个或多个固态存储装置之外，存储器1002可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器1004的一个或多个大容量存储装置。
尽管本文所含有的对计算机可读介质的描述是指固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是处理器1004可以访问的任何可用介质。即，计算机可读存储介质可包括以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术实现的非暂态、易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术、CD-ROM、DVD、蓝光或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储装置，或可以用于存储期望信息并且可以由工作站1001访问的任何其他介质。
应用程序1018在被处理器1004执行时可以使显示器1006呈现用户界面1016。用户界面1016可以被配置为向用户呈现包括本公开的工具、病变和/或导管的三维(3D)渲染的单个屏幕。用户界面1016还可以被配置为根据工具尖端是否在三维上与病变对准而以不同的颜色显示病变。
网络接口1008可以被配置为连接到网络，诸如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口1008可以用于在工作站1001和荧光镜1015之间进行连接。网络接口1008还可以用于接收图像数据1014。输入装置1010可以是用户可以用来与工作站1001交互的任何装置，诸如例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块1012可以包括任何连接端口或总线，诸如例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其他类似连接端口。
虽然已在附图中示出本公开的多个方面，但不希望将本公开限于这些方面，因为希望本公开与本领域所允许的范围一样宽广且应以同样的方式解读本说明书。因此，以上描述不应被解释为限制性的，而仅仅是作为特定方面的例证。

Claims (20)

1.一种用于引起导管中的工具相对于病变的3D渲染的显示的方法，所述方法包括：
从在所述导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；
针对所述第一荧光镜检查图像中的每个荧光镜检查图像估计所述荧光镜检查成像装置的姿势以获得估计的姿势；
使用所估计的姿势生成所述第一荧光镜检查图像的第一三维(3D)重建；
接收所述第一3D重建中所述工具上的两个点的位置；
接收所述第一3D重建中所述病变的位置；
基于所述工具上的两个点的所述位置和所述病变的所述位置生成所述工具相对于所述病变的3D渲染；以及
引起所述3D渲染的显示。
2.根据权利要求1所述的方法，所述方法还包括：
引起所述第一3D重建的显示；以及
引起用户界面的显示，所述用户界面使用户能够在所述第一3D重建中标记所述工具上的两个点的所述位置。
3.根据权利要求1所述的方法，所述方法还包括：
分割所述第一3D重建中的所述工具以获得分割的工具；以及
基于所分割的工具确定所述工具上的两个点的所述位置。
4.根据权利要求3所述的方法，其中分割所述工具包括使用神经网络分割所述工具。
5.根据权利要求1所述的方法，所述方法还包括：
引起所述第一3D重建的显示；以及
引起用户界面的显示，所述用户界面使用户能够在所述第一3D重建中标记所述病变的所述位置。
6.根据权利要求1所述的方法，所述方法还包括：
引起所述第一3D重建的显示；
引起用户界面的显示，所述用户界面使用户能够在所述第一3D重建中标记所述病变的所述位置；
接收第二荧光镜检查图像；
生成所述第二荧光镜检查图像的第二3D重建；
将所述第一3D重建与所述第二3D重建配准；以及
基于所述配准确定所述第二3D重建中所述病变的所述位置。
7.根据权利要求1所述的方法，所述方法还包括：
引起所述第一3D重建的显示；
引起用户界面的显示，所述用户界面使用户能够在所述第一3D重建中标记导管尖端的方向；
基于所述导管尖端的所述方向生成所述导管相对于所述工具和所述病变的3D渲染；以及
引起所述导管相对于所述工具和所述病变的所述3D渲染的显示。
8.根据权利要求1所述的方法，所述方法还包括：
分割所述第一3D重建中的导管以获得分割的导管；
基于所分割的导管生成所述导管相对于所述工具和所述病变的3D渲染；以及
引起所述导管相对于所述工具和所述病变的所述3D渲染的显示。
9.根据权利要求1所述的方法，所述方法还包括引起用户界面的显示，所述用户界面使用户能够将所述3D渲染的视图调整到不同角度。
10.根据权利要求1所述的方法，所述方法还包括：
确定所述第一3D重建中解剖结构的取向；
生成在所述取向下所述解剖结构的3D渲染；以及
引起在所述取向下所述解剖结构的所述3D渲染的显示。
11.一种用于显示导管中的工具相对于病变的3D渲染的系统，所述系统包括：
显示器；
处理器，所述处理器与所述显示器通信；和
存储器，所述存储器上存储有神经网络和指令，所述指令在由所述处理器执行时使所述处理器：
从在所述导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；
针对所述第一荧光镜检查图像中的每个荧光镜检查图像估计所述荧光镜检查成像装置的姿势以获得估计的姿势；
使用所估计的姿势生成所述第一荧光镜检查图像的第一三维(3D)重建；
将神经网络应用于所述第一3D重建以确定所述第一3D重建中所述工具的位置和取向；
接收所述第一3D重建中所述病变的位置；
基于所述工具的所述位置和取向以及所述病变的所述位置生成所述工具相对于所述病变的3D渲染；以及
在所述显示器上显示所述3D渲染。
12.根据权利要求11所述的系统，其中所述指令进一步使所述处理器：
接收第二荧光镜检查图像；
生成所述第二荧光镜检查图像的第二3D重建；
将所述第一3D重建与所述第二3D重建配准，在所述第一3D重建中标记了所述病变；以及
基于所述配准确定所述第二3D重建中所述病变的所述位置。
13.根据权利要求12所述的系统，其中所述指令进一步使所述处理器：
分割所述第一3D重建中所述病变的形状以获得所述病变的分割的形状；以及
基于所述病变的分割的形状生成所述3D渲染。
14.一种用于引起导管中的工具相对于病变的3D渲染的显示的方法，所述方法包括：
从在所述导管上居中的荧光镜检查成像装置接收第一荧光镜检查图像；
针对所述第一荧光镜检查图像中的每个荧光镜检查图像估计所述荧光镜检查成像装置的姿势以获得估计的姿势；
利用所估计的姿势生成所述第一荧光镜检查图像的第一三维(3D)重建；
接收间隔至少15度的角度下的两个第二荧光镜检查图像；
接收所述两个第二荧光镜检查图像中所述工具上的两个点的位置；
接收所述病变的位置；
基于所述工具上的两个点的所述位置和所述病变的所述位置生成所述工具相对于所述病变的3D渲染；以及
引起所述3D渲染的显示。
15.根据权利要求14所述的方法，所述方法还包括：
引起所述两个第二荧光镜检查图像的显示；以及
引起用户界面的显示，所述用户界面使用户能够在所述两个第二荧光镜检查图像中标记所述工具上的两个点的所述位置。
16.根据权利要求14所述的方法，所述方法还包括：
通过将神经网络应用于所述两个第二荧光镜检查图像来分割所述两个第二荧光镜检查图像中的所述工具以获得分割的工具；以及
基于所分割的工具确定所述工具上的两个点的所述位置。
17.根据权利要求14所述的方法，所述方法还包括：
引起所述两个第二荧光镜检查图像的显示；以及
引起用户界面的显示，所述用户界面使用户能够在所述两个第二荧光镜检查图像中标记所述病变的所述位置。
18.根据权利要求14所述的方法，所述方法还包括：
引起所述第一3D重建的显示；
引起用户界面的显示，所述用户界面使用户能够在所述第一3D重建中标记所述病变的所述位置；
将所述第一3D重建与所述两个第二荧光镜检查图像配准；以及
基于所述配准确定所述两个第二荧光镜检查图像中所述病变的所述位置。
19.根据权利要求14所述的方法，所述方法还包括：
确定关于所述工具相对于所述病变的定位的信息；以及
引起所述信息的显示。
20.根据权利要求19所述的方法，其中所述信息包括所述工具的尖端与所述病变的中心之间的距离或所述工具与所述病变之间的对准状态。
CN202211396648.6A 2021-11-10 2022-11-09 使医疗装置相对于目标可视化的系统和方法 Pending CN116098704A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163277738P 2021-11-10 2021-11-10
US63/277,738 2021-11-10
US17/959,288 US20230145801A1 (en) 2021-11-10 2022-10-03 Systems and methods of visualizing a medical device relative to a target
US17/959,288 2022-10-03

Publications (1)

Publication Number Publication Date
CN116098704A true CN116098704A (zh) 2023-05-12

Family

ID=84365602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211396648.6A Pending CN116098704A (zh) 2021-11-10 2022-11-09 使医疗装置相对于目标可视化的系统和方法

Country Status (3)

Country Link
US (1) US20230145801A1 (zh)
EP (1) EP4179975A1 (zh)
CN (1) CN116098704A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9629595B2 (en) * 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments

Also Published As

Publication number Publication date
EP4179975A1 (en) 2023-05-17
US20230145801A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11992349B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11564751B2 (en) Systems and methods for visualizing navigation of medical devices relative to targets
EP3815613A1 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN112618015A (zh) 用于经皮插入的设备的图像引导导航的系统和方法
US11847730B2 (en) Orientation detection in fluoroscopic images
JP2020124493A (ja) 病変部内のツールの透視確認のためのシステムおよび方法
US11950950B2 (en) Zoom detection and fluoroscope movement detection for target overlay
EP3712847A1 (en) Catheter tip detection in fluoroscopic video using deep learning
EP4179975A1 (en) Systems and methods of visualizing a medical device relative to a target
WO2022248982A1 (en) Volumetric filter of fluoroscopic sweep video
WO2024079639A1 (en) Systems and methods for confirming position or orientation of medical device relative to target
CN117412724A (zh) 在程序内成像期间评估屏气的系统和方法
WO2024079627A1 (en) Systems and methods of detecting and correcting for patient and/or imaging system movement for target overlay
CN112618016A (zh) 用于经皮插入的设备的图像引导导航的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication