CN117355257A - 荧光镜扫描视频的体积过滤器 - Google Patents

荧光镜扫描视频的体积过滤器 Download PDF

Info

Publication number
CN117355257A
CN117355257A CN202280037507.7A CN202280037507A CN117355257A CN 117355257 A CN117355257 A CN 117355257A CN 202280037507 A CN202280037507 A CN 202280037507A CN 117355257 A CN117355257 A CN 117355257A
Authority
CN
China
Prior art keywords
fluoroscopic
image
images
volumetric reconstruction
catheter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280037507.7A
Other languages
English (en)
Inventor
A·比仁鲍姆
S·佩萨
G·阿莱克斯安德罗尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN117355257A publication Critical patent/CN117355257A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/043—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using fluoroscopic examination, with visual observation or video transmission of fluoroscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

对象检测包括：接收荧光镜视频，该荧光镜视频包括由围绕患者旋转的荧光镜捕获的多个荧光镜图像；由这些荧光镜图像生成三维(3D)体积重建；删除该3D体积重建中超出对象周围所关注的区域的值；在删除值之后由剩余的3D体积重建生成2D图像；检测这些2D图像中的该对象，以确定该对象的初始位置；以及细化所检测到的该对象的初始位置。

Description

荧光镜扫描视频的体积过滤器
技术领域
本公开涉及荧光镜图像处理领域，并且具体地涉及识别荧光镜图像中的对象的系统和方法。
背景技术
存在几种用于治疗影响器官的各种疾病的通常应用的医疗方法(诸如内窥镜术或微创手术)，这些器官包含肝脏、大脑、心脏、肺部、胆囊、肾和骨骼。通常，临床医生采用如磁共振成像(MRI)、超声成像、计算机断层摄影(CT)或荧光透视等一种或多种成像方式，来标识患者体内的所关注的区域和用于活检或治疗的最终目标并且导航到所关注的区域和最终目标。在一些手术中，可以利用术前扫描来进行目标标识和术中引导。然而，可能需要实时成像来获得目标区域的更准确的且当前的图像。此外，可能需要显示医疗装置相对于目标的当前位置以及其周围的实时图像数据，来以安全且准确的方式(例如，在不会引起对其他器官或组织的损害的情况下)将医疗装置导航到目标。
例如，已经证明内窥镜方法在导航到患者体内的所关注的区域时是有用的，并且特别地对于身体的腔网络内的区域(诸如肺部)也是如此。为了实现内窥镜方法以及更具体地肺部中的支气管镜方法，已经开发了支气管内导航系统，该支气管内导航系统使用先前获取的MRI数据或CT图像数据来生成特定身体部分(诸如肺部)的三维(3D)渲染、模型或体积。
然后利用从MRI扫描或CT扫描生成的所得的体积来创建导航规划，以便于导航导管(或其他合适的医疗装置)通过支气管镜和患者支气管的分支推进到所关注的区域。可将诸如电磁(EM)跟踪系统的定位或跟踪系统与例如CT数据结合使用，以便于引导导航导管通过支气管的分支到达所关注的区域。在某些情况下，导航导管可定位在分支腔网络的邻近所关注的区域或位于所关注的区域内的气道中的一个气道内，以便为一个或多个医疗器械提供通路。
然而，从先前获取的扫描(诸如CT扫描)生成的患者肺部的3D体积可能无法提供足以在导航规程期间将医疗装置或器械准确引导至目标的基础。在某些情况下，不准确性是由程序期间患者的肺部相对于获取先前获取的CT数据时的肺部的变形引起的。此变形(CT到身体散度)可能是由许多不同的因素引起的，该因素包括例如当在镇静状态与非镇静状态之间转换时身体的变化、支气管镜改变患者的姿势、支气管镜推动组织、不同的肺部体积(例如，CT扫描是在吸气期间获取的，而导航是在呼吸期间进行的)、不同的床位、不同的日子等。
因此，可采用另一种成像方式来帮助实时可视化医疗装置和目标并增强体内导航规程。
发明内容
本公开的一个方面涉及一种对象检测方法，该方法包括：接收荧光镜视频，该荧光镜视频包括由围绕患者旋转的荧光镜捕获的多个荧光镜图像；由这些荧光镜图像生成三维(3D)体积重建；删除该3D体积重建中超出对象周围所关注的区域的值；在删除值之后由剩余的3D体积重建生成2D图像；检测这些2D图像中的该对象，以确定该对象的初始位置；以及细化所检测到的该对象的初始位置。该方面的其他实施方案包括各自被配置为执行本文描述的方法和系统的动作的对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
本公开的此方面的实施方案可以包括以下特征中的一个或多个特征。该方法还包括在生成该3D体积重建之前过滤所接收到的荧光镜图像。该方法，其中细化所确定的初始位置包括在该对象的该初始位置周围搜索经过滤的荧光镜图像中的最大应答。该方法，其中用黑森过滤器(hessian filter)过滤所接收到的荧光镜图像。该方法还包括通过估计该对象的位置并且在附近保留的图像之间进行插值来填充由去除所引起的间隙。该方法还包括对所确定的该对象的位置进行评分。该方法还包括去除具有极高或极低评分的任何图像，其中极高评分指示遮挡该对象的另外结构，并且极低评分指示该对象的错误标记。该方法还包括从存储器接收该对象的高度，其中该对象是安装在夹具上的测试标记物。该方法还包括使用电磁传感器检测该对象的高度。该方法，其中该电磁传感器与电磁导航系统中的导管相关联。所描述的技术的实施方案可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件，包括安装在系统上的软件、固件、硬件、或它们的组合，该软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，当数据处理设备执行这些指令时，使得该设备执行这些动作。
本公开的一个方面涉及一种导航系统，该导航系统包括：发射器垫，该发射器垫被配置为发射电磁场。该导航系统还包括导管，该导管被配置为用于在患者的腔网络内导航，该导管包括靠近远侧尖端的传感器；计算装置，该计算装置上的存储器中存储有应用程序，该应用程序在由处理器执行时使该计算装置：接收荧光镜视频，该荧光镜视频包括由围绕患者旋转的荧光镜捕获的多个荧光镜图像。该导航系统还由该荧光镜图像生成三维(3D)体积重建。该导航系统还删除该3D体积重建中超出该传感器的检测到的位置周围所关注的区域的值。该导航系统还在删除值之后由剩余的3D体积重建生成2D图像。该导航系统还检测这些2D图像中的该远侧尖端，以确定该远侧尖端的初始位置。导航系统还包括细化所检测到的该导管的该远侧尖端的初始位置。该方面的其他实施方案包括各自被配置为执行本文描述的方法和系统的动作的对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
本公开的此方面的实施方案可以包括以下特征中的一个或多个特征。该导航系统，其中该应用程序进一步执行在生成该3D体积重建之前过滤所接收到的荧光镜图像的步骤。该导航系统，其中该应用程序进一步执行对所检测到的该远侧尖端的位置进行评分的步骤。该导航系统，其中该应用程序进一步执行去除具有极高或极低评分的任何图像的步骤。该导航系统，其中该应用程序进一步执行通过在附近保留的图像之间进行插值来填充由去除所引起的间隙，从而估计该导管的该远侧尖端的位置的步骤。所描述的技术的实施方案可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件，包括安装在系统上的软件、固件、硬件、或它们的组合，该软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，当数据处理设备执行这些指令时，使得该设备执行这些动作。
本公开的另外的方面涉及一种测试荧光镜成像装置的准确性的方法，该方法包括：接收荧光镜视频，该荧光镜视频包括由围绕测试夹具旋转的荧光镜捕获的多个荧光镜图像，该测试夹具包括在已知高度处的测试标记物；由这些荧光镜图像生成三维(3D)体积重建；从该3D体积重建中删除超出该测试标记物的所关注的区域的值；投影剩余的3D体积重建以生成2D图像；检测这些2D图像中的该测试标记物，以确定该测试标记物的初始位置；以及细化该测试标记物的检测到的初始位置。该方面的其他实施方案包括各自被配置为执行本文描述的方法和系统的动作的对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序。
本公开的此方面的实施方案可以包括以下特征中的一个或多个特征。该方法还包括在生成该3D体积重建之前过滤所接收到的荧光镜图像。该方法还包括将位于最终位置处的检测到的测试标记物与掩码进行比较以生成评分。该方法还包括去除具有极高或极低评分的任何图像。该方法还包括通过在附近保留的图像之间进行插值来填充由去除所引起的间隙，从而估计该测试标记物的位置。所描述的技术的实施方案可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件，包括安装在系统上的软件、固件、硬件、或它们的组合，该软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定的操作或动作，当数据处理设备执行这些指令时，使得该设备执行这些动作。
附图说明
在下文中参考附图描述了本公开的各个方面和实施方案，在附图中：
图1是根据本公开的用于经由腔网络导航到软组织目标的系统的示意图；
图2是根据本公开的描绘包括一对测试标记物的夹具的荧光镜图像的用户界面；
图3是根据本公开的描绘检测荧光镜图像中的对象的方法的流程图；
图4是根据本公开的描绘后处理的方法的流程图；
图5描绘了根据本公开的荧光镜图像；
图6描绘了应用于图5的图像的黑森过滤器的结果；
图7描绘了由荧光镜成像装置的扫描生成的三维体积重建；
图8描绘了由荧光镜成像装置的扫描生成的三维体积重建；
图9描绘了图8的3D体积重建的2D投影；
图10描绘了测试标记物的位置的初始确定；
图11描绘了用于细化图10的初始测试标记物位置的黑森过滤图像；
图12描绘了在荧光镜图像中检测测试标记物的位置；
图13A-图13D描绘了测试标记物的掩码和实际标记、障碍物和错误标记的比较；并且
图14是用于执行本公开的应用程序、软件和方法的系统的示意性图像。
具体实施方式
本申请涉及荧光镜图像中的对象检测的方法。改进的对象检测可用于多种程序中，下文更详细地讨论这些程序中的一些程序。例如，增强的对象检测可用于荧光透视准确性测试中，以确认特定的荧光镜可用于腔网络导航系统中。进一步地，可采用对象检测方法来自动检测导管。其他实现方案包括检测病变内的活检或其他工具，从而在无需用户输入的情况下允许可视化。仍进一步地，可以采用对象检测方法来增强导管、支气管镜或解剖结构的分割，以在体积3D重建中提供更大的清晰度(更少的模糊)。虽然前述内容是用于实施本文所公开的对象检测方法的示例，但实施方案不限于此，并且可在不脱离本发明的范围的情况下采用其他实施方案。
根据本公开的各方面，医疗装置(例如，活检工具)朝向目标(例如，病变)的体内导航的可视化可以是诸如电磁导航系统的导航系统的更大工作流的一部分。图1是用于促进经由肺部的气道将医疗装置(例如，活检工具)导航到软组织目标的示例性系统的透视图。系统100可被进一步配置成从2D荧光镜图像构建目标区域的基于荧光镜的三维体积数据。系统100可被进一步配置成通过使用电磁导航支气管镜检查(ENB)来促进医疗装置接近目标区域并且用于确定医疗装置相对于目标的位置。
系统100的一个方面是一种软件部件，该软件部件用于检查已从系统100单独获取的计算机断层扫描(CT)图像数据。对CT图像数据的检查允许用户识别一个或多个目标、规划到达所标识的目标的路径(规划阶段)、使用用户界面将导管102导航到目标(导航阶段)以及确认传感器104相对于目标的放置。一种这类EMN系统是美敦力公司(Medtronic PLC)当前出售的ELECTROMAGNETIC NAVIGATION 系统。该目标可以是通过在规划阶段期间检查CT图像数据而识别的所关注的组织。在导航之后，可将诸如活检工具或其他工具等医疗装置插入到导管102中，以从位于目标处或接近于目标的组织中获得组织样品。
如图1所示，导管102是导管引导组件106的一部分。在实践中，导管102被插入到支气管镜108中以进入患者P的腔网络。具体地，导管引导组件106的导管102可被插入到支气管镜108的工作通道中以用于导航穿过患者的腔网络。包括传感器104的可定位引导件(LG)110插入导管102中并锁定到位，使得传感器104超出导管102的远侧尖端延伸期望的距离。可得出传感器104在电磁场内相对于参考坐标系的位置和取向，并因此得出导管102的远侧部分。导管引导组件106目前由美敦力公司以商品名手术套件或EDGETM手术套件进行市场销售和出售，并且被认为可与本公开一起使用。
系统100一般包括操作台112，该操作台被配置为支撑患者P；支气管镜108，该支气管镜被配置为通过患者P的口插入患者P的气道；监视设备114，该监视设备联接到支气管镜108(例如，视频显示器，用于显示从支气管镜108的视频成像系统接收的视频图像)；定位或跟踪系统114，该定位或跟踪系统包括定位模块116、多个参考传感器18和发射器垫120，该发射器垫包括多个并入的标记物(204图2)；和计算装置122，该计算装置包括软件和/或硬件，该软件和/或硬件用于促进对目标的识别、到目标的路径规划、医疗装置到目标的导航，和/或对导管102或穿过其的合适装置相对于目标的放置的确认和/或确定。计算装置122可类似于图15的工作站1501并且可被配置为执行包括图10、图11、图13和图14的方法在内的本公开的方法。
系统100的此特定方面中还包含能够获取患者P的荧光镜或X射线图像或视频的荧光镜成像装置124。由荧光镜成像装置124所捕获的图像、图像序列或视频可存储在荧光镜成像装置124内，或传输到计算装置122以用于存储、处理和显示。另外，荧光镜成像装置124可相对于患者P移动，使得可从相对于患者P的不同角度或视角获取图像，以创建诸如荧光镜视频的荧光镜图像的序列。荧光镜成像装置124相对于患者P并且在捕获图像时的姿势可经由与发射器垫120一起并入的标记物(204图2)来估计。标记物204定位在患者P之下、患者P与操作台112之间以及患者P与荧光镜成像装置124的辐射源或感测单元之间。与发射器垫120一起并入的标记物204可以是可以固定的方式耦接或另选地可被制造为单个单元的两个单独元件。荧光镜成像装置124可以包括单个成像装置或多于一个成像装置。
计算装置122可以是包括处理器和存储介质的任何合适的计算装置，其中处理器能够执行存储在存储介质上的指令。计算装置122还可以包括数据库，该数据库被配置为存储患者数据、包括CT图像的CT数据集、包括荧光镜图像和视频的荧光镜数据集、荧光镜3D重建、导航计划以及任何其他此类数据。尽管未明确展示，但是计算装置122可以包括输入，或者可以另外被配置为接收CT数据集、荧光镜图像/视频和本文描述的其他数据。另外，计算装置122包括被配置为显示图形用户界面的显示器。计算装置122可以连接到一个或多个网络，通过该一个或多个网络可以访问一个或多个数据库。
关于计划阶段，计算装置122利用预先获取的CT图像数据来生成并查看患者P的气道的三维模型或渲染，使得能够进行对三维模型上的目标的识别(自动地、半自动地或手动地)，并且允许确定通过患者P的气道到达位于目标处和目标周围的组织的路径。更具体地，将从先前的CT扫描中获取的CT图像处理并组装成三维CT体积，随后利用该三维CT体积来生成患者P的气道的三维模型。该三维模型可以在与计算装置122相关联的显示器上显示，或者以任何其他合适的方式显示。使用计算装置122，呈现了三维模型或由三维模型生成的增强的二维图像的各个视图。增强的二维图像可以具有某些三维能力，因为它们是由三维数据生成的。可操纵三维模型以促进对三维模型或二维图像上的目标的识别，并且可以进行对通过患者P的气道进入位于目标处的组织的合适的路径的选择。一旦进行选择，就可以保存路径计划、三维模型以及由其得到的图像并且将其导出到导航系统中以用于在导航阶段期间使用。一种这类规划软件是美敦力公司当前出售的规划套件。
关于导航阶段，利用六自由度电磁定位或跟踪系统114或用于确定位置的其他合适的系统来执行图像的配准和导航路径，但也考虑使用其他配置。跟踪系统114包括跟踪模块116、多个参考传感器118和发射器垫120(包括标记物204)。跟踪系统114被配置为用于与可定位引导件110特别是传感器104一起使用。如以上所描述的，可定位引导件110和传感器104被配置用于穿过导管102插入到患者P的气道中(利用或不利用支气管镜108)，并且可经由锁定机构相对于彼此选择性地可锁定。
发射器垫120定位在患者P下方。发射器垫120在患者P的至少一部分周围生成电磁场，在该电磁场内，多个参考传感器118和传感器104的定位可使用跟踪模块116来确定。第二电磁传感器126也可以并入到导管102的端部中。第二电磁传感器126可以是五自由度传感器或六自由度传感器。参考传感器118中的一个或多个参考传感器被附接到患者P的胸部。参考传感器118的六自由度坐标被发送到计算装置122(其包括适当的软件)，在该计算装置中，它们用于计算患者参考坐标系。通常执行配准，以协调规划阶段的三维模型和二维图像的位置与通过支气管镜108观察到的患者“P”的气道，并允许在进行导航阶段时准确了解传感器104的位置，即使在支气管镜108无法到达的气道的部分中也是如此。
患者P在发射器垫120上的位置的配准可以通过移动传感器104通过患者P的气道来执行。更具体地，涉及当可定位引导件110移动通过气道时传感器104的位置的数据使用发射器垫120、参考传感器118和跟踪系统114记录。将由此位置数据产生的形状与在规划阶段中生成的三维模型的传递的内部几何形状进行比较，并且例如利用计算装置122上的软件确定基于比较的形状与三维模型之间的位置相关性。另外，软件识别三维模型中的非组织空间(例如，填满空气的腔)。软件将表示传感器104的位置的图像与三维模型和/或由三维模型生成的二维图像对准或配准，这是基于记录的位置数据和可定位引导件110仍定位在患者P的气道中的非组织空间中的假设。另选地，手动配准技术可通过以下来采用：将具有传感器104的支气管镜108导航到患者P的肺部中的预先指定的位置处，并将来自支气管镜的图像与三维模型的模型数据手动关联。
尽管在本文中关于使用EM传感器的EMN系统进行了描述，但本公开不限于此，并且可以与柔性传感器、超声传感器结合使用或在没有传感器的情况下使用。另外，本文描述的方法可以与机器人系统结合使用，以使得机器人致动器驱动导管102或支气管镜108接近目标。
在将患者P配准到图像数据和路径规划后，在导航软件中显示用户界面，其针对临床医生应遵循以到达目标的路径设置。如用户界面所描绘，一旦导管102已成功导航到目标附近，就可从导管102上将可定位引导件110解锁并移除，从而将导管102留在原处，作为用于将医疗装置(包括但不限于光学系统、超声探针、标记物放置工具、活检工具、消融工具(即微波消融装置)、激光探针、低温探针、传感器探针和抽吸针)引导到目标的引导通道。然后可通过导管102插入医疗装置并导航到目标或与目标相邻的具体区域。
在通过导管102插入医疗装置之前，可针对每个目标执行局部配准过程，以降低CT到身体散度。在局部配准过程的捕获阶段，可经由荧光镜成像装置124，任选地由用户并根据经由计算装置122所显示的方向来捕获和获取荧光镜图像的序列。然后可经由计算装置122生成荧光镜3D重建。荧光镜3D重建的生成基于荧光镜图像的序列和与发射器垫120一起并入的标记物204的结构在图像序列上的投影。然后可任选地同时经由计算装置122在显示器上将荧光镜3D重建的一个或多个切片显示给用户。3D重建的切片可以以可滚动的格式呈现在用户界面上，其中用户能够连续滚动切片。
在局部配准过程的标记阶段，可导引临床医生识别和标记目标，同时使用3D重建的切片作为参考。还可导引用户在荧光镜2D图像的序列中识别和标记导航导管尖端。然后可经由计算装置122确定或计算目标位置与导航导管尖端之间的偏移。然后可经由计算装置122利用偏移来校正导航导管在显示器上相对于目标的位置和/或取向，和/或校正在目标区域中三维模型与跟踪系统114之间的配准，和/或在目标区域中的三维模型与荧光镜3D重建之间生成局部配准。
本公开的一个方面涉及一种评估用于系统100中的荧光镜124的方法，如本文上文所描述。不是每个品牌的荧光镜都可以如此使用，并且重要的是，在投入使用之前，即使那些品牌的荧光镜可以与系统100一起使用，也要进行准确性测试。参考图2，描绘了荧光镜图像202，该荧光镜图像示出了球形标记物204的图案，如上所述，该球形标记物可以嵌入在发射器垫120中。在本公开的一个方面中，使用如图2中所描绘的大体上半透明的塑料夹具205来执行准确性测试，在该夹具上以已知高度固定两个测试标记物206。荧光镜图像202仅仅是来自荧光镜视频的单个图像，该单个图像由荧光镜124在其围绕患者扫过介于30度与180度之间(通常介于30度与50度之间)的角度时捕获。通常，荧光镜的扫描以AP位置为中心，并且例如从AP位置的一侧上的约20度延伸到AP位置的另一侧上的约20度。
传统上，当设置系统100以供使用时，必须在荧光镜124上执行准确性测试。此准确性测试涉及在来自荧光镜扫描的多个帧中对对象的位置的手动标记。
参考图3和其中描述的方法300描述了自动测试荧光镜124的准确性的方法。方法300可体现在存储在与计算装置122相关联的存储器中并且由与计算机可操作地相关联的处理器执行的应用程序中。方法300开始于捕获荧光镜图像(例如，荧光镜视频)以产生多个图像202，图5。根据本公开，这些采集的荧光镜图像202可任选地在步骤304处使用例如黑森过滤器或本领域技术人员已知的另一种过滤方法(包括例如被训练用于对象检测和分割的神经网络)进行过滤，以产生图6中的图像602，由此白点604表示测试标记物206。具有例如黑森过滤器的过滤在此用于识别具有类似于测试标记物206的尺寸的结构。经过滤的图像602可稍后用于此过程中以细化标记物检测。不管图像202是否被过滤，在步骤306处生成3D体积重建。图7和图8描绘了来自3D体积重建的切片图像。在步骤308处，测试标记物206的高度被调用到计算装置122中的存储器中。因为测试标记物206的高度是已知的，所以在步骤310处，可从体积重建中删除在围绕已知高度的范围之外(例如，超过所关注的区域，诸如包含所关注的对象的区域)的3D体积重建中的任何值。例如，可以从3D体积重建移除在测试标记物206的已知高度的范围之外的3D体积重建的任何切片，从而产生小得多的体积。在移除测试标记物206的已知高度处的范围之外的值或切片之后，在步骤312处，投影图8中的剩余体积802以生成图9中的2D图像902。在步骤314处，检测测试标记物206的位置。可以经由包括例如投影图像902中的最大值识别的任何对象检测方法来进行检测。因为投影图像被限制在测试标记物周围的所关注的区域，所以投影图像应当具有非常少的(如果有的话)阻碍或对测试标记物206，图10产生干扰的结构，并且消除了诸如图6所示的第三检测等错误检测。测试标记物206的检测提供了对标记物位置的初始估计。在步骤316处，通过在来自步骤314的初始估计周围搜索来自步骤304的经过滤的图像中的局部最大值来细化标记物的位置。因此，虽然图6示出了3个潜在的测试标记物206，但是通过将荧光镜图像的各部分限制到测试标记物206周围的所关注的区域并且在所关注的区域中搜索局部最大值，在图11中仅描绘了两个测试标记物206。因此，图11中的测试标记物206的局部最大值是测试标记物206的细化位置。
实际上，图6和图11是相同的黑森过滤帧。通过限制用于将图10的图像投影到测试标记物206高度处的所关注的区域的体积来实现该差异。因此，图10充当关于测试标记物的位置的初始猜测。然后通过分析初始猜测周围的小边界框来细化对测试标记物206的位置的初始猜测，如图11中所示出的确认猜测。
图12描绘了测试制造者206检测过程的结果，并且测试标记物206的检测位置的视觉确认对应于图像中的测试标记物206的物理位置。在图12中，测试标记物206的细化位置覆盖在原始图像上，示出了检测到的位置实际上在测试标记物206上。
可以在步骤318处进行投影和经过滤的图像的后处理，以进一步确认检测到的位置是准确的。图4描述了根据本公开的后处理步骤的一个示例。在步骤402处，检测到的测试标记物206的图像可以被给予“球体评分”。在一个示例中，可以通过将测试标记物206(图13B)的图像与掩码(图13A)进行比较来确定评分。如果存在一般对应，则应用程序确定测试标记物206的图像是准确的。在存在具有极高或极低评分的检测的情况下，在步骤404处移除这些图像。例如，如果测试标记206的图像(图13C)中存在过多数量的示出超过掩码的结构的像素，则所检测到的测试标记206具有极高评分并且由于该图像包括超出测试标记物206的预期大小的结构而被拒绝。类似地，如果图像不包含示出结构的像素(图13D)，则图像可以具有极低的评分并且例如作为错误标记再次被拒绝。在步骤406处，测试标记物206的检测中的间隙可以通过在测试标记物206被准确地检测到的相邻图像之间进行插值来填充。
尽管上文结合使用掩码进行了描述，但本公开不限于评分。可替代地，可以通过其他机制来进行评分，诸如由神经网络输出的检测评分。例如，过滤操作可由输出每个图像的对象分割概率的神经网络来执行。检测得分是基于分割概率的。
以这种方式，可以例如在导航系统100的设置期间评估荧光镜的准确性。如果测试标记物206被准确地检测到，则荧光镜124可被确认为可与导航系统100一起使用。这些后处理步骤可以在呈现如图12所示出的准确性测试的结果之前进行。
尽管结合荧光镜准确性测试进行了描述，但是本公开不限于此。例如，可以进行相同或类似的过程以在局部配准过程期间识别导管的远侧尖端的位置。如上所述，结合荧光镜准确性测试描述的体积过滤过程的中心方面是使用被检测的对象的高度。当将导管102导航到患者体内的位置时，传感器104或126在导管102被导航通过腔网络时跟踪其远侧尖端的位置。传感器104或126的位置与由发射器垫120产生的电磁(EM)场有关。因此，在传感器104或126处于EM场中的任何时间，可准确地确定导管尖端的高度。
因此，当进行局部配准时，不是要求用户在来自整个3D体积重建的两个切片中标记导管尖端的位置，而是可以采用图3的过程来将3D体积重建限制到在目标位置周围的某个范围内的那些切片。如将认识到的，与在荧光镜准确性测试中不同，导管的远侧尖端的位置不是静态的，而是由于患者的呼吸或热跳动而在某一范围内移动。通常，在屏气条件下并且在肺已经基本上平衡压力并已经基本上停止由呼吸引起的移动的时间段期间执行局部配准。这仍然留下了由心跳引起的移动，但是通过比较并且虽然它可能增加在导管102的尖端的高度周围的范围(针对该范围保留3D重建的切片)，这种移动相对较小。方法300和400的剩余步骤可用于在3D体积重建中自动检测导管的远侧尖端的位置，因此使局部配准过程的过程中的至少一个过程自动化。
本公开的另一个方面是，在不进行屏气的情况下或者在荧光镜扫描中存在高摇摆(围绕荧光镜的轴的第三平面的旋转)的情况下，可以在整个荧光镜扫描中跟踪导管102的远侧尖端。跟踪导管102的尖端改进了使得能够可视化目标的3D重建的质量。在呼吸期间，检测到的导管位置可用于修改荧光镜姿态，以确保在重建体积中，目标(或导管的端部)总是被清晰地或清楚地呈现，而背景被模糊地呈现，这进一步提高了目标或导管的清晰度。类似地，在摇摆期间，导管尖端位置可以用于更准确地解决荧光镜的姿态，并且再次提高图像质量。因此，更好的跟踪在用于可视化和配准(局部配准)的计算中实现更好的准确性。
本公开的又另外的方面涉及活检和疗法工具的检测，特别是病变中那些装置的检测。在用户合理地相信活检或疗法工具已经被插入到病变或肿瘤中的情况下，常常获取荧光镜扫描以确认放置。根据导管102中的传感器104或126或在适当的情况下位于工具本身中的类似传感器的检测到的高度获知工具距发射器垫120的高度。使用该高度并且随后从荧光镜扫描获取图像并且生成3D体积重建，3D重建的切片在工具的高度周围的范围之外。该工具(活检或疗法)具有已知轮廓。这些轮廓可在3D重建的投影图像中被检测到，类似于上文针对荧光镜准确性测试所描述的球体。方法300和400中描述的过程的其他步骤也可用来完成检测过程。进一步地，因为要处理的图像的缩小减少，因此可采用另外的图像处理来自动检测肿瘤或病变的边界。因此，可自动确认用于疗法或活检的病变中存在工具的确认，并且在用户界面上向用户呈现关于放置的指示符。还可呈现关于放置的其他细节，诸如接近病变中心、距边界的距离等。
仍进一步地，本文所描述的过程可以用于对象的分割，诸如导管、支气管镜或其他解剖结构，诸如肋骨。例如，通过选择用于处理的高度的子范围(例如，切片的子范围)，可以从3D体积重建中选择性地去除患者的遮蔽部分。已知分割算法在荧光镜图像中产生假阳性。利用本文所描述的过程，删除在被成像的对象或目标的高度周围的高度范围的范围之外的高度处的3D体积重建的部分。因此，在这些不期望的高度处的任何假阳性可以从任何投影图像中过滤出来。使用金属去除分割掩码可能生成的、以其他方式可能导致降级结果的任何假阳性可因此通过此过程进一步增强。例如，心脏可能遮蔽肋骨。可由该荧光镜扫描生成体积重建。可从3D体积重建中删除包含障碍物的重建部分。然后可投影剩余的体积重建，并且可在那些投影上分割期望的对象(例如，被遮蔽的肋骨)。在一些情况下，当例如涉及器官时，可能有必要删除3D体积中的无定形形状而不是单个切片。
另外地或可替代地，可使用例如金属去除算法或自动窗口级算法来增强可视化。
现在参考图1，其是被配置为与包括图3和图4的方法的本公开的方法一起使用的系统1400的示意图。系统1400可包括工作站1401以及任选地荧光镜成像装置或荧光镜1415。在一些实施方案中，工作站1401可例如通过无线通信与荧光镜1415直接或间接耦接。工作站401可包括存储器1402、处理器1404、显示器1406和输入装置1410。处理器或硬件处理器1404可包括一个或多个硬件处理器。工作站1401可任选地包括输出模块1412和网络接口1408。存储器1402可存储应用程序1418和图像数据1414。应用程序1418可包括可由处理器1404执行以用于执行包括图14的方法的本公开的方法的指令。
应用程序1418还可包括用户界面1416。图像数据1414可包括CT扫描、所生成的靶标区域的荧光镜3D重建和/或3D重建的任何其他荧光镜图像数据和/或所生成的一个或多个切片。处理器1404可与存储器1402、显示器1406、输入装置1410、输出模块1412、网络接口1408和荧光镜1415耦接。工作站1401可以是固定计算装置诸如个人计算机，或便携式计算装置诸如平板计算机。工作站1401可嵌入多个计算机装置。
存储器1402可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，该数据和/或软件包括指令，这些指令可由处理器1404执行并且其控制工作站1401的操作并且在一些实施方案中还可以控制荧光镜1415的操作。荧光镜1415可用于捕获荧光镜图像序列，基于这些荧光镜图像序列生成荧光镜3D重建，并根据本公开捕获实时2D荧光镜视图。在一实施方案中，存储器1402可包括诸如固态存储装置等一个或多个存储装置，例如闪存存储器芯片。可替代地或除了该一个或多个固态存储装置之外，存储器1402可以包括通过大容量存储控制器(未示出)和通信总线(未示出)而连接到处理器1404的一个或多个大容量存储装置。
尽管本文所含有的对计算机可读介质的描述是指固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是处理器1404可以访问的任何可用介质。即，计算机可读存储介质可包括以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术实现的非暂态、易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质可以包括RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术、CD-ROM、DVD、蓝光或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储装置、或可以用于存储期望信息并且可以由工作站1401访问的任何其他介质。
应用程序1418当由处理器1404执行时可以使显示器1406呈现用户界面1416。用户界面1416可以被配置为向用户呈现单个屏幕，该屏幕包括从医疗装置的尖端的视角来看的目标的3D模型的三维(3D)视图、显示医疗装置的实时二维(2D)荧光镜视图、以及覆盖在实时2D荧光镜视图上的对应于目标的3D模型的目标标记。用户界面1416还可以被配置为根据医疗装置尖端是否在三维上与目标对准而以不同的颜色显示目标标记。
网络接口1408可以被配置为连接到网络，诸如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或互联网。网络接口1408可以用于在工作站1401和荧光镜1415之间进行连接。网络接口1408还可以用于接收图像数据1414。输入装置1410可以是用户可以用来与工作站1401交互的任何装置，例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块1412可以包括任何连接端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其他类似连接端口。根据上文并且参考各个附图，本领域的技术人员将理解，在不脱离本公开的范围的情况下，还可以对本公开进行某些修改。
尽管本文公开了详述的实施方案，但是所公开的实施方案仅仅是可以各种形式并且在各方面体现的本公开的示例。例如，本文公开了结合目标覆盖系统和方法的电磁导航系统的实施方案；然而，目标覆盖系统和方法还可应用于本领域技术人员已知的其他导航或跟踪系统或方法。因此，本文所公开的特定的结构和功能细节不应理解为限制性的，而仅仅是权利要求书的基础，并作为具有代表性的基础用于教导本领域的技术人员以几乎任何合适的具体结构不同地采用本公开。

Claims (20)

1.一种对象检测方法，所述方法包括：
接收荧光镜视频，所述荧光镜视频包括由围绕患者旋转的荧光镜捕获的多个荧光镜图像；
由所述荧光镜图像生成三维(3D)体积重建；
删除所述3D体积重建中超出对象周围所关注的区域的值；
在所述删除值之后由剩余的3D体积重建生成2D图像；
检测所述2D图像中的所述对象，以确定所述对象的初始位置；以及
细化所检测到的所述对象的初始位置。
2.根据权利要求1所述的方法，所述方法还包括在生成所述3D体积重建之前过滤所接收到的荧光镜图像。
3.根据权利要求2所述的方法，其中细化所确定的初始位置包括在所述对象的所述初始位置周围搜索经过滤的荧光镜图像中的最大应答。
4.根据权利要求3所述的方法，其中用黑森过滤器过滤所接收到的荧光镜图像。
5.根据权利要求1所述的方法，所述方法还包括对所确定的所述对象的位置进行评分。
6.根据权利要求5所述的方法，所述方法还包括去除具有极高或极低评分的任何图像，其中极高评分指示遮挡所述对象的另外结构，并且极低评分指示所述对象的错误标记。
7.根据权利要求4所述的方法，所述方法还包括通过估计所述对象的位置并且在附近保留的图像之间进行插值来填充由所述去除所引起的间隙。
8.根据权利要求1所述的方法，所述方法还包括从存储器接收所述对象的高度，其中所述对象是安装在夹具上的测试标记物。
9.根据权利要求1所述的方法，所述方法还包括使用电磁传感器检测所述对象的高度。
10.根据权利要求9所述的方法，其中所述电磁传感器与电磁导航系统中的导管相关联。
11.一种导航系统，所述导航系统包括：
发射器垫，所述发射器垫被配置为发射电磁场；
导管，所述导管被配置为用于在患者的腔网络内导航，所述导管包括靠近远侧尖端的传感器；
计算装置，所述计算装置上的存储器中存储有应用程序，所述应用程序在由处理器执行时使所述计算装置：
接收荧光镜视频，所述荧光镜视频包括由围绕患者旋转的荧光镜捕获的多个荧光镜图像；
由所述荧光镜图像生成三维(3D)体积重建；
删除所述3D体积重建中超出所述传感器的检测到的位置周围所关注的区域的值；
在所述删除值之后由剩余的3D体积重建生成2D图像；
检测所述2D图像中的所述远侧尖端，以确定所述远侧尖端的初始位置；以及
细化所检测到的所述导管的所述远侧尖端的初始位置。
12.根据权利要求11所述的导航系统，其中所述应用程序进一步执行在生成所述3D体积重建之前过滤所接收到的荧光镜图像的步骤。
13.根据权利要求11所述的导航系统，其中所述应用程序进一步执行对所检测到的所述远侧尖端的位置进行评分的步骤。
14.根据权利要求13所述的导航系统，其中所述应用程序进一步执行去除具有极高或极低评分的任何图像的步骤。
15.根据权利要求14所述的导航系统，其中所述应用程序进一步执行通过在附近保留的图像之间进行插值来填充由所述去除所引起的间隙，从而估计所述导管的所述远侧尖端的位置的步骤。
16.一种测试荧光镜成像装置的准确性的方法，所述方法包括：
接收荧光镜视频，所述荧光镜视频包括由围绕测试夹具旋转的荧光镜捕获的多个荧光镜图像，所述测试夹具包括在已知高度处的测试标记物；
由所述荧光镜图像生成三维(3D)体积重建；
从所述3D体积重建中删除超出所述测试标记物的所关注的区域的值；
投影剩余的3D体积重建以生成2D图像；
检测所述2D图像中的所述测试标记物，以确定所述测试标记物的初始位置；以及
细化所检测到的所述测试标记物的初始位置。
17.根据权利要求16所述的方法，所述方法还包括在生成所述3D体积重建之前过滤所接收到的荧光镜图像。
18.根据权利要求16所述的方法，所述方法还包括将位于最终位置处的所检测到的测试标记物与掩码进行比较以生成评分。
19.根据权利要求18所述的方法，所述方法还包括去除具有极高或极低评分的任何图像。
20.根据权利要求19所述的方法，所述方法还包括通过在附近保留的图像之间进行插值来填充由所述去除所引起的间隙，从而估计所述测试标记物的位置。
CN202280037507.7A 2021-05-25 2022-05-19 荧光镜扫描视频的体积过滤器 Pending CN117355257A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163192873P 2021-05-25 2021-05-25
US63/192,873 2021-05-25
PCT/IB2022/054648 WO2022248982A1 (en) 2021-05-25 2022-05-19 Volumetric filter of fluoroscopic sweep video

Publications (1)

Publication Number Publication Date
CN117355257A true CN117355257A (zh) 2024-01-05

Family

ID=81927306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280037507.7A Pending CN117355257A (zh) 2021-05-25 2022-05-19 荧光镜扫描视频的体积过滤器

Country Status (4)

Country Link
US (1) US20240206980A1 (zh)
EP (1) EP4346613A1 (zh)
CN (1) CN117355257A (zh)
WO (1) WO2022248982A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2804557B1 (en) * 2012-01-17 2018-04-25 Sunnybrook Health Sciences Centre Method for three-dimensional localization of an object from a two-dimensional medical image
EP3618005A1 (en) * 2018-08-30 2020-03-04 Koninklijke Philips N.V. Image processing system and method

Also Published As

Publication number Publication date
US20240206980A1 (en) 2024-06-27
WO2022248982A1 (en) 2022-12-01
EP4346613A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
US11992349B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
AU2019200594B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN111568544B (zh) 用于使医疗装置相对于目标的导航视觉化的系统和方法
CN112386336A (zh) 用于进行初始配准的荧光-ct成像的系统和方法
CN111513844B (zh) 用于荧光镜确认病变中工具的系统和方法
US20240341714A1 (en) Zoom detection and fluoroscope movement detection for target overlay
US20240206980A1 (en) Volumetric filter of fluoroscopic sweep video
CN111714205A (zh) 使用深度学习在荧光镜检查视频中进行导管尖端检测
CN117412724A (zh) 在程序内成像期间评估屏气的系统和方法
CN116098704A (zh) 使医疗装置相对于目标可视化的系统和方法
WO2024079627A1 (en) Systems and methods of detecting and correcting for patient and/or imaging system movement for target overlay

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination