CN115668281A - 使用多视图姿态估计的方法和系统 - Google Patents

使用多视图姿态估计的方法和系统 Download PDF

Info

Publication number
CN115668281A
CN115668281A CN202180021164.0A CN202180021164A CN115668281A CN 115668281 A CN115668281 A CN 115668281A CN 202180021164 A CN202180021164 A CN 202180021164A CN 115668281 A CN115668281 A CN 115668281A
Authority
CN
China
Prior art keywords
pose
image
medical images
markers
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180021164.0A
Other languages
English (en)
Inventor
D·塞加诺夫
T·阿米特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Body Vision Medical Ltd
Original Assignee
Body Vision Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Body Vision Medical Ltd filed Critical Body Vision Medical Ltd
Publication of CN115668281A publication Critical patent/CN115668281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种方法包括：接收在医学成像设备通过旋转行进时由医学成像设备捕获的一系列医学图像，并示出包括多个标记的关注区域；确定其中标记可见的一系列医学图像的子集中的每个的姿态；基于确定的子集的姿态和成像设备的轨迹约束，估计医学成像设备的轨迹；基于医学成像设备移动连贯性的假设，通过外推确定其中标记不可见的医学图像中一个的姿态；以及至少基于子集的姿态中的至少一些和其中标记不可见的医学图像之一的姿态来确定关注区域的体积重建。

Description

使用多视图姿态估计的方法和系统
相关申请的交叉引用
这是一项国际(PCT)专利申请，涉及共同拥有的、未决的于2020年1月24日提交的题为“用于使用多视图姿态估计的方法和系统”的美国临时专利申请序列号62/965,628并要求其优先权，其内容通过引用全文并入本文。
技术领域
本发明的实施方案涉及介入设备及其使用方法。
背景技术
微创手术的使用(诸如内窥镜手术、电视胸腔镜手术或类似的医疗手术)可以作为可疑病变的诊断工具或作为癌性肿瘤的治疗手段。
发明内容
在一些实施方案中，本发明提供了一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，
其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得至少(i)处于第一姿态的不透辐射的器械的第一图像和(ii)处于第二姿态的不透辐射的器械的第二图像，
其中，不透辐射的器械位于患者的体腔中；生成至少两张增强支气管图，
其中，第一增强支气管图对应于处于第一姿态的不透辐射的器械的第一图像，并且
其中，第二增强支气管图对应于处于第二姿态的不透辐射的器械的第二图像，
确定以下之间的相互几何约束：
(i)不透辐射的器械的第一姿态，及
(ii)不透辐射的器械的第二姿态，
通过将不透辐射的器械的第一姿态和不透辐射的器械的第二姿态与第一成像模态的第一图像进行比较，估计不透辐射的器械的第一姿态和不透辐射的器械的第二姿态，
其中，比较是使用以下步骤执行的：
(i)第一增强支气管图，
(ii)第二增强支气管图，以及
(iii)至少一个元素，以及
其中，不透辐射的器械的估计的第一姿态和不透辐射的器械的估计的第二姿态满足确定的相互几何约束，
生成第三图像；其中，第三图像是从第二成像模态导出的增强图像(突出关注区域)，
其中，根据来自第一成像模态的数据确定关注区域。
在一些实施方案中，来自第一成像模态的第一图像的至少一个元素还包括肋骨、脊椎、隔膜或其任何组合。在一些实施方案中，通过以下步骤生成相互几何约束：
a.通过比较不透辐射的器械的第一图像和不透辐射的器械的第二图像，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，估计是使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行的，并且其中，设备连接到第二成像模态；
b.提取多个图像特征以估计相对姿态变化，其中，多个图像特征包括解剖学元素、非解剖学元素或其任何组合，
其中，多个图像特征包括：附着在患者上的贴片、定位在第二成像模态的视场中的不透辐射的标志、或其任何组合，
其中，图像特征在不透辐射的器械的第一图像和不透辐射的器械的第二图像上是可见的；
c.通过使用至少一个相机，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，相机包括：摄像机、红外相机、深度相机或其任何组合，
其中，相机位于固定位置，
其中，相机被配置成跟踪至少一个特征，
其中，至少一个特征包括：附着于患者的标志、附着于第二成像模态的标志或其任何组合，并且
跟踪至少一个特征；
d.或其任何组合。
在一些实施方案中，方法进一步包括：跟踪用于以下功能的不透辐射的器械：识别轨迹，并使用轨迹作为进一步的几何约束，其中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，本发明是一种方法，包括：
生成患者的至少一个体腔的地图，
其中，使用来自第一成像模态的第一图像生成地图，
从第二成像模态获得包括至少两个附着标志的不透辐射的器械的图像，
其中，至少两个附着标志以已知距离分开，相对于患者的至少一个体腔的地图，从第二成像模态识别不透辐射的器械的姿态，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第一标志的第一位置，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第二标志的第二位置，并测量第一标志的第一位置与第二标志的第二位置之间的距离，
投影第一标志与第二标志之间的已知距离，
将测量的距离与第一标志和第二标志之间的投影的已知距离进行比较，以识别患者的至少一个体腔内的不透辐射的器械的特定位置。
在一些实施方案中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，该方法进一步包括：通过使用不透辐射的器械的轨迹来识别不透辐射的器械的深度。
在一些实施方案中，来自第一成像模态的第一图像是术前图像。在一些实施方案中，来自第二成像模态的不透辐射的器械的至少一个图像是术中图像。
在一些实施方案中，本发明是一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得至少(i)不透辐射的器械的一个图像和(ii)处于第二成像模态的两个不同姿态的不透辐射的器械的另一个图像
其中，以第二成像模态的第一姿态捕获不透辐射的器械的第一图像，
其中，以第二成像模态的第二姿态捕获不透辐射的器械的第二图像，以及
其中，不透辐射的器械位于患者的体腔中；
生成与成像设备的两个姿态中的每个相对应的至少两个增强支气管图，其中，从不透辐射的器械的第一图像导出的第一增强支气管图和从不透辐射的器械的第二图像导出的第二增强支气管图，
确定以下之间的相互几何约束：
(i)第二成像模态的第一姿态，以及
(ii)第二成像模态的第二姿态，
使用对应的增强支气管图图像和从第一成像模态的第一图像中提取的至少一个元素，相对于第一成像模态的第一图像，估计第二成像模态的两个姿态；
其中，两个估计姿态满足生成第三图像的相互几何约束。
生成第三图像，其中，该第三图像是基于来自第一成像模态的数据从第二成像模态导出的增强图像(突出关注区域)。
在一些实施方案中，从第一成像模态和第二成像模态提取诸如肋骨、脊椎、横膈膜或其任何组合的解剖学元素。
在一些实施方案中，通过以下步骤生成相互几何约束：
a.通过比较不透辐射的器械的第一图像和不透辐射的器械的第二图像，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，估计是使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行的，并且其中，设备连接到第二成像模态；
b.提取多个图像特征以估计相对姿态变化，其中，多个图像特征包括解剖学元素、非解剖学元素或其任何组合，
其中，图像特征包括：附着在患者上的贴片、定位在第二成像模态的视场中的不透辐射标志，或其任何组合，
其中，图像特征在不透辐射的器械的第一图像和不透辐射的器械的第二图像上是可见的；
c.通过使用至少一个照相机，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，相机包括：摄像机、红外相机、深度相机或其任何组合，
其中，相机位于固定位置，
其中，相机被配置成跟踪至少一个特征，
其中，至少一个特征包括：附着于患者的标志、附着于第二成像模态的标志或其任何组合，并且
跟踪至少一个特征；
d.或其任何组合。
在一些实施方案中，该方法还包括跟踪不透辐射的器械以识别轨迹，并使用该轨迹作为附加的几何约束，其中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，本发明是一种用于识别患者内部的真实器械位置的方法，包括：
使用从第一成像模态的第一图像生成的患者的至少一个体腔的地图，
从第二成像模态获得不透辐射的器械(具有附连到其上的至少两个标志并且它们之间具有可以从图像感知为位于患者体内的至少两个不同体腔中的限定距离)的图像，
获得第二成像模态相对于地图的姿态
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第一标志的第一位置，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第二标志的第二位置，并且
测量第一标志的第一位置与第二标志的第二位置之间的距离。
使用第二成像模态的姿态将标志之间的已知距离，投影到不透辐射的器械的每个感知位置上，
将测量的距离与两个标志之间的每个投影距离进行比较，以识别身体内的真实器械位置。
在一些实施方案中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，该方法进一步包括：通过使用不透辐射的器械的轨迹来识别不透辐射的器械的深度。
在一些实施方案中，来自第一成像模态的第一图像是术前图像。在一些实施方案中，来自第二成像模态的不透辐射的器械的至少一个图像是术中图像。
在一些实施方案中，一种方法包括：在医学成像设备通过转动而旋转的同时，接收由该医学成像设备捕获的一系列医学图像，其中，一系列医学图像示出包括多个标记的关注区域；确定一系列医学图像的其中多个标记可见的子集中的每个的姿态，；基于一系列医学图像的子集的姿态和成像设备的确定的轨迹约束，估计医学成像设备的运动轨迹；基于医学成像设备的移动连贯性的假设，通过外推确定多个标记至少部分不可见的医学图像中的至少一个的姿态；并且至少基于(a)一系列医学图像的其中多个标记可见的子集的姿态中的至少一些和(b)多个标记至少部分不可见的至少一个医学图像的姿态中的至少一个，确定关注区域的体积重建。
在一些实施方案中，基于在一系列医学图像的子集中观察到的多个标记的3D位置和多个标记的2D位置之间的2D-3D对应关系，确定一系列医学图像的子集中的每个的姿态。在一些实施方案中，基于至少一个术前图像来确定多个标记的3D位置。在一些实施方案中，通过应用运动恢复结构(structure from motion)技术确定多个标记的3D位置。
在一些实施方案中，一种方法包括在医学成像设备通过具有受约束轨迹的C臂的运动而旋转时，使用安装至C臂的成像设备接收多个医学图像，其中，多个医学图像中的至少一些包括关注区域；确定多个医学图像的子集中的每个的姿态；基于3D标记在多个医学图像的子集中的2D位置以及基于多个医学图像的子集中的每个的确定的姿态，计算多个3D标记的位置；通过至少基于3D标记的已知3D-2D对应关系确定成像设备位置和成像设备方位，确定至少一些3D标记可见的多个医学图像中的另外一个的姿态；并且基于多个医学图像中的至少另外一个和多个医学图像中的另外一个的姿态，计算关注区域的体积重建。
在一些实施方案中，至少基于在多个医学图像的子集中可见的不透辐射的标志的图案，确定多个医学图像的子集中的每个的姿态。在一些实施方案中，基于受约束轨迹进一步确定姿态。
在一些实施方案中，一种方法包括：在医学成像设备通过转动而旋转的同时，接收由医学成像设备捕获的一系列医学图像，其中，一系列医学图像示出包括具有3D形状的标记的关注区域；基于至少一些医学图像中的每个中的标记的2D投影的至少3D-2D对应关系，计算至少一些医学图像中的每个的姿态；并且至少基于至少一些医学图像和至少一些医学图像的计算姿态来计算关注区域的体积重建。
在一些实施方案中，该标记是解剖学标记。在一些实施方案中，至少基于至少一个术前图像来确定解剖学标记的3D形状。
在一些实施方案中，至少基于将运动恢复结构技术应用于一系列医学图像中的至少一些来确定标记的3D形状。
在一些实施方案中，运动恢复结构技术应用于所有一系列医学图像。
在一些实施方案中，针对所有一系列医学图像计算姿态。
在一些实施方案中，图像序列不显示多个不透辐射标志。
在一些实施方案中，计算至少一些医学图像中的每个的姿态进一步基于已知的旋转轨迹。
在一些实施方案中，基于至少一个术前图像并且进一步基于将运动恢复结构技术应用到一系列医学图像的至少一些来确定标记的3D形状。
在一些实施方案中，标记是位于关注区域的患者体内的器械。
在一些实施方案中，标记是定位在患者身体附近和患者身体的外部的物体。在一些实施方案中，物体固定到患者的身体上。
附图说明
将参考附图进一步解释本发明，其中，在多个视图中，相同的结构用相同的数字表示。所示的附图不比按比例绘制，相反，重点通常放在说明本发明的原理上。此外，一些特性可能会被夸大以显示特定组件的细节。
图1示出在本发明的方法的一些实施方案中使用的多视图姿态估计方法的框图。
图2、图3和图4示出在本发明的方法中使用的术中图像的示例性实施方案。图2和图3示出从一个特定姿态获得的荧光镜图像。图4示出与图2和图3相比，作为C臂旋转的结果的在不同姿态下获得的荧光镜图像。支气管镜-240、340、440、器械-210、310、410、肋骨-220、320、420和身体边界-230、330、430是可见的。多视图姿态估计方法使用图2、图3、图4中的可见元素作为输入。
图5示出本发明方法中使用的支气管气道结构的示意图。气道中心线用530表示。导管插入到气道结构中并由具有成像平面540的荧光镜设备成像。图像上的导管投影由曲线550示出，并且连接到其上的不透辐射的标志被投影到点G和F中。
图6是连接到支气管镜的支气管镜设备尖端的图像，其中，支气管镜可用于本发明方法的实施方案中。
图7是根据本发明方法的实施方案的视图，其中，该视图是在支气管镜过程中使用的跟踪镜(701)的荧光镜图像，其中，操作工具(702)从其延伸。操作工具可以包含不透辐射标志或其上附着的独特图案。
图8是根据本发明方法的实施方案的两个视图的外极几何形状的视图，其中，该视图是一对荧光镜图像，该图像包含在支气管镜过程中使用的范围(801)，其中，操作工具(802)从其延伸。操作工具可以包含不透辐射的标志或附着在其上的唯一图案(点P1和P2代表这种图案的一部分)。点P1有相应的外极线L1。点P0表示范围的尖端，而点P3表示操作工具的尖端。O1和O2表示相应视图的焦点。
图9示出根据3D-2D对应关系进行6个自由度的姿态估计的示例性方法。
图10A和图10B示出安装在C臂上的X射线成像设备的姿态。
图11示出用于估计C臂轨迹的3D标记的使用。
图12示出一种算法的方法，该算法使用可见且已知的不透辐射的标志集而估计每个图像帧的姿态。
图13示出一种在不使用不透辐射的标志的情况下使用来自运动的结构方法而估计3D标记的方法。
图14示出在多个帧中可见的物体的相同特征点。
图15示出在多个帧中可见的物体的相同特征点。
图16示出用于优化确定在多个帧中可见的物体的特征点的位置的方法。
图17示出用于基于所接收的一系列2D图像确定3D图像重建的过程。
图18示出使用未对齐图像训练图像到图像转换的过程。
图19示出从域C到域B的转换模型的训练。
图20示出用户定位荧光镜的示例性指南。
图21示出用户定位荧光镜的示例性指南。
这些附图构成本说明书的一部分，并包括本发明的说明性实施方案，并且说明了本发明的各种目的和特征。
此外，这些图不必按比例，一些特征可能会被扩大以显示特定组件的细节。此外，图中所示的任何测量、规格等旨在是说明性的，而不是限制性的。因此，本文公开的特定结构和功能细节不应被解释为限制，而仅作为教导本领域技术人员以各种方式使用本发明的代表性基础。
具体实施方式
在已经公开的那些优点和改进中，从下面结合附图进行的描述中，本发明的其他目的和优点将变得显而易见。本文公开了本发明的详细实施方案；然而，应当理解，所公开的实施方案仅仅是可以以各种形式实施的本发明的说明。此外，结合本发明的各种实施方案给出的每个示例旨在说明性的，而不是限制性的。
在整个说明书和权利要求书中，除非上下文另有明确规定，否则下列术语采用此处明确相关联的含义。此处使用的短语“在一个实施方案中”和“在一些实施方案中”并不必然指的是相同的实施方案，尽管其可以。此外，此处使用的短语“在另一个实施方案中”和“在一些其他实施方案中”并不必然指的是不同的实施方案，尽管其可以。因此，如下所述，可以容易地组合本发明的各种实施方案，而不偏离本发明的范围或精神。
此外，除非上下文另有明确规定，否则术语“或”是包含性“或”运算符，并且等同于术语“和/或”。除非上下文另有明确规定，否则术语“基于”不是排他性的，并且允许基于未描述的其他因素。此外，在整个说明书中，“一种”、“一个”和“该”的含义包括复数引用。“在…中”的含义包括“在…中”和“在…上”。
如本文所使用的，“多个”是指在数量上多于一个，例如，但不限于2、3、4、5、6、7、8、9、10等。例如，多个图像可以是2个图像、3个图像、4个图像、5个图像、6个图像、7个图像、8个图像、9个图像、10个图像等。
如本文所使用的，“解剖学元素”指的是标记，其可以是例如：关注的区域、切口点、分叉、血管、支气管气道、肋骨或器官。
如本文所使用的，“几何约束”或“几何的约束”或“相互约束”或“相互几何约束”是指对象体内的物理器官(例如，至少两个物理器官)之间的几何关系，物理器官在对象体内的肋骨之间、身体的边界等之间构造了类似的几何关系。通过不同成像模式观察到的这种几何关系要么保持不变，要么可以忽略或量化它们的相对运动。
如本文所使用的，“姿态”是指确定作为光学相机设备的替代品的术中成像设备源的相对位置和方位的六个参数的集合。作为非限制性示例，姿态可以作为设备、患者床和患者之间的相对移动的组合而获得。这种移动的另一个非限制性示例是在静态患者在床上的情况下，术中成像设备的旋转与其围绕静态患者床的移动相结合。
如本文所使用的，“位置”是指(可以在诸如x、y和z笛卡尔坐标的任何坐标系中测量出)任何物体的位置，包括3D空间内的成像设备本身。
如本文所用，“方位”是指术中成像设备的角度。作为非限制性示例，术中成像设备可以朝向向上、向下或横向定向。
如本文所使用的，“姿态估计方法”是指在第一成像模态的3D空间内估计与第二成像模态相关联的相机参数的方法。这种方法的非限制性示例是在术前CT的3D空间内获得术中荧光镜相机的参数。数学模型使用这种估计的姿态将术前计算机断层扫描(CT)图像内部的至少一个3D点投影到术中X射线图像内部的相应2D点。
如本文所使用的，“多视点姿态估计方法”指的是估计术中成像设备的至少两个不同姿态的姿态的方法。其中，成像设备从相同场景/对象获取图像。
如本文所使用的，“相对角度差”是指成像设备的两个姿态之间由它们的相对角度移动引起的角度差。
如本文所使用的，“相对姿态差”是指由对象与成像设备之间的相对空间移动引起的成像设备的两个姿态之间的位置和相对角度差。
如本文所使用的，“外极距离”是指在另一视图中一个点与同一点的外极线之间距离的测量值。如本文所使用的，“外极线”是指从视图中的一个或多个点的x、y向量或两列矩阵进行的计算。
如本文所使用的，“相似性度量”是指量化两个对象之间相似性的实值函数。
在一些实施方案中，本发明提供了一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得至少(i)处于第一姿态的不透辐射的器械的第一图像和(ii)处于第二姿态的不透辐射的器械的第二图像，
其中，不透辐射的器械位于患者的体腔中；生成至少两张增强支气管图，
其中，第一增强支气管图对应于处于第一姿态的不透辐射的器械的第一图像，以及
其中，第二增强支气管图对应于处于第二姿态的不透辐射的器械的第二图像，
确定以下之间的相互几何约束：
(i)不透辐射的器械的第一姿态，以及
(ii)不透辐射的器械的第二姿态，
通过将不透辐射的器械的第一姿态和不透辐射的器械的第二姿态与第一成像模态的第一图像进行比较，估计不透辐射的器械的第一姿态和不透辐射的器械的第二姿态，
其中，比较是使用以下步骤执行的：
(i)第一增强支气管图，
(ii)第二增强支气管图，以及
(iii)至少一个元素，并且
其中，不透辐射的器械的估计的第一姿态和不透辐射的器械的估计的第二姿态满足确定的相互几何约束，
生成第三图像；其中，第三图像是从第二成像模态导出的增强图像(突出关注区域)，
其中，根据来自第一成像模态的数据确定关注区域。
在一些实施方案中，来自第一成像模态的第一图像的至少一个元素还包括肋骨、脊椎、隔膜或其任何组合。在一些实施方案中，通过以下步骤生成相互几何约束：
a.通过比较不透辐射的器械的第一图像和不透辐射的器械的第二图像，估计(i)第一姿态与(ii)第二姿态之间的不同，
其中，估计是使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行的，并且其中，设备连接到第二成像模态；
b.提取多个图像特征以估计相对姿态变化，其中，多个图像特征包括解剖学元素、非解剖学元素或其任何组合，
其中，图像特征包括：附着在患者上的贴片、定位在第二成像模态的视场中的不透辐射标志、或其任何组合，
其中，图像特征在不透辐射的器械的第一图像和不透辐射的器械的第二图像上是可见的；
c.通过使用至少一个照相机，估计(i)第一姿态与(ii)第二姿态之间的不同，
其中，相机包括：摄像机、红外相机、深度相机或其任何组合，
其中，相机位于固定位置，
其中，相机被配置成跟踪至少一个特征，
其中，至少一个特征包括：附着于患者的标志、附着于第二成像模态的标志或其任何组合，以及
跟踪至少一个特征；
d.或其任何组合。
在一些实施方案中，方法进一步包括：跟踪用于以下功能的不透辐射的器械：识别轨迹，并使用轨迹作为进一步的几何约束，其中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，本发明是一种方法，包括：
生成患者的至少一个体腔的地图，
其中使用来自第一成像模态的第一图像生成地图，
从第二成像模态获得包括至少两个附着标志的不透辐射的器械的图像，
其中，至少两个附着的标志以已知距离分开，相对于患者的至少一个体腔的地图，从第二成像模态识别不透辐射的器械的姿态，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第一标志的第一位置，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第二标志的第二位置，并且
测量第一标志的第一位置与第二标志的第二位置之间的距离，
投影第一标志与第二标志之间的已知距离，
将测量的距离与第一标志和第二标志之间的投影的已知距离进行比较，以识别患者的至少一个体腔内的不透辐射的器械的特定位置。
从单个视图推断出的3D信息可能仍然模糊不清，并可以将该工具适合肺部的多个位置。通过在实际操作前分析计划的3D路径，并计算荧光镜的最优方位，以避免导航过程中的大多数模糊性，可以减少此类情况的发生。在一些实施方案中，根据国际专利申请号PCT/IB2015/00438的权利要求4中描述的方法来执行荧光镜定位，其内容通过引用全文并入本文。
在一些实施方案中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，该方法进一步包括：通过使用不透辐射的器械的轨迹来识别该不透辐射的器械的深度。
在一些实施方案中，来自第一成像模态的第一图像是术前图像。在一些实施方案中，来自第二成像模态的不透辐射的器械的至少一个图像是术中图像。
在一些实施方案中，本发明是一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得至少(i)不透辐射的器械的一个图像和(ii)处于第二成像模态的两个不同姿态的不透辐射的器械的另一个图像
其中，以第二成像模态的第一姿态捕获不透辐射的器械的第一图像，
其中，以第二成像模态的第二姿态捕获不透辐射的器械的第二图像，以及
其中，不透辐射的器械位于患者的体腔中；生成与成像设备的两个姿态中的每个相对应的至少两个增强支气管图，其中，从不透辐射的器械的第一图像导出的第一增强支气管图和从不透辐射的器械的第二图像导出的第二增强支气管图，
确定以下之间的相互几何约束：
(i)第二成像模态的第一姿态，以及
(ii)第二成像模态的第二姿态，
使用对应的增强支气管图图像和从第一成像模态的第一图像中提取的至少一个元素，相对于第一成像模态的第一图像估计第二成像模态的两个姿态；
其中，两个估计姿态满足生成第三图像的相互几何约束；
生成第三图像，其中，该第三图像是基于来自第一成像模态的数据从第二成像模态导出的增强图像(突出关注区域)。
在内支气管工具的导航期间，需要验证相对于目标和其他解剖结构的3D中工具位置。在到达肺部的某个位置后，医生可以改变荧光镜的位置的同时，保持工具在相同的位置。使用这些术中图像，本领域技术人员可以在3D中重建工具位置，并在3D中向医生显示与目标相关的工具位置。
为了在3D中重建工具位置，需要在两个视图上选取相应的点。这些点可以是工具上的特殊标志，也可以是任何器械上的可识别点，例如工具的尖端或支气管镜的尖端。要做到这一点，可以用外极线来寻找点之间的对应关系。此外，外极约束可以用来过滤假阳性标志检测，也可以用来排除由于标志漏检而没有对应对的标志(参见图8)。
(外极与立体视觉的几何有关，计算几何的特殊领域)
在一些实施方案中，可以在任何器械上生成虚拟标志，例如不具有可见不透辐射标志的器械。其通过以下方式执行：(1)在第一图像上选择器械上的任意点；(2)利用已知的两幅图像之间的几何关系计算第二图像上的外极线；(3)将外极线与来自第二图像的已知轨迹或器械轨迹相交，给出匹配的虚拟标志。
在一些实施方案中，本发明是一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得对于至少一个或多个不同器械位置的相同不透辐射的器械位置的第二成像模态的两个不同姿态的至少两个图像，
其中，不透辐射的器械位于患者的体腔中；利用对应图像姿态之间的相互几何约束，从参考坐标系中同一器械位置的对应多幅图像中重建每个器械的三维轨迹；通过估计与从第一成像模态的图像中提取的3D轨迹拟合的不透辐射的器械位置的重建3D轨迹的变换，估计参考坐标系与第一成像模态的图像之间的变换；
生成第三图像；其中，第三图像是基于使用参考坐标系和第一成像模态的图像之间的变换从第一成像模态获得的数据，并且从第二成像模态导出的具有在参考坐标系中的已知姿态的增强图像，(突出关注区域)。
在一些实施方案中，一种从多个不透辐射的器械位置的不同姿态收集图像的方法，包括：(1)将不透辐射的器械定位在第一位置；(2)拍摄第二成像模态的图像；(3)改变第二模态成像设备的姿态；(4)拍摄第二成像模态的另一图像；(5)改变不透辐射的器械位置；(6)继续步骤2，直到达到所需的唯一不透辐射的器械位置数目。
在一些实施方案中，可以重建可在来自成像设备的两个不同姿态的至少两个术中图像上识别的任何元素的位置。当已知第二成像模态相对于第一成像模态的第一图像的每个姿态时，可以根据第一成像模态的图像显示元素相对于任何解剖结构的重建3D位置。作为使用该技术的示例，可以是确认相对于目标展开的基准标志的3D位置。
在一些实施方案中，本发明是一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像中提取至少一个元素，
其中，至少一个元素包括气道、血管、体腔或其任何组合；
从第二成像模态获得至少(i)不透辐射信标的一个图像和(ii)处于第二成像模态的两个不同姿态的不透辐射信标的另一个图像，
其中，以第二成像模态的第一姿态捕获不透辐射信标的第一图像，
其中，以第二成像模态的第二位姿捕获不透辐射信标的第二图像；
从成像设备的两个姿态，使用以下两者之间的相互几何约束，重建不透辐射信标的3D位置：
(i)第二成像模态的第一姿态，以及
(ii)第二成像模态的第二姿态，
基于来自第一成像模态的数据，生成示出信标相对于关注区域的相对3D位置的第三图像。
在一些实施方案中，从第一成像模态和第二成像模态提取诸如肋骨、脊椎、横膈膜或其任何组合的解剖学元素。
在一些实施方案中，通过以下步骤生成相互几何约束：
a.通过比较不透辐射的器械的第一图像和不透辐射的器械的第二图像，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，估计是使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行的，并且其中，设备连接到第二成像模态；
b.提取多个图像特征以估计相对姿态变化，
其中，多个图像特征包括解剖学元素、非解剖学元素或其任何组合，
其中，图像特征包括：附着在患者上的贴片、定位在第二成像模态的视场中的不透辐射标志，或其任何组合，
其中，图像特征在不透辐射的器械的第一图像和不透辐射的器械的第二图像上是可见的；
c.通过使用至少一个相机，估计(i)第一姿态和(ii)第二姿态之间的不同，
其中，相机包括：摄像机、红外相机、深度相机或其任何组合，
其中，相机位于固定位置，
其中，相机被配置成跟踪至少一个特征，
其中，至少一个特征包括：附着于患者的标志、附着于第二成像模态的标志或其任何组合，并且
跟踪至少一个特征；
d.或其任何组合。
在一些实施方案中，该方法还包括跟踪不透辐射的器械以识别轨迹，并使用该轨迹作为附加的几何约束，其中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，本发明是一种用于识别患者内部的真实器械位置的方法，包括：
使用从第一成像模态的第一图像生成的患者的至少一个体腔的地图，
从第二成像模态获得不透辐射的器械(具有附连到其上的至少两个标志并且它们之间具有可以从图像感知为位于患者体内的至少两个不同体腔中的限定距离)的图像，
获得第二成像模态相对于地图的姿态
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第一标志的第一位置，
根据第二成像模态在第二图像上识别附着到不透辐射的器械上的第二标志的第二位置，并且
测量第一标志的第一位置与第二标志的第二位置之间的距离。
使用第二成像模态的姿态将标志之间的已知距离投影到不透辐射的器械的每个感知位置上，
将测量的距离与两个标志之间的每个投影距离进行比较，以识别身体内的真实器械位置。
在一些实施方案中，不透辐射的器械包括内窥镜、内支气管工具或机械臂。
在一些实施方案中，该方法进一步包括：通过使用不透辐射的器械的轨迹来识别不透辐射的器械的深度。
在一些实施方案中，来自第一成像模态的第一图像是术前图像。在一些实施方案中，来自第二成像模态的不透辐射的器械的至少一个图像是术中图像。
多视图姿态估计
申请PCT/IB2015/000438包括对在内窥镜过程中估计荧光镜设备相对于患者的姿态信息(例如，位置、方位)的方法的描述，并且通过引用将其全部并入本文。2015年10月20日提交的PCT/IB15/002148也通过引用将其全文并入本文。
本发明是一种包括从一组术中图像中提取的数据的方法，其中，每个图像是以从成像设备获得的至少一个(例如，1、2、3、4等)未知姿态获取的。这些图像被用作姿态估计方法的输入。作为示例性实施方案，图3、图4、图5是一组3个荧光镜图像的示例。图4和图5中的图像是在相同的未知姿态下获得的，而图3中的图像是在不同的未知姿态下获得的。例如，该集合可以包含也可以不包含与成像设备相关的附加已知位置数据。例如，该集合可包含位置数据，例如C臂位置和方位，其可由荧光镜提供或通过附着到荧光镜的测量设备(例如量角器、加速度计、陀螺仪等)获得。
在一些实施方案中，从附加的术中图像中提取解剖学元素，并且这些解剖学元素暗示可以引入姿态估计方法的几何约束。结果，在使用姿态估计方法之前，可以减少从单个术中图像中提取的元素的数量。
在一些实施方案中，多视图姿态估计方法还包括将来自术前模态的信息叠加在来自术中图像组的任何图像上。
在一些实施方案中，在PCT/IB2015/000438中可以找到将来自术前模式的信息叠加在术中图像上的描述，该描述通过引用全文并入本文。
在一些实施方案中，多个第二成像模态允许改变相对于患者的荧光镜姿态(例如，但不限于，荧光镜臂的旋转或线性移动、患者床的旋转和移动、患者在床上的相对移动、或上述的任何组合)以获得多个图像，其中，多个图像是从上述荧光源的相对姿态获得的，作为患者和荧光镜设备之间的旋转和线性移动的任何组合。
虽然已经描述了本发明的许多实施方案，但应当理解，这些实施方案仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。此外，可以以任何期望的顺序执行各种步骤(并且可以添加任何期望的步骤和/或可以消除任何期望的步骤)。
现在参考以下示例，这些示例与上面的描述一起以非限制性的方式示出本发明的一些实施方案。
实施例：肺部微创手术
本发明的非限制性示例性实施方案可应用于微创肺处理，其中，通过支气管镜的工作通道将内支气管工具插入患者的支气管气道中(参见图6)。在开始诊断程序之前，医生执行设置过程，其中，医生将导管放置到关注区域周围的若干(例如，2、3、4等)支气管气道中。针对内支气管导管的每个位置获取荧光图像，如图2、3和4所示。在申请PCT/IB2015/000438中描述了用于执行手术内荧光镜设备的姿态估计的导航系统的实施例，并且本发明的本方法使用所提取的元素(例如，但不限于，多个导管位置、肋骨解剖和患者的身体边界)。
在估计关注区域中的姿态之后，可以在术前成像模式上识别用于插入支气管镜的路径，并且可以通过在术中荧光镜图像上突出显示或叠加来自术前图像的信息来标记。在引导内支气管导管到关注区域后，医生可以旋转、改变缩放级别或移动荧光镜设备，以验证导管是否位于关注区域。通常，如图4所示，荧光镜设备的这种姿态改变将使先前估计的姿态无效，并要求医生重复设置过程。然而，由于导管已经位于潜在的关注区域内，因此不需要重复安装过程。
图4示出本发明的示例性实施方案，示出使用从图2和图3中提取的解剖学元素而估计荧光镜角度的姿态(其中，例如，图2和图3示出从初始设置过程获得的图像和从图像中提取的附加解剖学元素，例如导管位置、肋骨解剖和身体边界)。姿态可以通过例如(1)移动荧光镜(例如，围绕C臂旋转头)、(2)向前或向后移动荧光镜，或者可选地通过被摄体位置改变或通过两者的组合等来改变。此外，图2和图4之间的相互几何约束，例如与成像设备相关的位置数据，可以在估计过程中使用。
图1是本发明的示例性实施方案，并且示出以下内容：
I.部件120使用自动或半自动分割过程或其任何组合，从诸如但不限于CT、磁共振成像(MRI)、正电子发射断层扫描-计算机断层扫描(PET-CT)的术前图像中提取3D解剖学元素，例如支气管气道、肋骨、隔膜。在Atilla P.Kiraly、William E.Higgins、GeoffreyMcLennan、Eric A.Hoffman、Joseph M.Reinhardt的“用于临床虚拟支气管镜的三维人类气道分割方法”中描述自动或半自动分割过程的实施例，其全文通过引用而并入本文。
II.部件130从一组术中图像(例如但不限于荧光镜图像、超声图像等)中提取2D解剖学元素(其在图4中进一步示出，例如支气管气道410、肋骨420、身体边界430和隔膜)。
III.部件140计算一组术中图像中的图像的每个子集之间的相互约束，例如相对角度差、相对姿态差、外极距离等。
在另一个实施方案中，该方法包括估计术中图像集合中的图像的每个子集之间的相互约束。这种方法的非限制性实施例是：(1)使用连接到术中成像设备的测量设备，估计一对荧光镜图像的至少两个姿态之间的相对姿态变化。(2)提取图像特征，例如解剖学元素或非解剖学元素，包括但不限于附着在患者上的贴片(例如ECG贴片)或位于术中成像设备视野内的不透辐射标志，它们在两幅图像上都可见，并使用这些特征估计相对姿态变化。(3)使用连接到手术室的指定位置的一组相机(例如摄像机、红外线相机、深度相机，或这些相机的任何组合)跟踪特征(例如连接到患者上的贴片或标志，连接到成像设备上的标志等)。通过跟踪这些特征，组件可以估计成像设备的相对姿态变化。
IV.部件150将从术前图像生成的3D元素与从术中图像生成的该3D对应的2D元素匹配。例如，将从荧光镜图像中提取的给定2D支气管气道与从CT图像中提取的3D气道集进行匹配。
V.部件170在所需坐标系(诸如术前图像坐标系、与操作环境相关的、由其他成像或导航设备形成的协调系统等)中估计术中图像组中的每个图像的姿态。
此部件的输入如下：
·从患者术前图像中提取3D解剖学元素。
·从术中图像集合中提取的2D解剖学元素。如本文所述，该集合中的图像可以来自相同或不同的成像设备姿态。
·术中图像集合中各图像子集之间的相互约束
部件170从一组术中图像中评估每个图像的姿态，使得：
·2D提取的元素与对应的和投影的3D解剖学元素相匹配。
·由部件140计算的相互约束条件适用于估计的姿态。
为了匹配投影的3D元素，从术中图像中获取对应的2D元素的术前图像，需要相似性度量，例如距离度量。这样的距离度量提供了评估投影的3D元素与其对应的2D元素之间的距离的度量。例如，2条折线(例如，作为单个对象创建的线段的连接序列)之间的欧几里得距离可用作3D投影支气管气道来源术前图像与从术中图像提取的2D气道之间的相似性度量。
另外，在本发明的方法的一个实施方案中，该方法包括通过识别优化相似性度量的姿态，估计对应于术中图像集的姿态集，前提是满足来自术中图像集的图像子集之间的相互约束。相似性度量的优化可以被称为最小二乘问题，并且可以用几种方法来解决，例如，(1)使用众所周知的束调整算法，该算法实现了姿态估计的迭代最小化方法，并在此通过引用全文合并：B.Triggs；P.McLauchlan；R.Hartley；A.Fitzgibbon(1999)的“束调整-现代综合”，ICCV’99：视觉算法国际研讨会论文集，斯普林格出版社，第298-372页，以及(2)使用网格搜索方法扫描参数空间以搜索优化相似性度量的最佳姿态。
标志
不透辐射标志可以放置在医疗器械上的预定位置，以便恢复关于器械位置的3D信息。在术中图像上，体内腔内3D结构的几条路径，如支气管、气道或血管，可以投影成相似的2D曲线。如申请PCT/IB2015/000438所示，用标志获得的3D信息可用于在这些途径之间进行区分。
在本发明的示例性实施方案中，如图5所示，器械由术中设备成像并投影到成像平面505。由于两个气道在成像平面505上投影成相同的曲线，因此不知道器械是放置在气道520还是气道525内。为了区分气道520和气道525，可以使用至少2个连接到导管(在标志之间具有预定的距离“m”)的不透辐射标志。在图5中，术前图像上观察到的标志被命名为“G”和“F”。
气道520和气道525之间的区分过程可以如下执行：
(1)将术中图像中的F点投射到对应的气道520、525的潜在候选者上，以获得A点和B点。
(2)将术中图像中的G点投影到对应的520、525气道的潜在候选点上，以获得C点和D点。
(3)测量两对投影标志|AC|和|BD|之间的距离。
(4)将520上的距离|AC|和525上的距离|BD|与工具制造商预定义的距离m进行比较。根据距离相似度选择合适的气道。
跟踪范围
作为非限制性实施例，本文公开了用荧光镜设备登记患者CT扫描的方法。该方法使用在荧光镜图像和CT扫描中检测到的解剖学元素作为姿态估计算法的输入，该姿态估计算法产生荧光镜设备相对于CT扫描的姿态(例如，方向和位置)。下面通过将对应于内支气管设备位置的3D空间轨迹添加到配准方法的输入来扩展该方法。这些轨迹可以通过几种方法获得，例如：沿着一个范围安装位置传感器或使用机器人内窥镜臂。从现在起，这种内支气管设备将被称为跟踪镜。跟踪的范围用于指导从它延伸到目标区域的操作工具(参见图7)。诊断工具可以是导管、钳子、针等。以下描述如何使用由跟踪范围获得的位置测量来提高本文所示的配准方法的准确性和稳健性。
在一个实施方案中，通过在空间中的不同位置定位跟踪范围并应用标准姿态估计算法来实现跟踪范围轨迹和荧光镜设备的坐标系之间的配准。关于姿态估计算法的参考见以下论文：F.Moreno-Noguer、V.Lepetit和P.Fua在论文“EPnP：有效的透视n点相机姿态估计”中的发言，全文通过引用并入本文。
本文公开的姿态估计方法通过以这样的方式(CT扫描中的选定元素投影在荧光镜图像中它们的对应元素上)估计姿态来执行。在本发明的一个实施方案中，将跟踪的范围轨迹作为输入添加到姿态估计方法扩展了该方法。这些轨迹可以使用本文的方法转换到荧光镜设备坐标系中。一旦转换到荧光镜设备坐标系，轨迹就作为姿态估计方法的附加约束，因为估计的姿态受到这样一个条件的约束，即轨迹必须适合从配准的CT扫描中分割的支气管气道。
荧光镜设备估计姿态可用于将解剖学元素从术前CT投射到荧光镜现场视频，以便将操作工具引导到肺内的指定目标。这样的解剖学元素可以是但不限于：目标病变、到病变的路径等。到目标病变的投影路径仅向医生提供二维信息，导致深度模糊，也就是说，在CT上分割的几个气道可以对应于在2D荧光镜图像上的相同投影。在CT上正确识别操作工具放置的支气管气道是非常重要的。本文描述的一种用于减少这种模糊性的方法是通过使用放置在提供深度信息的工具上的不透辐射的标志来执行的。在本发明的另一个实施方案中，跟踪范围可用于减少这种模糊性，因为它提供支气管气道内的3D位置。将这种方法应用于分支支气管树，它允许消除潜在的模糊选项，直到图7上的跟踪范围提示701。假设图7中的操作工具702不具有3D轨迹，尽管对于工具702的这一部分仍可能发生上述模糊性，但这种事件发生的可能性要小得多。因此，本发明的这个实施方案提高了本文描述的方法正确识别当前工具的位置的能力。
数字计算断层扫描(DCT)
在一些实施方案中，来自术中图像的断层扫描重建可用于计算相对于参考坐标系的目标位置。这种参考坐标系的非限制性实施例可以通过具有已知几何形状的不透辐射标志的夹具来定义，允许计算每个术中图像的相对姿态。由于断层扫描重建的每个输入帧与参考坐标系具有已知的几何关系，因此目标的位置也可以在参考坐标系中定位。这允许在进一步的荧光镜图像上投射目标。在一些实施方案中，可以通过跟踪目标区域中的组织来补偿投影目标位置的呼吸运动。在一些实施方案中，根据国际专利申请号PCT/IB2015/00438中描述的实施例性方法来执行移动补偿，其内容通过引用全部并入本文。
一种使用基于C臂的CT和参考姿态设备在术中图像上增强目标的方法，包括：
收集与参考坐标系具有已知几何关系的多个术中图像；
3D体积重建；
在重建体积上标记目标区域；
将目标投射到与参考坐标系已知几何关系相关的进一步术中图像上。
在其他实施方案中，断层扫描重建的体积可以配准到术前CT体积。给定目标中心的已知位置，或辅助目标的解剖结构，如重建体积和术前体积中的血管、支气管气道或气道分叉，可以最初对齐两个体积。在其他实施方案中，可以使用从两个体积中提取的肋条来寻找对齐(例如，初始对齐)。在一些实施方案中，找到体积之间的正确旋转的步骤、器械的重建位置和轨迹可以与从CT提取的所有可能的气道轨迹相匹配。最佳匹配将定义体积之间最优的相对旋转。
在一些实施方案中，可以使用至少3个公共解剖学标记将断层扫描重建体积(可以在断层扫描重建体积和手术前CT体积两者上识别)登记到手术前CT体积。这类解剖学标记的实施例可以是气道分叉、血管。
在一些实施方案中，可以使用诸如互信息的基于图像的相似性方法将断层扫描重建体积配准到术前CT体积。
在一些实施方案中，可以使用断层扫描重建体积和术前CT体积之间的至少一个公共解剖学标记(例如，3D到3D的约束)和至少一个3D到2D的约束(例如，肋骨或肋骨笼边界)的组合将断层扫描重建体积配准到术前CT体积。在这样的实施方案中，这两种类型的约束可以被表述为能量函数，并使用诸如梯度下降的标准优化方法使其最小化。
在其他实施方案中，可以将来自同一过程的不同时间的断层扫描重建体积登记在一起。这种方法的一些应用可以是比较两幅图像，将手工标记从一幅图像转移到另一幅图像，显示按时间顺序排列的3D信息。
在其它实施方案中，由于荧光镜成像质量有限、其它组织对关注区域的阻碍、操作环境的空间限制，只能从DCT重建部分信息。在这种情况下，可以在术中成像和术前CT重建的部分3D体积之间识别对应的部分信息。这两个图像源可以融合在一起，形成统一的数据集。上述数据集可以用附加的过程内图像不时地更新。
在其他实施方案中，断层扫描重建体积可以被配准到REBUS重建的3D目标形状。
一种用于使用断层扫描进行CT到荧光配准的方法，包括：
在术前图像上标记目标，并提取支气管树；
将内窥镜器械定位在肺的目标叶内；
使用C臂执行断层扫描旋转，而工具是在内部且稳定；
在重建体积上标记靶材和器械；
根据目标位置或辅助解剖结构的位置对术前和重建体积进行对齐；
对于从CT中提取的所有可能的气道轨迹，计算体积之间的最佳旋转，使重建的器械轨迹与每个气道轨迹之间的距离最小；
选择与最小距离对应的旋转；
使用两体积之间的对齐，利用术前体积的解剖学信息来增强重建体积；
在进一步的术中图像上突出目标区域。
在其他实施方案中，可以通过使用术前CT扫描的先前体积来增强数字断层合成炎的质量。在已知术中图像与术前CT扫描之间的粗配准的情况下，可以从术前CT扫描的体积中提取相关的关注区域。向公知的重建算法添加约束可以显著地改善重建图像质量，其在此通过引用全文合并：塞乔普洛斯，约翰(2013)的“乳房断层合成综述，第二部分，图像重建、处理和分析以及高级应用”，医学物理学.40(1)：014302。作为这种约束的实施例，可以用从术前CT提取的体积来初始化初始体积。
在一些实施方案中，一种使用术前CT扫描的先前体积改进断层扫描重建的方法，包括：
术中图像与术前CT扫描执行配准；
从术前CT扫描中提取关注区体积；
在已知的重建算法中加入约束条件；
利用增加的约束条件重建图像；并且
利用标记进行断层扫描中的姿态估计
在一些实施方案中，为了执行断层扫描重建，需要来自不同姿态的相同区域的多个图像。
在一些实施方案中，如国际专利申请号PCT/IB17/01448，“用于医学成像的夹具及其使用方法”(通过引用并入本文)中所描述，可以使用3D不透辐射的标志的固定模式进行姿态估计。例如，使用这种带有不透辐射的标志的3D图案增加了物理限制，即所述图案必须与患者的关注区域一起在图像帧中至少部分可见。
例如，在现有技术中描述了一种这样的基于C臂的CT系统，即公开为美国9044190B2的“C臂计算机化断层扫描系统”的美国专利申请。该应用通常使用设置在相对于被摄体的固定位置上的三维目标，并且在手动或通过扫描马达移动C臂时获得被摄体关注区域的视频图像序列。分析来自视频序列的图像，以通过分析目标的图像模式来确定C臂相对于被摄体的姿态。
然而，该系统依赖于具有不透明标志的3D目标，这些标志必须在每一帧的视野中以确定其姿态。该要求显著地限制了C臂的成像角度，或者，替代地，要求将这样的三维目标(或目标的部分)定位在患者上方或周围，这从临床应用的角度来看是一个限制因素，因为它限制了接近患者或C臂本身的运动。众所周知，断层扫描重建的质量和维数等因素取决于C臂旋转角。从断层扫描重建质量的角度来看，C臂旋转角范围对于软组织小目标的断层扫描重建至关重要。代表这些对象的非限制性实施例是人体肺内8-15毫米大小的软组织病变。
因此，至少需要一种从传统的C臂荧光镜成像系统获得广角成像的系统，而不需要在真正成像的帧中具有带有不透明标志的限制性三维目标(或其部分)，以便确定适合于C臂的每个这样的帧的C臂的姿态。
在本发明的一些实施方案中，对象(患者)解剖学可以用于使用已经是图像的一部分的解剖学标记来提取每个图像的姿态。这类的非限制性实施例是肋骨、肺膈、气管及其他。该方法可以用基于3D-2D对应程度的6个自由度姿态估计算法来实现。在本专利公开中也描述了这些方法。参见图9。
在一些实施方案中，缺失帧姿态的C臂移动连贯性可以从已知帧外推。或者，在这样的情况下，可以使用混合方法，通过假定该模式或其部分对于这样的计算是可见的，通过不透辐射标志的模式而估计帧子集的姿态。
在一些实施方案中，本发明包括假定X射线成像设备的轨迹是已知的或者可以外推和有界的，根据成像设备的已知轨迹运动的每个帧的姿态估计。图10A的非限制性实施例示出安装到C臂并覆盖不透辐射标志图案的X射线成像设备的姿态。使用具有不透辐射标志图案的所有帧的子集而估计成像设备的3D轨迹。该信息用于将图10B的姿态的姿态估计限制在特定的3D轨迹上，显著地限制了解的搜索空间。
在一些实施方案中，在估计C臂运动的3D轨迹之后，这种运动可以由少量变量表示。在图X1所示的非限制性实施例中，C臂具有这样的等中心，使得可以使用C臂的至少2个已知姿态而估计3D轨迹，并且它可以由单个参数“t”来表示。对于这种情况，在图像中具有至少一个已知和可见的3D标记足以估计对应于C臂的每个姿态的轨迹中的参数“t”。参见图11。
在一些实施方案中，为了估计标记的3D位置，使用三角测量并假定已知的固有相机参数，需要C臂的至少两个已知姿态。附加姿态可以用于更稳定和稳健的标记位置估计。
在一些实施方案中，执行本发明实施方案的断层扫描体积重建的方法包括：
执行X射线成像设备的旋转；
使用帧估计X射线成像设备移动的轨迹，其中通过求解具有3D轨迹约束和已知3D-2D对应特征的相机位置和方向，可以看到估计的3D标记；
通过基于移动连贯性假设的外推算法，对估计的3D标记不可见或部分可见的帧在轨迹上的位置进行评估；
利用3D轨迹约束和已知的3D-2D对应特征求解相机位置和方向，估计每一帧的姿态；并且
计算关注区域的体积重建。
在一些实施方案中，执行本发明的断层扫描体积重建的方法包括：
执行X射线成像设备的旋转；
使用帧估计X射线成像设备的轨迹，其中不透辐射标志的图案是可见的并且可以估计姿态；
通过求解具有3D轨迹约束和已知3D-2D对应特征的相机位置和方向，估计只有估计的3D标记可见的帧的姿态；以及
计算关注区域的体积重建。
在一些实施方案中，本发明涉及不具有任何2D-3D对应特征(例如，不需要先前的CT图像)的成像设备姿态估计问题的解决方案。相机标定过程可以在线或离线应用，如Furukawa，Y.和Ponce，J.的“从多视点立体和束调整中精确的相机标定”，国际计算机视觉杂志，84(3)，第257-268页(2009)所描述的(通过引用并入本文)。有了标定的相机，运动恢复结构(SfM)技术可以用于估计多幅图像上可见物体的3D结构。这样的对象可以是，但不限于，解剖对象，如肋骨、血管、脊柱；位于身体内部的器械，如内支气管工具、电线和传感器；或位于身体外面和身体附近的器械，如与身体相连的器具等。在一些实施方案中，所有相机一起解算。这种运动恢复结构技术在Torr，P.H.和Zisserman，A.的“基于特征的结构和运动估计方法，视觉算法国际研讨会”，(第278-294页)(1999年9月)，斯普林格，柏林，海德堡(通过引用并入本文)中描述。
在一些实施方案中，本发明允许通过目标3D图案和从旨在获取用于断层扫描重建的成像序列的C臂旋转时或在这种旋转之前动态估计的3D标记的组合来克服使用已知的3D不透辐射标志图案的限制。这种标记的非限制性实施例通过患者体内的物体来表示，例如内支气管工具上的标志、工具尖端等，或者连接到身体外部的物体，例如贴片、电线等。
在一些实施方案中，使用现有技术的断层扫描或立体算法(利用可见和已知的不透辐射标志集而估计每个图像帧的姿态)，估计3D标记，如图12所述。
在一些实施方案中，可选地，使用从运动中构造(SfM)方法而估计3D标记，而不依赖于如图13所述的帧中的不透辐射标志。在下一个步骤中，估计额外的3D标记。对于没有已知标志的3D模式的帧，利用估计的3D标记估计姿态。最后，利用所有可用图像的序列进行体积重建。
在一些实施方案中，本发明是一种从X射线图像序列重建三维体积的方法，包括：
从至少两个具有已知姿态的帧中估计三维标记；
使用重建的标记，估计图像帧中不具有不透辐射的标志图案的其他帧的姿态；并且
使用所有帧计算体积重建。
在一些实施方案中，本发明是通过迭代微调重建算法输入来最大化输出成像质量的迭代重建方法。作为图像质量的非限制性实施例，测量可以是测量图像清晰度。因为清晰度与图像的对比度有关，因此对比度度量可以用作清晰度或“自动聚焦”功能。这种测量的数量在Groen，F.，Young，I.，和Ligthart，G的“用于自动聚焦算法的不同聚焦函数的比较”，Cytometry 6，81-91(1985)中定义。作为实施例，域a处的图像的平方梯度聚焦测度的值φ(a)由以下公式给出：
φ(a)＝∑∑∑(f(X，y，z+1)-f(x，y，z))^2
由于关注的区域应该大致在重建体积的中心，因此将计算限制在中心的一个小的矩形区域是有意义的。
在一些实施方案中，这可以被表述为优化问题，并使用诸如梯度下降的技术来解决。
通过更新函数来调整姿态：
Figure BDA0003845235930000321
其中，F表示重建函数，给出姿态pn，然后计算清晰度函数φ()的值。
在一些实施方案中，本发明是一种迭代姿态对准方法，其通过迭代微调相机姿态以满足一些几何约束来改善输出成像质量。作为这种约束的非限制性实施例，可以是在多个帧中可见的对象的相同特征点，并因此必须在连接该对象和每个相机的焦点的射线的交点中(参见图14)。
最初，大多数情况下不是这样，因为姿态估计不准确，也由于物体的位移(例如，由于呼吸)。通过修正相机的姿态以满足光线相交约束，将可以局部补偿姿态确定误差和关注区域的运动，从而获得更好的重建图像质量。这种特征点的实施例可以是患者体内器械的尖端，或者器械上不透明的标志，等等。
在一些实施方案中，该过程可以被表述为优化问题，并且可以使用诸如梯度下降的方法来解决。有关该方法，请参见图16。成本函数可以定义为对象特征点和每个射线上最近点之间距离的平方和(参见图15)：
Figure BDA0003845235930000322
荧光镜设备定位导引
在一些实施方案中，在第一次使用之前对每个荧光镜进行校准。在一些实施方案中，校准过程包括计算实际的荧光镜显微镜旋转轴、以及配准术前和术中成像模式、以及在术中图像上显示目标。
在一些实施方案中，在C臂旋转开始之前，荧光镜被定位为使得从术前图像投射的目标在整个C臂旋转期间将保持在图像的中心。
在一些实施方案中，以使目标位于荧光镜图像中心的方式定位荧光镜本身并不足够，因为荧光镜高度是关键的，而旋转中心并不总是在图像的中间，在C臂旋转期间导致不希望的目标在图像区域外移动。
在一些实施方案中，由于目标位置相对于参考系统是已知的，因此计算C臂的最佳3D位置。在一些实施方案中，优化C臂的3D位置意味着在C臂旋转期间最小化目标与图像中心的最大距离。
在一些实施方案中，为了优化C臂的3D位置，用户首先拍摄单个荧光镜快照。在一些实施方案中，基于计算，指示用户在3个轴上移动荧光镜：上下、左右(相对于患者)和头脚(相对于患者)。在一些实施方案中，指令引导荧光镜朝向其最佳位置。在一些实施方案中，用户根据指令移动荧光镜，且然后相对于新位置拍摄另一快照以获得新指令。图20示出可以根据上述提供给用户的示例性指导。
在一些实施方案中，对于每个快照，通过计算病变完全在ROI中的扫描百分比(假设距AP+/-30度)来计算位置质量，ROI是位于图像中心的小圆。
在一些实施方案中，传送指令的替代方式是在图像上显示静态图案和类似的动态图案，其中，静态图案表示期望位置，且动态图案表示当前目标。在这样的实施方案中，用户使用连续的荧光镜视频，并且动态图案根据荧光镜移动而移动。在一些实施方案中，动态图案根据荧光镜在左-右和头-脚轴上的运动在x和y轴上移动，并且动态图案的比例根据荧光镜设备在垂直轴上的运动而改变。在一些实施方案中，通过对齐动态和静态图案，用户适当地定位荧光镜设备。图21示出上面讨论的示例性静态和动态模式。
使用无监督深度学习模型的改进的有限角X射线到CT重建的实施例。
存在用于从2D图像重建3D图像的不同算法，该算法接收对象的一组2D图像作为输入，每个图像具有相机姿态，并计算对象的3D重建。当3D图像来自有限的角度(X射线的角度范围小于180度)时，由于信息缺失，这些算法提供的结果质量较低。与其他从有限角度2D图像重建3D图像的方法相比，该方法在3D图像质量上有了很大的提高。
在一些实施方案中，本发明是使用无监督深度学习模型将角度X射线限制为CT重建的改进方法，包括：
应用使用现有方法从X射线图像重建低质量CT的方法；
应用从域A到域C的图像转换算法(translation algorithm)；并且
应用从域C到域B的图像转换算法。
为了进一步讨论，将使用域A、B和C。域A，其定义为“低质量断层扫描重建”域，域B，其定义为CT扫描域，域C，其定义为从y预处理的术前CT数据生成的“模拟低质量断层扫描重建”。
在一些实施方案中，部分1可以计算所有图像的姿态，且然后重建低质量的3D重建，例如，通过上面描述的“在断层扫描期间使用标记而估计姿态”的方法，该方法在域A内将2D图像转换为低质量的CT图像。
延续最后一段，模拟的低质量重建可以通过在给定的CT上应用FP(正向投影)算法来实现，该算法计算沿着选定的CT轴的强度积分，并得到模拟的一系列2D X射线图像，接下来的步骤是应用上面的方法1来重建低质量的3D体积，例如通过SIRT(同时迭代重建技术)算法来迭代重建体积，从重建结果的初始猜测开始，并通过与2D图像的FP差来迭代应用FP并改变当前的重建结果(https://tomroelandts.com/articles/the-sirt-algorithm)。
在一些实施方案中，用于将重建从域A转换到域C的转换模型不能被监督(因为模拟与CT对齐，并且对于2D图像没有对齐的CT)。模拟数据可以通过上述方法产生。可以使用循环一致对抗网络(Cycle Gan)来训练所需的模型，将重建转化为该对齐模拟。循环Gan的训练是通过结合对抗性损失、循环损失和身份损失来完成的(在Jun-Yan Zhu、TaesungPark、Phillip Isola和Alexei A Efros(2017)的使用循环一致对抗性网络的未配对图像到图像翻译，在IEEE计算机视觉国际会议论文集2223--2232中描述)，该方法允许使用未对齐的图像进行训练，如图18所示。
然而，在一些实施方案中，可以监督从域C到域B的翻译模型，因为根据过程的定义，给定CT的模拟的创建与CT对齐。例如，i基于CNN的神经网络，用感知损失(正如JustinJohnson、Alexandre Alahi和Li Fei-Fei所描述的那样，都可以使用。实时风格转移和超分辨率的感知损失，ECCV，2016)和L2距离损失来训练这样的模型，如图19所示。
在一些实施方案中，上述所有方法的组合出现在图17中，图17描述了从一系列2D图像开始并接收3D图像重建的过程。
等效物
本发明提供了治疗轻度至中度急性疼痛和/或炎症的新方法和组合物。尽管已经讨论了本主题发明的特定实施方案，但上述说明书是说明性的而不是限制性的。本发明的许多变化对于本领域的技术人员在回顾本说明书时将变得显而易见。本发明的全部范围应通过参考权利要求书及其等同物的全部范围和说明书及其这些变化来确定。
以引用方式合并
本文提到的所有出版物、专利和序列数据库条目在此通过引用全文合并，就像每个单独的出版物或专利都被特别和单独地指示通过引用合并一样。
虽然已经描述了本发明的许多实施方案，但应当理解，这些实施方案仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。此外，可以以任何期望的顺序执行各种步骤(并且可以添加任何期望的步骤和/或可以消除任何期望的步骤)。

Claims (19)

1.一种方法，包括：
在医学成像设备通过转动而旋转的同时，接收由所述医学成像设备捕获的一系列医学图像，其中所述一系列医学图像示出包括多个标记的关注区域；
确定所述一系列医学图像的其中所述多个标记可见的子集中的每个的姿态；
基于所述一系列医学图像的所述子集的确定的姿态和所述成像设备的轨迹约束，估计所述医学成像设备的移动轨迹；
基于所述医学成像设备的移动连贯性的假设，通过外推确定所述多个标记至少部分不可见的医学图像中的至少一个的姿态；并且
至少基于(a)所述一系列医学图像的其中所述多个标记可见的所述子集的姿态中的至少一些和(b)所述多个标记至少部分不可见的所述至少一个医学图像的姿态中的至少一个，确定所述关注区域的体积重建。
2.根据权利要求1所述的方法，其中基于在所述一系列医学图像的所述子集中观察到的所述多个标记的3D位置与所述多个标记的2D位置之间的2D-3D对应关系，确定所述一系列医学图像的所述子集中的每个的姿态。
3.根据权利要求2所述的方法，其中基于至少一个术前图像确定所述多个标记的3D位置。
4.根据权利要求2所述的方法，其中通过应用运动恢复结构技术确定所述多个标记的3D位置。
5.一种方法，包括：
在医学成像设备通过具有受约束轨迹的C臂的运动而旋转的同时，使用安装至所述C臂的成像设备接收多个医学图像，其中所述多个医学图像中的至少一些包括关注区域；
确定所述多个医学图像的子集中的每个的姿态；
基于3D标记在所述多个医学图像的子集中的2D位置并且基于所述多个医学图像的子集中的每个的确定的姿态，计算多个所述3D标记的位置；
通过至少基于所述3D标记的已知3D-2D对应关系而确定成像设备位置和成像设备方位，确定所述多个医学图像的其中至少一些所述3D标记可见的另外一个医学图像的姿态；并且
至少基于所述多个医学图像的所述另外一个医学图像和所述多个医学图像的所述另外一个医学图像的姿态，计算所述关注区域的体积重建。
6.根据权利要求5所述的方法，其中至少基于在所述多个医学图像的子集中可见的不透辐射的标志的图案，确定所述多个医学图像的所述子集中的每个的姿态。
7.根据权利要求6所述的方法，其中基于所述受约束轨迹进一步确定所述姿态。
8.一种方法，包括：
在医学成像设备通过转动而旋转的同时，接收由所述医学成像设备捕获的一系列医学图像，其中所述一系列医学图像示出包括具有3D形状的标记的关注区域；
至少基于至少一些医学图像中的每个中的所述标记的2D投影的3D-2D对应关系，计算所述至少一些医学图像中的每个的姿态；并且
至少基于所述至少一些医学图像和所述至少一些医学图像的计算的姿态，计算所述关注区域的体积重建。
9.根据权利要求8所述的方法，其中所述标记是解剖学标记。
10.根据权利要求9所述的方法，其中至少基于至少一个术前图像确定所述解剖学标记的3D形状。
11.根据权利要求8所述的方法，其中至少基于将运动恢复结构技术应用于所述一系列医学图像中的至少一些，确定所述标记的3D形状。
12.根据权利要求11所述的方法，其中所述运动恢复结构技术应用于所有所述一系列医学图像。
13.根据权利要求8所述的方法，其中针对所有所述一系列医学图像计算姿态。
14.根据权利要求8所述的方法，其中所述一系列图像不显示多个不透辐射的标志。
15.根据权利要求8所述的方法，其中计算所述至少一些医学图像中的每个的姿态进一步基于已知的旋转轨迹。
16.根据权利要求8所述的方法，其中基于至少一个术前图像并且进一步基于将运动恢复结构技术应用于所述一系列医学图像中的至少一些，确定所述标记的3D形状。
17.根据权利要求8所述的方法，其中所述标记是位于患者体内的在所述关注区域处的器械。
18.根据权利要求8所述的方法，其中所述标记是定位在患者身体附近并且在患者体外的物体。
19.根据权利要求18所述的方法，其中所述物体被固定于患者身体。
CN202180021164.0A 2020-01-24 2021-01-25 使用多视图姿态估计的方法和系统 Pending CN115668281A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062965628P 2020-01-24 2020-01-24
US62/965,628 2020-01-24
PCT/IB2021/000027 WO2021148881A2 (en) 2020-01-24 2021-01-25 Methods and systems for using multi view pose estimation

Publications (1)

Publication Number Publication Date
CN115668281A true CN115668281A (zh) 2023-01-31

Family

ID=76993117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180021164.0A Pending CN115668281A (zh) 2020-01-24 2021-01-25 使用多视图姿态估计的方法和系统

Country Status (7)

Country Link
US (1) US20230030343A1 (zh)
EP (1) EP4094185A4 (zh)
JP (1) JP2023520618A (zh)
CN (1) CN115668281A (zh)
AU (1) AU2021211197A1 (zh)
CA (1) CA3168969A1 (zh)
WO (1) WO2021148881A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023006563A (ja) * 2021-06-30 2023-01-18 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、ｘ線診断方法、およびプログラム
US11816768B1 (en) 2022-12-06 2023-11-14 Body Vision Medical Ltd. System and method for medical imaging

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111481292A (zh) * 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
US10064687B2 (en) * 2014-01-13 2018-09-04 Brainlab Ag Estimation and compensation of tracking inaccuracies
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US10702226B2 (en) * 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
WO2017023635A1 (en) * 2015-08-06 2017-02-09 Xiang Zhang A system for 3d object modeling and tracking in x-ray imaging
WO2017117517A1 (en) * 2015-12-30 2017-07-06 The Johns Hopkins University System and method for medical imaging
WO2017153839A1 (en) * 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation

Also Published As

Publication number Publication date
CA3168969A1 (en) 2021-07-29
JP2023520618A (ja) 2023-05-18
EP4094185A2 (en) 2022-11-30
EP4094185A4 (en) 2024-05-29
WO2021148881A3 (en) 2021-09-02
US20230030343A1 (en) 2023-02-02
WO2021148881A2 (en) 2021-07-29
AU2021211197A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US11350893B2 (en) Methods and systems for using multi view pose estimation
US20200046436A1 (en) Methods and systems for multi view pose estimation using digital computational tomography
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US20200170623A1 (en) Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization
CN110123449B (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
EP3092479A2 (en) Surgical devices and methods of use thereof
US20230030343A1 (en) Methods and systems for using multi view pose estimation
EP4346613A1 (en) Volumetric filter of fluoroscopic sweep video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination