CN110381841B - 用于医疗成像的夹具及其使用方法 - Google Patents

用于医疗成像的夹具及其使用方法 Download PDF

Info

Publication number
CN110381841B
CN110381841B CN201780076941.5A CN201780076941A CN110381841B CN 110381841 B CN110381841 B CN 110381841B CN 201780076941 A CN201780076941 A CN 201780076941A CN 110381841 B CN110381841 B CN 110381841B
Authority
CN
China
Prior art keywords
image
pose
imaging modality
radiopaque
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780076941.5A
Other languages
English (en)
Other versions
CN110381841A (zh
Inventor
D·阿韦尔布克
E·阿米尔
W·费切克
E·科恩
Y·查廷
K·佩夫茨纳
D·塞加诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Body Vision Medical Ltd
Original Assignee
Body Vision Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Body Vision Medical Ltd filed Critical Body Vision Medical Ltd
Publication of CN110381841A publication Critical patent/CN110381841A/zh
Application granted granted Critical
Publication of CN110381841B publication Critical patent/CN110381841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
    • A61B6/582—Calibration
    • A61B6/583—Calibration using calibration phantoms
    • A61B6/584—Calibration using calibration phantoms determining position of components of the apparatus or device using images of the phantom
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/04—Positioning of patients; Tiltable beds or the like
    • A61B6/0492—Positioning of patients; Tiltable beds or the like using markers or indicia for aiding patient positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
    • H03K19/21—EXCLUSIVE-OR circuits, i.e. giving output if input signal exists at only one input; COINCIDENCE circuits, i.e. giving output only if all input signals are identical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种在医疗成像过程期间使用的装置，所述装置包括支撑结构和多个不透射线标记物，所述支撑结构配置成在所述医疗成像过程期间定位在患者的身体的至少一部分附近，所述多个不透射线标记物附接至所述支撑结构，所述多个不透射线标记物以一定图案进行定位，使得捕获所述图案的给定部分的图像相比于捕获所述图案的任何其他给定部分的图像为独特的。

Description

用于医疗成像的夹具及其使用方法
相关申请的交叉引用
本发明为相关于提交于2016年10月31日的标题为“用于利用多视图估计的方法和系统(METHODS AND SYSTEMS FOR USING MULTI VIEW POSE ESTIMATION)”的共同拥有的待审美国临时专利申请No.62/415,146的国际(PCT)申请并且要求其权益，该临时专利申请的内容全文以引用的方式并入本文。
技术领域
本发明的实施方案涉及介入装置及其使用方法。
背景技术
微创手术(诸如内窥镜检查程序、视频辅助胸部手术或类似医疗程序)可用作可疑病灶的诊断工具或用作癌肿瘤的治疗手段。
发明内容
在一个实施方案中，在医疗成像过程期间使用的装置包括支撑结构和附接至支撑结构的多个不透射线标记物，该支撑结构配置成在医疗成像过程期间定位在患者的身体的至少一部分附近，该多个不透射线标记物以一定图案进行定位，使得捕获图案的给定部分的图像相比于捕获图案的任何其他给定部分的图像为独特的。
在一个实施方案中，不透射线标记物包括(a)不透射线金属或(b)不透射线塑料中的至少一者。在一个实施方案中，不透射线标记物具有一致形状。在一个实施方案中，形状选自由球形、棒形和方形组成的组。在一个实施方案中，图案包括(a)同心圆形或(b)沿着线排列的点的图案中的一者。在一个实施方案中，图案利用线性反馈移位寄存器来生成。在一个实施方案中，图案利用具有同阶的不同主多项式和N×M寄存器级的两个一维线性反馈移位寄存器Gold码的XOR交叉连接来生成。
在一个实施方案中，支撑结构为大体平面的。在一个实施方案中，支撑结构为三维的。在一个实施方案中，支撑结构配置成定位在患者的床上方。在一个实施方案中，支撑结构配置成定位在患者的床下方。在一个实施方案中，支撑结构配置成定位在患者的床和位于该床上的床垫之间。在一个实施方案中，支撑结构配置成附接至患者的胸部。在一个实施方案中，支撑结构至少为人胸部的尺寸。
在一个实施方案中，方法包括提供夹具，该夹具包括支撑结构和附接至支撑结构的多个不透射线标记物，该支撑结构配置成在医疗成像过程期间定位在患者的身体的至少一部分附近，该多个不透射线标记物以一定图案进行定位，使得捕获图案的给定部分的图像相比于捕获图案的任何其他给定部分的图像为独特的；从第一成像模态获得第一图像；从第一成像模态的第一图像提取至少一种元素，其中该至少一种元素包括气道、血管、体腔或其任意组合；从第二成像模态至少获得(i)夹具在第二成像模态的第一姿态的第一图像和(ii)夹具在第二成像模态的第二姿态的第二图像，其中夹具定位在患者的身体附近；生成至少两个增强支气管造影照片，其中第一增强支气管造影照片对应于第二成像模态在第一姿态的第一图像，并且其中第二增强支气管造影照片对应于第二成像模态在第二姿态的第二图像；确定以下项之间的相互几何约束：(i)第二成像模态的第一姿态，和(ii)第二成像模态的第二姿态；估计第二成像模态的第一姿态和第二成像模态的第二姿态，其中该估计利用以下项来执行：(i)第一增强支气管造影照片，(ii)第二增强支气管造影照片，和(iii)至少一种元素，并且其中第二成像模态的估计的第一姿态和第二成像模态的估计的第二姿态满足所确定相互几何约束；生成第三图像，其中该第三图像为从第二成像模态导出的增强图像，该增强图像突出显示感兴趣区域，其中该感兴趣区域根据来自估计的第一姿态和估计的第二姿态的投影数据来确定。
在一个实施方案中，相互几何约束通过以下方式生成：
a.通过比较夹具的第一图像和夹具的第二图像而估计(i)第一姿态和(ii)第二姿态之间的差值，其中该估计利用包括量角器、加速度计、陀螺仪或其任意组合的装置来执行，并且其中该装置附接至第二成像模态；b.提取多个图像特征以估计相对姿态变化，其中该多个图像特征包括解剖元素、非解剖元素或其任意组合，其中该图像特征包括：附接至患者的贴片、定位在第二成像模态的视场中的不透射线标记物，或其任意组合，并且其中该图像特征在不透射线器械的第一图像和不透射线器械的第二图像上为可视的；c.通过利用至少一个相机而估计(i)第一姿态和(ii)第二姿态之间的差值，其中该相机包括：视频相机、红外相机、深度相机或其任意组合，其中该相机处于固定位置，其中该相机配置成追踪至少一个特征，其中该至少一个特征包括：附接至患者的标记物、附接至第二成像模态的标记物，或其任意组合，和追踪至少一个特征；d.或其任意组合。
在一个实施方案中，该方法还包括追踪夹具以用于：识别轨迹，和将该轨迹用作进一步的几何约束。
附图说明
本发明将参考附图来进一步解释，其中在多个视图中相同的结构用相同的数字表示。所示出的附图不一定是按比例绘制的，这些附图主要是为了说明本发明的原理。此外，一些特征可能被夸大以显示特定部件的细节。
图1示出了本发明的方法的一些实施方案所用的多视图姿态估计方法的框图。
图2、图3和图4示出了图1的示例性方法所用的术中图像的示例性实施方案。图2和图3示出了从一个特定姿态所获得的荧光镜图像。图4示出了相比于图2和图3由于C臂旋转以不同姿态所获得的荧光镜图像。支气管镜(240、340、440)、器械(210、310、410)、肋骨(220、320、420)和身体边界(230、330、430)为可视的。图1的多视图姿态估计方法将图2、图3和图4的可视元素用作输入。
图5示出了如图1的示例性方法所用的支气管气道的结构的示意图。气道中线由附图标号530指示。导管被插入气道结构中并且通过具有图像平面540的荧光镜装置进行成像。图像上的导管投影由曲线550示出，并且与之附接的不透射线标记物投影至点G和点F。
图6为附接至支气管镜的支气管镜装置尖端的图像，其中支气管镜可用于图1的示例性方法中。
图7为根据本发明的方法的一个实施方案的图示，其中该图示为支气管镜检查程序所用的追踪镜(701)的荧光镜图像，其具有从其延伸的手术工具(702)。手术工具(702)可包括不透射线标记物或与之附接的独特图案。
图8为一个示例性实施方案的图示，示出了具有不透射线标记物的线性图案的二维(“2D”)夹具。由附图标号810所表示的矩形区域指示夹具的一部分，该部分可在荧光镜图像的视场中被捕获。在区域810所捕获的图案的部分为局部独特的，并且不同于该图案的任何其他部分。
图9为一个示例性实施方案的图示，示出了具有不透射线标记物的圆形图案的2D夹具。由附图标号910所表示的矩形区域示出了夹具的一部分，该部分可在荧光镜图像的视场中被捕获。在区域910所捕获的图案的部分为局部独特的，并且不同于该图案的任何其他部分。
图10为一个示例性实施方案的图示，示出了具有不透射线标记物的线性图案的三维(“3D”)夹具。不透射线标记物置于分开距离H的两个不同平面中。
这些图构成本说明书的一部分，并且包括本发明的例示性实施方案，并且说明了本发明的各种目的和特征。另外，这些附图未必按比例绘制；一些特征可夸大以示出特定部件的细节。此外，这些图所示的任何测量值、规格等旨在为例示性的，并且为非限制性的。因此，本文所公开的具体结构和功能细节不应解释为限制性的，而应仅解释为用于教导本领域的技术人员来以各种方式采用本发明的代表性基础。
具体实施方式
在已经公开的这些益处和改进中，本发明的其他目的和优点可以从下面结合附图的描述中变得显而易见。本文公开了本发明的多个详细实施方案；但应理解的是，所公开的这些实施方案仅仅是对本发明进行说明，本发明可以用各种各样的形式来实施。此外，结合本发明的各种实施方案给出的每个示例是说明性的，而非限制性的。
在整个说明书和权利要求书中，除非上下文另有明确规定，否则以下术语采用本文明确关联的含义。如本文所用，短语“在一个实施方案中”和“在一些实施方案中”不一定指代相同实施方案，但是其可指代相同实施方案。此外，本文使用的短语“在另一个实施方案中”和“在一些其他实施方案中”不一定指不同的实施方案，但是它可以指不同的实施方案。因此，如下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施方案。
如本文所用，术语“基于”不是排他性的，并且允许基于未描述的附加因素，除非上下文另有明确规定。此外，在整个说明书中，“一个(a)”、“一种(an)”、“该”和“所述”的含义包括复数引用。“在……中”的意思包括“在……中”和“在……上”。
如本文所用，“多个”指代大于一的数量，例如但不限于2、3、4、5、6、7、8、9、10等。例如，多个图像可为2个图像、3个图像、4个图像、5个图像、6个图像、7个图像、8个图像、9个图像、10个图像等。
如本文所用，“解剖元素”指代界标，该界标可为例如：感兴趣区域、切口点、分叉、血管、支气管气道、肋骨或器官。
如本文所用，“几何学约束”或“几何约束”或“相互约束”或“相互几何约束”指代受试者体内的身体器官(例如，至少两个身体器官)之间的几何学关系，该几何学关系在受试者体内构成了肋骨、身体边界等之间的相似几何关系。此类几何学关系通过不同成像模态所观察时保持不变或其相对移动可忽略或量化。
如本文所用，“姿态”指代一组六个参数，该组六个参数确定作为光学相机装置的替代物的术中成像装置源的相对位置和取向。作为一个非限制性实例，姿态可获得为装置、患者床和患者之间的相对移动的组合。此类移动的另一个非限制性实例为术中成像装置的结合了其围绕着静态患者床(该床上具有静态患者)的移动的旋转。
如本文所用，“位置”指代任何对象(包括成像装置自身)在3D空间内的位置(该位置可在任何坐标系统中进行测量，诸如x、y和z笛卡尔坐标)。
如本文所用，“取向”指代术中成像装置的角度。作为非限制性实例，术中成像装置可面朝上、面朝下或横向地取向。
如本文所用，“姿态估计方法”指代用以估计与第二成像模态相关联的相机在第一成像模态的3D空间内的参数的方法。此类方法的一个非限制性实例为获得术中荧光镜相机在术前计算机断层扫描(CT)图像的3D空间内的参数。数学模型利用此类估计姿态来将术前CT图像内的至少一个3D点投影至术中X射线图像内的对应2D点。
如本文所用，“多视图姿态估计方法”指代用以估计术中成像装置的至少两个不同姿态的姿态的方法。其中该成像装置从相同场景/受试者采集图像。
如本文所用，“相对角度差值”指代由成像装置的相对角度移动所引起的成像装置的两个姿态之间的角度差值。
如本文所用，“相对姿态差值”指代由受试者和成像装置之间的相对空间移动所引起的成像装置的两个姿态之间的位置和相对角度差值两者。
如本文所用，“极线距离”指代点和另一视图中的相同点的极线之间的距离的测量值。如本文所用，“极线”指代视图中的一个或多个点的x矢量、y矢量或两列矩阵的计算值。
如本文所用，“相似性量度”指代使两个对象之间的相似性量化的真实值函数。
在一些实施方案中，本发明提供了一种方法，该方法包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像提取至少一种元素，
其中该至少一种元素包括气道、血管、体腔或其任意组合；
从第二成像模态至少获得(i)不透射线器械的第一姿态的第一图像和(ii)不透射线器械的第二姿态的第二图像，
其中该不透射线器械处于患者的体腔中；
生成至少两个增强支气管造影照片，
其中第一增强支气管造影照片对应于不透射线器械的第一姿态的第一图像，并且
其中第二增强支气管造影照片对应于不透射线器械的第二姿态的第二图像，
确定以下项之间的相互几何约束：
(i)不透射线器械的第一姿态，和
(ii)不透射线器械的第二姿态；
通过将不透射线器械的第一姿态和不透射线器械的第二姿态与第一成像模态的第一图像相比而估计不透射线器械的第一姿态和不透射线器械的第二姿态，
其中该比较利用以下项来执行：
(i)第一增强支气管造影照片，
(ii)第二增强支气管造影照片，和
(iii)至少一种元素，并且
其中不透射线器械的估计第一姿态和不透射线器械的估计第二姿态满足所确定相互几何约束；
生成第三图像，其中该第三图像为从第二成像模态导出的增强图像，该增强图像突出显示感兴趣区域，
其中该感兴趣区域根据第一成像模态的数据来确定。
在一些实施方案中，第一成像模态的第一图像的至少一种元素还包括肋骨、脊椎、膈肌或其任意组合。在一些实施方案中，相互几何约束通过以下项来生成：
a.通过比较不透射线器械的第一图像和不透射线器械的第二图像而估计(i)第一姿态和(ii)第二姿态之间的差值，
其中该估计利用包括量角器、加速度计、陀螺仪或其任意组合的装置来执行，并且其中该装置附接至第二成像模态；
b.提取多个图像特征以估计相对姿态变化，
其中该多个图像特征包括解剖元素、非解剖元素或其任意组合，
其中图像特征包括：附接至患者的贴片、定位在第二成像模态的视场中的不透射线标记物，或其任意组合，
其中图像特征在不透射线器械的第一图像和不透射线器械的第二图像上为可视的；
c.通过利用至少一个相机而估计(i)第一姿态和(ii)第二姿态之间的差值，
其中该相机包括：视频相机、红外相机、深度相机或其任意组合，
其中该相机处于固定位置，
其中该相机配置成追踪至少一个特征，
其中该至少一个特征包括：附接至患者的标记物、附接至第二成像模态的标记物，或其任意组合，以及
追踪至少一个特征；
d.或其任意组合。
在一些实施方案中，该方法还包括：追踪不透射线器械以用于：识别轨迹，和将该轨迹用作进一步的几何约束，其中不透射线器械包括内窥镜、支气管内工具或机器人臂。
在一些实施方案中，本发明为一种方法，包括：
生成患者的至少一个体腔的标测图(map)，
其中该标测图利用第一成像模态的第一图像来生成，
从第二成像模态获得不透射线器械的图像，该不透射线器械包括至少两个附接标记物，
其中该至少两个附接标记物分开已知距离，
识别第二成像模态的不透射线器械相对于患者的至少一个体腔的标测图的姿态，
识别附接至不透射线器械的第一标记物在第二成像模态的第二图像上的第一位置，
识别附接至不透射线器械的第二标记物在第二成像模态的第二图像上的第二位置，和
测量第一标记物的第一位置和第二标记物的第二位置之间的间距，
投影第一标记物和第二标记物之间的已知距离，
将测量距离与第一标记物和第二标记物之间的投影已知距离相比以识别不透射线器械在患者的至少一个体腔内部的具体位置。
在一些实施方案中，不透射线器械包括内窥镜、支气管内工具或机器人臂。
在一些实施方案中，该方法还包括：通过利用不透射线器械的轨迹而识别不透射线器械的深度。
在一些实施方案中，第一成像模态的第一图像为术前图像。在一些实施方案中，第二成像模态的不透射线器械的至少一个图像为术中图像。
在一些实施方案中，本发明为一种方法，包括：
从第一成像模态获得第一图像，
从第一成像模态的第一图像提取至少一种元素，
其中该至少一种元素包括气道、血管、体腔或其任意组合；
从第二成像模态至少获得(i)不透射线器械的一个图像和(i i)第二成像模态的两个不同姿态的不透射线器械的另一图像，
其中不透射线器械的第一图像以第二成像模态的第一姿态捕获，
其中不透射线器械的第二图像以第二成像模态的第二姿态捕获，并且
其中该不透射线器械处于患者的体腔中；
生成对应于成像装置的两个姿态的每一者的至少两个增强支气管造影照片，其中第一增强支气管造影照片从不透射线器械的第一图像导出并且第二增强支气管造影照片从不透射线器械的第二图像导出，
确定以下项之间的相互几何约束：
(i)第二成像模态的第一姿态，和
(ii)第二成像模态的第二姿态；
利用对应增强支气管造影照片图像和从第一成像模态的第一图像所提取的至少一种元素而估计第二成像模态相对于第一成像模态的第一图像的两个姿态；
其中两个估计姿态满足相互几何约束，
生成第三图像，其中该第三图像为从第二成像模态导出的增强图像，该增强图像基于源自第一成像模态的数据突出显示感兴趣区域。
在一些实施方案中，解剖元素(诸如：肋骨、脊椎、膈肌或其任意组合)从第一成像模态和第二成像模态进行提取。
在一些实施方案中，相互几何约束通过以下项来生成：
a.通过比较不透射线器械的第一图像和不透射线器械的第二图像而估计(i)第一姿态和(ii)第二姿态之间的差值，
其中该估计利用包括量角器、加速度计、陀螺仪或其任意组合的装置来执行，并且其中该装置附接至第二成像模态；
b.提取多个图像特征以估计相对姿态变化，
其中该多个图像特征包括解剖元素、非解剖元素或其任意组合，
其中图像特征包括：附接至患者的贴片、定位在第二成像模态的视场中的不透射线标记物，或其任意组合，
其中图像特征在不透射线器械的第一图像和不透射线器械的第二图像上为可视的；
c.通过利用至少一个相机而估计(i)第一姿态和(ii)第二姿态之间的差值，
其中该相机包括：视频相机、红外相机、深度相机或其任意组合，
其中该相机处于固定位置，
其中该相机配置成追踪至少一个特征，
其中该至少一个特征包括：附接至患者的标记物、附接至第二成像模态的标记物，或其任意组合，和
追踪至少一个特征；
d.或其任意组合。
在一些实施方案中，该方法还包括：追踪不透射线器械以识别轨迹并且将该轨迹用作另一几何约束，其中不透射线器械包括内窥镜、支气管内工具或机器人臂。
在一些实施方案中，本发明为一种用以识别患者体内的真实器械位置的方法，该方法包括：
利用患者的至少一个体腔的标测图，该标测图根据第一成像模态的第一图像来生成，
从第二成像模态获得具有至少两个标记物的不透射线器械的图像，该至少两个标记物附接至不透射线器械并且在其间具有限定距离。
该至少两个标记物可根据图像感知为位于患者体内的至少两个不同体腔中，
获得第二成像模态相对于标测图的姿态，
识别附接至不透射线器械的第一标记物在第二成像模态的第二图像上的第一位置，
识别附接至不透射线器械的第二标记物在第二成像模态的第二图像上的第二位置，和
测量第一标记物的第一位置和第二标记物的第二位置之间的间距，
利用第二成像模态的姿态而投影不透射线器械的感知位置的每一者上的标记物之间的已知距离，
将测量距离与两个标记物之间的投影距离的每一者相比以识别体内的真实器械位置。
在一些实施方案中，不透射线器械包括内窥镜、支气管内工具或机器人臂。
在一些实施方案中，该方法还包括：通过利用不透射线器械的轨迹而识别不透射线器械的深度。
在一些实施方案中，第一成像模态的第一图像为术前图像。在一些实施方案中，第二成像模态的不透射线器械的至少一个图像为术中图像。
多视图姿态估计
申请PCT/IB2015/000438包括一种方法的描述，该方法用以在内窥镜检查过程期间估计荧光镜装置相对于患者的姿态信息(例如，位置、取向)，并且全文以引用的方式并入本文。
示例性实施方案包括一种方法，该方法包括从一组术中图像所提取的数据，其中图像的每一者以从成像装置所获得的至少一个(例如，1、2、3、4等)未知姿态进行采集。这些图像用作姿态估计方法的输入。作为一个示例性实施方案，图3、图4、图5为一组3个荧光镜图像的实例。图4和图5的图像以相同未知姿态进行采集，而图3的图像以不同未知姿态进行采集。该组图像例如可包含或可不包含相关于成像装置的额外已知位置数据。例如，一组图像可包含位置数据(诸如C臂位置和取向)，该位置数据可由荧光镜提供或可通过附接至荧光镜的测量装置进行采集，诸如量角器、加速度计、陀螺仪等。
在一些实施方案中，解剖元素从额外术中图像来提取，并且这些解剖元素暗示了几何约束，该几何约束可引入姿态估计方法中。因此，从单个术中图像所提取的多种元素可在利用姿态估计方法之前减少。
在一些实施方案中，多视图姿态估计方法还包括覆盖术中图像集的任何图像上的源自术前模态的信息。在一些实施方案中，用于覆盖信息的方法包括：由用户选择术前图像上的感兴趣区域；生成该术前图像上的感兴趣体积；采集术中图像或视频；计算术中成像模态的姿态；执行术中图像和术前图像之间的粗略配准；从术前图像的感兴趣体积生成一组特征或图案；实施精细配准以找出特征或图案的每一者之间的最佳拟合；强化信号匹配图案以突出显示感兴趣区域所找出的解剖构造；和覆盖源自显示器/图像上的基准图像的信号。在一些实施方案中，将源自术前模态的信息覆盖于术中图像上的描述可见于国际专利申请No.PCT/IB2015/000438，该专利申请全文以引用的方式并入本文。
在一些实施方案中，该多个第二成像模态允许改变相对于患者的荧光镜姿态(例如但不限于荧光镜臂的旋转或线性移动、患者床旋转和移动、床上的患者相对移动，或上述项的任意组合)以获得多个图像，其中该多个图像从荧光镜源的上述相对姿态获得为患者和荧光镜装置之间的旋转和线性移动的任意组合。
虽然已经描述了本发明的多个实施方案，但是应当理解，这些实施方案仅仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。此外，各种步骤可以以任何期望的顺序执行(并且可以添加任何期望的步骤和/或可以消除任何期望的步骤)。
现参考下述实例，这些实例与上述描述一起以非限制性方式示出了本发明的一些实施方案。
实例：微创肺部程序
本发明的一个非限制示例性实施方案可应用于微创肺部手术，其中支气管内工具通过支气管镜的工作通道插入患者的支气管气道中(参见图6)。在开始诊断程序之前，医生执行设置过程，其中医生将导管置入感兴趣区域周围的数个(例如，2、3、4等)支气管气道中。荧光镜图像可对于支气管内导管的每个位置进行采集，如图2、图3和图4所示。
在估计感兴趣区域中的姿态之后，用于插入支气管镜的路径可在术前成像模态上进行识别，并且可通过突出显示术前图像的信息或将该信息覆盖于术中荧光镜图像上进行标记。在将支气管内导管导航至感兴趣区域之后，医生可改变缩放比例、旋转或移位荧光镜装置以用于例如验证导管是否位于感兴趣区域中。通常，荧光镜装置的此类姿态变化(如由图4所示)将使先前估计姿态无效，并且将需要医生重复该设置过程。然而，因为导管已位于可能感兴趣区域内部，所以重复设置过程无需执行。
图4示出了本发明的一个示例性实施方案，示出荧光镜角度的姿态正利用解剖元素进行估计，这些解剖元素从图2和图3进行提取(其中，例如，图2和图3示出了从初始设置过程所获得的图像和从图像所提取的额外解剖元素，诸如导管位置、肋骨解剖构造和身体边界)。姿态可例如通过以下方式来改变：(1)移动荧光镜(例如，使头部绕着c臂旋转)，(2)前后移动荧光镜，或另选地通过受试者位置变化或通过两者的组合等。此外，图2和图4之间的相互几何约束(诸如相关于成像装置的位置数据)可用于估计过程中。
图1为示例性方法的框图，并且示出了下述内容：
I.部件120利用自动或半自动分段过程或其任意组合而从术前图像(诸如但不限于CT、磁共振成像(MRI)、正电子发射断层扫描——计算机断层扫描(PET-CT))提取3D解剖元素(诸如支气管气道、肋骨、膈肌)。自动或半自动分段过程的实例描述于AtillaP.Kiraly、William E.Higgins、Geoffrey McLennan、Eric A.Hoffman、JosephM.Reinhardt的“用于临床虚拟支气管镜检查的三维人气道分段方法(Three-dimensionalHuman Airway Segmentation Methods for Clinical Virtual Bronchoscopy)”，其全文据此以引用的方式并入。
II.部件130从一组术中图像(诸如但不限于荧光镜图像、超声图像等)提取2D解剖元素(其在图4中进一步示出，诸如支气管气道410、肋骨420、身体边界430和膈肌)。
III.部件140计算术中图像集的每个子集图像之间的相互约束，诸如相对角度差值、相对姿态差值、极线距离等。
在另一个实施方案中，该方法包括估计术中图像集的每个子集图像之间的相互约束。此类方法的非限制性实例为：(1)利用附接至术中成像装置的测量装置来估计一对荧光镜图像的至少两个姿态之间的相对姿态变化。(2)图像特征的提取，诸如解剖元素或非解剖元素，包括但不限于附接至患者或定位在术中成像装置的视场内的不透射线标记物的贴片(例如，ECG贴片)，这些贴片在两个图像上为可视的；和利用这些特征来估计相对姿态变化。(3)利用附接至手术室中的规定位置的一组相机，诸如视频相机、红外相机、深度相机或这些相机的任意组合，这些相机追踪特征，诸如附接至患者或标记物的贴片、附接至成像装置的标记物，等等。通过追踪此类特征，部件可估计成像装置相对姿态变化。
IV.部件150使从术前图像所生成的3D元素与从术中图像所生成的其对应2D元素相匹配。例如，使从荧光镜图像所提取的给定2D支气管气道与从CT图像所提取的3D气道组相匹配。
V.部件170估计期望坐标系统(诸如术前图像坐标系统、由其他成像或导航装置所形成的手术环境相关坐标系统，等等)中的术中图像集的每个图像的姿态。
对该组件的输入如下：
·从患者术前图像所提取的3D解剖元素。
·从术中图像集所提取的2D解剖元素。如本文所指出，该组中的图像可源自相同或不同成像装置姿态。
·术中图像集的每个子集图像之间的相互约束。
部件170估计术中图像集的每个图像的姿态，使得：
·2D提取元素匹配对应投影3D解剖元素。
·相互约束条件140适用于估计的姿态。
为使源自术前图像的投影3D元素与术中图像的对应2D元素相匹配，需要相似性量度，诸如距离度量。此类距离度量提供了量度以评估投影3D元素和其对应2D元素之间的距离。例如，两个折线(例如，线段的连接序列形成为单个对象)之间的欧氏距离(Euclidiandistance)可用作源自术前图像的3D投影支气管气道与从术中图像所提取的2D气道之间的相似性量度。
此外，在本发明的方法的一个实施方案中，该方法包括估计一组姿态，该组姿态通过识别此类姿态而对应于一术中图像集(这优化了相似性量度)，前提条件是满足术中图像集的子集图像之间的相互约束。相似性量度的优化可称为最小平方问题并且可以数种方法来解决，例如(1)利用周知的光束平差算法，该算法实现了姿态估计的迭代最小方法并且全文以引用的方式并入本文：B.Triggs；P.McLauchlan；R.Hartley；A.Fitzgibbon(1999)"Bundle Adjustment—A Modern Synthesis".ICCV'99:Proceedings of theInternational Workshop on Vision Algorithms.Springer-Verlag.pp.298–372，和(2)利用网格搜索方法以在最佳姿态的搜索中扫描参数空间，这优化了相似性量度。
标记物
不透射线标记物可置于医疗器械上的预定位置以回收(recover)关于器械位置的3D信息。体腔内(诸如支气管气道或血管)的3D结构的数种路径可投影成术中图像上的相似2D曲线。获得的带标记物的3D信息可用于在此类路径之间进行区分。
在本发明的一个示例性实施方案中，如通过图5所示，器械通过术中装置进行成像并且投影至成像平面505。并不知晓器械是置于路径520还是路径525内，因为这两个路径被投影成图像平面505上的相同曲线。为在路径520和525之间进行区分，可能的是利用附接至导管的至少2个不透射线标记物，标记物之间的预定距离为“m”。在图5中，术前图像上所观察的标记物命名为“G”和“F”。
520和525之间的区分过程可执行如下：
(1)将术中图像的点F投影于对应路径520、525的可能候选项上以获得点A和点B。
(2)将术中图像的点G投影于对应路径520、525的可能候选项上以获得点C和点D。
(3)测量成对的投影标记物之间的距离|AC|和|BD|。
(4)将520上的距离|AC|和525上的距离|BD|相比于由工具制造商所预定的距离m。根据距离相似性选择适当气道。
追踪镜
作为非限制性实例，本文公开了用于使患者CT扫描与荧光镜装置配准的方法。该方法将在荧光镜图像和CT扫描两者所检测的解剖元素用作对姿态估计算法的输入，该姿态估计算法产生相对于CT扫描的荧光镜装置姿态(例如，取向和位置)。通过将对应于支气管内装置位置的3D空间轨迹添加至配准方法的输入，下述内容扩展了该方法。这些轨迹可通过数种手段进行采集，诸如：沿着镜附接位置传感器或通过利用机器人内窥镜臂。此类支气管内装置从现在起将称为追踪镜。追踪镜用于引导手术工具，该手术工具从其延伸至目标区域(参见图7)。诊断工具可为导管、钳子、针等。下述内容描述了如何利用通过追踪镜所采集的位置测量值来改善本文所示的配准方法的精度和稳健性。
在一个实施方案中，追踪镜轨迹和荧光镜装置的坐标系统之间的配准通过将追踪镜定位于空间中的各个位置和应用标准姿态估计算法来实现。关于对姿态估计算法的引用参见下述论文：F.Moreno-Noguer、V.Lepetit和P.Fua的论文“EPnP:EfficientPerspective-n-Point Camera Pose Estimation”，该论文据此全文以引用的方式并入。
本文所公开的姿态估计方法通过以这样的方式对姿态进行估计来执行：CT扫描中的所选元素投影于荧光镜图像中的其对应元素上。在本发明的一个实施方案中，将追踪镜轨迹作为输入添加至姿态估计方法扩展了这种方法。这些轨迹利用本文的方法可转换成荧光镜装置坐标系统。一旦转换为荧光镜装置坐标系统，则这些轨迹用作对姿态估计方法的额外约束，因为所估计姿态受这样的条件约束：这些轨迹必须拟合从配准CT扫描所分段的支气管气道。
荧光镜装置估计姿态可用于将解剖元素从术前CT投影至荧光镜实况视频以将手术工具引导至肺部内的指定目标。此类解剖元素可为但不限于：目标病灶、至病灶的路径，等等。至目标病灶的投影路径仅向医生提供二维信息，从而导致深度模糊，也就是说，CT上所分段的数个气道可对应于2D荧光镜图像上的相同投影。重要的是在CT上正确地识别支气管气道，手术工具置于该支气管气道中。用于减少此类模糊的一种方法(本文所描述)通过利用置于工具上的不透射线标记物来执行，从而提供深度信息。在本发明的另一个实施方案中，追踪镜可用于减少此类模糊，因为其提供了支气管气道内的3D位置。由于此类方式已应用于成群支气管树，其允许去除可能模糊选项，直至图7上的追踪镜尖端701。假定图7上的手术工具702不具有3D轨迹，尽管上述模糊对于工具的该部分702仍可出现，但是此类事件不大可能发生。因此，本发明的这个实施方案改善了本文所描述方法用以正确地识别当前工具位置的能力。
夹具及使用方法
上文描述了通过利用定位在荧光镜装置视场中的不透射线标记物而计算图像之间的相互约束的示例性方法。该章节将描述用以定位、检测和/或识别荧光镜图像中的这些标记物的方法。
在一些实施方案中，不透射线标记物在预定固定位置附接至刚性夹具。在一些实施方案中，不透射线标记物包括不透射线金属。在一些实施方案中，不透射线标记物包括不透射线塑料。在一些实施方案中，不透射线标记物包括另一种不透射线材料。在一些实施方案中，不透射线标记物具有一致形状。在一些实施方案中，所述形状为球形。在一些实施方案中，所述形状为棒形。在一些实施方案中，所述形状为方形。在一些实施方案中，所述形状为本文未述及的另一种一致形状。在一些实施方案中，不透射线标记物定位在夹具上。在一些实施方案中，不透射线标记物配置成利用图像处理算法在荧光镜图像中进行检测。在一些实施方案中，图像处理算法为斑点检测算法。
在一些实施方案中，斑点检测算法为模板匹配算法。在一些实施方案中，斑点的模板在搜索图像上移动，并且在模板匹配一部分的图像的情况下检测斑点。在一些实施方案中，模板匹配算法包括下述步骤：1.将模板重叠于初始图像位置(0，0)上。2.计算重叠区域的平方差的和(SSD)或绝对差的和(SAD)并且将其存储于相关矩阵中。3.继续移动至下一图像位置并且重复步骤2，直至到达最终图像位置。在一些实施方案中，相关图像中的亮点对应于可能斑点位置。在一些实施方案中，通过限定阈值，精确数量的斑点和精确位置可用作结果。在一些实施方案中，当模板覆盖图像之外的像素时，那些值可通过镜像法或外推法进行计算。在一些实施方案中，模板位置可限制为图像内具有模板覆盖的位置。在一些实施方案中，小模板可用于检测原始斑点，而大模板可检测特定形状的斑点。在一些实施方案中，为取得更灵活斑点检测，可设计多个模板。
在一些实施方案中，斑点检测算法为分水岭检测算法。在一些实施方案中，分水岭方法将图像呈现为灰度值山，并且模拟雨落于山上，从山范围滑下并且积聚于盆地的过程。在一些实施方案中，该过程重复，直至所有盆地填满并且仅不同盆地之间分水岭保持。在一些实施方案中，这些分水岭对应于亮斑点，而暗斑点还可通过拍摄梯度幅值图像来获得。在一些实施方案中，该溢流过程在梯度图像上执行，即，盆地应沿着边缘显现。通常，这种算法将导致图像的过度分段，尤其对于噪声图像材料，例如医疗CT数据。要么必须对图像进行预处理，要么之后必须根据相似性标准合并区域。
在一些实施方案中，斑点检测算法为轮辐过滤算法。在一些实施方案中，轮辐过滤算法包括下述步骤：1.应用边缘过滤以提取所有(8个)取向的局部边缘元素。2.将像素标记为“内部”，这些像素位于垂直于边缘切线方向的线上的边缘元素的特定距离内。3.将轮辐交叉标记为由不同取向的边缘元素所标记的内部像素。4.将斑点标记为由6个、7个或所有8个方向所标记的交叉。在一些实施方案中，通过改变距离，可检测各种尺寸的斑点。在一些实施方案中，强度金字塔定义为一组精细至粗略分辨率图像。在一些实施方案中，在每个级别，轮辐过滤适用于检测斑点。在一些实施方案中，对于强度金字塔中的每个图像，边缘元素可对于所有图像进行计算并求和。在一些实施方案中，对于求和梯度图像，可遵循轮辐过滤算法的步骤2至步骤4来以多个标度检测斑点。
在一些实施方案中，斑点检测算法为自动标度选择算法。在一些实施方案中，自动标度选择算法基于这样的原理而运算：在不存在其他证据的情况下，假定标度级别(其中标准化导数的一些组合在标度上呈现局部最大值)反映了对应斑点的尺寸。在一些实施方案中，标度级别通过高斯平滑来获得。在一些实施方案中，高斯函数满足当分辨率降低时未生成细节的要求，并且以粗略标度提供了较简单图片。在一些实施方案中，待用作高斯标度-空间中的基本斑点检测器的组合为拉普拉斯运算符和蒙奇-安培运算符。在一些实施方案中，拉普拉斯运算符定义为海塞矩阵的迹线，海塞矩阵为图像函数的二阶偏导数的方形矩阵。在一些实施方案中，通过使迹线乘以标度参数，拉普拉斯运算符可用于检测标度空间最大值。在一些实施方案中，蒙奇-安培运算符定义为海塞矩阵的标度标准化决定子。在一些实施方案中，标度参数乘以二倍以获得标度不变性。在一些实施方案中，标度上的最大值在强度图案的重新缩放条件下具有良好行为：如果图案以常量因数进行重新缩放，那么其中呈现最大值的标度将乘以相同因数。在一些实施方案中，这保证了图像运算以尺寸变化进行转换。在一些实施方案中，在实际上，斑点可以粗略标度进行检测，并且局部化性质可为非最佳的。因此，在一些实施方案中，需要粗略至精细方式来计算更准确局部化估值。
在一些实施方案中，斑点检测算法为子像素精确斑点检测算法。在一些实施方案中，子像素精确斑点检测算法根据以下步骤进行运算：1.初始化较短侧和较大侧的预期矩形取向。2.利用高斯平滑计算海塞矩阵、矩形较短侧的本征向量和方向，其中1D内核处于矩形的较短侧的预期取向。3a.利用沿着较大侧的方向的剖面计算沿着矩形较短侧的方向的曲率最大值。3b.分析所用剖面的梯度以确定偏置并移除。4a.利用沿着较短侧的方向的剖面计算沿着矩形较大侧的方向的曲率最大值。4b.分析所用剖面的梯度以确定偏置并移除。5.根据两个剖面重建矩形的中心点。在一些实施方案中，这种方法提供了用以构建斑点的边界并且使该边界近似椭圆的方式。在一些实施方案中，对于斑点分类，这种方法可提取属性，例如斑点的边界长度、区域、几何矩，和所拟合椭圆的参数。
在一些实施方案中，斑点检测算法为有效最大值线检测算法。在一些实施方案中，有效最大值线检测算法为这样的方法：其中模量最大值在不同标度处的连接曲线(称为最大值线)得以有效地选择以从噪声分隔斑点。在一些实施方案中，最大值线的选择通过以下步骤来执行：1.计算2D高斯标度空间。2.计算每个标度的模量最大值。3.连接相邻标度的模量最大值以获得最大值线，这些相邻标度彼此靠近并且具有相同符号(加或减)。4.移除由系数组成的最大值线，这些系数当标度减小时增大平均值，这些最大值线与噪声相关联。5.移除不交叉至少5个整数标度的最大值线，这些最大值线与白噪声相关联。6.计算每个最大值线的全局最大值并且移除在大于全局最大值标度的标度处偏离的最大值线，这些最大值线与斑点边界之外的斑点结构相关联。7.接合在标度空间中交叉的最大值线；斑点位置由交叉点给出并且其特性标度由所有接合最大值线的全局最大值标度的中值给出。
在一些实施方案中，斑点检测算法为置信度测量算法。在一些实施方案中，置信度测量算法运算如下：1.图像利用一组加窗余弦内核函数首先转变成通道图像。2.对于图像的每一者，生成低通金字塔。3.因为滤波器求和至多为1，所以0.5的阈值用于获得二元置信度值，从而得到聚类金字塔。4.通过删除相互重叠的相似簇来修剪图像。5.金字塔中所留下的像素用作用于区域生长的种子，从而得到区域图像。6.对于所有区域，计算0至2阶的原始矩量以使斑点近似椭圆。在一些实施方案中，这样得到彼此重叠的具有不同尺寸和取向的椭圆图像。
在一些实施方案中，夹具包括支撑结构(例如，板、箱等)，该支撑结构具有以图案定位在其上的不透射线标记物。在一些实施方案中，夹具包括大体二维对象(例如，板)，该大体二维对象具有以二维图案定位在其上的不透射线标记物。在一些实施方案中，夹具包括三维对象(例如，箱)，该三维对象具有在三维空间中定位在其中的不透射线标记物。在一些实施方案中，夹具配置成定位在患者的床上方。在一些实施方案中，夹具配置成定位在患者的床下方。在一些实施方案中，夹具配置成定位在患者的床和位于该床上的床垫之间。在一些实施方案中，夹具配置成附接至患者的胸部或定位在胸部上。在一些实施方案中，夹具至少为人胸部的尺寸。在一些实施方案中，夹具大于人胸部。在一些实施方案中，附接至夹具的不透射线标记物的图案为独特的。如本文所用，术语“独特”意味着不透射线标记物的图案为非重复的，并且不透射线标记物的图案的任何部分(例如，如在荧光镜图像中可捕获，该荧光镜图像具有涵盖患者身体的一部分和夹具的一部分的视场)不同于不透射线标记物的图案的任何其他部分。在一些实施方案中，图案包括如图8所示的一组线，其中每个线中的不透射线标记物形成独特图案。在一些实施方案中，图案包括如图9所示的一组同心圆形。
在一些实施方案中，独特图案利用线性反馈移位寄存器(“LFSR”)来生成。在一些实施方案中，使用Gold码LFSR(Gold CodeLFSR)。在一些实施方案中，Gold码LFSR将从两个反馈移位寄存器所选择的位元连接至最后产生的代码部分，其中异或(XOR)门连接至下一序列的输入端。在一些实施方案中，代码序列的周期取决于寄存器长度N和反馈图案。在一些实施方案中，最大周期为2N-1。在一些实施方案中，为从LFSR产生Gold码，XOR连接的位元根据同阶N的两个主多项式进行连接。在一些实施方案中，使用五条线的一维六位LFSR代码。在一些实施方案中，使用二维LFSR代码。在一些实施方案中，图案通过利用具有同阶的不同主多项式和N×M寄存器级的两个一维LFSR Gold码的XOR交叉连接(crossconnection)而生成。
因此，在一些实施方案中，用户能够基于不透射线标记物在夹具上的位置而识别人胸部的一部分。在一些实施方案中，夹具配置成在医疗程序期间附接至患者的胸部，从而即使患者在医疗程序期间移动也允许估计成像装置相对于患者的相对姿态，。
在一些实施方案中，当夹具上的不透射线标记物以不同姿态进行成像时，用户可以图像对标记物的姿态进行识别以生成相互约束(例如，图1所示的部件140)。在一些实施方案中，这通过使用户的视场中的每个可视标记物匹配夹具上的其配合部分(由于夹具上的不透射线标记物的图案的性质，该配合部分具有已知位置)来实现。在一些实施方案中，通过将夹具上的不透射线标记物的位置设计成使得可视标记物在任何视场中投影为独特图案，可视标记物的正确配对可实现。在一些实施方案中，通过使可视独特图案与夹具设计中的对应独特图案相匹配，正确配对可实现，因为仅存在对应性的一种可能选项。
在一些实施方案中，具有图案化不透射线标记物的夹具用于在介入程序期间确定成像装置姿态。例如，上文的章节“多视图姿态估计”描述了一种用以估计一组图像的每个图像的成像装置姿态的方法。在一些实施方案中，假如夹具在每个图像中为可视的，那么用户可估计成像装置的坐标系统中的夹具位置。在一些实施方案中，夹具在术前成像(诸如但不限于CT成像)期间可不附接至床。在此类实施方案中，在将夹具位置计算至少一次之后，该夹具位置可用于在医疗程序期间从单个图像或一组图像(在第一次计算之后所拍摄)确定术中成像装置姿态。
在一些实施方案中，本文所描述的方法可利用夹具的位置来从单个视图图像确定成像装置姿态。在一些实施方案中，基于点的姿态估计方法通过仅将从术中图像所提取的夹具标记物用作基准配准点(即，用作固定比较基础的点)来执行(在本文称为“方法A”)。在一些实施方案中，基于点的姿态估计方法利用解剖元素与夹具标记物的组合来执行(在本文称为“方法B”)，这些夹具标记物用作姿态估计方法的额外人工基准配准点。在一些实施方案中，方法B根据以下项来执行：(1)识别第一图像的多个元素；(2)识别第二图像的多个元素；(3)使第一图像的多个元素与第二图像的对应多个元素配对(或反之亦然)；(4)使第一图像的多个元素与第二图像的对应对的多个元素配准(或反之亦然)。在一些实施方案中，配准通过精细和/或粗略配准来执行。在一些实施方案中，方法B根据以下项来执行：(1)从第一图像(例如，CT图像)识别多个(例如但不限于2、3、4、5、6、7、8、9、10等)元素(例如，支气管、肋骨等)；(2)识别第一图像(例如，CT图像)上的多个荧光镜元素和第二图像(例如，荧光镜图像)上的多个荧光镜元素；(3)使对应于第二图像上的元素(例如，对应于支气管、肋骨等)的多个元素的子集配对；和(4)使这些元素与第二图像上的对应对的元素配准，其中映射得到第一图像的气道的表示；或其任意组合。在一些实施方案中，图像可从原始图像导出，例如但不限于DDR图像、编辑图像、处理图像等。
基于点的姿态估计方法(方法A)具有快速和稳健的优点，因为其依赖于引入至场景的人工标记物。相比于基于点的姿态估计方法(方法A)，方法B包括额外解剖约束，从而增加配准精度。基于点的姿态估计方法(方法A)的精度取决于夹具设计的复杂性。具有较大3D散布(例如，图10所示的夹具中的较大距离H)的额外标记物得到增大姿态估计精度；因此，相比于2D夹具(例如，图8和图9所示的夹具)，3D夹具(例如，如图10所示)可提供改善精度。为克服这点，可添加额外约束，诸如由方法B所引入的那些。
本文所提及的所有出版物、专利和序列数据库条目据此全文以引用的方式并入，如同每个单独出版物或专利明确地且单独地指示为以引用的方式并入。
虽然已经描述了本发明的多个实施方案，但是应当理解，这些实施方案仅仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。本发明的完整范围应通过参考权利要求书及其等同物的完整范围和说明书及此类变型来确定。此外，各种步骤可以以任何期望的顺序执行(并且可以添加任何期望的步骤和/或可以消除任何期望的步骤)。

Claims (3)

1.一种用于医疗成像的方法，包括：
提供夹具，所述夹具包括支撑结构和附接至所述支撑结构的多个不透射线标记物，所述支撑结构配置成在医疗成像过程期间定位在患者的身体的至少一部分附近，所述多个不透射线标记物以一定图案进行定位，使得捕获所述图案的给定部分的图像相比于捕获所述图案的任何其他给定部分的图像为独特的；
从第一成像模态获得第一图像；
从所述第一成像模态的所述第一图像提取至少一种元素，其中所述至少一种元素包括气道、血管、体腔或其任意组合；
从第二成像模态至少获得(i)所述夹具在第二成像模态的第一姿态的第一图像和(ii)所述夹具在第二成像模态的第二姿态的第二图像，其中所述夹具定位在患者的身体附近；
生成至少两个增强支气管造影照片，其中第一增强支气管造影照片对应于所述第二成像模态在所述第一姿态的所述第一图像，并且其中第二增强支气管造影照片对应于所述第二成像模态在所述第二姿态的所述第二图像；
确定以下项之间的相互几何约束：
(i)所述第二成像模态的所述第一姿态，和
(ii)所述第二成像模态的所述第二姿态；
估计所述第二成像模态的所述第一姿态和所述第二成像模态的所述第二姿态，
其中所述估计利用以下项来执行：
(i)所述第一增强支气管造影照片，
(ii)所述第二增强支气管造影照片，和
(iii)所述至少一种元素，并且
其中所述第二成像模态的估计的第一姿态和所述第二成像模态的估计的第二姿态满足确定的所述相互几何约束；
生成第三图像，其中所述第三图像为从所述第二成像模态导出的增强图像，所述增强图像突出显示感兴趣区域，
其中所述感兴趣区域根据来自所述估计的第一姿态和所述估计的第二姿态的投影数据来确定。
2.如权利要求1所述的方法，其中所述相互几何约束通过以下方式生成：
a.通过比较所述夹具的所述第一图像和所述夹具的所述第二图像而估计(i)所述第一姿态和(ii)所述第二姿态之间的差值，
其中所述估计利用包括量角器、加速度计、陀螺仪或其任意组合的装置来执行，并且其中所述装置附接至所述第二成像模态；
b.提取多个图像特征以估计相对姿态变化，
其中所述多个图像特征包括解剖元素、非解剖元素或其任意组合，
其中所述图像特征包括：附接至患者的贴片、定位在所述第二成像模态的视场中的不透射线标记物，或其任意组合，并且
其中所述图像特征在不透射线器械的所述第一图像和不透射线器械的所述第二图像上为可视的；
c.通过利用至少一个相机而估计(i)所述第一姿态和(ii)所述第二姿态之间的差值，
其中所述相机包括：视频相机、红外相机、深度相机或其任意组合，
其中所述相机处于固定位置，
其中所述相机配置成追踪至少一个特征，
其中所述至少一个特征包括：附接至所述患者的标记物、附接至所述第二成像模态的标记物，或其任意组合，以及
追踪所述至少一个特征；
d.或a、b和c的任意组合。
3.如权利要求1所述的方法，还包括：
追踪所述夹具以用于：
识别轨迹，以及
将所述轨迹用作进一步的几何约束。
CN201780076941.5A 2016-10-31 2017-10-30 用于医疗成像的夹具及其使用方法 Active CN110381841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662415146P 2016-10-31 2016-10-31
US62/415,146 2016-10-31
PCT/IB2017/001448 WO2018078445A2 (en) 2016-10-31 2017-10-30 Jigs for use in medical imaging and methods for using thereof

Publications (2)

Publication Number Publication Date
CN110381841A CN110381841A (zh) 2019-10-25
CN110381841B true CN110381841B (zh) 2023-10-20

Family

ID=62024441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076941.5A Active CN110381841B (zh) 2016-10-31 2017-10-30 用于医疗成像的夹具及其使用方法

Country Status (7)

Country Link
US (2) US10918273B2 (zh)
EP (1) EP3531918A4 (zh)
JP (1) JP2019535467A (zh)
CN (1) CN110381841B (zh)
AU (1) AU2017349568B2 (zh)
CA (1) CA3042344A1 (zh)
WO (1) WO2018078445A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11564769B2 (en) * 2018-04-27 2023-01-31 St. Jude Medical International Holdings Sarl Apparatus for fiducial-association as part of extracting projection parameters relative to a 3D coordinate system
US20200046436A1 (en) * 2018-08-13 2020-02-13 Body Vision Medical Ltd. Methods and systems for multi view pose estimation using digital computational tomography
US11918406B2 (en) 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
JP2022520933A (ja) 2019-02-15 2022-04-04 コーニンクレッカ フィリップス エヌ ヴェ Ｘ線較正のためのｘ線リップルマーカ
US11931198B2 (en) 2019-02-15 2024-03-19 Koninklijke Philips N.V. X-ray calibration for display overlays onto X-ray images
US11864935B2 (en) * 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US11816768B1 (en) 2022-12-06 2023-11-14 Body Vision Medical Ltd. System and method for medical imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002119507A (ja) * 2000-10-17 2002-04-23 Toshiba Corp 医用装置および医用画像収集表示方法
CN1739281A (zh) * 2003-01-16 2006-02-22 皇家飞利浦电子股份有限公司 确定图像中的物体位置的方法
CN101484071A (zh) * 2006-04-27 2009-07-15 Qfix系统有限责任公司 支撑装置以及用于补偿病人重量的方法
CN105534539A (zh) * 2014-10-22 2016-05-04 韦伯斯特生物官能(以色列)有限公司 通过移动成像床扩大跟踪体积

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005233A (en) * 1989-03-15 1991-04-09 Ikka Toivio Apparatus for transferring patients
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6584628B1 (en) * 1995-08-04 2003-07-01 Hill-Rom Services, Inc. Hospital bed having a rotational therapy device
US6701476B2 (en) * 2001-05-29 2004-03-02 Motorola, Inc. Test access mechanism for supporting a configurable built-in self-test circuit and method thereof
US6907629B2 (en) 2001-07-13 2005-06-21 Diacor, Inc. Diagnostic imaging tabletop
JP3098967U (ja) * 2003-06-30 2004-03-18 株式会社カワニシ 可撓性ｘ線マーカー
CN103961130B (zh) * 2006-09-25 2017-08-15 马佐尔机器人有限公司 使得c型臂系统适应以提供三维成像信息的方法
US8700131B2 (en) * 2009-05-13 2014-04-15 Merit Medical Systems, Inc. Radial cardiac catheterization board
US20120080038A1 (en) * 2010-10-04 2012-04-05 Parrish Rob G Procedure Radiograph Orientation Device and Methods of Use
CA3085777C (en) * 2010-11-08 2022-03-15 Conavi Medical Inc. Systems and methods for improved visualization during minimally invasive procedures
US10249036B2 (en) * 2012-02-22 2019-04-02 Veran Medical Technologies, Inc. Surgical catheter having side exiting medical instrument and related systems and methods for four dimensional soft tissue navigation
US10441236B2 (en) * 2012-10-19 2019-10-15 Biosense Webster (Israel) Ltd. Integration between 3D maps and fluoroscopic images
CN105228518B (zh) * 2013-03-12 2018-10-09 火山公司 用于诊断冠状微脉管疾病的系统和方法
EP2868277B1 (en) * 2013-11-04 2017-03-01 Surgivisio Method for reconstructing a 3d image from 2d x-ray images
AU2015204201B2 (en) * 2014-01-06 2019-11-28 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US20150223921A1 (en) * 2014-02-11 2015-08-13 Brian Kieser Structurally encoded implantable devices
US10143532B2 (en) * 2015-02-11 2018-12-04 Cmt Medical Technologies Ltd. Tomographic scan
US20170148171A1 (en) * 2015-11-23 2017-05-25 Target Tape Inc. Patient Body Contour Delineation Aid
JP6828047B2 (ja) * 2016-02-12 2021-02-10 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術における透視撮像システムの姿勢推定及び較正のシステム及び方法
AU2017231889A1 (en) * 2016-03-10 2018-09-27 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation
FR3057757B1 (fr) * 2016-10-21 2021-04-16 Medtech Dispositif et procede de recalage automatique pour des images intra operatoires 3d

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002119507A (ja) * 2000-10-17 2002-04-23 Toshiba Corp 医用装置および医用画像収集表示方法
CN1739281A (zh) * 2003-01-16 2006-02-22 皇家飞利浦电子股份有限公司 确定图像中的物体位置的方法
CN101484071A (zh) * 2006-04-27 2009-07-15 Qfix系统有限责任公司 支撑装置以及用于补偿病人重量的方法
CN105534539A (zh) * 2014-10-22 2016-05-04 韦伯斯特生物官能(以色列)有限公司 通过移动成像床扩大跟踪体积

Also Published As

Publication number Publication date
WO2018078445A2 (en) 2018-05-03
AU2017349568A1 (en) 2019-05-16
AU2017349568B2 (en) 2023-06-15
JP2019535467A (ja) 2019-12-12
EP3531918A2 (en) 2019-09-04
US20210267448A1 (en) 2021-09-02
US10918273B2 (en) 2021-02-16
US20200046214A1 (en) 2020-02-13
CN110381841A (zh) 2019-10-25
CA3042344A1 (en) 2018-05-03
EP3531918A4 (en) 2020-09-16
WO2018078445A3 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
US11350893B2 (en) Methods and systems for using multi view pose estimation
US20200046436A1 (en) Methods and systems for multi view pose estimation using digital computational tomography
US20200170623A1 (en) Methods for using radial endobronchial ultrasound probes for three-dimensional reconstruction of images and improved target localization
CN106068451B (zh) 手术装置及其使用方法
EP2680778B1 (en) System and method for automated initialization and registration of navigation system
US20230030343A1 (en) Methods and systems for using multi view pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant