CN102378594A - 将传感器位置与图像位置相关联 - Google Patents

将传感器位置与图像位置相关联 Download PDF

Info

Publication number
CN102378594A
CN102378594A CN2010800153986A CN201080015398A CN102378594A CN 102378594 A CN102378594 A CN 102378594A CN 2010800153986 A CN2010800153986 A CN 2010800153986A CN 201080015398 A CN201080015398 A CN 201080015398A CN 102378594 A CN102378594 A CN 102378594A
Authority
CN
China
Prior art keywords
tubular structure
positional information
sensing station
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800153986A
Other languages
English (en)
Other versions
CN102378594B (zh
Inventor
R·特鲁伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102378594A publication Critical patent/CN102378594A/zh
Application granted granted Critical
Publication of CN102378594B publication Critical patent/CN102378594B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种用于将传感器位置与图像位置相关联的系统，包括位置信息装置(1)，其用于获得与管状结构内部的一序列的传感器位置相关的位置信息，所述位置信息指示相对于所述管状结构的结构特征的传感器位置。匹配装置(2)基于所述位置信息并且使用所述管状结构的所述结构特征来将所述序列的传感器位置与相应序列的图像位置匹配以获得匹配信息，所述图像位置指示由图像表示的相应管状结构内部的位置。关联装置基于所述匹配信息将由所述传感器在所述管状结构内部的特定传感器位置处测量的数据元素与在所述相应管状结构中的相应图像位置相关联。

Description

将传感器位置与图像位置相关联
技术领域
本发明涉及将传感器位置与图像位置相关联。本发明也涉及将结肠镜的末端位置与医学图像中的位置相关联。本发明也涉及介入导航。本发明还涉及注释医学图像。
背景技术
US 2007/0078334公开了一种用于跟踪医疗仪器的基于DC磁性的位置和方向监视系统。其跟随叠加在重建为3D体积计算机模型的解剖图像上的3D传感器末端位置。可以将传感器数据并入实时成像模态，例如内窥镜，以用于利用瞬时反馈将仪器穿过关键解剖结构在体内进行导航，从而定位和切除组织。配准是基于触及图像空间和患者空间中的多个点，这些点是解剖学界标(骨骼结构)或者粘附于患者的基准标记。配准算法考虑了点从一个帧到另一个的移位、旋转和缩放。
然而，在传感器和图像位置之间的关联不是充分可靠的。
发明内容
有利的是具有一种用于将传感器位置与图像位置相关联的改进系统。为了更好地解决这一关注问题，在本发明的第一方面中提出一种系统，其包括：
-位置信息装置，其用于获得与管状结构内部的一序列的传感器位置相关的位置信息，所述位置信息指示相对于所述管状结构的结构特征的传感器位置；以及
-匹配装置，其用于基于所述位置信息并且使用所述管状结构的结构特征来将所述序列的传感器位置与相应序列的图像位置匹配以获得匹配信息，所述图像位置指示由图像表示的相应管状结构内部的位置。
所述管状结构的形状可能在采集图像的时间和获得位置信息的时间之间变形。然而，在已知的配准算法中并没有考虑这种变形，所述已知的配准算法使用基于粘附于患者的基准标记和/或基于骨骼结构的解剖界标的位置信息。所提出的系统提供的位置信息指示相对于管状结构本身的结构特征的传感器位置。因此，所述匹配装置使用这一相对于管状结构的结构特征的传感器位置来将传感器位置与相应序列的图像位置匹配。因此，所述匹配对于所述管状结构的任意变形是较不敏感的。即使已经发生这种变形，仍然可以基于相对于管状结构的结构特征的信息使传感器位置与图像位置匹配。优选地，可以在传感器处于管状结构内部时的所述管状结构中以及由图像表示的相应管状结构两者中识别出结构特征。
所述系统可以包括关联装置，其用于基于匹配信息将由传感器在管状结构内部的特定传感器位置处测量的数据元素与在相应管状结构中的相应图像位置相关联。通过使用所述匹配信息，考虑到管状结构的变形，可以相对容易地将特定传感器位置与相应图像位置相关联。通过使用匹配信息，可以识别出与采集所述数据的位置对应的图像位置并将其与传感器数据相关联。所述数据元素可以包括图像，例如在传感器包括光学内窥镜的情况下，数据元素可以包括在管状结构内部的特定位置处采集的光学图像。
所述系统可以包括可视化装置，其用于将数据元素的指示和相应图像位置的指示可视化。可视化所述两个指示允许用户识别出数据元素所属的图像位置。
可视化装置可以响应于与传感器的当前位置相关的位置信息。这允许用户识别出与传感器的当前位置对应的图像位置。在介入期间这种信息是有帮助的，例如对于导航到在图像中识别出的特定病变。
系统可以包括用于创建报告的报告装置，所述报告包括数据元素的指示和相应图像位置的指示。可以通过匹配信息来促成这种报告。
管状结构可以包括结肠。在这种情况下结肠内部的传感器位置可以与图像位置相关联。已知结肠会不时改变形状。匹配信息帮助找出相应的图像位置，即使结肠已经在采集所述图像的时间和内窥镜检查时间之间改变形状。
传感器可以包括内窥镜，例如结肠镜。这种内窥镜可以在管状结构内部以图像形式采集数据元素。内窥镜可以包括用于获得光学图像的光学内窥镜。可选地，可以使用其他类型的内窥镜，例如使用红外成像。
位置信息可以指示相对于结肠的两个区段之间的区段边界的传感器位置。区段边界可以包括在诸如盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠的结肠区段之间的边界。可以借助于传感器，尤其是内窥镜来相对容易地确定这种区段边界。
位置信息可以包括传感器何时穿过区段边界的指示。通过指示传感器何时穿过区段边界，相对精确地指示区段边界的位置。此外，这种指示是相对容易地手动或者以自动方式提供的。此外，可以在所述图像中作出相应区段边界的指示，这帮助所述匹配过程。
基于所述传感器的横穿速度，可以至少部分地通过在两个区段边界之间进行插值而获得位置信息。传感器的横穿速度信息是可获得的，例如指示所述横穿速度是固定的信息，或者虽可变但是已知的信息。这种信息可以用于在两个区段边界之间插值所述位置。
位置信息可以包括传感器的空间坐标。这种空间坐标提供传感器的位置的相对精确的信息。此外，在介入期间，独立于任意横穿速度，可以针对传感器的任意位置建立这种空间坐标。这种空间坐标对于例如在内窥镜的手动引导期间获得位置信息是有帮助的。
一序列的空间坐标可以与所述序列的传感器位置相关联。这一序列的空间坐标可以指示管状结构的中心线的至少一部分。所述结构特征可以包括中心线的至少一部分的形状。这种一序列的空间坐标提供结构特征的相对详细的信息。这可以提高精度。
匹配装置可以包括对准装置，其用于将管状结构的中心线的至少一部分与由图像表示的相应管状结构的中心线的至少一部分对准。以这一方式可获得相对精确的匹配信息。
对准装置可以包括用于局部拉伸或者压缩中心线以改善管状结构的中心线的至少一部分和由图像表示的相应管状结构的中心线的至少一部分之间的相似性的装置。在对准结肠的两个中心线时，这种中心线的拉伸或者压缩是适当的操作，其中所述结肠可能已经变形。
一种图像采集设备可以包括根据本发明的系统的实施例。
一种将传感器位置与图像位置相关联的方法可以包括
-获得与管状结构内部的一序列的传感器位置相关的位置信息，所述位置信息指示相对于管状结构的结构特征的传感器位置；以及
-基于位置信息并且使用管状结构的结构特征来将所述序列的传感器位置与相应序列的图像位置匹配以获得匹配信息，所述图像位置指示由图像表示的相应管状结构内部的位置。
一种计算机程序产品可以包括用于令处理器系统执行所述方法的步骤的指令。
本领域技术人员将意识到可以以任意被认为是有用的方式来将上述实施例、实现方式、和/或本发明的各方面中的两个或者更多个进行组合。
本领域技术人员基于本说明书可以实现与所描述的系统修改和变型相应的图像采集设备、工作站、系统、和/或计算机程序产品的修改和变型。
本领域技术人员将意识到该方法可以被应用于由各种采集模态采集的多维图像数据，例如2维(2-D)、3维(3-D)或者4维(4-D)图像，该采集模态例如是，但不限于，标准X射线成像、计算机断层摄像(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄像(PET)、单光子发射计算机断层摄像(SPECT)、以及核医学(NM)。
附图说明
将参考图来进一步阐明和描述本发明的这些和其他方面，在图中：
图1的方框图图示了用于将传感器位置与图像位置相关联的系统；
图2是显示器的示意图，该显示器示出了在传感器位置和图像位置之间的关联；
图3是结肠图；
图4的方框图图示了将传感器位置与图像位置相关联的方法。
具体实施方式
在本文中出于说明目的而描述了图和实施例。它们不限制本发明的范围。
图1图示了用于将传感器位置与图像位置相关联的系统。可以至少部分使用工作站来实现该系统。这种工作站可以包括处理单元、工作存储器(RAM存储器)、以及永久性存储装置，例如闪存、或者磁性硬盘。也提供输入和输出装置，例如用于接收图像数据和传感器数据以及位置信息的网络连接。该网络连接可以用于传输数据，例如将传感器数据与图像位置相关联的数据，或者用于传输包括传感器数据和其中指出相应图像位置的图像的报告。也可借助于可移动存储介质，例如CD-ROM来提供该数据。显示器用于显示例如传感器数据和图像数据以及它们的关联。输入装置，例如键盘、鼠标、跟踪球、麦克风，可以用于控制系统的操作。麦克风例如可以用于接收声音命令。为了解释声音命令，可以提供声音命令处理软件。声音命令例如可以用于指示区段的边界或者用于可视化图像中与传感器位置对应的位置。图像数据可以包括，例如计算机断层摄像(CT)数据或者磁共振成像(MRI)数据。该图像也可以包括X射线图像。
该系统可以包括传感器10，其适合于从管状结构的内部获得传感器数据。这种传感器可以包括，例如内窥镜。该传感器可以连接至导丝，该导丝可以用于将内窥镜进一步推入管状结构中或者进一步拉出管状结构。
该系统可以包括位置信息装置1，其用于获得与管状结构内部的一序列的传感器位置相关的位置信息，该位置信息指示相对于管状结构的结构特征的传感器位置。管状结构的结构特征可以包括管状结构的形状方面。例如，管状结构的特有弯曲。这种特征可以基于管状结构的中心线或者管状结构内部的路径。管状结构可以包括能够借助于传感器10观察到的形状特征。例如，瓣膜或者结肠区段的边界。
管状结构可以包括一个管，例如结肠30。
该系统可以包括图像采集设备8，其用于提供图像数据，例如CT数据或者MRI数据。可选地，例如使用PACS从外部源检索图像数据，该外部源例如是外部图像采集设备、或者网络上的数据服务器。
该系统可以包括图像位置信息装置7，其用于识别图像中的一序列的图像位置。例如，图像位置信息装置7包括用户界面，其使得用户能够使用诸如鼠标或者跟踪球的定点装置来交互式地指示图像位置。可选地，可以提供图像处理软件以自动识别出该图像位置。该图像位置可以是点，其与管状结构的结构特征的相对位置是已知的。例如，该点可以包括结肠的区段边界。可选地，该位置定义了管状结构的中心线；结构特征可以包括已知在管状结构中存在的特殊弯曲。
该系统可以包括匹配装置2，其用于将一序列的传感器位置与相应序列的图像位置匹配。可以从图像位置信息装置7中获得这一相应序列的图像位置。图像位置可以指示由该图像表示的相应管状结构内部的位置。匹配装置2基于位置信息来执行匹配。在匹配过程中，使用管状结构的结构特征来获得匹配信息。
该系统可以包括关联装置3，其用于基于匹配信息将由传感器10在管状结构内部的特定传感器位置处测量的数据元素与相应管状结构中的相应图像位置相关联。所述关联例如可以用于可视化或者报告装置。该关联也可以用于自动导航系统。
该系统可以还包括可视化装置4，其用于将数据元素的指示和相应图像位置的指示可视化。这种指示向用户显示了关联。在图2中给出了例子。
图2图示了包括传感器数据的显示20，该传感器数据例如是在特定传感器位置采集的光学结肠镜检查图像21。同时，显示20示出了虚拟的内窥镜检查图像22。该虚拟内窥镜检查图像22是从图像数据生成的视图。虚拟内窥镜检查图像22表示从与该特定传感器位置相应的图像位置“看到”的图像数据的重建。显示20还示出了由该图像表示的管状结构的至少部分的概观23。与特定传感器位置对应的图像位置借助于高亮或者借助于诸如箭头的符号来指示。显示20还包括感兴趣点的列表24，例如病变列表或者图像发现列表。在列表24中可以指示最近的感兴趣点。此外，也可在概观23和/或虚拟内窥镜检查图像22中指示这些感兴趣点的图像位置。
返回图1，可视化装置4可以响应于与传感器10的当前位置相关的位置信息。例如，可以由位置信息装置1实时提供传感器位置。可视化装置4可以被布置为实时显示和/或更新一个或多个关于图2图示的视图。
该系统可以包括用于创建报告的报告装置5，该报告包括数据元素的指示和相应图像位置的指示。报告可以包括关于图2描述的元素中的一个或多个或者所有。报告也可以包括附于特定传感器位置、传感器数据、和/或图像位置的注释。报告装置可以包括用于使得用户能够输入这种注释的用户界面。报告装置可以包括用于例如通过网络输出报告的装置，或者用于打印报告的装置。
位置信息装置1可以被布置为使得用户能够相对于传感器指示区段边界，例如指示传感器10何时穿过这种区段边界。位置信息装置1也可以被布置为用于使用信号处理技术来自动地提供这种指示。在使用光学结肠镜检查的情况下，这种区段边界在例如所采集的图像中可以是可见的。位置信息装置1可以还被布置为借助于时间插值来建立两个连续区段边界之间的传感器的相对位置。这可以基于传感器的横穿速度。为了提供该插值，要获得穿过第一区段边界的时间、传感器到达特定位置的时间、以及穿过第二区段边界的时间。这些时间允许建立结肠区段内的相对位置。匹配装置将与各区段边界对应的各个点进行匹配以获得匹配信息。接下来，使用结肠区段内的相对位置来找出图像中的结肠区段内的相对位置。该结果是相应的图像位置。
位置信息可以包括传感器10的空间坐标。例如，位置信息装置1包括对象定位系统9。该对象定位系统可以包括电磁跟踪系统。传感器可以包括电磁标记，电磁跟踪系统能够提供该电磁标记的空间坐标。这一标记例如被附于结肠镜的末端，从而可以获得结肠镜末端的空间坐标。
位置信息装置1可以被布置为提供与一序列的传感器位置相关联的一序列的空间坐标。这种序列的空间坐标可以指示管状结构的中心线的至少一部分。例如，在传感器横穿管状结构的同时跟踪传感器。由匹配装置2使用的结构特征可以包括中心线的至少一部分的形状。
匹配装置2可以包括对准装置6，其用于将管状结构的中心线的至少一部分与由图像表示的相应管状结构的中心线的至少一部分对准。对准装置可以使用配准技术。例如，已知的用于将在俯卧CT扫描和仰卧CT扫描中采集的结肠的中心线匹配的技术可以用于将通过跟踪传感器位置而建立的管状结构的中心线与由图像表示的相应管状结构的中心线的至少一部分对准。在这一说明书的别处更加详细地对其进行了说明。例如，对准装置6可以包括用于局部拉伸或者压缩中心线以改善在管状结构的中心线的至少一部分和由图像表示的相应管状结构的中心线的至少一部分之间的相似性的装置。
图4图示了将传感器位置与图像位置相关联的方法。该方法包括步骤41：获得与管状结构内部的一序列的传感器位置相关的位置信息，该位置信息指示相对于管状结构的结构特征的传感器位置。此外，该方法包括步骤42：基于位置信息并且使用管状结构的结构特征来将一序列的传感器位置与相应序列的图像位置匹配以获得匹配信息，该图像位置指示由图像表示的相应管状结构内部的位置。计算机程序产品可以包括用于令处理器系统执行所述方法的步骤的指令。
可以将在体积图像(例如，CT或者MR结肠镜检查)中识别出的发现用作执行光学内窥镜检查中的辅助。同样，可以将体积图像和光学内窥镜检查图像组合以执行多模态报告。这种应用可受益于体积图像和光学内窥镜检查图像之间改善的对应性。在下文中，将详细描述CT结肠成像的例子。在这一例子中，放射科医师可以检测到息肉并且在CT图像中报告/注释该息肉。之后，肠胃病医师可以执行光学结肠镜检查以切除这些息肉或者对这些息肉进行活组织检查。然而，这一例子并不解释为限制本发明。应该清楚的是可以使用其他体积图像(如MR)。此外，本发明可以应用于其他应用，例如组合体积和内窥镜数据收集。
可以利用光学结肠镜检查(OC)来检测患者中的息肉。OC也可以用于切除息肉或者对息肉进行活组织检查。CT结肠成像(也称为虚拟结肠镜检查)是检测结肠中息肉的另一技术。在结肠癌变为恶性之前，通常先于其之前出现息肉。为了在早期检测出息肉，可以进行微创CT扫描，这允许放射科医师临床检测出明显的息肉。
可以基于由光学内窥镜本身拍摄的光学图像，并且使用专家的解剖学知识以确定内窥镜末端的位置，从而执行光学内窥镜检查的导航。实际上，一直不是很清楚内窥镜位于哪个结肠区段。当临床医师通过不同的模态，例如CT或者MRI扫描，获得关于息肉位置的信息时，内窥镜的位置可是重要的。当在光学内窥镜检查中丢失在CT中识别出的息肉时可能产生问题，因为肠胃病医师不清楚其确切位置。在那一情况下仅仅区段信息可能是不够的。同样，由于位置的不确定，在光学结肠镜检查中找回已知的CT息肉可能是非常耗时的。
如果CT和光学结肠镜检查结果没有一起报告，那么可能很难或者不可能将活组织检查信息(例如被切除息肉的病理)与CT图像的坐标相关联。在结肠镜检查之后可以进行患者的连续扫描。这种扫描可用于疾病的分级(staging)或者追踪。然而可能很难或者不可能在这种连续扫描中找出被切除息肉的位置。
在下文中描述将内窥镜末端与图像位置配准的应用。可以提供其中可以示出实况光学结肠镜检查图像的显示。此外，可以示出在CT中发现的病变(息肉或者肿瘤)列表。概观图像可以示出结肠并指示病变。可以基于CT数据来示出息肉的腔内视图。这种视图可模仿经由光学内窥镜看到(右上方)的结肠内部的视图。示出了CT图像的灰度值的多平面重定格式视图可以用于示出图像的哪一部分是粪便。
可以如此选择和指示一个息肉。可以示出这一病变的几个属性：在病变列表中的尺寸和位置、在概观图像中的位置、在腔内视图中的尺寸和形态、以及在多平面重定格式中的结构和灰度值。这一视图可以示出与肠胃病医师相关的任意其他信息。
肠胃病医师可以使用例如声音命令或者通过使用在内窥镜上提供的用户界面元件来完成息肉的选择(例如，如果在CT数据集中发现了多个息肉)。
可以几种方式来将内窥镜末端的位置与CT数据组合。例如，可以使用图形符号在CT概观图像中指示内窥镜末端的位置，以示出内窥镜在结肠的CT概观中所处的位置。这同样适用于其他CT图像，例如腔内视图或者多平面重定格式。也可以基于内窥镜末端位置来交互式地更新从CT图像生成的视图。例如，如果内窥镜末端移动，那么可以使用与内窥镜末端位置对应的照相机位置来刷新CT图像的腔内视图。
可以使用注释用户界面来完成报告。这种用户界面可以在显示器上显示任意的上述视图。例如，可以示出由内窥镜记录的图像或者视频图像，以及CT数据的概观图像、CT数据的腔内视图、或者CT数据的多平面重定格式视图。可以链接该视图从而它们与结肠中的同一位置相关。可以在报告中添加从结肠镜检查观察到的额外的诊断信息(例如形态、息肉切除术样本数量)，在该报告中，额外的诊断信息被适当链接至CT数据中的特定位置和/或链接至结肠镜检查的一个或多个图像。当在光学结肠镜检查中已经发现息肉时，可以将该息肉链接至在CT中识别到的息肉。因此，可能提供一报告，在该报告中，在CT图像和结肠镜检查图像两者中识别出病变。此外，能够容易地将病理发现和追踪信息添加至该报告。
图3图示了包括6个区段的结肠30。这些区段是盲肠31、升结肠32、横结肠33、降结肠34、乙状结肠35和直肠36。在升结肠和横结肠之间的边界，以及在横结肠和降结肠之间的边界被称为曲。当读取CT扫描时，放射科医师可以指示这些边界。也可以使用图像处理来自动识别出它们。
在结肠镜检查期间，肠胃病医师可以指示结肠镜何时穿过区段边界。在光学结肠镜检查期间，盲肠31(结肠的开端)和两个曲是相对容易识别的。直肠的位置也是相对容易指示的。
能够在医学图像和结肠镜检查之间映射相应注释的区段边界，并且从其可以计算出医学图像中和结肠镜检查中结肠的其他点之间的对应性。例如，能够执行在已知的相应点之间的线性插值。
也可能跟踪内窥镜的3D坐标。这能够使用电磁(EM)跟踪来完成。电磁跟踪本身在现有技术中是已知的。例如，可以使用由Traxtal公司(加拿大，多伦多)售出的PercuNav系统。为此目的，可以将电磁标记附于内窥镜的末端或者由内窥镜的末端形成。然而，可以替代使用跟踪内窥镜的3D坐标的其他技术。例如，可以使用图像处理技术。通过从多个方向对内窥镜末端成像(例如使用X射线荧光检查)，可以在3D坐标系统中定位内窥镜的末端。这种基于图像的定位技术本身在现有技术中是已知的。
以这一方式，可以跟踪内窥镜末端的3D坐标。可以将这些3D坐标记录在坐标参考系中，该坐标参考系附属于EM跟踪装置并且与用于CT扫描的患者坐标系不相关。然而，提供一种将3D EM跟踪器坐标与3D扫描中的结肠中心线的坐标配准的方法。可以执行这种配准而不需要校准该系统。具体而言，可能不必在患者空间中手动定义标记。
在A.H.de Vries，R.Truyen，J.van der Peijl，J.Florie，R.E.van Gelder，F.A.Gerritsen和J Stoker的于British Journal of Radiology(2006)79，第740-744页发表的文章“Feasibility of automated matching of supine and proneCT-colonography examinations”中，公开了一种用于将分别在俯卧CT扫描和仰卧CT扫描中采集的结肠的中心线匹配的匹配方法。在俯卧-仰卧匹配中，能够通过局部拉伸或者压缩中心线来对准两个这种扫描的中心线，从而它们尽可能相似。能够使用在两个中心线的局部3D方向中的不同来测量相似性。这一技术可以应对中心线的局部变形并且即使结肠在两个扫描之间已经充分变形了也能够执行在两个中心线之间的映射。这种变形可能归因于结肠肌肉的活动。如在下文中将描述的，在De Vries等人的文章中描述的该匹配技术能够应用于匹配从结肠镜检查中获得的中心线。
例如，可能定义两个路径，可以使用De Vries等人描述的匹配技术来映射这两个路径。然而，也可以使用其他匹配技术。将要匹配的一个路径是基于内窥镜末端的多个3D坐标。可以在插入结肠镜的同时，或者在拉回结肠镜期间建立这些3D坐标。其他路径是基于图像数据(例如俯卧或者仰卧的CT扫描)。可以将这两个路径彼此匹配。所跟踪的内窥镜坐标可以或多或少受到结肠腔的限制，因而可以具有与结肠中心线类似的形状属性。由于结肠可以特定的方式变形，因此可以使用用于匹配结肠中心线的匹配算法来将内窥镜末端轨迹与从医学图像获得的结肠中心线配准。
将意识到的是本发明也扩展至计算机程序，尤其是在载体上或其中的适于将本发明付诸实践的计算机程序。该程序可以为源代码、目标代码、中间代码源和诸如部分编译形式的目标代码的形式，或者为适合于在根据本发明的方法的实现方式中使用的任意其他形式。也将意识到的是这种程序可以具有很多不同的结构设计。例如，执行根据本发明的方法或者系统的功能的程序代码可以被细分为一个或多个子例程。用于将该功能分布于这些子例程之间的很多不同方法对于本领域技术人员而言是显而易见的。该子例程可以被一起存储在一个可执行文件中以形成独立程序。这种可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如，Java解释器指令)。可选地，一个或多个子例程或者所有的子例程可以被存储于至少一个外部库文件中并且与主程序静态或者动态链接，例如在运行时。该主程序包含至少一个对至少一个子例程的调用。同样，子例程可以包括针对彼此的函数调用。与计算机程序产品相关的实施例包括与所述方法中的至少一个的每个处理步骤相应的计算机可执行指令。这些指令可以被细分为子例程和/或存储于一个或多个可以被静态或者动态链接的文件中。与计算机程序产品相关的另一实施例包括与所述系统和/或产品中的至少一个的每个装置相应的计算机可执行指令。这些指令可以被细分为子例程和/或存储于一个或多个可以被静态或者动态链接的文件中。
计算机程序的载体可以是能够装载该程序的任意实体或者装置。例如，该载体可以包括存储介质，例如ROM(如CD ROM或者半导体ROM)、或者磁性记录介质(如软盘或者硬盘)。进一步地，该载体可以是可传输载体，例如电或者光信号，其可以经由电或者光缆或者通过无线电或其他方式而传输。当该程序被包含于这种信号中时，该载体可以由这种缆线或者其他设备或装置组成。可选地，该载体可以是其中嵌入该程序的集成电路，该集成电路适于执行相关方法，或者在该相关方法的执行中使用。
应该注意的是上述实施例说明而不是限制本发明。并且本领域技术人员将能够设计出很多备选实施例而不脱离所附权利要求的范围。在权利要求中，放在圆括号中的任意附图标记不应解释为限制权利要求。动词“包括”和其词形变化的使用不排除除了在权利要求中列出的那些元件或者步骤之外的元件或者步骤的存在。在元件前的冠词“一”或者“一个”不排除多个这种元件的存在。本发明可以借助于包括几个不同元件的硬件来执行，以及借助于适当编程的计算机来执行。在列举若干装置的装置权利要求中，几个这种装置可以由一个并且是同一个硬件具体实现。在相互不同的从属权利要求中叙述某些措施的这一事实不表示这些措施的组合不能被加以利用。

Claims (15)

1.一种用于将传感器位置与图像位置相关联的系统，包括：
-位置信息装置，其用于获得与管状结构内部的一序列的传感器位置相关的位置信息，所述位置信息指示相对于所述管状结构的结构特征的传感器位置；以及
-匹配装置，其用于基于所述位置信息并且使用所述管状结构的所述结构特征来将所述序列的传感器位置与相应序列的图像位置匹配以获得匹配信息，所述图像位置指示由图像表示的相应管状结构内部的位置。
2.如权利要求1所述的系统，还包括关联装置，其用于基于所述匹配信息将由所述传感器在所述管状结构内部的特定传感器位置处测量的数据元素与在所述相应管状结构中的相应图像位置相关联。
3.如权利要求2所述的系统，还包括可视化装置，其用于将所述数据元素(21)的指示和所述相应图像位置(22)的指示可视化。
4.如权利要求3所述的系统，所述可视化装置响应于与所述传感器的当前位置相关的位置信息。
5.如权利要求3所述的系统，还包括用于创建报告的报告装置，所述报告包括所述数据元素的所述指示和所述相应图像位置的所述指示。
6.如权利要求1所述的系统，所述管状结构包括结肠并且/或者所述传感器包括内窥镜。
7.如权利要求6所述的系统，所述位置信息指示相对于所述结肠的两个区段之间的区段边界的传感器位置。
8.如权利要求7所述的系统，所述位置信息包括所述传感器何时穿过区段边界的指示。
9.如权利要求7所述的系统，基于所述传感器的横穿速度，至少部分通过在两个区段边界之间进行插值而获得所述位置信息。
10.如权利要求1所述的系统，所述位置信息包括所述传感器的空间坐标，与所述序列的传感器位置相关联的一序列的空间坐标指示所述管状结构的中心线的至少一部分，所述结构特征包括所述中心线的所述至少一部分的形状。
11.如权利要求10所述的系统，所述匹配装置包括对准装置，其用于将所述管状结构的所述中心线的至少一部分与由所述图像表示的所述相应管状结构的中心线的至少一部分对准。
12.如权利要求11所述的系统，所述对准装置包括用于局部拉伸或者压缩中心线以改善所述管状结构的所述中心线的至少一部分和由所述图像表示的所述相应管状结构的所述中心线的至少一部分之间的相似性的装置。
13.一种图像采集设备，包括根据前述权利要求中任一项所述的系统。
14.一种将传感器位置与图像位置相关联的方法，包括：
-获得(41)与管状结构内部的一序列的传感器位置相关的位置信息，所述位置信息指示相对于所述管状结构的结构特征的传感器位置；以及
-基于所述位置信息并且使用所述管状结构的所述结构特征来将所述序列的传感器位置与相应序列的图像位置匹配(42)以获得匹配信息，所述图像位置指示由图像表示的相应管状结构内部的位置。
15.一种计算机程序产品，包括用于令处理器系统执行根据权利要求14所述的方法的步骤的指令。
CN201080015398.6A 2009-04-03 2010-03-29 用于将传感器位置与图像位置相关联的系统和方法 Expired - Fee Related CN102378594B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09157290 2009-04-03
EP09157290.9 2009-04-03
PCT/IB2010/051347 WO2010113097A1 (en) 2009-04-03 2010-03-29 Associating a sensor position with an image position

Publications (2)

Publication Number Publication Date
CN102378594A true CN102378594A (zh) 2012-03-14
CN102378594B CN102378594B (zh) 2015-09-02

Family

ID=42136102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080015398.6A Expired - Fee Related CN102378594B (zh) 2009-04-03 2010-03-29 用于将传感器位置与图像位置相关联的系统和方法

Country Status (4)

Country Link
US (1) US20120027260A1 (zh)
EP (1) EP2413777B1 (zh)
CN (1) CN102378594B (zh)
WO (1) WO2010113097A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108095761A (zh) * 2012-03-07 2018-06-01 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
CN112195721A (zh) * 2019-07-08 2021-01-08 卡特彼勒路面机械公司 用于摊铺操作的自动宽度输入
US11439358B2 (en) 2019-04-09 2022-09-13 Ziteo, Inc. Methods and systems for high performance and versatile molecular imaging
US11464503B2 (en) 2014-11-14 2022-10-11 Ziteo, Inc. Methods and systems for localization of targets inside a body

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5918548B2 (ja) * 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP6017743B1 (ja) * 2014-12-15 2016-11-02 オリンパス株式会社 医療機器システム、医療機器システムの作動方法
JP5896063B2 (ja) * 2015-03-20 2016-03-30 株式会社Ａｚｅ 医用診断支援装置、方法およびプログラム
JP6384925B2 (ja) * 2016-02-05 2018-09-05 株式会社Ａｚｅ 医用診断支援装置、方法およびプログラム
JP7023195B2 (ja) * 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7023196B2 (ja) * 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
WO2021176665A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 手術支援システム、手術支援方法、及び、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612708A (zh) * 2002-07-31 2005-05-04 奥林巴斯株式会社 内窥镜装置
US20050182319A1 (en) * 2004-02-17 2005-08-18 Glossop Neil D. Method and apparatus for registration, verification, and referencing of internal organs
WO2007025081A2 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US20070078334A1 (en) * 2005-10-04 2007-04-05 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
CN101375805A (zh) * 2007-12-29 2009-03-04 清华大学深圳研究生院 一种计算机辅助引导电子内窥镜操作的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1058913B1 (en) * 1999-01-04 2005-08-31 Koninklijke Philips Electronics N.V. Method, system and apparatus for processing an image representing a tubular structure and for constructing a path through said structure
EP1402478A4 (en) * 2000-10-02 2006-11-02 Univ New York State Res Found IMPROVED VIRTUAL NAVIGATION AND INVESTIGATION
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
EP2358259A4 (en) * 2008-11-21 2014-08-06 Mayo Foundation DARMSMIRROR TRACKING AND EVALUATION SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612708A (zh) * 2002-07-31 2005-05-04 奥林巴斯株式会社 内窥镜装置
US20050182319A1 (en) * 2004-02-17 2005-08-18 Glossop Neil D. Method and apparatus for registration, verification, and referencing of internal organs
WO2007025081A2 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US20070078334A1 (en) * 2005-10-04 2007-04-05 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
CN101375805A (zh) * 2007-12-29 2009-03-04 清华大学深圳研究生院 一种计算机辅助引导电子内窥镜操作的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A H DE VRIES ET AL.: "Feasibility of automated matching of supine and prone CT-colonography examinations", 《THE BRITISH JOURNAL OF RADIOLOGY》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108095761A (zh) * 2012-03-07 2018-06-01 齐特奥股份有限公司 空间对准设备、空间对准系统及用于指导医疗过程的方法
US11678804B2 (en) 2012-03-07 2023-06-20 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US11464503B2 (en) 2014-11-14 2022-10-11 Ziteo, Inc. Methods and systems for localization of targets inside a body
US11439358B2 (en) 2019-04-09 2022-09-13 Ziteo, Inc. Methods and systems for high performance and versatile molecular imaging
US11883214B2 (en) 2019-04-09 2024-01-30 Ziteo, Inc. Methods and systems for high performance and versatile molecular imaging
CN112195721A (zh) * 2019-07-08 2021-01-08 卡特彼勒路面机械公司 用于摊铺操作的自动宽度输入
CN112195721B (zh) * 2019-07-08 2023-10-10 卡特彼勒路面机械公司 用于摊铺操作的自动宽度输入

Also Published As

Publication number Publication date
WO2010113097A1 (en) 2010-10-07
EP2413777B1 (en) 2014-12-31
EP2413777A1 (en) 2012-02-08
CN102378594B (zh) 2015-09-02
US20120027260A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
CN102378594B (zh) 用于将传感器位置与图像位置相关联的系统和方法
US10687777B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
CN109073725B (zh) 用于规划和执行重复介入流程的系统和方法
US8781167B2 (en) Apparatus and method for determining a location in a target image
US20170084036A1 (en) Registration of video camera with medical imaging
EP2637593B1 (en) Visualization of anatomical data by augmented reality
JP5543444B2 (ja) 生検実施のための方法及びシステム
JP5394930B2 (ja) Ｘ線の経脈管的に収集されたデータとの結合
US20070066880A1 (en) Image-based probe guidance system
CN101143099B (zh) 医用图像诊断装置
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
CN101621965B (zh) 无相态心脏路线图绘制
US20220254017A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
CN101023886A (zh) 用于图像显示至少部分插入检查对象内的医疗器械的方法
CN103402453A (zh) 用于导航系统的自动初始化和配准的系统和方法
Figueiredo et al. Hybrid multiscale affine and elastic image registration approach towards wireless capsule endoscope localization
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
US20070092124A1 (en) System for and method of displaying subtraction image and computer program for the system
Allain et al. Re-localisation of a biopsy site in endoscopic images and characterisation of its uncertainty
Liu et al. Computer vision-guided bronchoscopic navigation using dual CNN-generated depth images and ICP registration
Armin Automated visibility map from colonoscopy video to support clinical diagnosis and improve the quality of colonoscopy
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN116916807A (zh) 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150902

Termination date: 20200329