CN104936505B - 使用预先采集的图像进行的导航 - Google Patents

使用预先采集的图像进行的导航 Download PDF

Info

Publication number
CN104936505B
CN104936505B CN201480005852.8A CN201480005852A CN104936505B CN 104936505 B CN104936505 B CN 104936505B CN 201480005852 A CN201480005852 A CN 201480005852A CN 104936505 B CN104936505 B CN 104936505B
Authority
CN
China
Prior art keywords
target area
outer peripheral
peripheral areas
image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480005852.8A
Other languages
English (en)
Other versions
CN104936505A (zh
Inventor
S·芬克曼
T·波特努瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gyrus ACMI Inc
Original Assignee
Gyrus ACMI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gyrus ACMI Inc filed Critical Gyrus ACMI Inc
Publication of CN104936505A publication Critical patent/CN104936505A/zh
Application granted granted Critical
Publication of CN104936505B publication Critical patent/CN104936505B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

一种成像方法，所述成像方法包括：使用第一内窥镜(24)捕获被查表面的初始图像；并且在所述初始图像内划定出由初始图像外围区域(106)包围的感兴趣的目标区域(102)，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置。所述成像方法包括：使用第二内窥镜捕获被查表面的后续图像(110A、110B、110C)；并且通过与所述初始图像外围区域的特征比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域(116)。所述成像方法进一步包括：响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置。

Description

使用预先采集的图像进行的导航
技术领域
本发明大体上涉及成像，并且具体地涉及建立在可重复使用基础上的内窥镜成像系统。
背景技术
在许多情况下，内窥镜用于对给定的实体(通常为体腔)进行多次成像，诸如用于跟踪医疗过程的效果。能够改善对多个图像进行比较的能力的系统将是有益的。
发明内容
本发明的实施方式提供了一种成像方法，所述成像方法包括：
使用第一内窥镜捕获被查表面的初始图像；
在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置；
使用第二内窥镜捕获所述被查表面的后续图像；
通过与所述初始图像外围区域的特征进行比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域；以及
响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置。
典型地，所述成像方法包括表征所述初始图像外围区域，以生成所述初始图像外围区域的特征。
在公开的一个实施方式中，所述第一和第二内窥镜是公共的内窥镜。
在进一步公开的实施方式中，所述方法包括生成由所述初始图像外围区域包围的所述感兴趣的目标区域的目标特征，并且计算所述感兴趣的目标区域在所述后续图像中的位置包括验证所述目标特征与由所述后续图像外围区域包围的后续图像目标区域的特征的共性。在一个实施方式中，所述方法进一步包括：在捕获所述初始图像之后并且在未在所述感兴趣的目标区域上执行医疗过程的情况下，确定所述后续图像目标区域的特征。
在可替代的实施方式中，所述方法包括生成由所述初始图像外围区域包围的所述感兴趣的目标区域的目标特征，并且计算所述感兴趣的目标区域在所述后续图像中的位置包括验证所述目标特征和由所述后续图像外围区域包围的后续图像目标区域的特征之间的差异。典型地，所述方法还包括：在捕获所述初始图像和在所述感兴趣的目标区域上执行医疗过程之后，确定所述后续图像目标区域的特征。
进一步提供了一种根据本发明的实施方式的成像设备，所述成像设备包括：
第一内窥镜，其被配置成使用第一内窥镜捕获被查表面的初始图像；
第二内窥镜，其被配置成捕获所述被查表面的后续图像；以及
处理器，所述处理器被配置成：
在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置，
通过与所述初始图像外围区域的特征比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域，以及
响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置。
进一步提供了一种根据本发明的实施方式的成像方法，所述成像方法包括：
指向第一图像中的感兴趣的目标区域；
存储包围所述感兴趣的目标区域的外围区域的图像数据；
通过与被存储的所述外围区域的图像数据的特征比较，在第二图像中识别对应于所述第一图像的所述外围区域的区域；以及
响应于所述第二图像中的被识别的区域，在所述第二图像中标记所述感兴趣的目标区域的位置。
进一步提供了一种根据本发明的实施方式的内窥镜的导航方法，所述内窥镜的导航方法包括：
使用第一内窥镜捕获被查表面的第一图像；
指向所述第一图像中的感兴趣的目标区域；
存储包围所述目标区域的外围区域的图像数据；
使用第二内窥镜捕获所述被查表面的第二图像；
通过与被存储的所述外围区域的图像数据的特征比较，在所述第二图像中识别对应于所述外围区域的区域；
响应于所述第二图像中的被识别的区域，在所述第二图像中标记所述感兴趣的目标区域的位置的指示；以及
朝向所述指示来导航所述第二内窥镜。
根据本发明的实施方式的以下详细描述，与附图一起，将更全面地理解本发明，其中：
附图说明
图1是根据本发明的实施方式的内窥镜导航系统的示意图；
图2是根据本发明的实施方式使用所述系统而执行的过程的流程图；
图3是根据本发明的实施方式由所述系统捕获的初始图像的示意图；
图4A是根据本发明的实施方式的标记有感兴趣的目标区域的初始图像的示意图，而图4B是图4A的一个放大部分；
图5A、图5B和图5C是根据本发明的实施方式由所述系统捕获的不同的后续图像的示意图；
图6是根据本发明的实施方式的施加到一个后续图像的标记的示意图；
图7是根据本发明的替代的实施方式的内窥镜导航系统的示意图；
图8是根据本发明的实施方式的由所述系统捕获的替代的初始图像的示意图；以及
图9是根据本发明的实施方式的由所述系统捕获的替代的后续图像的示意图。
具体实施方式
概述
本发明的实施方式提供了一种用于在表面的多个图像内定位公共区域的方法，所述表面图像于不同时间被捕获。该方法可以应用于体腔(诸如患者的腹部或膀胱)的内表面的内镜检查。典型地，该方法用于朝向体腔表面的公共区域(在初始检查中，然后在后续检查中)对内窥镜进行导航。
将第一内窥镜插入体腔中，并且捕获表面的初始图像。典型地，通过光标(cursor)来标记目标区域的外部边界，从而在初始图像内划定出感兴趣的目标区域。初始图像外围区域包围感兴趣的目标区域且包含在被捕获的初始图像内。这两个区域是几何相关的，从而可以认为感兴趣的目标区域具有由初始图像外围区域限定的位置。
将第二内窥镜插入体腔中，并且用来捕获表面的后续图像。比较两个图像的特征，并且使用所述特征来识别与初始图像外围区域对应的后续图像的外围区域。使用被识别的后续图像的外围区域来计算感兴趣的目标区域在后续图像中的位置。
在计算位置处可以将标记放置在后续图像中，所述标记有助于导航到感兴趣的目标区域以及识别感兴趣的目标区域。
在一些实施方式中，第一和第二内窥镜是同一内窥镜。
详细描述
现在参照图1，图1是根据本发明的实施方式的内窥镜导航系统10的示意图。系统10可以用于人类患者的体腔12的侵入式医疗过程(典型地为微创手术)，以便对体腔中的实体进行成像。举例来说，在本说明书中，除另有说明外，假定体腔为患者的膀胱，并且在本文中还称体腔12为膀胱12。然而，应当理解的是，系统10基本上可以用于任何的人类的体腔(诸如胃肠器官、支气管、胸)或者非人类的内腔。
系统10由内窥镜模块14控制，内窥镜模块14包括与存储器18通信连接的处理器16。内窥镜模块14还包括图像分析模块20，图像分析模块20的功能在下面描述，并且图像分析模块20可以由软件、硬件或软件和硬件的组合实施。内窥镜模块14通常还包括其他模块(诸如内腔照明模块)，处理器在操作内窥镜时可以使用这些其他模块；为简单起见，这些模块没有在图中示出。
处理器使用通常存储在存储器18中的软件来控制系统10。由处理器16执行的动作的结果可以在屏幕22上呈现给系统10的操作者(常常为医疗医师)。屏幕通常向操作者显示正处于操作过程中的体腔12的图像，和/或图形用户界面。例如，用于操作系统10的软件可以从网络上以电子形式下载到处理器16中，或者可选地或另外地，软件可以设置和/或存储在非暂时性有形介质(诸如磁、光或电子存储器)上。
为了执行过程，可以将内窥镜24穿过尿道管26而通向膀胱12。内窥镜模块14提供了用于内窥镜的照明，并且在屏幕22上显示由内窥镜采集的图像。操作者通常使用内窥镜来查看膀胱12的内部。交互模块控制器28被联接到模块14，并且使系统10的操作者能够控制模块的功能。模块控制器28可以包括本领域已知的任何可行的系统，诸如定点装置、触摸屏和/或键盘。在本实施例中，如图所示，假定控制器28包括鼠标。
使用内窥镜控制器30来操作内窥镜24，在本实施例中假定内窥镜控制器30定位于内窥镜的手柄32中。控制器30的示例性功能在下面描述。
由系统10执行的典型过程包括：操作者使用内窥镜对体腔12的壁40进行初始检查。在检查期间，如下面更详细地解释，可以在体腔的区域44内识别出可疑实体42。
现在参照图2、图3、图4A、图4B、图5A、图5B、图5C和图6。
图2是根据本发明的实施方式的使用系统10执行的过程的流程图；图3是根据本发明的实施方式的由所述系统捕获的膀胱12的初始图像的示意图；图4A是根据本发明的实施方式的标记有感兴趣的目标区域的初始图像的示意图，而图4B是图4A的一个放大部分；图5A、图5B和图5C是根据本发明的实施方式的由所述系统捕获的膀胱的不同的后续图像的示意图；并且图6是根据本发明的实施方式的施加到一个后续图像的标记的示意图。
由处理器16使用图像分析模块20来实施如流程图所示的过程。除另有说明外，假定使用内窥镜24来执行过程。
在过程的初始步骤150中，系统10的操作者将内窥镜24插入膀胱12中。操作内窥镜指向并捕获被查区域(诸如区域44)的初始图像，并且在屏幕22上向操作者显示被捕获的图像。使用被显示的图像，系统操作者操作内窥镜24，从而使被捕获的图像为被查区域的初始图像100(在图3中示意性地示出)。
在标记步骤152中，如图4A和图4B示意性地所示，系统操作者在图像100内划定出感兴趣的初始目标区域102。操作者通常使用控制器28在图像100内移动光标104来执行划定，直到光标包围目标区域为止(光标充当目标区域的外边界)。在划定之后，处理器16记录感兴趣的初始目标区域在步骤150中所捕获的图像内的位置。在此示出的实施例中，感兴趣的初始目标区域102被诸如三个感兴趣的生物要素103所包围。虽然光标104在图4A和图4B中被描绘为圆形，但光标可以为任何可行的形状。
在第一表征步骤154中，处理器16在光标104的边界内表征出初始目标区域。处理器还表征出包围初始目标区域102的初始外围区域106，并且然后处理器存储这两个区域的特征。初始外围区域以光标104为其内边界，并且通常具有外边界108，外边界108可以包括在图像100内的任何可行的边界轮廓。在一个实施方式中，假定外边界108为以目标区域102的中心为圆心的圆，外边界108的面积为目标区域102的面积的预先设定的多倍，诸如十倍。然而，系统10的操作者可以将外边界108限定为在图像100的界限内的任何可行的边界轮廓。一旦处理器16已经设定了初始外围区域的边界，处理器就记录外围区域在步骤150中所捕获的图像内的位置。被记录的位置通常为外围区域的中心。
应当理解的是，初始目标和外围区域是几何相关的，如它们的位置。因此，可以认为初始目标区域位置相对于外围区域被限定，并且可以认为外围区域位置相对于初始目标区域被限定。
在目标区域和外围区域两者的情况下，表征具有这样的类型：能够使处理器使用在表征中被识别出的图像的要素，用于将未来图像的部分匹配到目标区域或外围区域。典型地，通过表征被识别出的要素包括区域中的显著生物要素，诸如毛细血管、较大的血管、上皮坑(epithelium pit)、疑似肿瘤以及被成像的粘膜表面的区域。被识别出的要素通常被列举。另外，被识别出的要素通常被表征为要素的颜色，以及诸如大小和形状的几何因素。在一些实施方式中，可以诸如通过荧光成像在表征前对要被表征的区域进行视觉性增强。能从日本东京的奥林巴斯医疗系统公司(Olympus Medical Systems Corp,Tokyo,Japan)得到的窄带(Narrow Band)成像技术可以提供合适的视觉增强技术。
因此，在如图3、图4A和图4B示出的实施例中，处理器16使用模块20通常对目标区域102的一个或更多个要素进行计数并按照大小、形状和/或颜色进行形态地限定。对于外围区域106，除了对要素103进行列举并按照大小、形状和/或颜色进行形态地限定，在本实施例中，处理器还可以对作为表征外围区域的要素的两个血管105和107(图4B)进行计数并限定。处理器16通常还对目标区域102和外围区域106的其它要素进行计数并进行形态地限定。对于形状的限定通常包括：量化被计数的要素的凹面、凸面、拐点和/或其它形状限定特征。
在可选的过程执行步骤156中，操作者在目标区域102上执行医疗过程。该过程可以包括改变如在步骤154中被测量的目标区域的特征的任何过程。所述过程通常为活检，但是在步骤156中也可以执行改变目标区域特征的任何其它过程(诸如将药物或化学试剂施加到目标区域)。另外，在步骤156中，操作者使用控制器28来通知处理器16，已经在目标区域102上执行了医疗过程。在下面描述的步骤170中，处理器使用该信息。
在后续成像步骤158中，捕获被查区域的第二图像。如下面更详细地描述的，可以将第二图像分为若干类别。第二图像的不同类别被统称为第二图像110，并且在图5A、图5B和图5C中示出了示例性的不同图像类别。如图5A、图5B和图5C所示，通过将字母添加至附图标记110(如第二图像110A、110B和110C)使不同的第二图像110区分开。
可以使用内窥镜24捕获第二图像；另选地，可以使用另一内窥镜捕获第二图像。用于捕获第二图像的内窥镜可以被插入膀胱12中。虽然捕获第二图像110在捕获被查区域的初始图像100之后进行，但是基本上不用限制在捕获这两个图像之间的时间段长短。例如，在对被查区域的跟进检查中，可以在初始图像之后的三个月采集第二图像110。然而，本发明的实施方式包括可以小于或大于三个月的时间段。
根据是否已经执行步骤156，以及根据在采集初始图像和第二图像之间的时间段期间感兴趣的目标区域是否已经发生了改变，感兴趣的目标区域的特征可能发生或可能没有发生改变。图像110A(图5A)示出了两个图像之间基本没有发生改变的情况。图像110B(图5B)示出了这样的情况：即使还未执行步骤156，即，还没有对被查区域执行中间过程，两个图像之间也已经改变。图像110C(图5C)示出了这样的情况：当在采集初始图像之后已经执行步骤156时，即已经执行了中间过程，两个图像之间已经发生了改变。
在第二表征步骤160中，处理器16对图像110进行表征。表征大体上如同第一表征步骤154，并且提供图像内的识别要素，类似于如上文描述的第一表征步骤中的识别要素。通过使用识别要素，处理器划定出后续外围区域116的外边界112和内边界114，后续外围区域116包括要素，所述要素对应于初始外围区域(在第一表征步骤154中确定)的要素。在外边界112和内边界114的划定中，处理器仅涉及并尝试匹配初始外围区域的识别要素的特征。换言之，在后续外围区域116的限定中，处理器并不考虑初始目标区域的识别要素。
针对后续外围区域116，图5A、图5B和图5C示出了用于三个图像110A、110B和110C中的每个的示例性的外边界112和示例性的内边界114。
在比较162中，处理器对初始外围区域106(在步骤154中获得)的要素与后续外围区域116的要素具有充分良好的匹配进行检查。典型地，在初始外围区域的要素和后续外围区域的要素之间，随着时间的推移，存在一些改变。为了容许这些改变，在判断一给定的要素(诸如血管)在两个外围区域中是否匹配时，处理器可以在判断该给定要素的参数是否对应时应用第一预先设定的变异系数(通常为90％)。另外，处理器在判断两个区域中的要素数量是否匹配时可以使用第二预先设定的系数(通常为90％的数量级)。
如果比较162是无效的，在返回步骤164中，处理器16通常可在屏幕22上向操作者显示警示，即，系统已经无法匹配初始和后续外围区域，并且流程返回至步骤158。在警示中，可以提示操作者对内窥镜重新定位，以在步骤158中捕获新的后续图像。
如果比较162是有效的，在建立对应步骤166中，处理器记录后续外围区域在由步骤158所捕获的图像内的位置。然后处理器将后续外围区域的位置与初始外围区域的位置建立对应，在步骤154中已经对初始外围区域在捕获图像中的位置进行了记录。然后流程可直接进入如下面描述的最后步骤168。在一些实施方式中，流程可选地首先进入比较170(在流程图中借助虚线表示为可选的)。
在可选的比较170中，处理器将初始目标区域102的要素与后续目标区域118的要素(即，内边界114内的要素)进行比较。处理器通过以下方式执行比较：通过对在步骤154做出的在初始目标区域上的度量(计数和形态限定)进行量化，以及对后续目标区域的相似的度量进行量化。然后处理器计算两个量的比值(fraction)。如果在初始目标区域和后续目标区域之间有很少或者没有改变，则比值接近1。反之，如果存在相对较大的改变，则比值接近零。比值的预期值尤其取决于是否已经执行了步骤156，如下述。(如果已经执行了步骤156，则如上文描述的，通知处理器。)
如果执行了步骤156(通常包括进行区域102的活检(图4A和图4B))，处理器对此进行记录并且把比值的预期值设定得较低。在评估比较170时，针对已经执行了步骤156的情况，本发明的实施方式把比值的预期值设定为通常10％的数量级或甚至更低。如果对于两个区域的测得的比值小于或等于预期比值，则假定比较是有效的，因为低的匹配比值证实了后续目标区域118在形态上不同于初始目标区域102。在采集初始目标区域图像和后续目标区域图像的时间之间，如果已经在目标区域的位置上执行活检或其它过程，则可以预期得到这样的不同形态以及与比较两个目标区域相对应的低比值。如果比较170是有效的，则流程在最后步骤168继续。
如果比较170是无效的，则流程继续至比较172，在比较172中，处理器检验是否已经执行了步骤156。如果已经执行了步骤156，流程经由返回步骤164(上文所述)返回至步骤158。
图像110C(图5C)示出了已经执行了步骤156的情况。如图所示，目标区域102的要素不存在，并在此位置中存在疤痕组织109。应当理解的是，如果在评估第二比较时仅考虑目标区域102和疤痕组织109的要素，则测得的比值等于零，并且对应于上文描述的实施方式，因为比值小于10％，所以比较是有效的。
在比较170中，如果还未执行步骤156，则在初始目标区域和后续目标区域中通常存在共性的特征，并且比较两个区域的预期比值值通常较高。在一个实施方式中，处理器将用在比较170(当还未执行步骤156时)中的预期比值设定为约50％，并且如果测得的比值大于预期比值，则假定比较是有效的。
图像110A(图5A)示出了这样的情况，后续目标区域118的要素与初始目标区域102的要素基本相同。这样的情况通常发生于在获取两个图像之间的时间在感兴趣的目标区域中没有形态上的改变。在这种情况下，比较两个区域的测得的比值约为1，测得的比值大于50％，使得比较170是有效的，并且流程继续至最后步骤168。
图像110B(图5B)示出了这样的情况，与初始目标区域102的要素相比后续目标区域118的要素120已经改变。如图所示的实施例中，在获取两个图像之间的时间在感兴趣的目标区域中存在形态上的改变。在这种情况下，假定比较两个区域的测得的比值小于50％，因此比较170是无效的，并且流程继续至比较172。
在这种情况下，比较172是无效的，因为步骤156还没被执行，所以流程在通知步骤174之后继续至最后步骤168。在通知步骤174中，处理器在屏幕22上向操作者显示通知，即，感兴趣的目标区域可能存在改变(诸如形态上的改变)。
在最后步骤168中，处理器使用后续外围区域116识别出在后续图像110中对应于初始目标区域102(由光标104在初始图像内划定)的区域。识别是可行的，因为处理器知晓初始目标和外围区域之间的关系，并且因为已经将初始外围和后续外围区域的位置建立对应(在步骤166中)。处理器在后续图像110中以标记122标记对应区域，该标记向操作者指示初始目标区域在后续图像中的位置。图6示出了应用于图像110C的标记122。(虽然标记122已经绘制为方形，但它可以为任何可行的形状。)典型地，系统10操作者可以使用标记122来确认初始目标区域102的位置，和/或更接近地向目标区域导航。
图7是根据本发明的替代的实施方式的内窥镜导航系统10的示意图。在以下描述中，假定通过系统检查的体腔为患者的腹部，并且下文中腹部被称为腹部12。同时还参照图8和图9。图8是根据本发明的实施方式的由系统10捕获的腹部12的初始图像的示意图，并且图9是由系统捕获的腹部的后续图像的示意图。
除了下面描述的差异，系统10在检查腹部12时的操作总体上类似于上文描述的系统在检查膀胱时的操作，并且在两者描述中由相同附图标记指示的要素在结构和操作上总体上类似。为了清楚起见，在以下腹部的检查的描述中，通过具有附加至附图标记的撇号'使一些类似的要素区分开。
图2的流程图应用于系统10在检查腹部12时的操作。
参照流程图的步骤150、152和154，并且参照图7，经由套管针200将内窥镜24插入腹部12中，套管针200用于穿刺腹部的壁40'。内窥镜由手柄32操控，以检查壁的区域44'的可疑实体42'。
图8示出了由内窥镜捕获的腹部12的示意性的初始图像210。如参考图4A和步骤154的上文解释的，使用控制器28来移动光标104'以包围初始目标区域102'。处理器16设定外边界108'，并且使用光标104'和外边界108'作为初始外围区域106'的边界。同样如上文解释的，处理器表征了初始目标区域和外围区域。
在本实施例中，假定初始目标区域102'包括三个感兴趣的生物要素220，并且如上文解释的，在步骤154中，处理器16在对初始目标区域102'的表征时使用该数量。
在腹部12的检查中，没有在初始目标区域102'上执行活检或其它过程，使得没有实施流程图的步骤156，并且流程继续至步骤158、160和162。图9图示了在步骤158中被捕获的后续图像230。如上文关于步骤160和162解释的，处理器划定出后续外围区域116'的外边界112'和内边界114'，并且比较初始和后续外围区域。假定比较是有效的，使得流程继续至步骤166。
假定系统10进行可选的比较170，使得流程图从步骤166继续至比较170，其中比较了内边界114'内的初始目标区域102'和后续目标区域118'。在比较170中，因为步骤156还没有被执行，将用于比较中的预期比值值设定得较高，并且在本实施例中假定为50％。
如图9所示，三个要素220已经合并为一个要素240，并且在比较170中，比较初始目标区域和后续目标区域的形态的测得的比值值小于预期比值。然后流程进入至比较172，并且因为步骤156还没有被执行，流程进入至通知步骤174和最后步骤168。在步骤174中，处理器可以在屏幕22上显示通知，即在感兴趣的目标区域中可能存在形态改变。在步骤168中，处理器使用外围区域116'的位置(在步骤166中确定)来定位后续图像230中的标记122'，以向操作者指示初始目标区域在后续图像中的位置。
应当理解，上述实施例是通过举例的方式来说明的，但本发明并不局限于这里描述和示出的实施例。相反，本发明的范围包括上述各种特征的组合和子组合，以及本领域技术人员在阅读了前面的描述后能想到的并且在现有技术中未公开的变型和修改。

Claims (6)

1.一种成像方法，所述成像方法包括：
使用第一内窥镜捕获被查表面的初始图像；
在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置；
对所述初始图像中的所述目标区域进行第一表征，由此产生初始目标区域度量；
使用第二内窥镜捕获所述被查表面的后续图像；
通过与所述初始图像外围区域的特征进行比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域；
响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置；
对所述后续图像中的所述目标区域进行第二表征，由此产生后续目标区域度量；
通过计算所述初始目标区域度量与所述后续目标区域度量的比值，对所述初始目标区域度量和所述后续目标区域度量进行比较；以及
当所述比值小于预设的预期值时，确定在捕获所述初始图像和捕获所述后续图像之间执行了医疗过程。
2.根据权利要求1所述的方法，其中，所述第一内窥镜和所述第二内窥镜包括公共的内窥镜。
3.根据权利要求1所述的方法，所述方法包括生成由所述初始图像外围区域包围的所述感兴趣的目标区域的目标特征，并且其中，计算所述感兴趣的目标区域在所述后续图像中的位置包括验证所述目标特征与由所述后续图像外围区域包围的后续图像目标区域的特征的共性。
4.一种成像设备，所述成像设备包括：
第一内窥镜，其被配置成使用第一内窥镜捕获被查表面的初始图像；
第二内窥镜，其被配置成捕获所述被查表面的后续图像；以及
处理器，所述处理器被配置成：
在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置，
对所述初始图像中的所述目标区域进行第一表征，由此产生初始目标区域度量，
通过与所述初始图像外围区域的特征比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域，
响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置，
对所述后续图像中的所述目标区域进行第二表征，由此产生后续目标区域度量，
通过计算所述初始目标区域度量与所述后续目标区域度量的比值，对所述初始目标区域度量和所述后续目标区域度量进行比较，以及
当所述比值小于预设的预期值时，确定在捕获所述初始图像和捕获所述后续图像之间执行了医疗过程。
5.根据权利要求4所述的设备，其中，所述第一内窥镜和所述第二内窥镜包括公共的内窥镜。
6.根据权利要求4所述的设备，其中，所述处理器被配置成生成由所述初始图像外围区域包围的所述感兴趣的目标区域的目标特征，并且其中，计算所述感兴趣的目标区域在所述后续图像中的位置包括验证所述目标特征与由所述后续图像外围区域包围的后续图像目标区域的特征的共性。
CN201480005852.8A 2013-01-29 2014-01-22 使用预先采集的图像进行的导航 Expired - Fee Related CN104936505B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/752,407 US9386908B2 (en) 2013-01-29 2013-01-29 Navigation using a pre-acquired image
US13/752,407 2013-01-29
PCT/US2014/012414 WO2014120520A1 (en) 2013-01-29 2014-01-22 Navigation using a pre-acquired image

Publications (2)

Publication Number Publication Date
CN104936505A CN104936505A (zh) 2015-09-23
CN104936505B true CN104936505B (zh) 2017-03-08

Family

ID=50071775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005852.8A Expired - Fee Related CN104936505B (zh) 2013-01-29 2014-01-22 使用预先采集的图像进行的导航

Country Status (5)

Country Link
US (1) US9386908B2 (zh)
EP (1) EP2950699A1 (zh)
JP (1) JP6215963B2 (zh)
CN (1) CN104936505B (zh)
WO (1) WO2014120520A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108135453B (zh) * 2015-09-28 2021-03-23 奥林巴斯株式会社 内窥镜系统和图像处理方法
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
CN111067468B (zh) * 2019-12-30 2023-03-24 北京双翼麒电子有限公司 用于控制内窥镜系统的方法、设备及存储介质
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053517A (zh) * 2007-05-18 2007-10-17 深圳先进技术研究院 一种跟踪体内微型装置的方法及系统
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550582A (en) 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
JP2003334163A (ja) 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP4190917B2 (ja) * 2002-03-28 2008-12-03 富士フイルム株式会社 内視鏡装置
US7179221B2 (en) 2002-03-28 2007-02-20 Fuji Photo Film Co., Ltd. Endoscope utilizing fiduciary alignment to process image data
US7356172B2 (en) * 2002-09-26 2008-04-08 Siemens Medical Solutions Usa, Inc. Methods and systems for motion tracking
JP4334234B2 (ja) 2003-01-06 2009-09-30 富士通株式会社 類似画像の判定方法および類似画像判定機能を備えた画像処理装置
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
US7319781B2 (en) * 2003-10-06 2008-01-15 Carestream Health, Inc. Method and system for multiple passes diagnostic alignment for in vivo images
EP1715788B1 (en) 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
WO2005120570A2 (en) * 2004-06-03 2005-12-22 The University Of Maryland, Baltimore Therapeutic targeting of parc/ccl18 and its signaling in pulmonary fibrosis
US7657101B2 (en) * 2005-01-19 2010-02-02 Dermaspect, Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
WO2006095027A1 (en) * 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
WO2007033379A2 (en) 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
IL181470A (en) 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
JP4891637B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
EP2225679A1 (en) * 2007-12-18 2010-09-08 Koninklijke Philips Electronics N.V. Consistency metric based image registration
US8830224B2 (en) * 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
WO2010140441A1 (ja) 2009-06-01 2010-12-09 オリンパスメディカルシステムズ株式会社 医療機器システムおよび医療器具のキャリブレーション方法
JP5395725B2 (ja) 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5675187B2 (ja) 2010-06-30 2015-02-25 オリンパス株式会社 蛍光観察装置
US8885898B2 (en) * 2010-10-07 2014-11-11 Siemens Medical Solutions Usa, Inc. Matching of regions of interest across multiple views
US20120130171A1 (en) * 2010-11-18 2012-05-24 C2Cure Inc. Endoscope guidance based on image matching
US9069996B2 (en) * 2011-09-16 2015-06-30 The Invention Science Fund I, Llc Registering regions of interest of a body part to a coordinate system
JP5878924B2 (ja) * 2011-11-17 2016-03-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、撮像装置および画像処理方法
US9107570B2 (en) * 2012-06-19 2015-08-18 Covidien Lp System and method for mapping anatomical structures and marking them on a substrate
US9076062B2 (en) * 2012-09-17 2015-07-07 Gravity Jack, Inc. Feature searching along a path of increasing similarity
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN101053517A (zh) * 2007-05-18 2007-10-17 深圳先进技术研究院 一种跟踪体内微型装置的方法及系统

Also Published As

Publication number Publication date
JP2016509510A (ja) 2016-03-31
CN104936505A (zh) 2015-09-23
US9386908B2 (en) 2016-07-12
WO2014120520A1 (en) 2014-08-07
JP6215963B2 (ja) 2017-10-18
EP2950699A1 (en) 2015-12-09
US20140210971A1 (en) 2014-07-31

Similar Documents

Publication Publication Date Title
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
US10349826B2 (en) Image processing apparatus, image processing method, and storage medium
CN105701331B (zh) 计算机辅助诊断设备和计算机辅助诊断方法
CN102243762B (zh) 图像处理装置以及图像处理方法
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP3928978B1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
EP1994880A1 (en) Image analyzing device
CN104936505B (zh) 使用预先采集的图像进行的导航
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
JP5007420B2 (ja) 画像解析システム、及び画像解析プログラム
US8811676B2 (en) Image processing apparatus, image processing method, and computer readable recording device
JP2009082441A (ja) 医用診断支援システム
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Song et al. A novel endoscope system for position detection and depth estimation of the ureter
CN115444355B (zh) 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质
CN113191413B (zh) 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN112885435B (zh) 图像目标区域的确定方法、装置和系统
WO2013150419A1 (en) Quality-check during medical imaging procedure
WO2008035425A1 (fr) analyse d'image de fond de l'oeil et programme
CN113593678B (zh) 基于血管影像补全的脑卒中分型方法及装置
JP2005269214A (ja) 画像診断支援装置及び画像診断支援方法及び画像診断支援プログラム及び画像診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005261799A (ja) 眼科用画像処理装置
KR102322997B1 (ko) 최대강도투사를 통한 인공지능 노듈 세그먼테이션 방법 및 그 장치
WO2024181549A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置及び穿刺システム
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20220122