CN114271767A - 用于选择体内捕获到的图像以用于显示的系统和方法 - Google Patents

用于选择体内捕获到的图像以用于显示的系统和方法 Download PDF

Info

Publication number
CN114271767A
CN114271767A CN202111331091.3A CN202111331091A CN114271767A CN 114271767 A CN114271767 A CN 114271767A CN 202111331091 A CN202111331091 A CN 202111331091A CN 114271767 A CN114271767 A CN 114271767A
Authority
CN
China
Prior art keywords
image
images
mgs
score
pathology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111331091.3A
Other languages
English (en)
Inventor
多利·皮莱格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Given Imaging Ltd
Original Assignee
Given Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Given Imaging Ltd filed Critical Given Imaging Ltd
Publication of CN114271767A publication Critical patent/CN114271767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

一种由用于从源自体内装置的多个成像器的多个图像群组选择图像的系统执行的方法包含：计算或以其它方式关联每个图像群组中的图像的总计分(GS)，以指示每个图像包含至少一个病理的机率；将每个图像群组划分成图像子组；识别一组最大总计分(MGS)Set(i)，每个图像群组中的每个图像子组有一MGS；以及通过识别每组MGS S(i)中的MGS|max、识别最大MGS|max并选择与所述最大MGS|max相关的所述图像来选择用于处理的图像。所述方法进一步包含修改与所述选定图像相关的所述组MGS Set(i)，并重复上文所描述的步骤直到满足选自由图像数目N和计分阈值组成的群组的预定准则为止。

Description

用于选择体内捕获到的图像以用于显示的系统和方法
本申请是申请日为2017年5月18日，申请号为201780038002.1，发明名称为“用于选择体内捕获到的图像以用于显示的系统和方法”的专利申请的分案申请。
技术领域
本发明涉及一种用于从体内捕获到的一系列图像中选择图像以用于显示的方法和系统。更具体地说，本发明涉及用于根据预先设定的图像的预定义“预算”来选择并显示体内到捕获的多个感兴趣图像的系统和方法。
背景技术
胶囊内窥镜检查(“capsule endoscopy，CE”)按成像程序提供胃肠道的数千个图像，例如100,000到300,000个图像。检阅大量图像是耗时且低效的，且此外，必须检查如此多的图像可能会阻止一些医生甚至尝试进行此类图像检阅。这是因为，当查看电影时，例如可以用于医学诊断的移动图像流时，查看者可能想要仅查看某些帧，或可能希望仅查看简短预览，从而仅总结备受关注的特定帧(例如，根据预先设定的准则)，同时跳过不重要或不太重要的其它图像。举例来说，体内成像器可在程序期间捕获例如150,000个图像，所述图像中的仅一些可包含息肉和/或血点和/或胃肠(“gastrointestinal，GI”))道内的其它病理。举例来说，息肉、溃疡、憩室和出血是可能仅在图像中出现的病灶性病理，且因此，如果‘隐藏’在极大量的图像中，那么它们会被医生遗漏/省略。
向用户，例如医生，突出显示含有最病理上突出的图像的相对较小的一组图像将是有益的，以因此节省了大量的检阅时间和精力。减少图像的数目将也是有益的，但同时确保在较小的图像集中表示胃肠道中或其片段中的所有病理(具有至少一个代表性图像)。
发明内容
在一些实施例中，一种用于从由体内装置捕获的图像选择用于处理的图像的方法可包含针对体腔中所捕获的相连图像群组而执行以下操作(每个图像与指示所述图像包含至少一种类型的病理的机率的总计分GS相关联)：根据预定准则(例如，完整连续图像之间的类似性、连续图像中出现的同一‘对象’等等)而将所述相连图像群组划分成图像子组、从特定图像子组选择其总计分GS在所述图像子组中最大的图像、使与接近选定图像的所述图像相关的所述GS无效、且针对剩余的非无效GS重复所述选择和无效过程，直到选择数目N个图像为止或直到所识别最大GS的值低于计分阈值为止。(可例如通过分析图像之间的类似性来形成或创建图像子组，且可识别所述子组中的最大GS且可选择其图像，或可找到最大GS，且可‘围绕’对与所述最大GS相关的所述图像图像进行分组。)相连图像可以是例如在例如根据其捕获时间按时间顺序定序时在流中紧接于彼此的图像。
在一些实施例中，一种用于选择图像以用于处理的方法可包含：(i)识别所述图像的所述GS当中的最大GS，选择与所述最大GS相关的图像并使与所述选定图像相关的所述最大GS无效；(ii)识别所述选定图像中的对象；(iii)搜索与接近所述选定图像的图像中的所识别对象相同的对象；(iv)以及使与接近所述选定图像的所述图像相关的所述GS无效，并针对所述非无效GS，重复或迭代步骤(i)到(iv)直到选择数目N个图像为止，或直到所识别最大GS的值低于计分阈值为止。
在这些实施例中，所述选定图像中的所述对象可选自由以下各项组成的群组：(1)整个图像，在此状况下可确定(例如，通过处理器)选定图像和接近所述选定图像的图像在这些图像之间存在类似性(类似性)的情况下构成图像子组；以及(2)对象(例如，病理)，在此状况下可确定(例如，通过处理器)所述选定图像和接近所述选定图像的图像在这些图像包含同一或相同成像对象(例如，同一病理，例如用以息肉)的情况下构成图像子组。在这些实施例中，搜索接近所述选定图像的图像中的相同对象的步骤可包含(在所述选定图像之前的图像中)向后跟踪所述对象并(在所述选定图像之后的图像中)向前跟踪所述对象。在一个实施例中，‘向后’(和之前)和‘向后’(和之后)是指图像流的基于例如图像的捕获时间或其它定序而构成所述相连图像群组的部分中的图像的次序。因此，‘向后’可以是例如在时间或捕获时间或图像流中的定序上在当前图像之前查看图像，且向前可相反。
在一些实施例中，一种应用于通过使用一个成像器在体腔中捕获到的相连图像群组的方法，其中每个图像可与指示所述图像包含至少一种类型的病理的机率的总计分(“GS”)、和指示图像之间的距离的距离d相关联，可包含：将所述相连图像群组或其部分划分或分离成图像子组，其中每个图像子组包含基础图像和类似于所述基础图像的图像；识别每个图像子组的最大总计分(“MGS”)并选择图像以用于处理，所述选择可包含：(i)识别针对所述图像子组所识别的所述MGS中的最大MGS(MGS|max)，并选择与所述最大MGS相关或具有所述最大MGS的所述图像；(ii)使与所述选定图像相关或具有所述选定图像的MGS无效；(iii)基于与所述特定MGS相关或具有所述特定MGS的图像与每个选定图像之间的距离d而修改每个MGS；(iv)在所述经修改MGS中识别具有所述最大值(MGS|max)的经修改MGS。实施例可进一步包含选择与所述经修改MGS相关或具有所述经修改MGS的图像；以及重复步骤(ii)到(iv)，直到满足选自由图像数目N和计分阈值组成的群组的预定准则为止。所述N个选定图像或所述N个选定图像的子集可例如显示于用户的显示装置上。每个图像子组中的MGS可以是所述图像子组中的局部极大值总计分。
修改每个特定GS(例如，MGS)可基于与所述特定GS(或MGS)相关或具有所述特定GS的图像与最接近选定图像之间的距离d。识别与所述特定GS(或MGS)相关或具有所述特定GS的所述图像与所述选定图像中的任一个之间的最小距离Dmin并使用所述最小距离Dmin来修改所述特定GS(或MGS)来执行修改所述特定GS(或MGS)。(Dmin越小，所述特定GS或MGS的值减小越大。)可用以下单位计算或测量与GS(或MGS)相关的图像与选定图像之间的距离d：(i)时间或(ii)介入图像的数目、或(iii)介入图像子组的数目、或(iv)拍摄所述图像时所述体内装置在所述体腔中行进的距离、或(v)所述体内装置在所述体腔中相对于所述相连体内图像群组或所述体腔中的标记的距离。每个单位实例可计算或测量为：(i)相对于所述相连图像群组的开始或相对于所述体腔的开始或相对于所述相连图像群组中或所述体腔中的标记计算或测量的绝对值、或(ii)所述相连图像群组或所述体腔的百分比或分率、或(iii)包含所有或大多数所述相连图像群组的视频剪辑的百分比或分率、或(iv)由所述体内装置行进的距离的百分比或分率、或(v)由所述体内装置行进的时间的百分比或分率。
修改GS(例如，MGS)可包含相对于选定图像将修改函数应用于所述GS或MGS。所述修改函数可选自由以下各项组成的群组：对称函数、非对称函数、线性函数、非线性函数、高斯指数、具有绝对距离值的指数、阶梯函数、和其顶点位于选定帧处并随距离线性减小的三角形函数。可根据选自由以下各项组成的群组的参数而选择所述修改函数：病理类型、胃肠道中的位置、和所述体内装置在所述体腔中的速度。
实施例可包含基于所述体腔中的捕获到与GS或MGS相关的所述图像的位置而将修改函数应用于所述MGS。所述体腔金额意识胃肠道，且第一修改函数可应用于与在小肠中捕获到的图像相关的GS或MGS，且第二修改函数可应用于与在结肠中捕获到的图像相关的GS或MGS。
实施例可包含在图像有噪声的情况下将所述图像的总计分置零(例如，设定成零)。如果图像含有气泡和/或胃内容物和/或如果所述图像提供低于组织覆盖性阈值的组织覆盖性和/或所述图像符合暗度准则，那么所述图像可被视为有噪声。
可通过使用数目m个计分值S1、…、Sm来计算图像总计分，所述计分值分别由m个病理检测器输出，所述m个计分值指示所述图像包含m或k(k<m)种类型的病理的机率。病理可选自由以下各项组成的群组：息肉、出血、憩室、溃疡、损伤和红色病理。
在其它实施例中，一种应用于由q个成像器分别在体腔中捕获到的q个相连图像群组的方法，每个群组中的每个图像与指示所述图像包含至少一种类型的病理的机率的总计分(GS)和指示各个群组中的图像之间的距离的距离d相关联，可包含：针对所述q个相连图像群组中的每个图像群组而执行：将所述图像群组或其部分划分或分离成图像子组，每个图像子组包括基础图像和类似于所述基础图像的图像；以及(B)识别一组最大总计分(MGS)Set(i)(i＝1、2、3、…)，该组最大总计分Set(i)包括所述图像群组中的每个图像子组的最大总计分(MGS)；以及通过执行以下操作来选择图像以用于处理：(i)识别每组MGS S(i)中的最大MGS(MGS|max)；(ii)在所有所述MGS|max当中识别所述最大MGS|max，并选择与所述最大MGS|max相关的所述图像；(iii)使与所述选定图像相关的所述最大MGS|max无效；(iv)基于分别与步骤(i)中所述每组MGS S(i)的特定组MGS Set(i)中的所述MGS相关的图像与每个选定图像之间的距离d而修改与所述选定图像相关的所述特定组MGS Set(i)；以及重复步骤(i)到(iv)，直到满足选自由图像数目N和计分阈值组成的群组的预定准则为止。
所述体内装置可包含选自一个和两个成像器的数个成像器，且修改与源自第一成像器的选定图像相关的特定组MGS Set(i)可包含也基于源自所述第二成像器的图像而修改所述特定组Set(i)中的MGS。
一种用于从由体内装置的数目q个成像器捕获的图像选择图像的系统可包含存储单元，其用于存储分别由q个成像器在体腔中捕获到的q个相连图像群组，并用于与相关联的每个群组中的每个图像相关联地存储指示所述图像包含至少一种类型的病理的机率的总计分(GS)、和指示各个群组中的图像之间的距离的距离d、以及数据处理器。所述数据处理器可被配置成针对所述q个相连图像群组中的每个图像群组而：(A)将所述图像群组或其部分划分或分离成图像子组，每个图像子组包括基础图像和类似于所述基础图像的图像；以及(B)识别一组最大总计分(MGS)Set(i)(i＝1、2、3、…)，该组最大总计分Set(i)可包含所述图像群组中的每个图像子组的最大总计分(MGS)。所述数据处理器还可被配置成通过执行以下操作来选择用于处理的图像：(i)识别每组MGS S(i)中的最大MGS(MGS|max)；(ii)在所有所述最大MGS当中识别所述最大MGS|max，并选择与所述最大MGS|max相关的所述图像；(iii)使与所述选定图像相关的所述最大MGS|max无效；和(iv)基于分别与步骤(i)中所述每组MGS S(i)的特定组MGS Set(i)中的所述MGS相关的图像与每个选定图像之间的距离d而修改与所述选定图像相关的所述特定组MGS Set(i)，并重复步骤(i)到(iv)，直到满足选自由图像数目N和计分阈值组成的群组的预定准则为止。
附图说明
可参看图式和以下描述更好地理解根据本发明的系统和方法的原理和操作，且应了解，这些图式是仅出于说明性目的而给出且不意图是限制性的，其中：
图1示出根据本发明实施例的体内成像系统；
图2示意性地说明根据本发明实施例的图像计分方案；
图3示意性地说明根据本发明实施例的图像分组方案；
图4A和4B示出根据本发明实施例的实例计分图形；
图4C和图4D分别示出根据本发明实施例的图4A和图4B的计分图形中的计分的操纵；
图5表明根据本发明的实例实施例的计分修改过程；
图6A示出根据实例实施例的用于选择源自一个成像器的图像的方法；
图6B示出根据另一实例实施例的用于选择源自一个成像器的图像的方法；
图6C表明根据实例实施例的图像之间的距离的计算；
图7示出根据另一实例实施例的用于选择源自两个成像器的图像的方法；
图8示意性地说明根据实例实施例的图像选择方法的实例实施方案；
图9示出根据本发明的另一实例实施例的用于选择源自一个成像器的图像的方法；且
图10表明图9中示出的根据实施例的计分修改过程。
应了解，为了简单和清楚说明，图中所示的元件并非必需按比例绘制。举例来说，为了清晰起见，元件中的一些的尺寸和/或高宽比可相对于其它元件而放大。另外，在认为适当时，图式元件符号可以在各图之间重复以表示相应、对应或类似元件。
具体实施方式
在以下描述中，将描述本发明的各种方面。出于解释的目的，阐述特定配置和细节以便提供对对本发明的透彻理解。然而，所属领域的技术人员将显而易见，可以在没有在本文中呈现的特定细节的情况下实践本发明。此外，可省略或简化众所周知的特征以免混淆本发明。
利用例如“处理”、“计算”、“运算”、“确定”、“确立”、“分析”、“检查”等术语的论述可以指计算机、计算平台、计算系统或其它电子计算装置的操作和/或过程，前述装置操控和/或将表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据变换为类似地表示为计算机的寄存器和/或存储器内的物理量的其它数据或可存储指令以执行操作和/或过程的其它信息非暂时性存储媒体。
除非明确陈述，否则本文中所描述的操作不经受特定次序或顺序。举例来说，一些方法步骤可在相同时间点或同时发生或同时执行，且一些方法步骤可以相反次序发生或执行。
本发明的系统和方法的实施例可以与能够获得体内对象的图像的成像系统或装置结合使用。可使用可并入到体内装置中的任何成像装置或系统，且本发明的实施例不受所使用的成像系统、装置或单元的类型、性质或其它方面限制。本发明的一些实施方案涉及可吞咽体内装置，例如自主可吞咽胶囊。然而，体内装置不需要是可吞咽或自主的，并可以具有其它形状或配置。
体内成像装置可在其横跨胃肠系统时捕获一系列图像，且通常通过一次发射一个图像帧来发射图像。稍后可在接收器处或通过接收器编译图像以产生可显示的视频剪辑或图像流或一系列图像。由体内成像装置发射到接收器的图像可以是彩色图像。在一个实例中，每个图像可包含256行，每行256个像素，其中每个像素可以表示可表示例如像素的颜色和亮度的二进制数据(例如，字节)或者与其相关联。
检测由成像装置成像的组织中的异常可包含测量图像中的一个或多个像素的一个或多个像素参数(例如，颜色参数)。检测到的以用于显示的异常可以是任何异常，例如息肉、损伤、肿瘤、溃疡、血点、血管发育不良、包囊、成迷芽细胞瘤、错构瘤、组织畸形、节结，仅列出一些异常。
本发明的实施例涉及用于选择例如以用于进一步处理和/或用于分析和/或显示一组相对较少数量的N个图像(例如，100个图像)的方法和过程，这在本文中被称作‘图像预算’或限制，使得所选图像群组中的每个图像包含或代表至少一种病理，且将最小化选定图像群组将包含同一病理学的多个图像的机率以免在相似或冗余的图像上浪费图像预算。在本发明的一些实施例中，选定图像可‘按原样’显示给用户(例如，没有进一步处理)。在本发明的一些其它实施例中，可进一步处理选定图像，其中对选定图像的处理或进一步处理可包含分析选定图像，例如以进一步运用更稳定的软件工具调查所述病理，例如以证实或反驳对图像包含病理的初始确定或评估病理的严重性。可在准备病理的三维呈现的过程中使用选定图像结合与选定图像属于相同子组的其它未选定图像。对选定图像的进一步处理可包含以适合于在图像中识别的病理的方式强调图像中的特定区域，例如以强调病理，以使得查看者可以立即看到它，而不必浪费时间在图像中的任何地方搜索它。
用于选择图像的方法和过程的实施例可包含将一个或多个病理检测器(D1、D2、…)应用于图像以便根据所述图像包含一种或多种病理的机率而对它们进行计分的阶段，以及包含使用‘图像预算’来迭代或重复选择用于显示的图像，一次一个图像，或病理相关分数阈值、或图像预算与病理相关计分阈值的组合，或任何其它合适的准则另一阶段。使用病理检测器可以是任选的，这是因为病理计分可以由某一其它系统(例如，由远程计算机)计算，且本发明的系统和方法主题可以从其它系统接收计分作为输入，并基于接收到的计分而执行图像选择方法。每次选择图像以用于例如显示或进一步处理时，修改(“抑制”，值减小)图像计分，其方式增加了也选择也包含临床上重要但属于其它病理或体腔中的其它位置或部位中的信息的其它图像以用于显示的机率。‘抑制计分’在本文中意味着按通过使用计分修改函数计算出的量减小计分的值。
本发明中公开的一些实施例有益于直肠成像，这是因为例如它们向(例如，医生)呈现仅包含临床上最重要的图像的少量图像。另外，本文中所公开的一些实施例使得用户(例如，医生)能够选择用户可能想要检阅的任何数目个重要图像(例如，20个图像或50个图像等)，或将图像选择过程应用于特定类型的病理(例如，息肉)应用于或胃肠道中的特定位置(例如，结肠)，同时将包含特定病理包含特定位置中的所有病理的图像的总数限于‘合理’或‘方便’的数目。也就是说，而非必须无差别地检阅数千个图像，用户可使用本文中所公开的实施例以检阅所想尽可能多的图像，每个图像示出病理，并将图像选择过程引导到任何期望的病理和/或胃肠道的任何期望片段或部分。因此，本文中所公开的实施例可例如根据以下各项而所述与用户(例如，医生)灵活性：(1)将待显示或进一步处理的图像的数目设定成期望值、(2)选择选定图像将示出的一个或多个病理的类型和(3)选择胃肠道中的从其选择以用于显示或用于进一步处理的图像的一个或多个位置。
如本文所使用的术语“对象”可以在一些实施例中指整个图像，例如其可以指整体上特征化图像的图像特性或图像特征。在其它实施例中，术语“可”例如指成像对象(也就是说，其图像在图像中出现的对象)。成像对象可以是但不限于例如息肉、损伤、血点、憩室、溃疡、病理等等。
含于选定图像中的成像对象(例如，息肉)可以相对于图像的大小是小的、中等的或大的，且其可以位于图像中的任何位置且相对于图像具有任何旋转角度。如果含于选定图像中的成像对象(‘原始’对象)也含于(也示出于)接近图像中，那么处理器可以确定(例如，通过使用任何合适的对象特征化算法)在接近接近中的成像对象和选定图像中的原始对象是相同或等同的成像对象，即使含于接近图像中的成像对象的大小和/或位置和/或旋转角度分别不同于原始对象的大小和/或位置和/或旋转角度。也就是说，即使一个图像中的成像对象相对于另一图像中的成像对象被平移或旋转或具有不同大小，也可以认为通过或者由于它们的成像对象而类似。
如本文所使用的术语“图像子组”或简称为“子组”在一些实施例中指由其图像特性类似于与相关选定图像一起构成或形成群组的一系列接近图像，且因此这些图像可通过“类似性”来彼此类似。在其它实施例中，术语“子组”是指由于其包含同一成像对象(或简称为同一‘对象’)而构成或形成群组的一系列接近图像。因此，在选择图像(通过使用本文中所描述的任何图像选择方法)之后，根据一些实施例，通过搜索并找到类似于选定图像(例如，其与选定图像具有类似图像特性)的接近或邻近图像或在其它实施例中，通过搜索并找到与包含于选定图像中的(成像)对象相同的(成像)对象的接近或邻近，可相对于选定图像定义图像子组。
也就是说，如果选定图像含有对象(例如，息肉)，那么在选定图像之前的图像中向后‘跟踪’此对象，且在选定图像之后的图像中向前‘跟踪’此对象。选定图像中找到的相同特定对象(例如，特定息肉)可以在一个或多个先前图像中和/或在一个或多个后续图像中找到，或者其可以仅出现于(含于)选定图像中。(图像子组可仅包含一个图像；例如选定图像。)
图1示出根据本发明的一个实施例的体内成像系统的框图。系统可包含体内成像装置(例如，成像胶囊)40。可使用可吞咽胶囊来实施装置40，但可使用其它种类的装置或合适的实施方案。装置40可包含用于捕获体腔中(例如，胃肠道中)的图像的一个或多个成像器46(例如，两个成像器--装置40的每一侧上各一个)。装置40还可包含用于例如在个体的胃肠道中照明体腔的(一个或多个)照明源42和用于发射由成像器46在体内捕获到的图像(例如，呈数据帧形式)的发射器/接收器41。装置40还可包含光学系统，所述光学系统包含例如透镜以将反射光聚焦到成像器46上。
优选地，接收器12在一个或多个位置中定位于病人身体外部以接收例如装置40发射的图像。接收器12可包含可以可释放方式附接到患者的天线或天线阵列。接收器12可包含存储单元16(例如，计算机存储器或硬盘驱动器)来存储例如接收器12从装置40接收的所有或选定图像。接收器12还可存储与其从装置40接收的图像相关的元数据，例如由装置40发送的时间信息，并指示装置40捕获每个图像的时间和/或在接收器12处接收到每个图像的时间。(如下文所描述，例如结合图6C，此时间信息可由处理器使用以在此实例时间中确定(例如，计算)图像之间的距离为图像总计分的修改(抑制)的前提条件。)优选地，接收器12是小的且便携式的，并可在接收(并记录)图像期间佩戴于病人身体上。
体内装置系统还可包含工作站13，接收器12可将源自装置40的图像传送到所述工作站。工作站13可包含或连接到用于尤其显示源自装置40的图像的图像显示装置18。工作站13可以从接收器12接收图像数据和任选的其它类型的数据，并处理图像数据以便例如在显示装置18上自动显示由装置40捕获的图像(和/或包含一系列图像的视频剪辑)。工作站13可以使用户(例如，医生)能够例如选择用于显示的图像或者增强所显示的图像。工作站13可以使用户能够例如通过鼠标点击、按下或轻敲按钮来开始本文中所公开的图像选择过程，使得显示(含有)最临床重要或突出图像的相对小的、预定的或可配置数目N个图像(例如，N＝100个图像)将自动显示在医生的显示装置18上，而非期望医生检阅数百或数千个图像，同时试图独自找到重要图像。工作站13可以使用户能够选择N的值。工作站13可以使用户能够将图像选择过程限制于体腔的特定部分；即，仅选择在体腔的特定部分中，例如在胃肠道的特定部分(例如，在小肠中)捕获到的图像。在一些实施例中，选定图像的数目(N)未事先设定，而是被确定为或可从使用另一个准则的结果导出。举例来说，计分阈值机制可以用于如例如结合图7所描述的图像选择，这在下文予以描述。在一些实施例中，选定图像的数目(N)同一计分阈值或机制可组合使用。举例来说，计分阈值或机制可以用作‘主要’准则，且数目N可以用作对最终选择的图像的数目的上限。
工作站13可包含存储单元19和数据处理器14。存储单元19可存储分别由q个成像器(46)在体腔中捕获到的q个相连图像群组。存储单元19还可与每个群组中的每个图像与相关联地存储指示图像包含至少一种类型的病理的机率的总计分(GS)和指示各个群组中的图像之间的距离的距离d。
存储单元19可包含用于存储图像数据的图像存储装置20、用于存储病理计分和为图像计算的总计分的计分存储器22、以及用于存储用于修改计分的一个或多个修改函数的修改函数存储装置24。计分存储装置22还可存储经修改计分(通过修改函数修改的计分)。工作站13可包含数目m个病理检测器15(例如，指定为D1、D2、...、Dm，以分别检测m个不同的、相同或类似的病理/异常(例如，病灶性病理)。可以是或包含例如应用于图像数据的图案辨识分类器的病理检测器Di(i＝1、2、…、m)可输出表示图像包含(示出)相应类型的病理的机率的(病理)计分。可以不需要m个病理检测器(15)，这是因为针对图像计算出的图像病理计分可其它处(例如，通过远程计算机)计算出并被传送到例如工作站13。病理检测器可分析与图像相关联的各种参数和/或特征(例如，像素强度等级、色调、放大器增益、曝光时间等等)，并识别病理类型涉及的代表性或特有特征，且可以是病理检测器的部分的分类器可使用这些特征来输出指示图像包含病理的机率的值(例如，计分)。
可通过使用数目m个计分值S1、…、Sm来计算图像总计分，所述计分值分别由m个病理检测器输出，其中m个计分值指示图像包含m或k(k<m)种类型的病理的机率。病理可以是息肉、出血、憩室、溃疡、损伤、红色病理等等。(可在图像中检测或识别并类似地处置其它病理类型。)图像可包含多于一个病理。
数据处理器14可被配置成例如通过执行例如存储于存储装置19中的软件或代码来执行本发明的实施例。在一些实施例中，本文中所描述的检测器15或其它分类器、模块等等可以是或可由执行此代码的数据处理器14执行。
在一些实施例中，数据处理器14可将不同修改函数应用于与在体腔的不同部分中捕获到的图像相关的病理计分。举例来说，可通过使用第一修改函数来执行对与在体腔中的第一位置(例如，小肠)中捕获到的图像相关的病理计分的修改或抑制，而可通过使用第二修改函数来执行对与在体腔中的第二位置(例如，结肠)中捕获到的图像相关的病理计分的修改或抑制等等。数据处理器14可使得用户(例如，医生)能够根据从其拍摄图像的体腔的部分来选择修改函数，且这可能是有益的，因此，用户可以‘将焦点移位’到(即，使图像选择过程偏压朝向)用户更感兴趣的体腔的特定部分。可通过例如宽大地减小与集中在管腔部分相关的病理计分的值同时严格地减小与管腔的其它部分相关的病理计分的值来实施将焦点移位到(即，使图像选择过程偏压朝向)体腔的特定部分或区域中。
数据处理器14可以处理存储于图像存储装置20中的图像数据，并在一些实施例中使用m个检测器来针对每个图像计算各种类型的病理计分。处理器14可在计分存储装置22中存储各种计分，并不时地更新计分存储装置22的计分内容。通过处理器14更新计分存储装置22中的计分可包含例如，通过使用存储于修改函数存储装置24中的修改函数来添加新计分、置零计分、缩放计分并更新计分。处理器14可以使用计分计算和修改(抑制)过程来选择例如用于显示由体内装置40捕获到的最临床重要图像中的预定数目N个。处理器14可以一次迭代地或重复地选择一个此图像，且每当处理器14选择图像时，处理器14可以例如在图像存储装置20中存储选定图像、或者参考选定图像的参考信息(例如，指针)。在下文中描述并举例说明处理器14计算并修改或抑制病理计分并使用病理计分以选择N个临床上最重要的图像的方式。
作为实例，数据处理器14可尤其被配置成执行如下文针对q个相连图像群组中的每个图像群组所描述的以下操作：
将图像群组或其部分划分或分离成图像子组，每个图像子组包括基础图像和类似于基础图像的图像、和
识别一组最大总计分(MGS)Set(i)(i＝1、2、3、…)，该组最大总计分Set(i)包括图像群组中的每个图像子组的最大总计分(MGS)；并通过执行以下操作来选择用于处理的图像：(i)识别每组MGS S(i)中的最大MGS(MGS|max)；(ii)在所有最大MGS当中识别最大MGS|max，并选择与最大MGS|max相关的图像；(iii)使与选定图像相关的最大MGS|max无效；和(iv)基于分别与特定组MGS Set(i)中的MGS相关或具有MGS的图像与每个选定图像之间的距离d而修改与选定图像相关的特定组MGS Set(i)。数据处理器14可重复步骤(i)到(iv)，直到已选择预定数目N个图像以用于显示或进一步处理为止或直到所识别(经修改)最大MGS(MGS|max)的值低于计分阈值Sth为止。
数据处理器14可以是或包含任何标准数据处理器，例如微处理器、多处理器、加速器板或任何其它串联或并联高性能数据处理器。显示装置18可以是计算机屏幕、常规视频显示器、或能够提供图像和/或其它数据的任何其它装置。
优选地，成像器46可以是或包含CMOS相机或其它装置，例如CCD相机。照明源42可包含例如一个或多个发光二极管(light emitting diode，LED)，或另一合适光源。
在操作期间，成像器46捕获图像并将表示图像的数据发送到发射器41，所述发射器使用例如电磁无线电波来将图像发射到接收器12。接收器12将图像数据传送到工作站13以用于存储、处理和显示。体内成像器可在其横跨胃肠道时捕获一系列静态图像。图像可稍后由工作站13呈现为例如图像流或胃肠道的横越的视频剪辑。体内成像系统可以收集大量数据，这是因为装置40可能花费几个小时来横越胃肠道，且可以以例如每秒两个图像或每秒二十四个图像的速率记录图像，从而产生对数千张图像的记录。图像捕获和发射速率(或帧捕获率或‘帧每秒’速率)可变化。
优选地，由装置40记录并发射的图像数据是数字彩色图像数据，但是可使用其它图像格式。作为实例，根据已知方法，每个图像帧包含256行，每行256个像素，每个像素包含其值表示例如颜色和亮度的数字字节或由所述数字字节表示。
图2示意性地说明根据本发明实施例的图像计分方案。与图1相关联地描述图2。假设体内装置40包含两个成像器(“Imager-1”和“Imager-2”)，且每个成像器到装置40由患者排出的时候捕获到数目k个图像。(本文中所描述的实施例可同样地适用于任何图像的序列，而不论涉及其捕获的成像器的数目。举例来说，本文中所描述的实施例可同样地适用于由包含一个成像器的体内装置捕获到的图像。序列)还假设使用数目m个病理检测器来分析每个图像，其中每个检测器被配置成通过针对每个图像计算计分Si来检测图像中的不同或类似病理，使得针对特定图像计算出的计分指示通过特定图像捕获的胃肠位点包含特定病理的机率。作为实例，第一病理检测器可被配置成检测结肠中的息肉；第二病理检测器可被配置成检测胃肠道中的出血；第三病理检测器可被配置成检测胃肠道中的溃疡；第四病理检测器可被配置成检测胃肠道中的憩室等等。可使用替代性或额外病理检测器。可通过使用多于一个检测器来检测特定病理。举例来说，一个息肉检测器可通过检测其等高线来检测息肉，另一息肉检测器可通过检测特征化息肉的颜色图案来检测息肉等等。
参考图2，Imager-1捕获指定为Image-1/1(Imager-1的图像#1)、Image-2/1(Imager-1的图像#2)、…、Image-k/1(Imager-1的图像#k)的一组k个相连图像。类似地，Imager-2捕获指定为Image-1/2(Imager-2的图像#1)、Image-2/2(Imager-2的图像#2)、…、Image-k/2(Imager-2的图像#k)的一组k个相连图像。相连的图像可以是例如在图像流中紧接在彼此之前或之后的图像。
将m个检测器应用于Image-1/1产生指定为S1-1/1(针对Imager-1的图像1计算出的检测器1的计分)、S2-1/1(针对Imager-1的图像1计算出的检测器2的计分)、…、Sm-1/1(针对Imager-1的图像1计算出的检测器m的计分)的m个计分(每检测器一个计分)。类似地，将m个检测器应用于Image-2/1产生指定为S1-2/1(针对Imager-1的图像1计算出的检测器1的计分)、S2-2/1(针对Imager-1的图像1计算出的检测器2的计分)、…、Sm-2/1(针对Imager-1的图像1计算出的检测器m的计分)的m个计分(每检测器一个计分)等等。
类似地，将m个检测器应用于Image-1/2产生指定为S1-1/2(针对Imager-2的图像1计算出的检测器1的计分)、S2-1/2(针对Imager-2的图像1计算出的检测器2的计分)、…、Sm-1/2(针对Imager-2的图像1计算出的检测器m的计分)的m个计分(每检测器一个计分)。类似地，将m个检测器应用于Image-2/2产生指定为S1-2/2(针对Imager-2的图像2计算出的检测器1的计分)、S2-2/2(针对Imager-2的图像2计算出的检测器2的计分)、…、Sm-2/2(针对Imager-2的图像2计算出的检测器m的计分)的m个计分(每检测器一个计分)。因此，每个图像可与其分别指示图像包含(成像的)各种病理的机率的m个计分相关联。
图3示意性地说明根据本发明实施例的图像分组的实例。为简单起见，图3示出由一个成像器捕获的相连图像群组300。
图像子组(SGi)包含彼此相似或类似(例如，根据视觉特征；例如配置性特征或计算出的特征；例如图像参数之间的比、例如光强度、颜色等级等等)的时间上连续的图像，且因此，它们可示出或包含同一病理(例如，息肉、出血、溃疡、损伤、憩室等等)。但是，因为待选择以用于(例如)显示的图像的图像‘预算’(例如，限度或最大数目N)极小(相比于数千或数万个捕获到的图像的总数目)，所以可从进一步处理减去或移除(例如，从图像选择过程减去或移除)在同一图像子组内彼此类似的图像，从而仅留下来自每个图像子组的表示相应图像子组的代表性图像。
为了开始将图像分组(为了开始将图像群组分割)成子组，检查(310)指定为‘Image-1’的第一图像与指定为‘Image-2’的在时间上相连的图像之间的类似性等级。在图3的实例中，假设Image-1与Image-2类似。类似地，检查Image-1与Image-3之间的类似性(320)。在图3的实例中，还假设Image-1与Image-3类似。类似地，检查Image-1与Image-4之间的类似性。在图3的实例中，还假设Image-1与Image-4类似。类似地，检查Image-1与Image-5之间的类似性。在图3的实例中，假设Image-1与Image-5相异。因此，继续所述实例，第一图像子组(SG1)包含四个图像：Image-1(图像330，其可被视为图像子组SG1中的基础图像)、Image-2、Image-3和Image-4。通过将图像Image-5(图像340)用作新子组中的基础图像来针对下一图像子组(SG2)继续同一图像分组过程。图像340是由于与图像子组SG1中的基础图像相异330而不属于图像子组SG1的第一图像。因此，图像340用作图像子组SG2中的基础图像，且作为实例，子组SG2包含三个图像：Image-5、Image-6和Image-7。图像子组SG3包含图像Image-8作为基础图像(350)，以及图3中未示出的额外图像。可以类似方式识别额外图像子组。可以基于任何合适的准则或通过使用其它图像分组方法来确定(例如，计算)图像之间的类似性。举例来说，可基于预特征或参数(例如，光强度、颜色等等)的比较而确定图像之间的类似性，或可以反转次序或“向后”确定图像之间的类似性；也就是说，从特定图像到先前捕获的图像。可使用合适的丛集方法来对图像进行分组。
可使用其它方法来分割图像群组。举例来说，可以将图像群组分割为图像子组，使得每个图像子组具有相同数量个图像。在一些实施例中，图像子组中的或包含于图像子组中的图像的数目可取决于体腔的体内装置捕获图像的部分或器官(例如，小肠中或结肠中)。为此，可以从例如一个或多个图像中或确定或通过使用外部定位系统来检测体内装置在体腔中的位置。接着或同时，体内装置的位置可以被传送到例如工作站13(图1)，并例如与在此位置中捕获到的图像相关联地存储于例如存储单元19中。作为实例，数据处理器14可将在小肠中捕获到的图像分割或划分成小图像子组，并将在结肠中捕获到的图像分割或划分成大图像子组，或反之亦然。(‘小图像子组’相比于‘大图像子组’的图像的数目包含较小数目个图像。)
图4A和4B示出根据本发明实施例的实例计分图形。图4A和图4B与图3相关联描述，且其分别示出通过对子组SG1中的每个图像引用过两个病理检测器D1和D2来针对图像子组SG1计算出的实例计分。(如本文例如结合图1和图2所描述，数目m个检测器(D1、D2、…、Dm)可应用于图像群组中的每个图像，以便针对图像计算分别指示图像示出或包含分别可由m个检测器检测到的类型的m个病理的机率的数目m个计分(S1、S2、…、Sm)。
图4A示出通过使用病理检测器D1来针对图像子组SG1获得的实例计分(S1)。举例来说，图像子组SG1包含四个图像，其在图4A中被指定为“图像编号”轴上的“1”、“2”、“3”和“4”。(在图4B中也使用相同图像数目。)举例来说，假设由检测器D1的四个图像中计算出的计分是：对于图像编号1，S1＝90，图像编号2，S1＝105，图像编号3，S1＝150，且对于图像编号4，S1＝124。图4B示出通过应用病理检测器D2来针对子组SG1获得的实例计分(S2)。举例来说，假设由检测器D1的四个图像中计算出的计分是：对于图像编号1，S2＝95，图像编号2，S2＝125，图像编号3，S2＝80，且对于图像编号4，S2＝75。
在针对每个图像子组SG1、SG2、SG3等中的每个图像计算各种计分(例如，按图像每个检测器一个计分)之后，针对每中计分类型且针对每个图像子组而识别局部最大值计分值。作为实例，在410(图4A)处示出的计分值S1＝150是由病理检测器D1针对图像子组SG1计算出的计分的局部最大值，且在420(图4A)处示出的计分值S2＝125是由病理检测器D2针对图像子组SG1计算出的计分的局部最大值。图像子组可包含特定病理检测器的多于一个局部极大值计分值，且不同病理检测器可产生同一图像子组的局部极大值计分值的不同数字。
可在图像选择过程中进一步处理每个图像子组中所识别的局部极大值计分值，而可从此过程排除其它计分(是‘非突出’计分的计分)。可通过例如将‘非突出’计分(并非局部最大值计分的计分)置零或通过将其值减小到低于最低预抑制计分值的任意值来实施排除所述计分，以便确保从选择过程排除所述计分。图4A到4B中的置零的计分值S1和S2在图4C到4D中示出为S1'和S2'。举例来说，与图像编号1相关的计分值S1的置零版本在图4C中示出为S1’(在430处)。(在图4A到4D中示出的实例中，置零与图像‘1’、‘2’和‘4’-见图4C-相关的计分值S1'和与图像‘1’、‘3’和‘4’-见图4D-相关的计分值S2')。可从图像选择过程排除非突出计分，这是因为它们可表示可能不如具有局部最大值计分值的图像在临床上重要(根据与这些计分的类型相关联的病理)的图像。在一些实施例中，一个图像可选自图像子组，即使所述图像子组中的其它图像可能与选定图像在作为上一样重要。在与所有计分类型和图像相关的非突出计分值置零之后，可通过使用局部极大值计分值来针对图像计算计分总图像计分。(置零计分值对于确定图像的总计分值无足轻重。)
作为实例，图4A到4B中的每一个示出仅包含数个图像并针对每种类型的计分仅包含一个局部极大值计分值的图像子组。但是，这仅是实例——图像子组可包含许多图像(其数目取决于图像之间的类似度)并另外可包含若干局部极大值计分值。在每个图像子组中识别所有局部极大值计分值之后，将每个图像子组中的非极大值计分值(其它计分值)置零，如由下文描述的图4C到4D举例说明，以便从图像的选择过程排除产生所述计分值(与所述计分值相关联)的图像。如本文所描述，图像子组中的图像的特征在于具有高度类似性(例如，高于预定类似性阈值)，因此，仅可选择更突出的图像以用于显示，同时可从图像的选择过程移除每个图像子组中的不重要的或冗余的许多其它图像，而不会冒险损失临床上重要的图像。由于保存了所有原始图像(例如，在图1的图像存储装置20中)，如果最终选择了特定图像(且例如显示给例如用户)，那么系统(例如，图1的工作站13)可以使用户能够还显示在所述图像之前或之后的图像(例如，其计分已被置零的图像)。本发明的实施例可使用户能够使用选定图像(例如，在显示选定图像时)以例如通过在显示选定图像时点击或轻击选定图像来完整地或部分地显示相关图像子组。
计算图像的总计分(GS)
如果特定图像的所有计分是零，这意味着病理检测器D1、D2、…、Dm都未检测到的所述图像中的任何病理，那么从图像的选择过程分类别地排除所述图像。但是，因为这些检测器(例如，分类器)计算(存在病理的)机率，所以检测器有可能将在此类状况下输出一些低非零计分值。换句话说，病理检测器可输出图像的低非零计分值，即使所述图像不包含病理。另外，图像可以具有多于一个低的非零计分值(每个病理检测器的计分值)。然而，如本文所描述，如果由相应病理检测器针对特定图像输出的特定病理计分不是包含特定图像的图像子组内的局部最大计分值，那么将特定病理计分置零；例如，设定成零。在一些实施例中，将不是局部最大值计分值的所有计分值置零保证在本文所述的图像选择过程中仅考虑局部最大值计分值，因为它们更可能指示病理。
如果图像具有一个局部最大值计分值，那么可进一步将所述局部最大值计分值用作与图像相关联的图像总计分(GS)。然而，如本文所描述，图像可具有或与多于一个局部最大值计分值相关联。(对于多于一个病理检测器，一些图像可能至少有一个局部最大值计分值。)因此，可以从针对图像计算或与图像相关联的所有局部最大值计分值导出(例如，基于计算)来为每个图像导出并与总体计分GS相关联。举例来说，可使用式(1)或式(2)来计算图像总(病理)计分GS：
GS＝f(S1,S2,…,Sm) (1)
GS＝Max{f(S1),f(S2),…,f(Sm)} (2)
其中Si(i＝1,2,…,m)是从病理检测器数目i输出的计分值，且病理计分值S1、S2、…、Sm是分别与m种类型的病理相关的病理计分。病理计分值S1、S2、…、Sm中的每一个可具有是零(在经历置零过程之后，或在没有所述过程的情况下)或局部极大值计分值的值。举例来说，如果m＝3(如果使用三个病理检测器来分析图像)，那么可例如使用式(3)来计算图像总计分GS：
GS＝Max{W1xS1,W2xS2,W3xS3} (3)
其中S1、S2和S3分别与三个病理检测器相关的病理计分，且W1、W2和W3是分别与三种类型的病理相关的‘加权’。
图像可具有多于一个非零病理计分，各种计分与多于一种类型的病理相关联。在此状况下，图像可包含‘显性’病理；即，在视觉上或以其它方式比包含于所述图像中的其它病理更突出的病理。因此，鉴于严格的图像预算，仅选择临床上最显著的图像以用于显示，其通常是具有最高病理计分的图像。(可执行选择图像，而不论图像中的哪种类型的病理具有最高病理计分。)因此，每个图像被给予或与总病理计分(GS)相关联，总病理计分表示或更‘偏向’更视觉上或以其它方式突出的病理，以便提高将选择所述图像以用于显示的机率。(可修改式(1)到(3)以获得所述目标。)是否选择特定图像以用于显示可以是不重要的，这是因为其相比于某一其它病理的病理计分具有某一病理的更高病理计分，这是因为一旦选定以用于显示，那么所述图像将示出包含于所述图像中的每个病理，而非仅示出具有最高病理计分的病理。
在一些实施例中，知晓引起图像选择的病理计分的类型(知晓病理类型)可用以增强所显示图像(例如，突出显示病理)。举例来说，如果因为图像包含病灶性病理(例如，息肉)而选择所述图像以用于显示，那么增强图像显示可包含例如识别息肉的中心并在上息肉的中心上覆在视觉上突出的十字(‘x’)和/或围绕息肉上覆在视觉上突出的圆圈(例如，红圈)以便引起查看者(例如，医师)对息肉的注意，而非使查看者花费时间在图像中搜索所述病理。在另一实例中，如果因为图像包含分段或分布的病理而选择所述图像以用于显示，那么增强图像可包含在分段或分布的病理上上覆在视觉上突出的边界线(例如，圆圈、方框等等)和/或高光显示完整图像而不致力于图像中的病理的准确位置，以便引起查看者(例如，医师)对息肉的注意，而非使查看者花费时间在图像中搜索所述病理。
图5步骤A到5E表明根据实例实施例的图像选择过程。图5步骤A示出包含由包含一个成像器的体内装置捕获的二十八个相连图像的实例图像群组500和其相应总计分。(根据其捕获时间，二十八个图像示出为在时间上定序，首先捕获到图像数目‘1’且最后捕获到图像数目‘28’。)在实践中，图像群组中的图像的数目可极大(例如，数万个)，然而，仅出于说明性目的而使用小数目个图5步骤A中示出的图像。图5步骤A还示出被分割成指定为SG1、SG2和SG3的三个图像子组(SG)的图像群组500。可按可低至例如每秒两个图像的速率或按例如每秒74个图像的高得多的速率捕获图像群组中的图像。本文中所公开的图像选择方法不限于任何特定图像捕获速率；本文中所公开的图像选择方法适用于任何图像捕获速率。
假设图像群组500中的图像由两个病理检测器(例如，息肉检测器和出血检测器)分析，且基于由两个病理检测器输出的两个切合计分而使用式(1)到(3)中的任一个来针对每个图像计算总(病理)计分GS。还假设过滤检测器(例如，内容物检测器、气泡检测器、组织覆盖性检测器等等)用以检测示出例如胃肠道的一些位点中的内容物和/或气泡等等的图像，且假设为此类图像指派计分值零(参见图5步骤A中的图像编号8、12、19和23)以便从图像选择过程排除所述计分值。
在以本文中所描述的方式处理图像群组500之后，例如结合图3和图4A到4D，在此实例中，基于图像之间的类似性而将图像分割或划分或分离成三个图像子组SG1、SG2和SG3。(为简单起见，图像群组500包含二十八个图像和三个图像子组，且图像预算(待选择例如以进行进一步分析和/或显示的图像的数目)是三个。)
在将图像分割或划分或分离成图像子组之后，可识别每个图像子组中的局部极大值总计分(MGS)值。(MGS在图5步骤A中示出为带圆圈。)举例来说，在图像子组SG1中存在两个MGS值(分别在530和540处示出的MGS值80和90分别与图像4和7相关)，在图像子组SG2中存在三个MGS值(分别在550、560和570处示出的MGS值71、79和82分别与图像16、18和20相关)，在图像子组SG3中存在一个MGS值(在580处示出的MGS值78与图像25相关)。
在一些实施例中，每个图像子组中的每个MGS可用于(参与)图像选择过程中，同时可通过例如将其值置零；例如设定成零来‘抑制’其它计分值。在图5步骤B中，在图像选择过程中使用图像子组SG1到SG3中的每一个中的每个MGS，且将图5步骤A的其它(非局部极大值)计分的值置零。在其它实施例中，仅具有每个图像子组中的MGS当中的最大值的MGS用于图像选择过程中，而其它计分(其它MGS和非局部极大值计分值等等)被置零。
图5步骤C示出包含每个图像子组的每个MGS的计分向量502：与图像子组SG1相关的两个MGS、与图像子组SG2相关的三个MGS和与图像子组SG3相关的一个MGS。(‘向量’在本文中是指值的有序集合。)计分向量可仅包含在相应图像子组中最大的MGS，例如仅包含来自图像子组SG1的MGS＝90，仅仅包含来自图像子组SG2的MGS＝82，或仅包含来自图像子组SG3的一个MGS(MGS＝78)。计分向量502还可包含，或使关于涉及(产生)存储于计分向量502中的MGS的图像(图像群组500中)的相对位置的信息与其MGS内容相关联。(每个图像位置可与相关MGS相关联。)作为实例，两个MGS值90和71(分别在504和506处示出)在计分向量502中邻近。但是，MGS之间的距离不一定转变成与这些MGS相关的图像之间的距离。举例来说，虽然两个MGS可在计分向量502中邻近，但是其相关图像可彼此远离(例如，较大数目个，例如35个图像可插入(例如在定序图像流中在之间定位)于与这些MGS相关的图像)。因此，每个MGS可位置信息相关联，所述位置信息可：(1)指示相关图像的位置、并(2)使得能够计算距离d，所述距离可测量为例如；时间(例如，测量为图像捕获时间之间的差)、介入图像、或任何两个图像之间的距离的其它测量。图像子组可包含多于一个最大(病理)计分或与所述计分相关联或产生所述计分，这是因为每个病理检测器可针对每个图像子组产生一个最大计分。在一些实施例中，如果图像子组具有两个或更多个最大计分，那么在图像选择过程中仅将最高最大计分(即，仅两个或更多个最大计分当中的具有最高值的最大计分)用作图像总计分(GS)。因此，仅可从每个图像子组选择一个图像。举例来说，(再次参考图4A到4B)，图像子组SG1包含两个最大计分——最大计分410和最大计分420，且由于其值(150)高于最大计分420的值(～125)，仅可选择最大计分410以用于图像选择过程。
在一些实施例中，计分向量502可具有对应于图像群组中的图像数目的长度(根据向量元素的数目)。(计分向量502可含有图像群组中的每个图像的计分值，但是例如由于本文中所描述并例如在图5步骤B中举例说明的计分值置零过程，或在与这些计分值相关的图像被检测为包含例如内容物或气泡或被检测为未示出足够的组织等等的情况下，一些计分值可以是局部最大值计分值而其它计分值可以是零。)
在一些实施例中，计分向量502可含有每个图像子组中所识别的所有MGS或仅含有来自每个图像子组的最大MGS。因为可一次识别一个MGS，所以每当在每个图像子组中识别新MGS时，计分向量502的长度可改变(延长)一个向量元素。(取决于由病理检测器针对每个图像计算的病理计分的值，图像子组可包含一个MGS或多个MGS。)
添加到计分向量502的每个MGS可与关于相关图像相对于图像群组中的其它图像的位置或相对于参考点的位置的位置信息相关联。参考点可以是例如时间(例如，特定图像的捕获时间)或从其拍摄图像的体腔中或与其相关的物理标记。举例来说，可基于捕获到每个图像的时间或基于有序捕获到的图像的序号而确定(例如，计算)图像相对于其它图像的位置的位置，其中捕获到的第一图像可被分配(例如)序号一，捕获到的第二图像可被分配(例如)序号二等等。(可使用其它图像鉴别方案。)
可使用图像群组中的图像的相对位置，如本文所描述，以确定(例如，计算)图像之间的距离(例如，根据时间差、根据介入图像的数目等等)。如本文所描述，使用图像之间的距离以可变地(例如，以递减方式)修改(抑制)MGS以便降低将选择接近已选定图像的图像以用于(例如)显示的机率，且同时略提高将仍选择‘远程’图像(相对于选定图像)即使其原始计分值(MGS)可能相对低的机率。(在本文中相对于已选定的图像使用术语‘远程’。)
在选择图像(例如以用于分析和/或以用于显示)之后，可以可变地修改或抑制其它图像的MGS，使得图像越远离选定图像，其计分值越适度地降低(抑制)，因此计分值修改过程相对于每个选定图像的递减性质。虽然与特定MGS相关的图像与一些选定图像之间的距离可相对较长，但是与特定MGS相关的图像与另一选定图像之间的距离可较短(如果以选择多于一个图像)。在此状况下，可以使用较短的距离来严格地修改特定MGS，而非适度地使用较长的距离来修改或抑制它，其原因在于可能希望降低将选择与特定MGS相关的图像(其中更短的距离Dmin表明其类似于最接近选定图像)的机会。
图5步骤D到5F表明实例递减修改(抑制)过程对图5步骤C的实例计分向量502的MGS内容的影响。图5步骤D示出第一图像的选择中用于的MGS的原始(未经修改或未经抑制)的集合。(使用原始MGS值来选择第一张图像。)图5步骤E示出第二图像的选择中使用的经修改(抑制)MGS。(在相对于第一选定图像修改或抑制(原始)MGS值之后选择第二图像。)图5步骤F示出第三图像的选择中使用的经修改(抑制)MGS。(使用第三图像与最接近选定图像之间所识别的最小距离Dmin，在相对于第一和第二选定图像修改或抑制(原始)MGS值之后选择第三图像。)
参考图5步骤D，(原始)计分值90目前是计分向量502中的最大MGS(例如，MGS＝90＝MGS|max)。因此，选择产生此计分值的图像(与此MGS相关的图像)。在选择图像之后，将此计分值置零以确保将不再次选择选定图像。图5步骤E在510处示出置零的最大计分值90。图5步骤E还示出计分向量502中的是图5步骤D中示出的原始MGS的经修改版本的其它MGS。
如本文所描述，计分值修改(抑制)过程以递减方式可变地修改图像的计分值(MGS)。作为实例，图5步骤D中的向量单元格编号1中的计分值80邻近于单元格编号2中的计分值90，但图5步骤D中的向量单元格编号6中的计分值78最远离单元格编号2中的计分值90。假设MGS＝80涉及比与MGS＝78相关的图像更接近选定图像(例如，接近与MGS＝90相关的图像)得多的图像，向量单元格编号1(图5步骤D)中的MGS＝80以相对大的数字严格地减小(减小的值在图5步骤E，单元格1中示出)，例如从80减小到65。然而，与远程图像有关的MGS＝78(在向量单元格编号6(图5步骤D)中)以相对大的数字宽松地(适度地或略)减小(减小的值在图5步骤E，单元格6中示出)，例如从78减小到76。可使用相同原理来修改(减小)MGS的其余部分。
在执行第一MGS修改过程之后，可基于经修改计分值而选择下一图像(在此状况下第二图像)。参考图5步骤E，在经修改计分值当中(经修改MGS当中)，计分值‘76’最大(MGS＝76＝MGS|max)，因此可选择产生此计分值的图像，且在选择第二图像之后，可将与其相关的计分值(计分值76)置零或以其它方式操纵所述计分值以确保将不会再次选择第二图像。图5步骤F在520处示出置零的最大计分值76。图5步骤F还示出计分向量502中的是图5步骤D中示出的原始MGS的经修改版本的其它MGS。
可以从一个图像选择到另一个图像选择不同地修改图5步骤D中的每个原始MGS，这是因为基于Dmin而修改的未选定图像的原始MGS和未选定图像与已选定图像之间的距离可随着选择越来越多的图像而改变，Dmin是其相关图像与最接近选定图像之间的距离。在执行第二MGS修改过程之后，可基于(新)经修改计分值而选择下一图像(在此阶段第三图像)。参考图5步骤F，在经修改计分值当中，计分值68(单元格编号4，图5步骤F)是最大的(MGS＝68＝MGS|max)，因此可选择产生此计分值的图像。如果图像选择预算仅包含三个图像，那么可在此阶段终止图像选择过程。然而，如果图像预算较大且计分向量包含分别与多个图像相关的更多(例如，数百或数千个)MGS，那么图像选择过程可以类似的方式继续直到图像预算用完为止。
本文中所公开(例如在图6A到6B中和在图7中)的图像选择方法在一些实施例中保证：(1)选定图像的总数目不超出图像的预定数目(例如，图像预算)，(2)选定图像包含临床上最重要的病理，且(3)本文中所公开的方法图像选择可被‘微调’以仅选择(3.1)从胃肠系统的特定片段或部分捕获到的图像(例如，以用于分析或显示)和/或(3.2)包含特定类型的病理(例如，息肉)的图像。
胃肠系统的特定片段或部分可相对较长(例如，小肠)或相对较短(例如，结肠)。可微调图像选择过程以仅选择从小肠的特定片段拍摄或从结肠的特定片段拍摄或从感兴趣的任何其它胃肠片段拍摄的图像。举例来说，可通过将在感兴趣的胃肠片段外部拍摄的所有图像的外来计分值置零来执行微调图像选择过程以选择性地选择从特定胃肠区段拍摄的图像。(在图8中示出此选择性图像选择过程的实例，下文将对其进行描述。)
图6A示出根据本发明的实例实施例的选择图像以用于显示(或用于任何其它目的)的方法。与图1和图3相关联地描述图6A。图6A的图像选择方法适用于从体内装置的一个成像器(例如，Imager-1，图2)体内获得的图像群组。图6A中所示的实施例包含图像选择迭代或重复循环(690)，其选择图像(例如用于进一步处理、分析和/或用于显示)，每次迭代/重复选择一个图像。
在步骤610处，数据处理器14可接收体腔内的体内装置40在体内连续捕获到的相连图像群组(例如，群组300)。数据处理器14可以在步骤610或在单独步骤中针对图像群组中的每个图像计算可以指示图像包含至少一种类型的病理的机率的总计分(GS)。数据处理器14可接收具有所述图像的每个图像的GS值，或其可依据病理检测器D1、…、Dm(病理检测器15，图1)可针对所述图像输出的计分而‘就地’计算GS值。替代地，数据处理器14可能不需要图像，而是替代地仅获得与图像相关的GS，且另外，数据处理器14可获得关于图像群组中的每个图像的相对位置的信息。
在步骤620处，数据处理器14可将图像群组分割成图像子组，使每个图像子组包含基础图像(例如，图3中的基础图像330、340和350)和类似或类似于基础图像的后续图像。(举例来说，可以结合图3所描述的方式执行图像群组的分割。)
由于每个图像子组可包含许多图像，其中每个图像与总计分相关联，所以数据处理器14在步骤630处在每个图像子组中识别具有最高值的总计分。(在图像子组中具有最高值的总计分在本文中被称作图像子组的最大总计分(MGS)。)
在步骤640处，数据处理器14识别MGS|max，其是图像子组的所有MGS当中的具有最高值的MGS，且在步骤650处，数据处理器14可选择与MGS|max相关的图像，例如以用于进一步处理(例如，分析)和/或以用于显示，并将值一分配给循环计数器n(在步骤660处)。
在步骤670处，数据处理器14检查已选定的图像的数目是否是N，N是由预定图像预算准许以用于选择的图像的数目。如果图像预算已经用完，即，如果n≥N(此条件在步骤670处示出为“是”)，那么处理器14可以终止图像选择过程并例如仅分析选定图像，或例如在单独的显示窗口中显示选定图像。但是，如果图像预算尚未用光，也就是说，如果n<N(此条件在步骤670处示出为“否”)，那么处理器14可在步骤680处使选定图像(例如与其相关联，或针对其计算出的)的MGS|max的值无效，以将不会再次选择确保目前选定的图像，因此给予其它图像被选择的机会。(在本发明的上下文中，‘使无效’意味着将MGS|max的值设定成将再次选择相关图像的机率降低到零的值；例如，设定成零或设定成负值。)应注意，可以使用计分阈值来代替预定数目N个图像或与预定数目N个图像群结合使用，如例如结合图6B的步骤616所描述，这在下文予以描述。
在步骤682处，处理器14可修改图像子组的(原始)MGS，使得每个特定(原始)MGS的值基于与特定原始MGS相关的图像与最接近已选定图像之间存在的距离而改变(例如，通过处理器14使其值减小)。举例来说，候选图像越接近最接近选定图像，与候选图像相关的MGS的值减小得越多。(如本文所使用的‘候选图像’是图像子组中的其总计分已经例如由数据处理器14识别为MGS的任何图像，且所述图像尚未被选择，尽管它可能是在一些其它重复690中被选择或者根本没有被选择，因此得到‘候选图像’中的形容词‘候选’。)举例来说，因为在此阶段仅已选择一个图像(n＝1)，所以取决于其相关(候选)图像与一个选定图像之间的距离而修改每个MGS，且修改‘因素’或过程随离选定图像的距离而递减。(贯穿本说明书，修改MGS意味着修改原始MGS，且‘经修改’MGS是具有相对于对应原始MGS减小或降低的值的MGS。原始MGS和原始MGS的修改版本都与同一图像相关。)
在步骤684处(在修改MGS之后)，数据处理器14可识别经修改MGS当中的目前具有最大值(即，MGS|max)的经修改MGS。在步骤686处，数据处理器14可选择与新所识别MGS|max相关的图像。在步骤688处，数据处理器14可在每次重复中使循环计数器n逐一递增，直到使用所有图像预算为止(即，直到n＝N，例如，N＝100为止)。
如果在步骤670处循环计数器的值n仍然小于N，那么数据处理器14可以在步骤680使与选定最后图像相关的MGS|max无效，接着在步骤682基于与MGS相关的图像与最接近选定图像之间的距离而修改每个MGS。举例来说，如果已经选择了两个图像“A”和“B”(例如，从例如具有十个图像的图像预算)，那么根据与特定MGS相关的图像与最接近选定图像之间的距离d而修改每个特定MGS。举例来说，如果与特定MGS相关的图像更接近例如图像‘A’，那么与特定MGS相关的图像与图像‘A’之间的距离d用以修改特定MGS，且如本文所描述，d越短，特定MGS的值减小越大。每当数据处理器14执行循环690以选择图像时，以不同的方式修改(原始)MGS，这是因为候选图像与作为MGS修改过程的基础的选定图像之间的距离在每次选择另一图像时改变。
图6A中所示的实施例的变体可包含如图6A所示而定序的步骤，且图像选择过程可包含：(i)根据步骤640(或步骤684，取决于过程的阶段)而识别针对图像子组所识别的MGS中的最大MGS(MGS|max)，并根据步骤650(或步骤686，取决于过程的阶段)而选择与最大MGS相关的图像(ii)根据步骤680而使在步骤640(或在步骤684处)处识别的与选定图像相关的MGS无效；(iii)根据步骤682而基于与特定MGS相关的图像与每个选定图像之间的距离d来修改每个MGS(原始MGS)；(iv)根据步骤684而在经修改MGS中识别具有最大值(例如，MGS|max)的经修改MGS。所述方法的实施例可进一步包含根据步骤686而选择与经修改MGS|max相关的图像并重复步骤(ii)到(iv)直到满足选自由图像数目N和计分阈值组成的群组的预定准则为止。
图6B示出图6A的图像选择方法的实例实施方案。与图1和图6A相关联地描述图6B。‘Score’是首先包含多个图像子组的原始MGS(例如，每图像子组一个MGS)的计分向量。向量‘Score’还在图像选择过程期间可包含经修改MGS。
‘ScoreOrig’是针对用于每个图像选择重复循环(例如，重复循环690和632)保持原始MGS的计分向量。每当选择图像时，Score向量的整个内容会由于MGS的修改而改变。另一方面，ScoreOrig向量的内容每次选择与所述特定MGS相关的图像时由于一个MGS无效而一次改变一个MGS。(在每次重复中，使目前被识别为MGS|max的另一MGS无效，直到向量ScoreOrig中的N个MGS无效为止。)
在步骤612处，数据处理器14以首先存储/含于向量Score中的原始MGS初始化向量ScoreOrig。在步骤处612，数据处理器14还可将循环计数器n重设成到或以附图标记，例如零，初始化循环计数器n。
在步骤614处，数据处理器14检查是否已选择数目N个图像(其检查图像预算是否已用光)。如果已选择N个图像(所述条件在步骤614处示出为“是”)，那么数据处理器14可终止图像选择过程。但是，如果已选择少于N个图像(所述条件在步骤614处示出为“否”)，那么数据处理器14可在步骤616处识别Score向量中的目前具有最大值的MGS(即，MGS|max)。如果已找到MGS|max但其值低于预定分数阈值Sth(例如，如果MGS|max等于零或如果其是负数)，所述条件在步骤616处示出为“否”，那么数据处理器14可终止图像选择过程。但是，如果所识别MGS|max大于计分阈值Sth(所述条件在步骤616处示出为“是”)，那么数据处理器14可在步骤618处选择与目前被识别为MGS|max的MGS相关的图像。在一些实施例中，迭代/重复循环632可以不包含步骤614(例如，可省略、移除或忽略此步骤)，且最终选定的图像的数目可取决于Sth的值。(Sth越低，选定图像的数目越大。)因此，通过仅使用计分阈值Sth或使用图像计数限度N(在步骤614处)和计分阈值Sth(在步骤616处)，通过所述过程最终选定的图像的数目可仅在事后知道，即，仅在图像选择过程完成之后知道。但是，用户可改变或设定计分阈值的值以减小或增大待选定的图像的数目，且用户还可通过将对应值设定成参数N来将图像数目限于期望数目。
在步骤622处，数据处理器14可例如通过将向量ScoreOrig中的值MGS|max替换成例如值(-∞)或值零来在向量ScoreOrig中使其目前识别为MGS|max的MGS无效，以便从图像选择过程排除此图像(以确保将不会选择此图像多于一次)。接着(仍在步骤622处或在单独步骤中)，数据处理器14从向量ScoreOrig检索MGS并通过使用修改函数f(d)来修改检索到的MGS。最后，数据处理器14在Score向量中存储经修改MGS，因此每当在步骤618处选择新图像时以新经修改MGS值更新Score向量的内容。
如果分配的图像预算尚未用光(按步骤614)，在步骤616处识别那么经修改MGS当中的下一最大MGS(MGS|max)，且在步骤618处选择与MGS|max(经修改MGS当中)相关的图像，等等。
修改原始MGS和GS
修改函数f(d)考虑刚选定以用于显示的图像与图像群组中的候选图像之间的距离(例如，根据介入或在时间上插入的图像的数目)。在一些实施例中，修改函数f(d)可设计成使得候选图像越接近目前选定的图像，函数的输出值越大，且因此，修改过程的MGS主题的值越低。举例来说，假设图像按其捕获次序编号，且刚刚选择了实例图像编号250以用于显示。继续所述实例图像群组中的实例图像编号290远离图像编号250 40个图像(d＝290-250＝40个图像)，且一系列图像中的实例图像编号100远离图像编号250 150个图像(d＝|100-250|＝150个图像)。函数f(d)可被选择(配置)使得将通过函数f(d)针对图像290输出相对高数字(例如45)来严格地抑制(大体上降低)较近图像的计分值(在此实例中图像编号290的计分值)。相比之下，实例图像100的计分值将仅宽松地(不太严格地，或略)由函数f(d)，例如由针对图像100输出相对低数目(例如12个)的函数f(d)‘抑制’。(如图6B中所示出，举例来说，可通过使用式Score＝ScorOrig-f(d)来计算经修改计分，参见步骤622。因此，f(d)的值越大，Score的值越小，且因此，对原始计分的修改越大。)
距离相依MGS修改过程背后的基本原理是：如果接近已选定帧的候选图像在临床上极其重要(此由其相对高MGS值指示或推断)，那么对于在下一迭代或重复中选择接近图像仍存在较好的机会，甚至在严格地使其MGS值更小之后也是如此。但是，如果接近选定图像的候选图像具有低的临床重要性，这可能在其相对低计分值中反映，或者如果候选图像与选定图像一样具有临床重要性，那么通过降低其计分值以使得相对远离选定图像的候选图像可有更好地机会来即使在远候选图像与接近候选图像可根据临床重要性而类似的情况下也被选择，“跳过”候选图像(通过降低其被选择的选定来跳过接近候选图像)可以是有益的。换句话说，只有当接近图像的原始MGS值相对极高时，此指示或推断接近图像在临床上极其重要，选择接近选定图像的图像以用于显示才可以是有益的，以使得甚至显著地减小接近图像的高计分值将在此状况下仍给予在下一图像选择迭代/重复中选择所述图像的机会。另一个理由是图像越接近已选定的图像，选定图像和选定图像附近的图像示出或包含同一病理的机率越大，因此最终仅选择两个图像中有利于可在体腔中的其它处示出其它病理的图像的一个图像可能是有益的。
可选择选定图像，这是因为其相关息肉计分具有高值，且接近选定图像的图像由于出血而具有高计分值。在此状况下，为了确保选择两个图像(与不同病理相关)，以选择性地将计分抑制过程应用于计分；也就是说，计分抑制过程可仅应用于与相同类型的病理(例如，息肉，或出血等)相关的计分。
修改函数f(d)可以是依据与MGS相关的图像与已(先前)选定的最接近图像之间的距离d而减小MGS的值任何函数。修改函数f(d)可设计成使得两个实例(与MGS相关的图像与最接近所述图像的选定图像)之间的距离d越短，MGS的值减小越大(越严格)。函数f(d)可以是线性的(例如，f(d)＝a*d，其中‘a’是系数)，或非线性的(例如，f(d)＝a*d2+b*d+c,其中‘a’和‘b’是系数且‘c’是常数)。函数f(d)可以是高斯指数，或具有绝对距离值的指数，或阶跃函数，或其顶点或峰值定位于选定帧/图像处并随距离线性减小的三角形函数。
可用以下单位计算或测量图像之间(例如与MGS相关的图像与选定图像之间)的距离d：(i)时间或(ii)介入图像的数目、或(iii)介入图像子组的数目、或(iv)拍摄图像时体内装置在体腔中行进的距离、或(vi)包含所有或大多数相连图像群组的视频剪辑的百分比、或(v)体内装置在体腔中相对于相连体内图像群组或体腔中的标记的距离、或(vii)估计距离(例如，通过线性进步或类似技术)。
上文所描述的每个单位实例可以计算或测量为：(i)绝对值，例如可相对于连续图像群组的开始、或相对于体腔的开始或相对于连续图像群组或体腔中的任何标记计算或测量的值、或(ii)百分比，例如作为整组连续图像的百分比，或体腔或体腔的部分的百分比、或(iii)包含所有或大部分相连图像群组的视频剪辑的百分比、或(iv)由体内装置行进的距离的百分比、或(v)由体内装置行进的时间百分比，例如体内装置横越某一系列图像中捕获的距离所花费的时间百分比)。体腔可以是胃肠道或直肠系统的器官。
数据处理器14可使得用户(例如，医生)能够根据体腔的从其拍摄图像的部分而选择修改函数，且这可以是有益的，这是因为通过选择合适的修改函数，通过例如宽松地(略)减小与聚焦的管腔部分相关(源自所述部分)的MGS的值同时严格地减小源自其它管腔部分的MGS的值，用户可使图像选择过程偏向(以‘偏爱’或偏好)体腔的用户更感兴趣的特定部分。
图6C表明根据实例实施例的相连图像的实例群组652。与图6B相关联地描述图6C。假设图像群组652包含大量(例如100,000个)相连图像。可归一化所述大量图像使得每个图像具有归一化的图像编号。举例来说，首先捕获到的图像(在642处示出的图像)可被分配值0.00，且首先捕获到的图像(在644处示出的图像)可被分配值1.00。还假设类似于图6B的向量Score的计分向量包含在图6C中指定为MGS1、MGS2、…、MGS8的分别对应于八个图像的八个MGS，且待选择(例如以用于进一步分析和/或以用于显示)的图像的数目是三个，即，假设N＝3)
按图6B的步骤616，假设MGS6的值目前在MGS1、MGS2、…、MGS8当中最高(例如，MGS6＝MGS|max)，且因此，按步骤618，假设与MGS6相关的图像是第一选定图像。在步骤622处，使MGS6的值无效(在相关计分向量ScoreOrg.)中，且基于与MGSi相关的图像与最接近选定图像之间的距离d而修改MGS1、MGS2、…、MGS8中的每个MGSi。(在此阶段，仅选择一个图像(对应于MGS6的图像0.63)，因此相对于此图像修改所有MGS。)举例来说，与MGS1相关的图像与与MGS6相关的选定图像之间的距离d1是0.61(d1＝0.63-0.02＝0.61)。类似地，与MGS5相关的图像与与MGS6相关的选定图像之间的距离d2是1.016(d2＝0.63-0.47＝0.16)。类似地，与MGS7相关的图像与与MGS6相关的选定图像之间的距离d3是0.11(d3＝0.74-0.63＝0.11)，与MGS3相关的图像与与MGS6相关的选定图像之间的距离d4是0.45(d4＝0.63-0.18＝0.45)，等等。(可以相同方式找到其它MGS的距离。)接着，根据每个MGS的相关图像离选定图像的距离而修改每个MGS。如果尚未用光图像预算(按步骤614，图6B)，那么在按步骤622修改所有MGS以产生经修改值MGS'1、MGS'2、MGS'3、MGS'4、MGS'5、MGS'6(MGS6无效)、MGS'7、MGS'8之后，在步骤616处识别经修改MGS当中的最大MGS(即，MGS|max)，且在步骤618处选择经修改MGS当中的与所识别MGS|max相关的图像(在此阶段第二图像)。假设目前具有最大值的经修改MGS'2是(即，MGS'2＝MGS|max)，且因此，第二选定图像是与MGS'2相关的图像。
在选择第二图像(与MGS'2和MGS2相关的图像)(在步骤618处)之后，使原始MGS2无效(在计分向量ScoreOrg中，在步骤622处)，且计算与其它(非无效)MGS中的每一个相关的每个图像与每个选定图像之间的距离以便针对每个候选图像识别最接近选定图像。接着，此次根据与每个经修改MGS相关的特定图像与最接近特定图像的选定图像之间的距离而再次修改每个原始MGS。换句话说，当使用图像选择过程来选择更多图像时，可改变基于其而修改MGS的距离。举例来说，在将图像(归一化)数目0.63选作第一图像(因为其MGS6最大)之后，图像编号0.28离图像编号0.63距离d4，因此根据距离d4而修改MGS3(图像编号0.28的MGS)。但是，在将对应于MGS2的图像编号0.18选作第二图像(这是因为MGS'2是第二选择重复中的新最大MGS)之后，图像编号0.28与图像编号0.18之间的距离d5短于图像编号0.28与图像编号0.63之间的距离d4。(距离d5＝0.10，距离d4＝0.35。)因此，在选择第二图像之后根据距离d5而修改原始MGS3的值，距离d5是从图像编号0.28到最接近选定图像的距离。类似地，在选择第二图像(图像编号0.18)之后，图像编号0.02比接近选定图像0.63更接近选定图像0.18(d6<d1)。因此，在选择第二图像之后，使用距离d6来修改与图像编号0.02相关的原始MGS1。(在选择第一图像之后，使用距离d1来修改原始MGS1。)
在一个实施例中，相同的距离计算过程适用于所有其它MGS，且在每次选择新图像时适用。(如本文所描述，可用以下单位计算或测量候选图像之间的距离：时间(例如，被比较的图像的捕获时间)、介入图像数目、图像子组数目和实际上任何合适的技术。)
参考图6A到6B，式(4)是实例计分(MGS)修改函数，且式(5)是示出使用f(d)以修改(原始)MGS的实例方式的实例式：
f(d＝Dmin(i))＝(-30)*exp.{-(1,000*Dmin(i))2} (4)
Score(i)＝ScoreOrig(i)-30*exp.{-(1,000*Dmin(i))2} (5)
其中ScoreOrig(i)(i＝1、2、3、…)是计分向量ScoreOrig中的原始MGS(i)值，Dmin(i)是与MGS(i)相关的图像与最接近选定图像之间的距离d，且Score(i)是产生于对应(原始)MGS的修改的新计分。(举例来说，Dmin(i)可具有介于0.0、1.0]的范围内的值，这是根据图6C。)如本文所描述，在选择两个或更多个图像之后，候选图像可最接近于一个特定选定图像，且Dmin(i)指定候选图像与最接近选定图像之间的距离。参考式(5)，d越短(Dmin(i)的值越小)，从ScoreOrig(i)减去或移除的值越大。(越严格地修改相关MGS。)
虽然本文中例如结合图6A到6B所描述的一些方法适用于包含一个成像器的体内装置，但是实施例可一般化成包含任何数目q个成像器的体内装置，如下文所描述。简单点说，虽然具有一个成像器的体内装置产生每次产生一个MGS|max值的一个图像群组(例如，在每次图像选择重复690，图6A中)，但是具有许多成像器的体内装置产生每次产生尽可能多MGS|max值的可能多的图像群组，且每一次(例如，在每次图像选择重复770，图7期间)，识别所有MGS|max值当中的最大MGS|max，且选择与最大MGS|max相关的图像。作为实例，一种用于从数目q个相连图像群组选择图像的方法可包含针对分别由q个成像器在体腔中捕获到的q个相连图像群组而执行以下操作，其中每个群组中的每个图像可与指示图像包含至少一种类型的病理的机率的总计分(GS)和指示各个群组中的图像之间的距离的距离d相关联，针对q个相连图像群组中的每个图像：
将图像群组或其部分划分或分离成图像子组，每个图像子组包含基础图像和类似于基础图像的图像；以及
识别一组最大总计分(MGS)Set(i)(i＝1、2、3、…)，该组最大总计分Set(i)包含图像群组中的每个图像子组的最大总计分(MGS)；并选择图像以用于处理，其中图像选择可包含：(i)识别每组MGS S(i)中的最大MGS(MGS|max)；(ii)在所有MGS|max当中识别最大MGS|max，并选择与最大MGS|max相关的图像；(iii)使与选定图像相关的最大MGS|max无效；(iv)分别与特定组MGS Set(i)中的MGS相关的图像与每个选定图像之间的距离d而修改与选定图像相关的特定组MGS Set(i)；以及重复步骤(i)到(iv)，直到满足选自由最大图像数目N和计分阈值Sth组成的群组的预定准则为止。结合图7描述成像器的数目q和因此相连图像群组的数目等于两个的状况的实例方法，这在下文予以描述。
图7示出根据本发明的另一实施例的选择图像以用于显示的方法。与图1相关联地描述图7。图7的图像选择方法应用于分别从体内装置的两个成像器体内(例如，Imager-1和Imager-2，图2)获得的两个图像群组。(图7是指体内装置包含两个成像器的系统配置。)图7中示出的实施例可包含迭代或重复循环(770)以选择图像以用于显示(或用于其它目的；例如用于进一步分析)，每次迭代/重复一个图像。每次迭代/重复可引起对来源于两个成像器中的一个的图像的选择。一个成像器可最终比另一个成像器提供更多(选定)的图像，且在一些实施例中图像选择方法保证选自两个成像器的图像的总数不超过分配的图像预算。如结合图6B的步骤616所描述，使用‘图像预算’或限制可包含在选定图像的数目等于预定图像数目N时完成图像选择过程，或其可包含使用计分阈值Sth，或其可包含组合地使用预定图像数目N和计分阈值两者。在一些实施例中，使用计分阈值(Sth)保证选择某一有限数目个图像(虽然事先未知)，这是因为MGS的值从一个图像选择循环到另一图像选择循环减小，以使得在某一时间，在有限数目次迭代770之后，剩余最大MGS将一定小于计分阈值。
在以本文中所描述的方式在病理上处理(例如，通过数据处理器14或通过远程计算机)源自两个成像器的图像之后，每个图像群组独立地被分割成图像子组。数据处理器14可识别每个图像群组的每个图像子组中的一个或多个局部极大值计分MGS，且数据处理器14可产生用于单独地适应两组MGS的两个计分向量：(1)用于容纳源自与第一成像器相关联的图像群组(图像子组)的原始MGS的计分向量Score(1)和(2)用于容纳源自与第二成像器相关联的图像群组(图像子组)的原始MGS的计分向量Score(2)。每个计分向量Score(j)可包含多个局部极大值计分值MGS，(其中j＝1,2)。在一些实施例中，每个图像子组中(两个图像群组中)的每个局部极大值MGS存储于相应向量Score(j)中。(如本文所使用的索引‘i’指示单个向量值；例如Score(j)是个别计分值。索引‘j’指示完整向量；例如，计分(j)是包含多个计分值的向量。)在其它实施例中，每个图像子组中的仅最大局部极大值计分值MGS存储于相应向量Score(j)中。在其它实施例中，针对相应向量Score(j)选择每个图像子组中的最大计分值，而不论其是否是本地极大值计分值。
在步骤710处，数据处理器14可以首先存储于计分向量Score(1)中的(原始)MGS值初始化与第一成像器相关联的计分向量ScoreOrig(1)，且类似地，其还可以首先存储于计分向量Score(2)中的(原始)MGS值初始化与第二成像器相关联的计分向量ScoreOrig(2)。首先存储于计分向量ScoreOrig(1)和计分向量向量ScoreOrig(2)中的MGS在本文中被称作‘原始MGS’。经修改MGS存储于计分向量Score(1)中和计分向量Score(2)中。(存储于计分向量Score(1)中的(原始)MGS值每次在图像是选自与存储于此向量中的MGS相关的图像时改变。类似地，存储于计分向量Score(2)中的(原始)MGS值每次在图像是选自与存储于此向量中的MGS相关的图像时改变。)在步骤710处，数据处理器14还可将循环计数器n重设成初始值；例如重设成一。
在步骤720处，数据处理器14可检查是否已选择数目N个图像(处理器可检查图像预算是否已用光)。如果已选择如果N个图像(所述条件在步骤720处示出为“是”)，那么数据处理器14可终止图像选择过程。但是，如果已选择少于N个图像(所述条件在步骤720处示出为“是”)，那么数据处理器14可在步骤730处在每个计分向量Score(j)中识别目前具有最大值的MGS(此MGS在本文中被称作‘MGS|max’)。也就是说，数据处理器14可识别计分Score(1)的MGS|max(1)和计分Score(2)中的MGS|max(2)。接着，数据处理器14可从MGS|max(1)和MGS|max(2)选择具有最高值的MGS|max(i)。如果MGS|max(1)等于或大于MGS|max(2)(所述条件在步骤730处示出为“是”；j＝1)，那么在步骤760处执行的MGS修改过程将应用于与第一成像器相关联的原始MGS(应用于存储于计分向量ScoreOrig(1)中的原始MGS)，且如果MGS|max(2)大于MGS|max(1)(所述条件在步骤730处示出为“否”；j＝2)，那么MGS修改过程将应用于与第二成像器相关联的原始MGS(应用于存储于计分向量ScoreOrig(2)中的原始MGS)。
在步骤740处，如果选定MGS|max(i)的值等于零或其是负数，其中i＝1或i＝2(取决于哪个MGS|max(i)更大：MGS|max(1)还是MGS|max(2))，或在其低于预定正计分值阈值的一般状况下(所述条件在步骤740处示出为“否”)，那么数据处理器14可终止图像选择过程。(取决于计分阈值的值，可能在选择N个图像之前终止图像选择过程。)但是，如果选定的MGS|max(i)大于零(所述条件在步骤740处示出为“是”)或如果其大于计分阈值，那么数据处理器14可在步骤750处选择与目前被识别为当前MGS|max(1)和MGS|max(2)当中的最大MGS|max的MGS|max(i)相关的图像。(MGS|max(1)和MGS|max(2)的值可从一个重复循环770到另一个重复循环改变。)
在步骤760处，数据处理器14可在计分向量ScoreOrig(j)中使两个计分向量Score(1)和Score(2)中的目前被识别为最大MGS|max(i)的MGS无效，以便从图像选择过程排除选定图像(以确保将不会选择此图像多于一次)。数据处理器14可通过例如将相关联计分向量ScoreOrig(j)中的值MGS|max(i)替换成值(-∞)或值零来使MGS无效。接着(仍在步骤760处，或在单独步骤中)，数据处理器14可从相关计分向量ScoreOrig(j)撷取原始MGS(计分向量ScoreOrig(j)与在步骤730处选定的MGS|max(i)相关联)，接着通过使用修改函数f(d)来修改检索到的MGS，并在相应计分向量Score(j)中存储经修改MGS，因此每次在步骤处750从对应成像器选择新图像时以新经修改MGS值更新计分向量Score(j)的计分内容。
当第一次执行步骤730时，计分向量Score(1)和Score(2)两者含有(存储)原始MGS。因此，对步骤730的第一执行涉及识别并比较计分向量Score(1)中的原始MGS|max(i)与计分向量Score(2)中的原始MGS|max(i)。当在步骤750处选择第一图像时，修改识别相关MGS|max的相关计分向量Score(j)，此过程在计分向量Score(j)中产生经修改MGS。因此，步骤730的第二执行涉及比较存储于另一又未经修改计分向量Score(j)中的原始MGS|max与来自经修改计分向量Score(j)的经修改MGS|max。但是，假设在图像选择过程中的某一点处，已从每个图像群组选择至少一个图像，那么进一步执行步骤730包含比较经修改MGS|max值，但是在每个重复循环(770)中修改不同计分向量Score(j)，且相对于相应原始MGS完成对计分向量Score(j)的每次修改。
本文中所描述的图像选择方法可类似地应用于分别捕获q个图像群组的任何数目q个成像器，包含应用于一个成像器。对于存在q个图像群组的一般状况，每组图像可以产生一个或多个图像子组和相关原始MGS，且另外，可在每次图像选择迭代或重复循环中比较数目q个MGS|max值(每个图像群组一个MGS|max值)(在类似于步骤730的步骤中)，以便在每次图像选择迭代循环中选择与所有q个MGS|max值当中的具有最大值的MGS|max相关的一个图像。
图8示意性地说明根据实例实施例的图像选择方法的实例实施方案。人类胃肠道(在800处示意性地示出)尤其包含小肠(SB)片段810和结肠820片段。类似于体内装置40的体内装置可在方向830上移动时捕获胃肠道800中的图像。
图表850是示出与从其捕获到的图像的胃肠道的部分相关联的在时间上定序的图像的时间图。举例来说，在SB(810)中捕获到的第一图像是图像812，在时间t1捕获到所述图像，且在SB(810)中捕获到的最后图像是图像814，在时间t2捕获到所述图像(t2>t1)。类似地，在结肠(810)中捕获到的第一图像是图像822，在时间t3捕获到所述图像，且在结肠(810)中捕获到的最后图像是图像824，在时间t4捕获到所述图像(t4>t3>t2>t1)。根据图表850，使用恒定成像速率来捕获图像。但是，成像速率可变化，例如根据体内装置的移动的改变或根据剩余电池功率的改变等等，且本文中所公开的图像选择方法还可适用于成像速率变化的实施例。
假设用户(例如，医生)想要仅选择源自胃肠道800的特定片段的图像，那么用户可以例如通过在计算机显示器(例如，显示器18)上鼠标单击专用输入框来将此指示给工作站(例如，工作站13)，且遵守用户输入的数据处理器(例如，数据处理器14)可通过将与外来的直肠部分相关的所有总计分置零来排除胃肠道(800)的所有外来部分。举例来说(参考图表860)，假设用户向工作站(针对数据处理器)输入输入仅选择源自小肠(810)的那些‘病理’图像的指令。响应于用户的指令，数据处理器可以将与小肠图像之前的图像相关的总计分(GS)置零，如862处所示(图像编号123到124)，并还将与小肠图像之后的图像相关的总计分置零，如864处所示(图像编号150到163)。通过将与待排除的图像相关的总计分置零(例如，设定成零)，由数据处理器最终选定的图像仅源自小肠。(‘在特定图像之前’和‘特定图像之后’分别意味着在特定图像之前捕获到的图像和在特定图像之后捕获到的图像。)
举例来说，在图像含有气泡和/或胃内容物的意义上，和/或如果所述图像提供低于组织覆盖性阈值的组织覆盖性和/或所述图像符合暗度准则等等，那么所述图像可被视为有噪声。在此类状况下，从图像选择过程排除此类图像可以是有益的。为，图像选择过程可以另外包含例如气泡检测器和/或胃内容物检测器和/或组织覆盖检测器等以检测此类的图像，且本文描述的方法可包含在图像有噪声的情况下将图像的总计分置零(例如，设定成零)。作为实例，图像编号132和139是含有气泡和胃内容物的实例图像，因此与其相关的总计分分别在866和868处显示为置零。
在另一实例中(参考图表870)，假设用户向工作站(针对数据处理器)输入仅选择源自结肠(820)的图像的指令。响应于用户的指令，数据处理器可以将与结肠图像之前的图像相关的总计分置零，如872处所示(图像编号123到149)，并还将与小肠图像之后的图像相关的总计分置零，如874处所示(图像编号162到163)。通过将与待从图像选择过程排除的图像相关的总计分置零，由数据处理器最终选定的图像仅源自结肠。
在从图像选择过程中排除与胃肠道800的外来片段相关的图像之后(例如，通过将其总计分置零)，未排除的图像(在直肠的感兴趣片段中捕获到的剩余图像)可被分割成图像子组，接着在每个图像子组中，可识别一个或多个MGS，且接着可处理图像子组的MGS以便从感兴趣的胃肠片段(例如，小肠片段810、或结肠820或胃肠道800的任何其它片段)选择图像。
在本文中例如结合图6A描述的一些实施例中，可变地抑制接近选定图像的图像的GS(例如，使其值降低)，因此仍给予接近图像也选择的机会。通常，接近选定图像并含有相同对象的图像的数目仅在事后知道，即，在针对相关选定图像完成搜索接近图像中的某一对象的跟踪过程之后知道。(跟踪过程可被视为在执行跟踪过程的处理器找到含有与选定图像中相同的对象的最后图像之后完成的。(含于选定图像中的对象在本文中被称作‘原始对象’。)也就是说，只要处理器在这些图像中找到原始对象，那么处理器可以有序方式‘跟踪’从选定图像到一个接一个图像的跟踪过程(在两个方向上)，且所述处理器可在下一图像不含有原始对象时终止跟踪当时。)另外，如果选定图像的一侧(图像流的定序内)或两侧上的许多图像含有原始对象，那么此类图像可按时间顺序相对远离选定图像(例如，50个图像远离选定图像，45个图像在选定图像前方等等)且此类图像可仍被视为‘接近’图像。(如果跟踪过程指示远程图像和介入于远程图像与选定图像之间的所有图像全部含有相同对象，那么远程图像可仍被视为接近图像。)因此，使用此实施例可引起对含有(示出)同一对象(例如，病理)，例如同一息肉、同一损伤等等的额外图像的冗余选择。但是，在一些状况下，可能需要确保仅选择示出特定对象(例如，病理)的一个图像，以便避免选择冗余图像并大体上更好地使用给定(例如，预定)图像预算。使用图9中示出的实施例可确保针对每个对象(例如，针对每个特定病理)仅选择一个图像。在选择特定图像以用于显示会另一目的之后，可仍使接近选定图像的图像对用户(例如，医生)可用以，用户可必要时还选择这些图像例如以进行检阅(例如，作为视频剪辑，作为‘拼贴画’等等)，或使处理器例如操控与选定图像相关的整个图像子组。
将图像特性用作对象可是使得能够首先定义多个图像子组，并接着通过例如以结合图6A到6B和图7描述的方式操控其总计分来选择图像。如例如结合图9所描述的将成像对象用作对象可使得能够首先选择图像，并接着使用选定图像以定期‘其’子组以便在选择下一图像之前使其整个子组无效等等。不论是否首先找到图像的子组且接着图像是或可选自所述子组或不论是否首先选择图像并接着形成其子组，都在选择下一图像之前操纵每个子组的总计分(GS)(例如，使其无效或加以修改)。
图9示出根据本发明的另一实例实施例的选择图像以用于显示(或用于任何其它目的)的方法。在步骤910处，循环索引n的值初始设定为零(n＝0)。在步骤920处，处理器可接收或检索源自个体的胃肠道的一组(一系列)连续图像，并可以计算每个图像的总计分(GS)。处理器可使用本文所描述的方法中的任一个或其它方法以计算图像的总计分(GS)。
在步骤930处，处理器可识别GS当中的最大GS(MGS)，且在步骤940处，处理器可以选择(或标记)其GS是MGS的图像例如以用于显示，并将值n设定为1(n＝n+1＝1)以指示在此阶段已选择一个图像。
在步骤950处，处理器可检查n的值是否等于N(N是允许被选择的任何优选的最大图像数目；例如，N＝10、25、100等)。如果已选定的图像的数目等于N(此条件在步骤950处示出为“是”)，那么终止图像选择过程。然而，如果选定的图像的数目(仍然)低于N(此条件在步骤950处示出为“否”)，那么在步骤960处，处理器使选定图像(与其相关)的MGS的值无效(例如，设定成零)，且另外，处理器可识别选定图像中的具临床重要性的对象(例如，息肉)。(高可信度地假设图像包含此对象，这是因为其GS目前是最大的。)
在步骤970处，处理器可在接近目前选的定图像的图像中搜索具有临床重要性的相同对象(与选定图像中已识别的对象相同或等同的对象)。举例来说，处理器可应用循轨机制以尝试识别选定图像(先前图像和后续图像)的两侧上的接近图像，所述图像含有很可能针对其选择选定图像的同一对象(例如，同一病理)。
如果处理器找到接近目前选定的图像的与目前选定的图像中含有相同对象的图像(此条件在步骤980处示出为“是”)，那么在步骤990处，处理器使含有对象的每个图像的GS无效。使所有接近图像(接近当前选定图像的图像)的GS无效会从图像选择过程排除接近图像，因此确保将仅示出(或出于任何其它原因，例如以用于进一步处理))选定图像中识别到(检测到)的对象一次，也就是说，仅示出一个代表性图像。但是，如果处理器没有找到‘仅仅’含有与当前选定的图像中的相同对象的当前选定图像的图像(此条件在步骤980处示出为“否”)，那么在步骤992处，处理器可修改尚未无效的所有GS。在步骤992修改非无效GS的合理性是如果接近目前选定的图像的图像不含对于其选择目前选定的成像器的对象，那么接近选定图像的图像(‘接近图像’)可含有可保证选择此图像的另一对象。因此，可修改接近图像的GS(不使其无效)以便给予所述接近图像或其中一些也被选择的机会。可以通过使用本文中描述的任何修改方法或任何其它合适的修改方法来实施在步骤992修改非无效GS。步骤992(修改非无效GS)可以是任选的。也就是说，执行图9的实施例的处理器可跳过步骤992并继续进行到步骤930以便开始另一迭代或重复994。换句话说，在一些实施例中，处理器可以不修改总计分，而是识别另一(下一个)最大GS，选择相关图像，使其‘相邻’(接近)GS无效(如果含有与相关选定图像相同的对象的接近图像)，接着再次(在步骤930)识别非无效GS当中的下一个目前最大的GS等等(继续步骤940、950等等)。
在每次迭代或重复(994)时，步骤970以产生包含选定图像作为基础图像以及接近基础图像并包含相同对象的图像的图像子组。图像子组有时可包含是选定图像的一个图像或多个图像。
在使与目前选定的图像含有相同对象的图像无效(按步骤990)之后，或在修改所有非无效GS之后(如果步骤992未由处理器省略)，另一迭代或循环重复994可在930步骤处开始，以便选择另一图像。也就是说，在步骤930处，处理器可识别GS当中或经修改GS当中的当前(新)最大GS(当前/新MGS)，接着在步骤940处选择与MGS相关的图像，接着在步骤960处使当前MGS无效并识别新对象(与含于先前选定的图像中的对象不同的对象)，接着在步骤970处搜索接近新选定的图像的图像中的相同新对象等等。
与选定图像中包含相同对象的图像不一定意味着所述对象在相同位置中或在这些图像中具有相同定向。举例来说，同一对象可在邻近图像之间移位，和/或一个图像中的对象可相对于邻近图像中的对象图像旋转。处理器可使用任何已知图像处理方法以确定两个图像是否示出或含有同一对象(例如，同一息肉)。此类技术在所述领域中众所周知。
图10表明根据实例实施例的图像选择过程。图10步骤A示出包含由包含一个成像器的体内装置捕获的二十八个相连图像的实例图像群组1000和其相应总计分。(根据其捕获时间，28个图像示出为在时间上定序，首先捕获到图像数目‘1’且最后捕获到图像数目‘28’。)在实践中，图像群组中的图像的数目可极大(例如，数万个)，然而，如同其它图式中，仅出于说明性目的而使用小数目个图10步骤A中示出的图像。
将与图9相关联地描述图10步骤A。在例如通过处理器针对二十八个图像计算总计分之后(按步骤920)，处理器可以在步骤930处识别目前最大的GS(当前MGS)。参考图10步骤A，目前(在处此阶段第一)最大GS或MGS是图像编号十的GS。(图像编号‘10’的GS的值是93，如1010处所示出。)因此，处理器选择(按步骤940)图像编号‘10’，这是因为其与当前相关。假设想要选择更多图像(例如，35个图像)。因此，处理器通过在步骤960处使MGS无效(例如，通过将其值设定成零，如图10步骤B中的1020处所示)并通过识别选定图像中的对象(也在步骤960处)来继续进行图像选择过程。
接着，在步骤970处，处理器搜索接近选定图像的是中的相同对象。参考图10步骤A，作为实例，假设图像编号‘8’和‘9’(图像编号‘10’之前的两个图像，目前选定的图像)和图像编号‘11’、‘12’、‘13’和‘14’(图像编号‘10’之后的四个图像)含有与图像编号‘10’相同的对象。(换句话说，构成或形成图像群组1030的所有图像含有相同对象。)因此，在步骤990处，处理器使图像群组1030中的所有图像的GS无效，这是因为它们全部含有相同的对象，因此应仅选择一个代表性图像。在图10步骤B中示出这些GS的无效值。举例来说，虽然图像编号‘8’的GS的值是70(在图10步骤A中)，但是其在图10步骤B中的值(即，在步骤990中使其无效之后)是零。除了图像编号“10”之外，使图像编号“10”的GS和图像编号“10”附近的图像的GS无效从图像选择过程排除整个图像子组1030，将图像编号‘10’选作此图像子组的代表性图像，这是因为在此阶段(在此算法重复处)，其具有最大GS。
在从图像选择过程排除第一图像群组图像群组1030)之后，处理器再次在步骤930处识别在图10步骤B的实例中具有值82的下一MGS(此GS是针对图像编号‘20’计算出的并在1040处示出)。如同先前MGS，处理器在步骤940处选择图像编号‘20’，并在步骤960处使其GS的值无效。在1050处示出图像编号‘20’(第二选定图像)的无效MGS值1040。作为实例，假设接近目前选定的图像(图像编号‘20’)的仅两个图像(图像编号‘21’和‘22’)包含同一对象作为图像编号‘20’。因此，从图像选择过程排除整个图像子组1060——由于其GS是第二最大GS而已选择了图像编号‘20’，且由于其与图像编号‘20’含有相同对象而选择了图像编号‘21’到‘22’。
图10表明在图9的实施例的每个迭代或重复994的情况下可从图像选择过程减去或移除另一图像子组。第三迭代或重复944(图9)可应用于图10步骤C中的剩余GS；例如应用于在排除图像子组1030和1060之后剩余的GS。如果选定图像不具有包含相同对象的任何接近图像，那么可在不修改非无效GS(通过跳过或忽略步骤992)的情况下或通过按步骤992修改非无效GS来以类似方式选择下一图像。
本文中所公开的图像选择方法可以各种方式实施，例如通过使用各种计分修改机制。举例来说，用以修改计分的修改函数可选自由以下各项组成的群组：对称函数或非对称函数(‘对称’和‘非对称’是相对于已选定图像)、线性函数、非线性函数、高斯指数、具有距离绝对值的指数、阶梯函数和其顶点位于选定图像处并且随距离线性减小的三角形函数。可根据选自由以下各项组成的群组的参数而选择修改函数：病理类型、胃肠道中的位置和体内装置在体腔中的速度。举例来说，图像选择过程可应用于由体内装置捕获的所有图像，且所述过程可包含将相同修改函数应用于相关MGS；图像选择过程可应用于由体内装置捕获的所有图像，但所述过程可包含将不同修改函数应用于涉及在体腔的不同部分或片段中捕获到的图像的MGS；可仅应用于由体内装置捕获在体腔的不同部分或片段中捕获到的图像，且过程可包含将相同修改函数应用于相关MGS或不同修改函数；在当体内装置以低速在胃肠道中移动时抑制可仅应用于或更严格地应用于涉及相对接近选定图像的图像的MGS且当体内装置以高速在胃肠道中移动时抑制可仅应用于或更严格地应用于涉及相对远离选定图像的图像的MGS的意义上，修改函数可以是速度相依的；当体内装置产生例如两系列图像(每个成像器一系列)时，如果一个成像器拍摄病理(例如，息肉)的图片，那么可显著地抑制来自另一成像器的在时间上接近所述图像的图像，这是因为选择同一病理的额外图像没有意义。(举例来说，当体内装置缓慢移动时，或当图像捕获速率相比于体内装置的移动高时，和/或当体内装置的两个(或更多个)成像器拍摄同一病理的图片时，可拍摄同一病理的图像。)
在一些实施例中，还可相对于涉及针对涉及另一图像群组的图像计算出MGS的图像抑制针对与一个图像群组相关的图像而计算出的MGS。举例来说，如果存在两个成像器，那么一个成像器可以在向前方向(体内装置的移动方向上)观察，而另一个成像器可向(在相反方向上)观察。由两个成像器捕获的图像可‘暂存’于连续图像之间以便确定哪个成像器正‘放大’且哪一成像器正缩小。接着，不对称修改函数可拒绝另一个头部在相同直肠位点中拍摄的图像。
虽然数据收集、存储和处理由某些单元执行，但是本发明的系统和方法可以用替代性配置来实践。举例来说，收集并发射图像数据的组件不必含于胶囊中，认识可含于适合于横越人体中的管腔的任何其它装置中，例如内窥镜、血管支架、导管、针等等。
出于说明和描述的目的，已经呈现本发明的实施例的前述描述。其并不意图是穷尽性的或将本发明限制于所公开精确形式。所属领域的技术人员应了解，鉴于上述教示，许多修改、变化、替换、改变和等同物是可能的。因此，应理解，所附权利要求书旨在涵盖如属于本发明的真实精神内的所有此类修改和改变。

Claims (22)

1.一种用于从由体内装置捕获的图像中选择包括临床重要信息的图像的计算机实现的方法，所述方法包括：
接收在体腔中捕获的一组连续图像，其中每个图像与指示所述图像包括至少一种类型的病理的概率的总计分GS相关联；以及
在用户操作时：
(i)基于图像的相关GS从体内装置捕获的图像中迭代地选择图像，直到满足预定标准，其中一次选择一个图像；
(ii)每次选择图像时，抑制该组连续图像中的图像的GS，其中执行所述抑制使得增加其它图像包括临床重要信息的概率，其中，所述其它图像中的临床重要信息与其它病理相关，或者与相对于所选择的图像中示出的病理或位置的体腔中的其它位置相关；以及
(iii)显示或进一步处理所选择的图像的至少一个子集。
2.根据权利要求1所述的方法，其中：
对于每次图像选择迭代，图像的选择包括：
在所述GS中识别最大GS；以及
选择与最大GS相关的图像。
3.根据权利要求1所述的方法，其中所述标准是图像的数目或GS阈值或其组合。
4.根据权利要求1所述的方法，其中抑制图像的所述GS包括使与所选择的图像相关的所述GS无效。
5.根据权利要求1所述的方法，其中抑制所述GS包括基于与所述GS的相关图像和所选择的图像之间的距离d来抑制所述GS。
6.根据权利要求5所述的方法，其中所述距离d越小，特定GS的值越减少的大。
7.根据权利要求5所述的方法，其中与所述GS相关的图像和所选择的图像之间的距离d是用以下单位计算或测量的：时间，或(ii)介入图像的数目，或(iii)介入图像子组的数目，或(iv)所述体内装置在拍摄所述图像时在所述体腔中行进的距离，或(v)所述体内装置在所述体腔中相对于该组图像或所述体腔中的标记行进的距离，或(vi)包括所有或大多数该组连续图像的视频剪辑的百分比。
8.根据权利要求7所述的方法，其中每个单元实例被计算或测量为：相对于所述连续图像组的开始、或相对于所述体腔的开始、或相对于所述连续图像组中或所述体腔中的标记、或作为(ii)所述连续图像组或体腔的百分比或分数、或(iii)包括所述连续图像组的全部或大部分的视频剪辑的百分比或分数、或(iv)所述体内装置行进的距离的百分比或分数、或(v)所述体内装置行进的时间的百分比或分数而计算或测量的绝对值。
9.根据权利要求1所述的方法，还包括针对所述连续图像组的多个图像中的每个图像：
识别所述图像中的对象；以及
在所述图像附近的图像中搜索与所识别的对象相同的对象，
其中，所述图像和包括所述对象的附近图像形成子组。
10.根据权利要求9所述的方法，其中：
所述多个图像是所选择的图像，
对于每个所选择的图像，抑制该组连续图像中的图像的GS包括：使与所选择的图像相关的子组的图像无效，以及
图像的选择包括：
在所述GS中识别最大GS；以及
选择与最大GS相关的图像。
11.根据权利要求9所述的方法，其中：
所述对象是图像特征，
将包括多个图像的连续图像组的至少一部分划分成子组，以及
图像的选择包括：
识别每个子组的最大总计分(“MGS”)；
选择与所述MGS中最大的MGS(MGS|max)相关联的图像；以及
使与所选择的图像有关的最大MGS无效。
12.根据权利要求1所述的方法，进一步包括使所述用户能够选择以下各项中的一项：包括在所选择的图像中的病理类型、所选择的图像在体腔中的位置、要选择的图像的数量、用于根据从中拍摄图像的体腔的部分来抑制图像的修改函数、或上述各项的组合。
13.根据权利要求1所述的方法，其中所述抑制包括关于所选择的图像将修改函数应用于所述GS。
14.根据权利要求13所述的方法，其中所述修改函数是根据选自由以下各项组成的群组的参数来选择：病理类型、体内装置在体腔中的位置和体内装置在体腔中的速度。
15.根据权利要求13所述的方法，其中将修改函数应用于特定GS包括识别与所述特定GS有关的所述图像和任何所选择的图像之间的最小距离Dmin，并且使用所述最小距离Dmin修改所述特定GS。
16.根据权利要求1所述的方法，其中所述抑制包括应用从由以下各项组成的组中选择的修改函数：对称函数、非对称函数、线性函数、非线性函数、高斯指数函数、具有距离绝对值的指数函数、阶梯函数、以及顶点位于选定帧处并且随着距离线性减小的三角形函数。
17.根据权利要求1所述的方法，其中所述体腔是胃肠道。
18.根据权利要求1所述的方法，进一步包括如果一图像有噪声，则将所述图像的GS清零。
19.一种用于从由体内装置捕获的图像中选择包括临床重要信息的图像的系统，所述系统包括：
数据处理器，所述数据处理器被配置为，
对于在体腔中捕获的一组连续图像，每个图像具有与其相关联的总计分GS，所述GS指示所述图像包括至少一种类型的病理的概率，所述数据处理器在用户操作时执行：
(i)基于图像的相关GS从体内装置捕获的图像中迭代地选择图像，直到满足预定标准，其中一次选择一个图像；
(ii)每次选择图像时，抑制该组连续图像中的图像的GS，其中，执行所述抑制，使得增加其他图像包括临床重要信息的概率，其中，所述其他图像中的临床重要信息与其他病理相关，或者与相对于所选择的图像中示出的病理和位置的体腔中的其他位置相关；以及
(iii)在显示器上显示或进一步处理所选择的图像或所选择的图像的子集。
20.根据权利要求19所述的系统，其中：
对于每次图像选择迭代，图像的选择包括：
在所述GS中识别最大GS；以及
选择与最大GS相关的图像，
抑制图像的GS包括使与所选择的图像相关的所述GS无效，以及
所述标准是图像的数目或GS阈值或其组合。
21.根据权利要求19所述的系统，其中抑制所述GS包括基于所述GS的相关图像和所选择的图像之间的距离d来抑制所述GS。
22.根据权利要求19所述的系统，其中所述抑制包括关于所选择的图像将修改函数应用于所述GS。
CN202111331091.3A 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法 Pending CN114271767A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662338032P 2016-05-18 2016-05-18
US62/338,032 2016-05-18
PCT/IL2017/050559 WO2017199258A1 (en) 2016-05-18 2017-05-18 Systems and methods for selecting for display images captured in vivo
CN201780038002.1A CN109328028B (zh) 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780038002.1A Division CN109328028B (zh) 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法

Publications (1)

Publication Number Publication Date
CN114271767A true CN114271767A (zh) 2022-04-05

Family

ID=60325845

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780038002.1A Active CN109328028B (zh) 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法
CN202111331091.3A Pending CN114271767A (zh) 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780038002.1A Active CN109328028B (zh) 2016-05-18 2017-05-18 用于选择体内捕获到的图像以用于显示的系统和方法

Country Status (4)

Country Link
US (2) US10932656B2 (zh)
EP (1) EP3457909A4 (zh)
CN (2) CN109328028B (zh)
WO (1) WO2017199258A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10932656B2 (en) 2016-05-18 2021-03-02 Given Imaging Ltd. System and method for selecting for display images captured in vivo
CN107911555B (zh) * 2017-11-24 2020-02-21 珠海市魅族科技有限公司 图片发送方法及装置、终端装置与计算机可读存储介质
EP3826526A1 (en) * 2018-07-25 2021-06-02 Universität Zürich Video-endoscopic intubation stylet
US20230134603A1 (en) 2020-05-01 2023-05-04 Given Imaging Ltd. Systems and methods for selecting images of event indicators
WO2021241695A1 (ja) * 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置
US20220039639A1 (en) * 2020-08-06 2022-02-10 Assistance Publique-Hopitaux De Paris Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video
JP2023540579A (ja) 2020-09-08 2023-09-25 ギブン イメージング リミテッド ポリープの画像を識別するためのシステム及び方法
US11500463B2 (en) * 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084547B2 (en) * 2006-03-30 2015-07-21 Given Imaging Ltd. System and method for checking the status of an in-vivo imaging device
JP4914634B2 (ja) * 2006-04-19 2012-04-11 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
JP4236685B2 (ja) * 2007-03-12 2009-03-11 オリンパス株式会社 カプセル型医療装置
US20100329520A2 (en) * 2007-11-08 2010-12-30 Olympus Medical Systems Corp. Method and System for Correlating Image and Tissue Characteristic Data
US20090309977A1 (en) * 2008-06-12 2009-12-17 Microsoft Corporation Benchmarking and calibrating video quality assessment tools
EP2177149A1 (en) * 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
US8682142B1 (en) * 2010-03-18 2014-03-25 Given Imaging Ltd. System and method for editing an image stream captured in-vivo
US9116924B2 (en) 2013-01-14 2015-08-25 Xerox Corporation System and method for image selection using multivariate time series analysis
US9342881B1 (en) * 2013-12-31 2016-05-17 Given Imaging Ltd. System and method for automatic detection of in vivo polyps in video sequences
US10932656B2 (en) 2016-05-18 2021-03-02 Given Imaging Ltd. System and method for selecting for display images captured in vivo

Also Published As

Publication number Publication date
CN109328028B (zh) 2021-11-23
EP3457909A1 (en) 2019-03-27
EP3457909A4 (en) 2019-10-30
US20210137368A1 (en) 2021-05-13
US20190175000A1 (en) 2019-06-13
US11602264B2 (en) 2023-03-14
CN109328028A (zh) 2019-02-12
US10932656B2 (en) 2021-03-02
WO2017199258A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN109328028B (zh) 用于选择体内捕获到的图像以用于显示的系统和方法
EP1769729B1 (en) System and method for in-vivo feature detection
US20200320336A1 (en) Control method and recording medium
AU2019431299B2 (en) AI systems for detecting and sizing lesions
Iakovidis et al. Software for enhanced video capsule endoscopy: challenges for essential progress
US9060673B2 (en) System and method for displaying portions of in-vivo images
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
US9324145B1 (en) System and method for detection of transitions in an image stream of the gastrointestinal tract
US9547794B2 (en) Image processing device, information storage device, and image processing method
US8682142B1 (en) System and method for editing an image stream captured in-vivo
JP6215236B2 (ja) 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法
EP3866667A1 (en) Systems and methods for generating and displaying a study of a stream of in vivo images
JP7096445B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
US20110301447A1 (en) Versatile video interpretation, visualization, and management system
US11478125B2 (en) Systems and methods for assessment and monitoring of a mucosal disease in a subjects gastrointestinal tract
US9430706B1 (en) System and method for detection of in-vivo pathology sequences
US20200065614A1 (en) Endoscopic image observation system, endosopic image observation device, and endoscopic image observation method
US8861783B1 (en) System and method for detection of content in an image stream of the gastrointestinal tract
JP5676063B1 (ja) 医療装置及び医療装置の作動方法
Pogorelov et al. A holistic multimedia system for gastrointestinal tract disease detection
Ali Where do we stand in AI for endoscopic image analysis? Deciphering gaps and future directions
Jin et al. Deep learning for gastroscopic images: computer-aided techniques for clinicians
JPWO2019064704A1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
Li et al. Online redundant image elimination and its application to wireless capsule endoscopy
JP7427766B2 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination