CN104054092A - 用于显示体内图像流中的活动力事件的系统和方法 - Google Patents

Abstract

本发明公开了系统和方法，其可以基于由体内成像装置捕获的图像流分析并显示肠活动力事件。根据一些实施例，所述系统包括：存储单元，所述存储单元存储来自所述图像流的图像帧；处理器，所述处理器从所述图像流的多个图像帧中选择像素条，将所选择的像素条相邻地排列以形成活动力事件栏；以及可视显示单元，所述可视显示单元用于将所述活动力事件栏显示给用户。

Description

用于显示体内图像流中的活动力事件的系统和方法

技术领域

本发明涉及用于图像处理体内捕获的图像流的方法和系统。更具体地，本发明涉及用于分析、显示胃肠道的图像流中的活动力事件的系统和方法。

背景技术

小肠是将胃与大肠连接在一起的胃肠(GI)道的一部分。成年人的小肠的长度是可变的，根据情况可以为3到8米。小肠的主要功能是消化和吸收食物中的营养物和矿物质。为此，小肠通过称作活动力(motility)的生理学机制使食物通过。

肠活动力可以分成两类：蠕动，例如负责在一个方向上移动食物的肠壁的同步运动；以及自主收缩，例如肠壁的不同步运动，其中肌肉基本上相互独立地挤压，这可能有混合内容物但不使内容物向上或向下移动的效果。

当器官失去协调肌肉活动的能力时，出现肠活动力机能障碍，表明有异常的收缩活动(例如痉挛或肠麻痹)。广义上，在将食物和分泌物运输到小肠管的过程中的任何变化都可以认为是活动力紊乱。

测压法当前用来收集信息以诊断小肠的活动力紊乱。测压法诊断基于小肠的固定部分中肠壁压力的变化。然而，这种技术可能有几个缺点，例如，它是侵入性的，可能引起病人不适；它不包括小肠的可视性；只可以评估小肠的一部分；执行测压法测试可能是相当复杂的过程，结果的解释可能是困难的。

诸如由包括可吞服胶囊的体内成像系统执行的体内成像方法可以用来对病人的体腔成像。成像系统可以在胶囊通过例如胃肠(GI)道时捕获GI腔的图像、并将其传输到外部的记录装置。胶囊可以捕获可变帧速率(例如每秒1-40帧)的图像。大量的图像(例如100,000到300,000个图像)可以被采集，以在成像过程中查看，这可以在1到8小时的持续时间内执行，可以被实时地查看和/或处理。图像可以按顺序组合，长度为例如30-120分钟的图像流或电影可以呈现给用户。

发明内容

(一)要解决的技术问题

用于显示病人的GI道的活动力事件或活动力性质的系统和方法对提高肠活动力分析和诊断肠活动力紊乱是有用的。

(二)技术方案

根据本发明的实施例，提供了一种用于显示由体内成像装置捕获的图像流中的肠活动力事件的计算机实现的方法。所述方法可以包括接收由体内装置捕获的图像流。所述图像流可以包括图像帧，每个帧包含排列成阵列的多个图像像素。可以从例如图像流的至少一个图像子集的每个图像中选择像素条。所选择的条可以排列或布置成空间布置(例如，相邻地)以形成活动力事件栏。在一些实施例中，图像的子集可以包括来自图像流的连续图像帧的一个或多个序列。

活动力事件栏可以显示于计算机监视器或显示器或另一可视显示单元上。在一些实施例中，像素条可以包括从图像帧中选择的一行或多行(例如，直线)像素。图像流的视频显示可以显示在例如活动力事件栏旁边。

可以执行不同的方法来从图像中选择像素条，以形成活动力栏。在一个实施例中，每个图像帧中的固定点可以被确定，所选择的像素条可以选择为经过所述固定点。固定点可以是例如图像帧的中心。在一些实施例中，像素条的选择可以是适应性的，可以取决于某些选择标准。所述标准可以包括例如每个图像中的检测区或特征，或者可以包括基于图像性质或图像中的像素性质的某些条件。

在一个示例中，可以在每个图像帧(或来自图像流的图像的子集)中检测腔洞，可以选择经过每个图像帧中的所检测的腔洞的像素条。所选择的条可以选择为例如最大化所生成的活动力事件栏中的腔洞的可见性。

在另一示例中，可以检测图像帧的红色(出血)区域，所述条可以选择为经过例如所检测区域的中心，或者使得经过所检测区域的像素的数量在所选择的像素条中最大。从图像中选择像素条的其它标准可以包括例如检测图像中描绘浑浊内容物、病理等的区域。超过一个标准可以用来确定像素条的选择以用于生成活动力事件栏。

根据一些实施例，可以基于活动力事件栏确定肠事件。所述事件可以自动地确定，例如通过处理器或者可以包括于处理器中或操作地连接到处理器的肠事件检测器确定。所检测的肠事件可以包括描绘GI腔的某个状态的图像序列，例如，收缩、静态闭合腔序列、管道序列和浑浊腔序列。

附图说明

参照附图和下面的描述可以更好地理解根据本发明的系统和方法的原理和操作，应理解这些附图只是出于示意目的给出，不意味着是限制性的，其中：

图1A示出了根据本发明的实施例的体内成像系统的示意图；

图1B是根据本发明的实施例的图形用户界面的示意图；

图2A-2B示出了根据本发明的实施例可以从图像流中获得的不同类型的视图；

图3A图解说明根据本发明的实施例的体腔内部的可能的摄像机运动；

图3B示出了根据本发明的实施例可以由成像胶囊捕获的不同的体内图像；

图4呈现了根据本发明的实施例由成像胶囊捕获的肠事件的示例；

图5呈现了根据本发明的实施例的固定切分(cut)和适应性切分的示例；

图6A示出了根据本发明的实施例的通过体内图像i的指示角度的示例性切分；

图6B示出了根据本发明的实施例的通过图像i的所有可能的切分；

图6C示出了根据本发明的实施例从图中的可能路径中选择的最佳路径；

图7A-7D呈现了根据本发明的实施例合成产生的肠事件的示例；

图8呈现了根据本发明的实施例生成的活动力事件栏的示例；

图9A-9H呈现了根据本发明的实施例代表不同的肠事件的活动力事件栏的示例；

图10A-10H示出了根据本发明的实施例通过使用不同的切分由相同的数据生成的活动力事件栏；

图11呈现了根据本发明的实施例由体内图像流生成的活动力事件栏的示例；

图12是根据本发明的实施例用于基于体内图像流生成并显示活动力事件栏的方法的流程图。

应认识到，出于简洁和示意清楚目的，图中所示的元件不一定是按比例绘制的。例如，出于清楚目的，一些元件的尺寸和/或纵横比可能相对于其它元件被放大。进一步地，认为适当时，在图中附图标记可以重复，以指示连续视图中的相应或相似元件。

具体实施方式

在下面的描述中，将描述本发明的各个方面。出于解释目的，列出特定配置和细节，以便提供对本发明的彻底理解。然而，对本领域技术人员而言，显然没有本文呈现的特定细节，也可以实践本发明。而且，熟知的特征可以被忽略或简化，以便不使本发明被混淆。

除非明确指示为相反，否则从下面的讨论中显然应认识到在说明书的讨论中使用诸如“处理”、“计算”、“存储”、“确定”等的词语指计算机或计算系统或类似的电子计算装置的动作和/或过程，所述动作和/或过程控制和/或将表示为计算系统的寄存器和/或存储器内的物理(诸如电子)量的数据转换为同样表示为计算系统的存储器、寄存器或其它这类信息存储、传输或显示装置内的物理量的其它数据。

根据本发明的实施例的装置(包括成像、接收、处理、适于与本发明的实施例一起使用的存储和/或显示单元)可以类似于在名称为“System and Method for Editing an Image Stream Captured In-Vivo”的美国专利申请公开号2006/0074275，Iddan等人的名称为“Device forIn-Vivo Imaging”的美国专利号7,009,634，和/或名称为“Method ofAssembling an In-Vivo Imaging Device”的美国专利申请公开号2007/0118012中描述的实施例，这些专利都转让给本申请的共同受让人。基于比较由体内成像胶囊捕获的图像来分析GI道内的活动力的方法例如在Glukhovsky等人的美国专利号6,944,316中公开。Horn等人的美国专利号7,215,338公开了用于产生体内捕获的数据流的汇总图形呈现的系统和方法。图形呈现可以是彩条形式。当然，如本文中描述的装置和方法可以具有其它配置和其它组件集合。根据本发明的一些实施例的装置、系统和方法可以类似于由Given Imaging有限公司提供的商品SB2或Colon胶囊和关联数据记录器和工作站。

可以由病人吞服的体内成像胶囊由于移动肠组织壁的蠕动式收缩，可能被动地沿GI道行进。在其进行途中，胶囊经过不同的GI器官，诸如食道、胃、小肠和结肠。由于小肠组织壁的相对窄的管道结构，当胶囊在小肠中通过时，胶囊可能保持与管道的方向平行的位置。成像胶囊的纵向轴线(例如通过胶囊的长尺寸的轴线，诸如图3A中的X轴线)可以大致保持与胶囊在小肠中前进的方向平行。胶囊的成像系统可以被定位在胶囊的至少一个纵向端，使得成像大致是在向前和/或向后查看位置执行的，这样，腔的打开和闭合的图像被很规则地捕获。捕获腔洞的打开和闭合的图像数据与捕获每个图像的时间的记录结合可以进行分析、显示和/或计算小肠的活动力事件，或者蠕动活动的类型和频率。本发明的实施例可以以高效和易于分析的方式给医学专家显示与活动力相关的信息。

现在参照图3A，图3A图示体腔内部的可能的摄像机运动。为了使用体内成像流分析肠活动力，可以考虑不同的特征，诸如肠事件的复杂表现、肠事件的复杂解释和大量的图像。

肠事件的复杂表现可能是由于体内摄像机的运动产生的。摄像机可以在肠内部自动运动：向前(从嘴到肛门的方向，例如标记为“汇(sink)”的方向301)、向后(从肛门到嘴的方向，例如标记为“源”的方向302)和相对于标记为X、Y、Z的所有三个旋转轴线。借助小肠肌肉活动(motoric activity)和重力，胶囊行进通过小肠(从小肠的开始-源，直到小肠的末端-汇)。这些可能是控制胶囊的运动、速度和方向的唯一两个因素。通常，胶囊向前移动到汇，但也可能在某些时间段，胶囊向后行进。因此，确定精确的胶囊位置或方位可能是非常困难的。

现在参照图3B，图3B包括可以由成像胶囊捕获的几种类型的体内图像。这些图像可以显示腔洞(整个腔洞，如图像330、331、333、334显示的)，或者只是腔洞的一部分(例如如图像332、335显示的)。在一些图像中，可能绘制出肠壁，例如336和337。而且，通常胶囊的视场可能被肠内容物(肠液、气泡和正在消化的食物，例如示例性图像338-341中显示的)部分或完全阻挡。

根据本发明的实施例，肠组织壁的运动的图像可以被分为描绘不同类别的肠事件。在一些实施例中，肠事件可以通过几个连续的图像帧的序列来检测。以下几类是肠事件的示例：

1)“收缩”-肠壁和/或腔的运动；

2)“静态闭合腔”-麻痹或基本不运动的肠，腔洞闭合；

3)“管道(tunnel)”-麻痹或基本不运动的肠，腔洞打开；以及

4)“浑浊腔”-腔洞和/或壁由肠内容物阻挡。

其它分类可以被另外或替代使用。

获得大量的图像数据可以对生理学事件进行详细分析。然而，大量的数据可能需要长时间的视频显示，医生对诊断的研究可能要花费相当长的时间。肠活动力的特定事件的检测和特征化在肠活动力领域是已知的，例如在Vu,H.,Echigo,T.等人所著的“Contraction detectionin small bowel from an image sequence of wireless capsule endoscopy”(MICCAI’07会刊；vol.1.2007,p.775–783)、Vu,H.,Echigo,T.,Sagawa,R.,Yagi,K.,Shiba,M.,Higuchi,K.等人所著的“Detection ofcontractions in adaptive transit time of the small bowel from wirelesscapsule endoscopy videos”(Comput Biol Med2009；39:16–26)、和Vilarino,F.,Spyridonos,P.,Deiorio,F.,Vitria,J.,Azpiroz,F.,Radeva,P所著的“Intestinal motility assessment with video capsule endoscopy:automatic annotation of phasic intestinal contractions”(IEEE Trans MedImaging2010；29(2):246–59)中的肠收缩检测。

在Malagelada,C.,De Iorio,F.,Azpiroz,F.,Accarino,A.,Segui,S.,Radeva,P.等人所著的“New insight into intestinal motor function vianoninvasive endoluminal image analysis”(Gastroenterology2008；135(4):1155–62)和Malagelada,C.,Lorio,F.D.,Segui,S.,Mendez,S.,Drozdzal,M.,Vitria,J.等人所著的“Functional gut disorders or disorderedgut function？small bowel dysmotility evidenced by an originaltechnique”(Neurogastroenterology&Motility2011)中，作者已经通过无线胶囊内视镜检查图像达到对活动力的评估。两种方法中，第一种方法是从成像胶囊视频中提取几个活动力描述符(每个描述符代表特定的肠事件)，第二种方法是将提取的特征组合，得到小肠活动力的结论。然而，由于两种方法都使用多维和非线性分类器，医生对结果的解释可能被复杂化。而且，可能难以获得小肠内部正在出现什么情况的清晰观点或解释。

关于体内图像流可视化的技术，研究力量专注于视频压缩，例如导致消除或压缩类似的帧。例如，在Vu,H.,Sagawa,R.,Yagi,Y.,Echigo,T.,Shiba,M.,Higuchi,K.等人所著的“Evaluating the control ofthe adaptive display rate for video capsule endoscopy diagnosis”(Proceedings of the2008IEEE International Conference on Roboticsand Biomimetics IEEE Computer Society.ISBN978-1-4244-2678-2；2009,p.74–79)、Hai,V.,Echigo,T.及其它人所著的“Adaptive controlof video display for diagnostic assistance by analysis of capsuleendoscopic images”(Proc of the ICPR’06；vol.III.2006,p.980–983)和Yagi,Y.,Vu,H.等人所著的“A diagnosis support system for capsuleendoscopy”(Inflammopharmacology2007；5(2):78–83)中。

其它方法在获取步骤采用可变采样率，例如Szczypinski,P.M.,Sriram,R.D.,Sriram,P.V.,Reddy,D.N所著的“A model of deformablerings for interpretation of wireless capsule endoscopic videos”(MedicalImage Analysis2009；13(2):312–324)。在此公开中，所提出的视频可视化去掉了帧的中央部分(例如腔洞)，集中在壁的可视化。结果，在视频可视化中不考虑腔信息的存在。通过去掉描述胶囊不运动的序列中的视频帧，视频压缩可以降低医学专家的检查过程。

本发明的实施例描述了基于对从GI道捕获的图像帧中提取的数据的分析和处理显示活动力数据的系统和方法。每个图像帧可以表示为二维像素阵列，例如某个高度和某个宽度的矩形或正方形像素阵列(例如，320X320像素)。每个像素可以包括一位或多位信息，这些信息代表该点的图像亮度，可能还包括可以编码成RGB三元组的颜色信息。

无需用户干预可以通过处理装置自动地执行图像数据的分析和处理。例如使用包括例如图像条、切分或片段的活动力事件栏、窗口或显示器的活动力数据的显示可以由例如一个或多个处理器、工作站、电路、检测器或其它任何计算装置来执行。根据本发明的一些实施例，一个或多个活动力显示窗口或栏可以显示给医学专家以用于诊断。

参照图1A，图1A显示了根据本发明的实施例的体内成像系统的示意图。在示例性实施例中，所述系统包括：胶囊40，胶囊40具有用于捕获图像的一个或多个成像器46；一个或多个照明源42，用于照明体腔；和发射器41，用于向接收装置发射图像和其它可能信息。典型地，图像捕获装置可以对应于在Iddan等人的美国专利号7,009,634和/或在Gilad的美国专利申请公开号US-2007-0118012中描述的实施例，但在替代性实施例中，可以是其它种类的图像捕获装置。由成像器系统捕获的图像可以是任何适当的形状，包括例如圆形、正方形、矩形、八角形、六角形等。典型地，图像接收器12、图像接收器存储单元16、数据处理器14、数据处理器存储单元19和图像监视器或显示器或可视显示单元18(用于显示由胶囊40记录的图像及其它)位于病人身体外部的一个或多个位置，图像接收器12通常包括天线或天线阵列。典型地，数据处理器存储单元19包括图像数据库21。

典型地，数据处理器14、数据处理器存储单元19和监视器18是个人计算机或工作站11的一部分，个人计算机或工作站11包括标准组件，诸如处理器14、存储器、硬盘驱动器和诸如鼠标和键盘的输入-输出装置，不过替代性配置是可行的。数据处理器14可以包括任何标准数据处理器，诸如微处理器、多处理器、加速器板或其它任何串行或并行高性能数据处理器。数据处理器14的功能的一部分可以充当控制图像的显示(例如，哪些图像、在各个窗口中图像的位置、图像显示的时间或持续时间等等)的控制器。图像监视器18典型地是传统的视频显示器，但另外可以是能够提供图像或其它数据的其它任何装置。图像监视器18呈现形式通常为静止和运动画面的图像数据、活动力数据，此外可以呈现其它信息。在示例性实施例中，各种类别的信息显示于窗口中。窗口可以是例如显示器或监视器上的区段或区域(可能是划出的或有边界的)；可以使用其它窗口。多个监视器可以用来显示图像、活动力性质、活动力事件和其它数据，例如图像监视器还可以包括于图像接收器12中。

操作中，成像器46捕获图像，可以向发射器41发送表示图像的数据，发射器41使用例如电磁无线电波将图像传输到图像接收器12。图像接收器12将图像数据传递到图像接收器存储单元16。在数据采集的某个时间段后，存储单元16中存储的图像数据可以发送到数据处理器14或数据处理器存储单元19。例如，图像接收器12或图像接收器存储单元16可以离开病人身体，通过标准数据链路(例如串行、并行、USB或已知结构的无线接口)连接到包括数据处理器14和数据处理器存储单元19的个人计算机或工作站。图像数据然后从图像接收器存储单元16传递到数据处理器存储单元19中的图像数据库21。典型地，图像流作为一连串图像存储在图像数据库21中，这可以用各种已知的方式实现。数据处理器14可以分析数据，将分析之后的数据提供给图像监视器18，用户在图像监视器18处查看图像数据。例如，根据本发明的实施例，数据处理器14或另一数据处理器(例如在接收器12中)可以处理图像，产生活动力栏。数据处理器14操作软件，所述软件与诸如操作系统和装置驱动器的基本操作软件结合，控制数据处理器14的运行。典型地，控制数据处理器14的软件包括以C++语言编写的代码，可以使用各种开发平台(诸如Microsoft的.NET平台)来实现，但可以以各种已知方法来实现。

被记录的由胶囊40传输的图像数据可以是数字彩色图像数据，不过在替代性实施例中，可以使用其它图像格式。在示例性实施例中，根据已知方法，图像数据的每一帧各自包括320行的320个像素(例如，320行和320列)，每个像素包括用于颜色和亮度的字节。例如，每个成像器像素可以包括颜色传感器，颜色传感器可以对应于单个主颜色，诸如红色、绿色或蓝色。整体像素的亮度可以用一个字节(即0-255)的亮度值记录。图像可以被例如顺序地存储在数据处理器存储单元19中。所存储的数据包括一个或多个像素性质，包括颜色和亮度。可以使用其它图像格式。

数据处理器存储单元19可以存储由胶囊40记录的一系列图像。当例如胶囊40移动通过病人的GI道时胶囊40记录的图像可以被连续组合以形成可显示为图像流的一连串图像。当查看图像流时，通常在监视器18上给用户呈现一个或多个窗口；在替代性实施例中，不需要使用多个窗口，可以只显示图像流。在提供多个窗口的实施例中，例如图像窗口可以提供图像流，或该图像的部分。另一窗口可以包括可以更改图像的显示的按钮或其它控件；例如，停止、播放、暂停、捕获图像、移动、快进、回放或其它控件。这些控件可以通过例如诸如鼠标或跟踪球的指针装置来激活。典型地，图像流可以被固定以查看一个帧，可以被加速或反转；可以跳过一些部分，或者用于查看图像的其它任何方法可以应用到图像流。

数据处理器14可以是、可以包括或者可以操作地连接到活动力显示发生器24。例如，处理器14可以执行实施根据本发明的实施例的方法的软件或指令，包括活动力显示发生器24的功能。活动力显示发生器24可以处理来自捕获的图像集合的图像，可以获得图像的可视性质或部分以显示于GUI的活动力部分中。活动力显示发生器24可以基于来自图像流中的图像的所选择的切分产生活动力事件栏。

为了生成活动力事件栏，来自图像流的图像集合可以提供给活动力显示发生器24。图像集合可以包括例如由成像装置捕获的所有图像。在一些实施例中，可以使用图像的子集来生成活动力事件栏。图像的子集可以例如根据不同的选择标准来选择。

在一个示例中，用于生成活动力事件栏的图像子集可以包括在某些可以在图像流中标识的解剖学标志(例如，十二指肠、盲肠瓣、Z-线(指示胃的入口)等)之间捕获的图像。可以选择两个解剖学标志(例如可以在系统中预定或由用户选择)，在胶囊从第一次捕获的所选择的解剖学标志行进到后来捕获的所选择的解剖学标志的时间期间捕获的所有图像可以被包括在活动力事件栏的生成中。在另一示例中，图像可以根据预定标准选择，例如类似于在Davidson等人的美国专利号7,986,337中描述的方法，其公开了体内图像流的编辑方法以产生缩短的电影。

活动力事件栏可以基于所选择的缩短电影的图像生成。在又一示例中，图像可以基于例如相邻图像之间的相似性被合并或融合，活动力事件栏可以基于融合或合并图像的子集来生成。可以使用其它图像选择方法以确定图像的子集。在一些实施例中，可以组合不同的图像选择方法，以生成可以用来生成活动力事件栏的图像的子集。

在一些实施例中，可以为选择的GI道部分生成活动力栏。例如，可以为被选择器官(食道、小肠、结肠、胃等)或者在从完整的成像过程的所选择时间段(例如前2个小时)生成活动力事件栏。根据本发明的实施例，活动力事件或活动力性质可以基于来自图像流的图像(例如选择图像帧或图像序列(例如，来自图像流的一连串的顺序图像帧，其可以包括例如从图像流中选择的许多连续帧))而被检测。

活动力显示发生器24可以从图像集合的每个图像中选择例如“一条(strip)”(例如，完整图像流或缩短的图像流中的每个图像)。在本文中使用的图像“条”可以包括来自图像的切分、像素线或像素片，例如，排列成一线的一个或多个相邻像素或者可以从图像中获得或复制的一个或多个像素线。条可以包括例如来自图像帧的一个或多个像素线。条可以根据不同标准选择。例如，条可以是“固定”条，例如，图像像素的一部分，该部分是固定尺寸的，从图像的预定固定位置选择的。像素的预定列或像素的预定行可以是固定条。例如，图5中所示的线530是固定线的示例，例如，总是以来自图像系列501的每个图像中的相同的坐标经过。在一些实施例中，条可以是“适应性”条，例如从每个图像的不同位置或部分选择的。从图像帧选择的每个条可以具有不同长度和/或宽度，或者可以具有每个图像的固定尺寸。

典型地，条可以选择为经过图像，例如从图像的一侧到另一侧。例如，在圆形图像中，可以在图像的圆周上选择两个点，连接这两点的线可以是所选择的条。在另一示例中，线可以以预定(例如固定)角度(可以在例如图像中的所选择线和固定垂直轴线之间测量)或者以可以基于图像像素性质而确定的变化的角度经过图像中的预定点。条的端部可以对应于图像的边界或者图像的预定区域，其可以用于活动力事件栏的生成。例如，可以基于成像系统的已知的光学性质和/或照明性质，将图像流的感兴趣区域定义为固定模板或从每个图像中选择的掩蔽(mask)。

选择像素条的不同标准可以由用户选择(或者可以在例如存储单元或处理器中预定)，可以用于生成活动力事件栏。在一些实施例中，腔尺寸最大化可以是从图像中选择某些像素条的标准。例如，腔洞区域可以出现在图像中的不同位置，可以不在图像的中心。选择条的不同方法可以产生不同的腔洞数量，这在每个图像的所选择的像素条中有描绘。根据一个实施例，条可以选择为最大化腔洞外表，因此最大化所生成的活动力事件栏中的腔洞外表。

类似地，可以在GI图像中检测的观看医生感兴趣的其它特征可以选择为用于生成活动力事件栏的标准。例如，图像中的红色区域可以指示出血，浑浊区域可以提供图像流中的浑浊内容物的量的指示。可以定义其它病理学、解剖学或临床感兴趣的组织视图。对于图像中的每个定义的感兴趣区域(例如描绘红色或出血区的区域、包括浑浊内容物的区域、腔洞区域、被检测病理学区域等等)，可以预定选择标准。

在从图像中选择像素条的过程中，选择标准可以被最大化或者被优化。不同的选择标准可以组合以生成活动力事件栏，不同的活动力事件栏可以基于选择的不同标准子集来生成(且例如以彼此并行或并排显示)。活动力事件栏可以根据用户请求依据特定(选择或预定)的标准集合生成。

条可以(或者可以不)选择为经过每个图像中的预定点。在一些实施例中，条可以经过图像的中心点。在其它实施例中，可以检测每个图像中的预定特征，条可以选择为经过所检测的特征。例如，可以检测图像中的腔洞，条可以选择为经过所检测腔洞的中心，或者可以选择为使得腔的长度可以在所选择的条中为最大。在另一示例中，预定特征可以是图像中描绘的病理，例如损伤或息肉。在一些实施例中，用户可以决定从图像中选择哪种类型的条来生成活动力事件栏。

可以从例如图像流的不同部分选择不同类型的条的组合。在一些实施例中，可以基于不同的条选择标准和/或用于生成活动力事件栏的图像帧的不同子集，产生多个活动力事件栏。数据处理器14可以包括或执行图形软件或硬件以生成活动力事件栏。活动力事件栏可以基于所选择的切分例如通过在例如纵向活动力事件栏或窗口中将切分定位成彼此靠近来生成。

产生活动力事件栏的切分(或条)可以通过从图像流的连续帧的集合中的每一帧切分或拷贝一个或多个像素线来生成。活动力显示生成器24可以例如将所选择的条或像素线(通常是条或像素线的副本)排列或定位成相邻，以形成活动力事件栏或显示。

条可以是一个或多个像素的某个像素长度和宽度。在一些实施例中，条可以是固定的长度和宽度，而在其它实施例中，所选择的条的长度和/或宽度可以变化(例如，基于切分的类型)。所选择的条的长度和/或宽度可以被调节或重新调整尺寸到例如预定长度和/或宽度，以便形成活动力事件栏(例如矩形栏)。可以通过将条拉伸或减小到预定尺寸(例如使用本领域已知的内插和/或外插法)来执行该调整。栏可以进一步被滤波，例如平滑以获得活动力事件的更加清晰的视图。

活动力事件栏可以用于在成像过程中出现的活动力事件的可视化和/或用于被成像腔的活动力性质的确定(例如，可以指示异常活动力)。根据一些实施例，活动力事件栏不需要显示，其可以(例如通过处理器)用于活动力事件的自动分析。例如，事件可以基于所生成的活动力事件栏来确定，在成像过程中的事件类型的指示或标记可以显示给用户(例如通过活动力显示发生器24)。

活动力显示发生器24和本文中讨论的其它模块或过程可以由处理器14或者执行软件的另一处理器来执行，因此在一些实施例中，处理器14可以包括本文中讨论的活动力显示发生器24或其它组件或模块。可以使用其它方法；例如活动力显示发生器24可以是专用硬件或电路。

可选地，活动力显示发生器24可以检测活动力事件。活动力事件可能与可具有某个模式或特定活动力相关的性质(可以在图像流的连续图像的序列中描述)的图像序列有关。例如，肠事件可以包括肠收缩，肠收缩可以检测为描绘打开-闭合-打开腔洞的模式的图像序列。在另一示例中，肠事件可以包括静态腔壁(例如开放腔洞的重复成像，这可称作开放的管道序列)或闭合腔洞的周期。另一种类型的肠事件是浑浊或堵塞腔开口。其它类型或类别的事件可以使用图像流的图像检测。

肠(例如活动力)事件可以基于来自图像流的一系列的连续图像检测，活动力事件栏或窗口可以根据所检测的活动力事件来生成。根据本发明的实施例，视频视图中的定义序列的可视检测可以与活动力事件栏中的活动力事件相关。例如，如图10中所示，不同类型的活动力栏显示可以基于所检测的活动力事件来生成。

参照图1B，图1B是用于活动力分析和由体内装置捕获的体内图像流的显示的示例性图形用户界面(GUI)的示意表示。根据本发明的实施例，GUI可以包括可以显示于监视器(诸如图1A的监视器18)上的一组编辑工具。一个或多个图像窗口2001可以显示图像流的图像，例如图像流的视频视图，这可以是包含图像的选择子集或原始(例如由成像装置40捕获的)图像流的简化图像流。在一些实施例中，图像可以显示为尺寸减少的图像的集合，例如缩略图像或较大图像，不一定是作为图像流。

控件2014可以改变一个或多个图像窗口2001中的图像流的显示。控件2014可以包括例如停止、播放、暂停、捕获图像、移动、快进、回放或其它控件，以在窗口2001中固定、加速或反转图像流。用户可以使用输入装置(例如图1A的输入装置22，诸如键盘和/或鼠标)操作控件2014。

在一个实施例中，可以与特定标准关联的来自图像流的图像的条、部分、片段或切分可以以可在图像流中检测的活动力事件的可视呈现来汇总或呈现，例如如活动力事件栏或显示2080中所示的，可以显示给用户。组合的条或切分可以提供在成像过程中出现的活动力事件的指示，活动力栏或其它显示的生成可以简化或有助于在病人的GI道的成像过程中出现的活动力事件的分析。

光标2081可以位于活动力事件栏2080上，可以给查看者指示活动力事件栏和当前显示于图像窗口2001中的图像之间的关联。例如，从窗口2001中显示的图像帧获得的像素条可以由光标2081指示。在一些实施例中，图像帧的捕获时间可以由光标2081指示，活动力事件栏可以位于例如时间和组织颜色栏2051旁边。根据一些实施例，活动力事件栏2080可以被单独或者经用户请求显示在例如不同的屏幕，不在图像流窗口2001旁边。

可以提供编辑/产生控件2009，以允许用户从例如多个可用的选择标准的列表中选择用于生成活动力事件栏2080的标准(例如通过点击指示特定标准的标签、复选框或标记)。例如，用户可以选择用于产生活动力事件栏的GI道的区段，或者可以选择不同类型的活动力事件栏生成标准(例如，最大化所生成的栏中的腔洞，和/或最大化其它预定特征)。像素条的选择还可以由用户左右，例如通过实现确定所生成的活动力事件栏的参数的选择，例如选择固定切分视图和/或适应性切分视图(例如在图10A和10B中显示并在本文中详细描述的)。

活动力事件的高度2082可以确定尺寸(例如条的长度)。高度2082可以设置为预定尺寸，或者可以使用用户可选择尺寸的栏来创建。根据确定的要显示在显示单元上的高度2082，所选择的条或线的长度可以被调节(例如重新调节尺寸)。例如，如果从图像中选择的条的原始长度长256个像素，则根据确定的高度2082，可以减小到128个像素、50个像素或其它像素个数。类似地，如果所选择的条的原始长度是120个像素，则活动力事件栏的高度2082设置为256个像素，条例如通过复制像素或通过使用内插或外插方法可以被重新调整尺寸(例如拉伸)到256个像素的长度。

在一些实施例中，超过一个图像流可以同时显示在监视器上，例如如Davidson等人的美国专利号7,474,327的图9A、9B和10A、10B中公开的，所述专利转让给本申请的共同受让人并通过引用被全文并入本文中。例如，如果成像装置包括超过一个成像系统，则由成像系统获得的一个或多个图像流可以用来生成活动力显示。例如，在活动力事件栏中使用的数据可以由单个成像过程的一个或多个图像流汇总得到。

时间线或时间栏2053可以提供图像流的时间线或时间图表，例如通过显示指示从成像过程开始起的图像的捕获时间的线。光标2052可以位于时间栏2053上，可以指示例如在窗口2001中当前显示的图像的捕获时间。

组织颜色栏2051可以例如根据美国专利号8,144,152中描述的实施例来生成。组织颜色栏2051可以与时间栏2053重叠，或者可以单独地呈现。在一些实施例中，组织颜色栏2051可以由彼此相邻排列或以连续栏组合的许多条或元件形成。组织颜色栏2051中的每个条或元件可以代表汇总的信息，例如，在预定时间段(例如一分钟周期)期间捕获的图像帧的平均(mean)或平均(average)颜色值或强度。在一些实施例中，组织颜色栏2051中的每个条可以对应于一个图像帧，例如可以汇总所显示图像帧的平均颜色、强度、pH水平等。

缩略图图像2054、2056、2058和2060可以关于适当的相对时间在时间表2051上显示。相关的注释或汇总2055、2057、2059和2061可以包括与每个缩略图图像对应的图像的图像捕获时间，以及与相应的缩略图图表关联的汇总信息。时间指示器2050可以提供消逝的或与正显示于图像窗口2001中的当前图像关联的绝对时间、被编辑图像流和/或原始未编辑的图像流的总长度的表示。当前显示图像消逝的绝对时间可以是例如在成像装置(例如，图1的胶囊40)首次被激活或图像接收器(例如图1的图像接收器12)开始从成像装置接收传输的时刻和当前显示图像被捕获或接收或者从体内装置通过某个生理学标记(诸如从胃通过到小肠)的时刻之间消逝的时间量。一个或多个监视器或图像窗口2001可以用来显示图像流和其它数据。

根据本发明的实施例，用于向用户显示活动力信息的不同选择是可用的。在一个示例中，活动力事件栏2080可以以栏显示在显示屏的预定位置，例如与组织颜色栏2051对齐(或在旁边)，和/或与时间栏2053对齐(或在旁边)。可以使用指示当前显示图像的单个光标(例如指示捕获图像的时间和在活动力事件栏中对应的像素条)。

在另一示例中，活动力事件信息可以在单独的窗口或屏幕显示，例如不在图像流窗口的旁边。活动力事件栏2080可以根据用户要求显示在例如可以呈现的弹出窗口中。

胶囊位置窗口2070可以包括成像装置在病人的胃肠道中的当前位置和/或方向，可以使用不同颜色显示GI道的不同区段。胶囊位置可以是近似的或估计的胶囊在GI道内的位置。高亮显示的区段可以指示在当前显示的图像(或多个图像)被捕获时成像装置的位置。窗口2070中的栏或图表可以指示由成像装置行进的总路径长度，可以提供在当前显示的图像被捕获的时刻所行进路径的估计或计算百分比。

按钮2040和2042可以让查看者在手动查看模式(例如未编辑图像流)和自动编辑查看模式之间选择，其中，用户可以只查看根据预定标准编辑的流的图像的子集。查看按钮2044可以让查看者在单个窗口中查看图像流或者以两个、四个或组合查看模式查看多个图像流之间进行选择。显示按钮2048可以向查看者显示来自原始流的图像，或者只是所选择的怀疑有出血指示的图像。

查看速度栏2012可以由用户调节。例如，滑动条可以指示每秒所显示的帧的数目。按钮2016、2018、2020、2022、2024和2026可以让用户捕获标记图像或缩略图图像，输入手动分数或对图像的评论，生成所查看的图像流的报告，以及保存查看者的临床发现和标记。控件2028可以让用户访问例如GI道中的病理或解剖标记的采样图像的字典或地图。控件2030可以允许对窗口2001中的显示器上的图像重新调整大小(例如放大或缩小)。

现在参照图2A和2B，它们显示了可以从胶囊捕获的图像流获得的不同视图。可以使用不同类型的视图，例如以组合方式或者单独地，以检查图像流：帧视图(可以包括如图2A中所示的单帧视图或多帧视图，例如在相同的时间槽向用户显示的几个帧)。帧视图可以提供关于肠的特定的捕获图像帧的信息(例如腔洞220和组织壁230的外表)。视频流视图可以包括图像帧的视频序列的流动、回放或可视重现。被成像的组织可以在审查帧视图或视频流视图时被仔细地检查。活动力事件栏的区段的示意表示显示于图2B中。在活动力事件栏中，视频的期望区段的活动力性质(例如腔/壁随时间的变化)可以被可视化和分析，这可从区段241、242、243看到。

生成活动力事件栏的一种方式可以包括从帧序列上的每个图像帧获得像素条(例如切分或线)，根据捕获时间将所获得的线布置、排列或相邻地定位在例如顺序带或栏中。条可以包括所选择的每个图像的固定部分，例如从每个图像中选择的像素的预定固定条，每个图像中的相同部分被选择或复制。例如，固定线225可以包括对角线通过所选择的用于获得活动力事件栏(例如在相同的某个位置，和具有相同的某个长度和角度)的图像的子集的每个图像的像素。在另一示例中，固定条可以选择为垂直地通过每个图像(例如从底部到顶部)的线。在一些实施例中，固定条可以经过图像的中心点(图2A中的O)。

在一些实施例中，条可以是适应性切分，在每个图像中被不同地选择或定位。在此背景下，词语“适应性”表示对于每个图像流(例如视频)，处理器或计算单元可以在每个图像帧(或在流的所有图像帧或者在其选择的子集中)中搜索最佳切分。对于每个帧，可以考虑可能的切分的集合，最佳切分可以选择以用于创建活动力事件栏。

为了确定或选择适应性条，可以为图像集合定义固定网格或线，例如经过每个图像帧的中心的垂直线。在所选择的像素条和固定网格之间测量的角度可以是适应性角度(参见图6A)，可以根据预定标准在每个图像帧中选择。

自适应切分的一个示例可以是选择经过可以在图像中检测的腔洞的区域，或者根据图像中腔洞的估计，例如经过图像中所检测腔洞区域的中心的条。例如由于在成像过程中成像装置的旋转，腔洞可以出现在不同图像的不同区域。用于检测腔洞的方法已公开，例如在美国专利8,335,362的图2中，该专利转让给本申请的共同受让人，并通过引用全文被并入本文。

从图像帧中选择的线或条的长度可以变化，可以取决于线选择方法和/或用于获得条或线的图像的尺寸。例如，通过宽320个像素高320个像素的方形图像的中心的垂直线长是320个像素(可以是例如宽为一个像素)。通过相同图像的中心的对角线长大约为452个像素。当选择通过图像中的动态检测区域(或点)的线或条时和/或使用用于确定线以相对于经过图像的中心的垂直和水平线以什么角度通过的动态角度选择时，线的长度可以因每个不同的线选择而变化。而且，用于获得活动力事件栏的图像可以具有与方形不同的形状，例如可以是圆形的或矩形的，可以具有圆的拐角。因此，在一些实施例中，线的长度可以要求标准化为预定值，例如标准化为活动力事件栏2080的所选择的高度2082。类似地，从图像帧中选择的线的宽度在一些实施例中可以变化，可以被标准化或修整成预定或用户可选择的尺寸。

图4示出了由成像胶囊捕获的四种类型的肠事件的示例。这些事件包括由胶囊40捕获的连续图像的序列。可以观察到，在打开-闭合-打开腔洞模式可见时，确定为收缩模式，例如在收缩序列401。当看不到肠壁(和/或腔)运动时，肠基本上是不运动的，胶囊在肠内部是“麻痹的”，这可以在静态闭合腔序列402中看到。在此序列的图像中描绘的腔洞基本上是闭合的，因此，该序列可以分为静态闭合腔序列。当肠大致是不运动的，腔洞(基本上)是打开的，管道序列403可以被确定。当捕获的图像包括大部分浑浊肠内容物时，这会阻挡或阻止图像中描绘的组织，该序列可以确定为浑浊腔序列404。

根据本发明的实施例，肠运动模式可以基于活动力事件栏确定。肠运动模式的变化(例如，体内图像流中检测的活动力事件的序列)可以是病人的GI道的活动力性质的指示，例如指示正常肠活动或活动力紊乱。

由于胶囊在肠内部的自由运动，腔洞的图像并不总是捕获于图像帧的中心。一种直接的方式可以包括选择固定切分，例如包括经过帧中的固定坐标的直线像素(例如通过帧的中心的线)，这可能不是用于呈现活动力信息的最佳选择。例如，固定切分显示于图5的图像501序列。在每个图像中，对于用于生成活动力事件栏的所有图像，固定切分530垂直地通过帧的中心。

用于体内图像流的可视化的方法可以包括基于适应性图像切分的活动力事件栏。基于适应性图像切分的活动力事件栏可以包括通过体内图像的一系列切分生成的栏，以产生肠事件的活动力事件栏。可以选择不同的切分位置和序列以生成肠活动力的不同表示，所述切分序列通过图像流的连续帧。适应性切分方法可以基于最大化每个帧中所选择的线经过显示腔洞的图像部分的可能性的优化问题。通过图像的序列的适应性切分的一个示例示于图5的行502。适应性切分可以包括直线，其可以选择为经过每个图像中的特定点，例如图像的中心。适应性切分可以基于腔洞的位置(例如如果它在图像中是可见的)在每个图像中不同地选择。

呈现活动力事件栏降低了由胶囊40捕获的原始图像流(或其子集)提供的信息量，原因是它以二维栏呈现视频序列的总视图。活动力事件栏可以允许在快速视图中简化肠活动力的评估(例如由专家)。使用适应性切分方法，呈现的活动力信息可以在可能时保持病人的GI道的腔和/或组织壁信息，因此可以提高选择生成活动力事件栏的图像数据对分析活动力事件或图像流的活动力性质是最佳的可能性。

定义或选择图像帧中的最佳切分可以根据不同标准和条件来确定。标准可以包括但不限于以下当中的一个或多个：最大化在图像帧中描绘的一个或多个特征的可视性，保持所生成的活动力事件栏的平滑性。标准可以预先确定，例如存储在操作地连接到处理单元(可以用于确定图像帧中的最佳切分)的存储单元中，或者可以由用户从例如可用标准的列表中选择。

体内图像流可以看成是一连串n个连续的图像帧。n个帧可以是用于生成活动力事件栏的图像流(或其子集)的帧的总数。在一个实施例中，适应性切分可以选择为经过预定点O(例如图像的中心)。每个帧i可以具有m个可能的适应性切分αi∈Ω＝{1,…,m}。角度αi指经过帧的中心的垂直线和代表切分的线之间的角度，如图6A所示的。图6B示出了根据选择的不同角度αi通过图像i的一组可能的切分。角度αi显示于图形601的x-轴线上，与所选择的角度对应的选择的像素切分示于图形601的y-轴线上。

图6C中所示的图形602包括n个帧(由n组节点代表)。对于每个帧i，有m个节点，这些节点代表角度α_i的可能选择。从帧i中的切分α_i到帧(i+1)中的切分α_i+1的成本可以表示为V(α_i,α_i+1)。构造适应性活动力事件栏可以归结为优化问题，其中，应当保持一组约束。例如，该组约束可以包括两个约束：腔洞可见性和视图的平滑度。可以确定其它约束或标准。

腔洞可见性约束可以确保切分经过腔洞，而平滑度约束可能对保持视图的连续性和解释性、对控制不同的切分角度之间的变化速度(例如在顺序图像帧中)是重要的。如果不同切分角度之间的变化速度太快，所产生的活动力事件栏可能解释程度不高，这是由于栏的相邻条之间的变化可能太大，因此活动力事件可能较不可见或较不可检测。此任务可以重新表示为找到最佳路径的问题，例如图形602中由弧形620、621和622连接的节点610、611和612表示的。可以例如根据以下成本方程式定义该问题的候选方案的成本(α₁,···,α_n)：

$E({\mathrm{\α}}_1,...,{\mathrm{\α}}_n)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}D\left({\mathrm{\α}}_i\right)+\underset{i=2}{\overset{n}{\mathrm{\Σ}}}V({\mathrm{\α}}_{i-1},{\mathrm{\α}}_i)---\left(1\right)$

项D(α_i)用来确保第i个图像中的切分经过腔洞，而V(α_i-1,α_i)确保切分α_i-1和α_i是兼容的(该项捕获两个连续的帧i-1和i之间的变化成本)。最好的方案可以是经过所有视频帧并具有最小成本的那一个。

由于GI图像流中帧的数量很大，(n可以高达例如60,000个帧或不同数目的帧)。可以使用动态编程(DP)以便找到通过方程式(1)描述的函数的最小值，获得为图像流生成的适应性活动力事件栏中切分的角度。

DP可以用在离散优化问题中。DP寻找给定问题的全局最佳值。DP的基本思想是将问题分解成一组子问题，其中原始问题可以被快速解决，子问题可以以递归方式有效地解决(例如，在Felzenszwalb,P.F.,Zabih,R.所著的“Dynamic programming and graph algorithms incomputer vision”,IEEE Transactions on Pattern Analysis and MachineIntelligence2011；33:721–740中公开的。因此，与传统递归方法的区别是存储(将方案存储为已经解决的子问题)。

假设表B(α_i)表示将角度切分最好地分配给从1到i的元件的成本，约束是第i个元件具有标记α_i。表B的尺寸是n×m，其中，m表示集合Ω的基数，n表示帧的数目。表B(α_i)例如可以通过使用以下的递归方程式(可以使用其它方程式)以增加i来填充：

$\begin{array}{c}B\left({\mathrm{\α}}_1\right)=D\left({\mathrm{\α}}_1\right),\\ B\left({\mathrm{\α}}_i\right)=D\left({\mathrm{\α}}_i\right)+{\min }_{{\mathrm{\α}}_{i-1}}(B\left({\mathrm{\α}}_{i-1}\right)+V({\mathrm{\α}}_{i-1},{\mathrm{\α}}_i))\end{array}---\left(2\right)$

子问题可以定义为：对于第一个帧，B(α₁)是将角度D(α₁)分配到第一个帧的成本。对于隔一个帧，B(α_i)是分配角度D(α_i)的成本加上从第i-1到第i个帧的最小转换成本(B(α_i-1)+V(α_i-1,α_i))。在算法的每次迭代时，计算大小为1×m的矢量D和大小为m×m的矩阵V。

为了避免重新计算子问题的方案，矩阵T在计算表B(α_i)时被填充。T矩阵可以存储子问题的最佳方案，因此能够降低计算量，每个子问题只计算一次)。矩阵的每一行具有大小m，存储从第(i-1)个方案得到第i个方案的最佳方式。每次新值被加入到B(α_i)，矩阵T根据以下规则被更新：

$T\left({\mathrm{\α}}_i\right)=\underset{{\mathrm{\α}}_{i-1}}{\arg \min }(B\left({\mathrm{\α}}_{i-1}\right)+V({\mathrm{\α}}_{i-1},{\mathrm{\α}}_i))---\left(3\right)$

结果，矩阵T存储节点索引，通过索引，算法应传递以便得到问题的最佳方案。最后，跟踪回到总方案α_i-1＝T(α_i)，开始于i＝n。结果，可以获得例如通过图像流中所有的帧的最佳切分序列(α_i,…,α_n)。最佳切分的这种序列可以看作是通过图像流中的帧的最小成本的路径。在一些实施例中，施加平滑项可以降低斑点(blob)检测速率。

由成像胶囊捕获的图像中的腔通常被看作通常由肠壁围绕的暗区域或斑点。经过肠腔洞的图像切分可以根据颜色强度的平均值和方差来表征。超过一个切分或条可以经过腔洞。为了确保腔洞可见性(在生成的活动力事件栏中)，方法可以包括搜索高方差和低平均值的切分(其中，平均值和方差是使用组成条或切分的像素计算的)。高方差σ²保证了切分保存在可能时保持腔和/或壁信息的帧的最大信息。低平均值μ保证了切分经过图像的暗区域。图像的暗区域有很大可能可以描绘腔洞。

假设x(α_i)表示位于角度α_i并经过图像的中心的图像切分的像素的矢量，例如如图6A所示的。腔洞可见性成本D可以如下定义：

D(α_i)＝1/(σ(x(α_i))+1)+μ(x(α_i))          (4)

假设矢量x(α_i)的值在[0,1]的范围内。

为了保证活动力事件栏的平滑度，可以计算控制连续帧的角度之间的变化的项目。平滑度可以受两个因素限制：角度变化V¹(α_i-1,α_i)＝180°-|180°-|α_i-1,α_i|，以及两个连续切分之间的相似度V²(α_i-1,α_i)＝||x(α_i-1)-x(α_i)||₂。例如，使用以下方程式(可以使用其它方程式或计算公式)定义最后的平滑项V：

V(α_i-1，α_i)＝β(V¹(α_i-1，α_i)/γ₁)²+(1-β)(V²(α_i-1，α_i)/γ₂)²      (5)

这里，二次项V¹和V²被引入，以便处罚突然的变化，γ1和γ2标准化项，是控制角度变化的权重和连续帧中切分的相似度的参数。

假设m表示可能切分的数目，n表示帧的数目。所述方法可以包括在每次迭代时，计算：

1)切分中像素的m个平均值；

2)切分中像素的m个方差；

3)连续帧中的切分之间的m²个角度差；以及

4)连续帧中的切分之间的m²个相似度。

算法的计算复杂度为O(m²n)。

此实施例检测合成数据及由成像胶囊捕获的图像数据。图像数据是使用由Given Imaging,Ltd.,Israel开发的SB2胶囊内视镜检查摄像机获得的。

在验证过程中，测试活动力事件栏的三种类型的切分：

1.(Acut)–本文中描述的适应性切分，

2.(Acut-)–通过去掉平滑项V获得的适应性切分实施例的变形。在Acut-实施例中，Eq.(1)变形为：

$E({\mathrm{\α}}_1,...,{\mathrm{\α}}_n)={\mathrm{\Σ}}_{i=1}^{n}D\left({\mathrm{\α}}_i\right),,$

以便评估能量(成本)函数中平滑项V的影响。

3.(Fcut)–具有固定切分的纵向视图。

现在参照图7A-7D，它们示出了用于根据本发明的实施例的测量显示和分析方法而生成的合成数据的示例。在使用合成数据的实验中，使用每秒2个帧的帧捕获速度，创建40,000个帧的合成视频。在均匀的背景下，设置黑斑点。斑点位置和斑点大小在连续帧上根据肠事件而变化。以下的肠事件用来创建合成视频：管道、静态、收缩、未定义运动。为了使视频更加现实，用随机数发生器定义事件次序和持续时间。浑浊内容物的存在阻挡了腔，使帧的颜色从粉-橙变成绿-棕。为了使实验简单可解释，不考虑浑浊序列。以下对特定的肠事件的定义可以用来生成图像序列：管道、静态、收缩和未定义运动。

管道序列的示例呈现于图7A。管道序列定义为具有打开腔洞的麻痹(例如静止的或基本上不运动的)肠的序列。管道序列中的腔洞大小定义为高度恒定的(例如，两个连续帧之间的直径有±2个像素差-可以使用其它数目的像素)，是基本上打开的(直径大于例如70个像素)。

静态序列的示例呈现于图7B。静态序列定义为具有闭合腔洞的麻痹肠的序列(例如，在帧中可能观察不到腔洞或小腔洞)。

收缩序列的示例呈现于图7C。收缩序列定义为存在肠收缩的帧序列，肠收缩检测为基本上对称的打开-闭合-打开腔模式，持续例如9个帧(可以使用更多或更少的帧)，固定频率例如为每分钟6次收缩(可以使用其它数目)。肠收缩的中心帧的腔大小定义为10％的初始腔尺寸。

未定义运动序列的示例呈现于图7D。未定义运动序列定义为腔洞大小(例如，连续帧之间有±30个像素变化)和成像胶囊(连续帧之间有±30个像素变化)的不规则运动。

图8示出了由合成数据生成的并使用不同的切分获得的纵向视图栏的示例。栏800代表背景实况，这是根据以下栏的区段确定的：收缩序列820、未定义运动序列821、静态序列822、管道序列823。栏801显示生成的Fcut，栏802显示生成的Acut-，栏803显示生成的Acut。

视频分段可以包括例如一个或多个以下序列的可视检测：静态、浑浊、管道、收缩或未定义。可以使用其它序列类型或类别。在此背景下，检测可以包括例如标记每种序列类型的开始和结束，或者将来自图像流的开始图像和结束图像与每种序列类型关联。在另一示例中，图像流中的图像可以被分类或归结于属于一个或多个类型的事件序列。

图10A-10H示出了将Acut和Fcut施加到由胶囊捕获的图像流的示例。与使用如图10B、10D、10F和10H中所示的Fcut方法获得的视图相比，在使用图10A、10C、10E和10G中所示的Acut方法获得的视图中，活动力事件栏中可见的腔洞可以更大。

Acut活动力事件栏的示例显示于图11。所述栏代表完整的小肠(例如从十二指肠到盲肠)的数据。每个白条1100可以指示例如等于视频持续时间为10分钟的视频的一部分。Acut活动力事件栏和原始图像流(使用例如图1B中所示的GUI)可以呈现给医疗专家，用于将活动力相关序列的开始时间和结束时间标记为诸如：管道、静态、收缩、浑浊和未定义运动。

在查看使用Acut获得的活动力事件栏时可能被加强的事件序列的示例示于图9A-9H。图9A和9B示出了成像GI道的静态事件。图9A和9B中所示的事件栏部分的均匀(或同质)结构表明这些事件栏中代表的顺序图像之间没有实质变化。因此，可以将这些栏中所示的图像流的表示部分识别为静态事件，例如胶囊基本上位于GI道的相同位置的时间段。

图9C和9D示出了管道事件的示例。图9C中的事件栏的暗的部分93指示所表示图像中的腔洞。由于暗的部分93和颜色更浅的部分94沿图9C所示的事件栏部分基本上是均匀的，可以推断(例如由检查图像流的专家或由诸如处理器14和/或活动力显示发生器24使用图像处理技术自动地)由暗的部分93指示的腔洞沿图9C的事件栏所代表的GI道部分基本上是开放的。类似地，暗的部分96指示图9D的事件栏中的腔洞，而较浅部分95、97指示在由图9D的事件栏所代表的GI道部分中成像的组织壁。腔洞部分96和组织壁部分95、97沿事件栏在大小和位置上基本保持一致。

图9E和9F示出了浑浊序列的示例。当在GI道的相应部分中捕获的图像包括至少一个某个水平的肠内容物、气泡、食物残留等时，可以定义浑浊序列。图像流中指示为浑浊序列的浑浊内容物的水平可以被预先定义并存储在存储单元中，例如存储器19中。可以通过使用事件栏(例如由医疗专家或由处理单元自动地)识别图像流中浑浊序列。例如，如果事件栏中序列的颜色是呈绿色的或棕色的，则图像序列可以定义为浑浊序列。

在不同的收缩序列中可以注意有各种收缩节奏，例如图9G和9H中。图9G和9H示出了具有快速变化的场景的图像序列。场景的变化由事件栏中相邻线之间的可检测区别来指示。当事件栏中的像素行的暗的部分(对应于捕获图像中的腔洞)和较浅部分(对应于捕获图像中的组织壁)在相邻线之间交替时，在事件栏中可以标识为收缩。例如，在图9H中，垂直像素线98包括大多数暗的部分(像素线基本上是黑的)。相邻的像素线99包括大多数浅色部分。这种交替的结构表明当对应于像素线98的图像被捕获时体腔打开很大，当对应于像素线99的图像被捕获时基本上是闭合的。当在事件栏中检测到交替的结构序列时，此序列可以定义为收缩序列，例如图像流的对应部分捕获GI道的收缩活动。

医疗专家(诸如医生或护士)可以使用视频视图标记几种类型(例如五种类型)的事件序列。此外，医疗专家可以使用活动力事件栏(例如Acut)标记序列。在比较两种显示方法中医疗专家的标记或注释持续时间时，活动力事件栏可能是有利的，例如可以大大地降低检查时间(对于活动力相关事件的检测)。

根据一些实施例，可以由生成活动力数据栏的处理器执行活动力数据的分析。例如，以下活动力相关数据可以基于活动力事件栏而被识别(例如由处理器自动检测)：

·肠收缩的频率和/或次数；

·收缩序列的持续时间或平均持续时间；

·管道序列的频率、次数、持续时间或平均持续时间；

·浑浊序列的频率、次数、持续时间或平均持续时间；

·静态闭合腔的频率、次数、持续时间或平均持续时间；

可以提供被检测活动力事件的指示和/或计算，以及检测的活动力参数的正常行为或异常行为的范围。该范围可以作为参考提供给用户，例如特定器官或预定时间段内的正常收缩次数可以连同检测的被分析图像流中的收缩次数一起显示。正常或异常行为的指示可以基于比较来提供。

处理器可以识别单个事件，可以将事件的指示显示给用户。可以对图像流的某个区域(或多个区域)或一个区段，对来自图像流的图像的子集或对整个图像流执行事件和/或活动力相关参数的分析。根据本发明的实施例，提出用于构造活动力分析的活动力栏的方法。所述方法可以通过最小化成本函数将帧切分角度施加到腔位置。此问题的表达可以允许应用动态编程，以有效地找到所提出成本函数的全局最小值。对合成数据和体内图像流的实验结果表明，本发明的实施例可以维持腔洞和/或壁分离，专家注解可能与使用视频视图获得的注解很好地符合。而且，相比视频流视图，使用活动力栏可视检查所需的时间可以更快，例如是四倍快。

使用根据本发明的实施例的活动力事件栏可以使不同的活动力事件更可见，可以有助于简化活动力分析。而且，所述方法可以进行不同的收缩节奏和/或模式(例如不同频率、持续时间、活动力事件序列的出现次数)的分析，例如自动分析。可以在活动力事件栏中加强感兴趣的活动力现象，例如：频率为每分钟11次收缩的规则肠收缩，不规则混合收缩(例如负责食物混合的收缩)和一分钟周期(例如肠改变其状态的每一分钟，重复模式：麻痹的肠-收缩运动)。根据本发明的实施例，活动力事件的其它模式和/或节奏可以被检测、分析和/或呈现给用户。

现在参照图12，图12是根据本发明的实施例基于体内图像流生成活动力事件栏的方法的流程图。在操作1410，可以在例如工作站(诸如工作站11)或接收单元(诸如接收器12)接收由体内成像装置捕获的图像流的图像。图像流可以包括在时间周期中由体内成像胶囊(例如胶囊40)顺序捕获的体内图像，可以存储在诸如存储器19或存储器16的存储单元中。图像可以被例如处理单元(例如处理器14)处理。每个图像可以表示为二维像素阵列，例如320X320像素的矩形或正方形像素阵列。每个像素可以包含与主颜色例如红色、绿色或蓝色对应的值。

在可选的操作1420，可以从捕获的图像流中选择多个图像，所选择的图像可以用来生成活动力事件栏。在一个实施例中，可以使用图像流的所有的图像(即可以选择所有图像)，而其它实施例允许从由成像装置捕获的图像的完整集合中选择图像的子集。所述方法可以包括根据某些标准从图像流中选择图像的子集，例如选择图像流的某些区段或部分以用于产生活动力事件栏，而可以不选择其它区段。例如，可以选择在GI道的某些器官中捕获的图像的序列。在一个示例中，只有在小肠中捕获的图像可以用于生成活动力事件栏。可以选择图像流的其它部分或区段。可以不选择模糊的、太亮的或太暗的图像。

典型地，所选择的图像可以包括多个序列图像(例如由成像装置顺序捕获的连续的图像帧)，以便维持所产生的活动力事件栏的平滑度，以及更好地强化图像流中的肠事件或肠特征。

在操作1430，可以从图像流中选择的多个图像中的每个图像(例如图像的子集)中选择像素条或线。可以确定用于选择条的不同标准(例如由用户选择或预定的)。条可以选择为固定切分或适应性切分。例如，可以选择相邻像素的线性阵列。像素的条或线不需要方向与像素的行或列平行，但方向可以与行或列成另一角，例如，条或线可以是对角的。

所选择的像素条可以包括例如从图像中选择的像素线。在一些实施例中，条可以是像素的直线。条可以是固定的条或切分，例如可以从每个图像中选择位于图像像素阵列中的相同坐标的像素。例如，如果图像包括256水平行的像素和256垂直列的像素的阵列，则所选择的条可以包括在像素阵列的中心列(例如第128列)中的所有像素。可以选择条中的超过一行的像素，例如两个或更多个相邻列(例如，在256X256个像素的示例中的第127、128和129列)。所选择的条可以经过图像中的预定点。在一个实施例中，预定点可以是图像中的中心点(例如像素阵列的中心)。可以选择其它预定点。

在一些实施例中，条可以是从图像中选择的像素的适应性线。例如，所述线可以不一定通过为产生活动力事件栏而选择的图像中的相同位置，而是可以根据图像的某些特征或性质选择每个图像的线位置、方向或其它特征。例如，可以检测图像中的某个特征或性质(例如暗的腔洞或斑点，图像的明亮部分等)。条可以选择为经过图像的检测特征或部分，例如通过被检测特征的中心点或重力中心。在一些实施例中，适应性条可以经过图像中的预定点(例如像素阵列中的中心点或像素)，可以确定用于选择每个图像中的条的不同的角度。其它实施例允许选择不经过每个图像中的预定(例如固定)点的线。为了保持活动力事件栏的平滑性，可以确定控制从连续帧中选择的条的角度之间的变化的项。可以从图像中选择其它切分，在一些实施例中，不同类型的切分的组合可以用来生成活动力事件栏。

在操作1440，所选择的条或线(通常是所选择的条的副本)可以被例如垂直地排列或定位，可以被彼此相邻地靠近或定位，以便形成图像流中出现的活动力事件的可视表示，例如活动力事件栏或显示2080。条或线或条或线的副本可以用来形成活动力事件栏。所选择的条的长度(和/或宽度)可以被重新调整为不同长度，例如可以被拉伸或减少。

在操作1450，活动力事件栏可以(可选地)被创建或生成以用于在例如诸如监视器18的可视显示单元上显示。活动力事件栏可以显示在例如显示图像流的视频视图的窗口旁边，例如图1B中所示的窗口2001。活动力事件栏可以被分析，图像序列可以与某些活动力事件关联。例如，可以如图10A和10B中所示检测管道序列。在另一示例中，可以执行收缩节奏分析，例如不同的收缩频率的分析。在一些实施例中，活动力事件栏对于不同的活动力性质或诸如收缩、浑浊序列、管道、静态帧等的事件的可视验证可能是有用的。

活动力事件栏还可以用来分析图像流的活动力性质。活动力事件可以在活动力事件栏中检测，可以被指示或标记并显示给用户。不同的活动力相关性质(诸如模式、类型、节奏、频率和/或收缩的持续时间、收缩的平均持续时间、在GI道的某个区域的收缩频率等)可以被计算和汇总。其它活动力事件可以被检测，相关性质可以被计算、呈现或显示。正常和异常值的范围可以呈现给用户，例如与计算的性质一起，以能够在正常范围和该性质的检测值之间进行比较，在一些实施例中，可以提供关于例如可能已经检测到的异常行为的指示。

可以使用其它操作或系列操作。

本文中公开了不同的实施例。某些实施例的特征可以与其它实施例的特征组合；因此，某些实施例可以是多个实施例的特征的组合。

本发明的实施例可以包括诸如计算机或处理器可读的非暂态存储介质(例如存储器、硬盘驱动器或编码、包含或存储指令(例如计算机可执行指令)的USB闪存)的物体，计算机可执行指令在由处理器或控制器执行时，引起处理器或控制器执行本文中公开的方法。

前述对本发明的实施例的描述是为了图示和描述目的给出。不旨在是详尽的或不想将本发明限制为所公开的精确形式。本领域技术人员应当认识到根据上述教导，很多种改进、变形、替代、变化和等同是可能的。因此，要理解所附权利要求旨在覆盖落入本发明的真实精神内的所有这种变形和变化。

Claims (20)

1.一种用于显示由体内成像装置捕获的图像流中的肠活动力事件的计算机实现的方法，所述方法包括：

接收由所述体内装置捕获的图像流，所述图像流包括图像帧，每个图像帧包括多个图像像素；

检测所述图像流的至少一个子集的每个图像帧中的预定特征；

从所述图像流的所述至少一个子集的每个图像帧中选择像素条，使得所述像素条通过每个图像帧中的被检测特征；

使所选择的条相邻地排列，以形成活动力事件栏；以及

在可视显示单元上显示所述活动力事件栏。

2.根据权利要求1所述的方法，其中，所述像素条包括从图像帧中选择的至少一个像素线。

3.根据权利要求2所述的方法，其中，所述像素条是像素直线。

4.根据权利要求1所述的方法，包括确定包括于所选择的像素条中的每个图像帧中的固定点。

5.根据权利要求4所述的方法，其中，所述固定点是所述图像帧的中心。

6.根据权利要求1所述的方法，其中，所述预定特征是腔洞。

7.根据权利要求6所述的方法，其中，所述像素条选择为通过被检测腔洞的中心。

8.根据权利要求6所述的方法，其中，所述像素条选择为使腔的长度在所选择的条中为最大。

9.根据权利要求1所述的方法，包括在所述活动力事件栏旁边显示所述图像流的视频显示。

10.根据权利要求1所述的方法，包括基于所述活动力事件栏确定肠事件。

11.根据权利要求1所述的方法，其中，所述肠事件选自：收缩、静态封闭腔、管道和混浊腔。

12.根据权利要求1所述的方法，其中，所述图像帧的子集包括来自所述图像流的连续图像帧的序列。

13.一种用于显示由体内成像装置捕获的图像流中的肠活动力事件的系统，包括：

存储单元，所述存储单元存储来自所述图像流的多个图像帧，每个图像帧包括排列成阵列的多个图像像素；

处理器，所述处理器：

检测所述多个图像帧的至少一个子集的每个图像帧中的预定特征；

从所述多个图像帧的至少一个子集的每个图像帧中选择像素条，使得所述像素条通过每个图像帧中的被检测特征；以及

将所选择的条相邻地排列，以形成活动力事件栏；以及

视频显示单元，所述视频显示单元用于将所述活动力事件栏显示给用户。

14.根据权利要求13所述的系统，其中，所述像素条包括从图像帧中选择的至少一个像素线。

15.根据权利要求14所述的系统，其中，所述像素条是像素直线。

16.根据权利要求13所述的系统，其中，所述处理器确定包括于所选择的像素条中的每个图像帧中的固定点。

17.根据权利要求16所述的系统，其中，所述固定点是所述图像帧的中心。

18.根据权利要求13所述的系统，其中，所述预定特征是腔洞。

19.根据权利要求13所述的系统，其中，所述处理器基于所述活动力事件栏确定肠事件。

20.根据权利要求19所述的系统，其中，所述肠事件选自：收缩、静态封闭腔、管道和混浊腔。