CN105830458A - 用于控制图像流显示的系统和方法 - Google Patents

Abstract

本发明的实施例涉及一种控制图像流显示的系统和方法。系统可包括存储图像流的存储器；图像流可包括多个图像帧。系统可进一步包括处理器，其被配置成执行方法。可在屏幕的图像流显示区域中向用户显示活动图像流，在屏幕的速度控制区域上产生帧速率控制接口使得图像流显示区域与速度控制区域水平相邻。可从用户接收用于显示图像帧的图像流期望的帧速率的指示，因为可根据在速度控制区域中的定位指示部的位置选择帧速率。

Description

用于控制图像流显示的系统和方法

技术领域

本发明总体涉及控制活动图像帧的显示，更具体地说，涉及为用户提供控制显示的工具。

背景技术

逐帧检查影像或活动图像流以检测异常行为是不同行业的许多不同用户日常进行的活动。示例包括查看来自监控摄像头的影像寻找异常行为的安全专家或查看由诸如包含摄像头的可吞咽的胶囊等成像设备在人体内捕获的图像影像或图像流的医生。待检查的图解数据量可能会非常大。这种检查活动会对用户的感觉和警觉性造成沉重的负担。

通常，大多数影像帧不含任何异常行为或任何关注的或可疑的发现。优选以相对较快的速度(例如以每秒数帧的速度测量)检查这些帧以缩短检查时间，而不使检查影像的用户厌烦。当检查到可疑的发现时，用户需要例如以较低的帧速率更仔细地检查它，如果有必要的话，将影像倒回去以复查某些帧。此外，图像流可具有基本上静态的片段，以及包含相对频发的活动或大量关注的帧的片段。

大多数影像检查应用都具有包括速度控制的控制应用。如果这种控制应用将被显示在屏幕上，它可包括位于影像帧的显示区域的下方(或在显示区域下部)的速度控制键(例如速度条)。控制应用可包括停止/开始影像(图像流)并且改变图像流前进/后退方向的键。当使用这种控制应用的各种控制键时，需要用户将眼睛从检查的帧上移开，将其视线向下引导到控制键上，然后点击定位装置，例如鼠标，或触摸触摸屏以改变正在播放的影像模式。例如，为了改变活动帧的速度，用户必须指向速度条，然后点击速度标识部(speedmarker)并且将其拖曳至指定速度。当例如以20帧/秒的速度检查影像时，即使错过一秒影像流，会导致错过20帧，这20帧可能包括可疑行为或可能关注的帧(例如犯罪活动或病理候选区(pathologycandidate))。

此外，例如，在为了改变图像流的速度或方向，例如为了不遗漏重要帧，用户不使用控制应用并且被动地连续以恒定速率查看图像流(例如，与图像流做最小交互)的情况下，用户可能会感到厌倦并且注意力分散。可允许并且鼓励用户在不将其视线从图片上移开的情况下通过例如改变所显示的图像流的速度和/或方向主动与图像流进行交互的速度控制应用可能会允许用户保持更多注意力或警觉，因此可降低用户错过重要发现的机会。允许用户以较快的帧速率查看不关注的图像流可缩短检查的时间，并且提高用户的警觉性。

附图说明

在说明书的结论部分特别指出被视为本发明的主题并且清楚地要求予以保护。然而，当结合附图阅读时，参照以下详细描述将会更好地理解关于结构和操作方法与目标、特征一起以及其优点的发明，其中：

图1A示出根据本发明的一些实施例的计算装置的示例的高级框图；

图1B示出根据本发明的一些实施例的成像系统的示例的高级框图；

图2A-图2C示出根据本发明的一些实施例的屏幕的示例；

图3是说明根据本发明的实施例的图像流显示的控制方法的流程图；

图4是说明根据本发明的实施例的图像流显示的控制方法的流程图；

图5是说明根据本发明的实施例的图像流显示的控制方法的流程图；

图6是说明根据本发明的实施例在图像流的筛选期间产生警报的方法的流程图；

图7A示出根据本发明的一些实施例的屏幕的示例；

图7B示出根据本发明的一些实施例的在加速模式期间的屏幕的示例；

图8示出根据本发明的一些实施例的可视指示部的示例；

图9是说明根据本发明的一些实施例的在图像帧中关注的帧序列的确定方法的流程图；

图10是说明根据本发明的一些实施例的在图像帧中关注的帧序列的确定方法的流程图；

图11是说明根据本发明的一些实施例的在图像帧中关注的帧序列的确定方法的流程图；以及

图12是显示指示根据本发明的一些实施例的为每一帧计算的胃肠道中胶囊的速度或运动参数的图表。

将理解的是，为了说明的简单和清楚起见，在图中所示的元件不一定是准确绘制或按比例绘制的。例如，为了清楚起见，可放大一些元件相对于其它元件的尺寸或一些物理元件可包括在一个功能模块或元件中。另外，适当时，附图标记可在图片中重复以便指示相应或类似元件。

具体实施方式

在下面的详细描述中，为了彻底理解本发明，阐述许多具体细节。然而，本领域技术人员将理解的是，本发明可在没有这些具体细节的情况下实践。在其它情况下，尚未详细地描述公知的方法、过程和组件、模块、单元和/或电路以免混淆本发明。关于一个实施例描述的一些特征或元件可与关于其它实施例描述的特征或元件结合。为了清楚起见，不重复讨论相同或相似特征或元件。

虽然本发明的实施例不限于这一点，但是利用术语，例如，“处理”、“计算机处理”、“计算”、“确定”、“建立”、“分析”、“检查”、“选择”、“关联”、“产生”、“显示”等进行的讨论，可指计算机的操作和/或过程、计算平台、计算系统或其它电子计算设备，其将表示计算机寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或变换成同样表示计算机寄存器和/或存储器内物理量的其它数据和/或可存储执行操作和/或过程的指令的其它信息非临时性存储介质。

虽然本发明的实施例不限于这一点，但是如此处使用的术语“多个”和“很多”可包括例如“多个”或“两个或多个”。术语“多个”或“很多”可在整个说明书中使用以描述两个或更多的组件、设备、元件、单元、参数等。除非明确说明，此处所描述的方法实施例不限于特定的顺序或序列。另外，一些描述的方法实施例或其元件可在相同的时间点同时(simultaneously)或并发(concurrently)发生或进行。

本发明的实施例可涉及一种控制用户待检查的图像流的显示的系统和方法。一些实施例可包括通过包括成像器的成像胶囊在结肠中捕获的图像帧或由监控摄像机捕获的图像帧。用户(例如医生或安全专家)可需要检查用于检查(例如对用户或医学专家)关注的或潜在关注的一帧或多帧序列的图像帧流，其中一帧或多帧序列包含例如可能的可疑行为或可能关注的病理候选区。用户恰当地检查所有图像帧的能力可依赖于用户的警觉性。允许用户容易地控制帧速率以在不使他/她的眼睛离开图像帧的情况下改变图像流回放方向(前进或后退)和/或停止和开始图像流的回放，会使得错过流图像中显示的信息的风险降低。

为了有助于维持用户的更高警觉，根据本发明一些实施例的系统可包括控制接口(例如控制应用)，其可鼓励用户积极改变控制活动帧的显示的查看参数(例如帧速率、开始/停止、回放方向等)。控制接口可与活动帧相邻设置。控制接口可相对较大(相对于已知的控制接口)，以允许用户将其视线同时引导至活动图像帧和控制接口上。另外，在检查活动图像帧期间，系统可向用户产出警报。在即将显示或到达(包括在活动图像帧中的)关注的帧序列之前，可以将警报以图形标识和/或声音(从而提供预先确定的指示)、预定时间(例如2秒)或预定数量的帧的形式提供给用户。可使用用于自动检测异常行为或可疑发现的程序或应用检测关注的帧序列。

如本文所使用的，用户可以是人，其检查包括由摄像头或成像器捕获的大量图像帧(例如影像)以发现异常行为、病理候选区或任何由用户确定的其它发现。用户可以是医生或医学专业人士、安全专家、科学家、研究员等。

如本文所使用的，关注的帧序列可包括任何数量的、至少2个由用户指示为“关注”的或对于用户而言潜在关注的并因此需要低速检查的相邻帧。例如，关注的帧序列可包括潜在病理、异常行为的图像、用户想要检查到的或本发明的实施例确定用户想要密切或低速检查的的任何帧。另外或可选地，所关注的帧序列可包括当成像装置(例如成像胶囊)在较高速度下运动时或由成像装置(例如监控摄像头捕获的嫌疑人)捕获的目标在较高速度下移动时捕获的帧。

参照图1A，其示出根据本发明一些实施例的控制图像帧的活动流的显示的系统的示例的高级框图。系统100可包括计算机处理装置110、存储单元120、用户接口130。处理单元110可包括处理器112、操作系统114和存储器116，例如，处理器可以是中央处理器(CPU)、芯片或任何合适的计算或可计算装置。系统100可包含在台式计算机、膝上型计算机、平板电脑、大型计算机等中。处理器112或诸如处理器17或处理器13(图1B中)等其它处理器可被配置成通过执行例如储存在存储器例如存储器116中的程序执行根据本发明的实施例的方法。

操作系统114可以是或可包括任何编码片段，其被设计成和/或配置成执行涉及处理装置110的协调、调度、仲裁、监督、控制或其它管理操作等的任务，例如调度程序的执行。操作系统114可以是商业操作系统。例如，存储器116可以是或可包括随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双倍数据速率(DDR)存储器芯片、闪速存储器、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其它合适的存储器单元或存储单元。存储器116可以是或可包括多个可能不同的存储单元。

存储器116可存储任何可执行代码，例如，应用、程序、方法、任务或者脚本。可执行代码可包括用于控制图像流显示的代码或执行根据本发明的实施例的方法的任何其它代码或指令。可执行的代码可在操作系统114的控制下通过处理器112执行。

例如，存储装置120可以是或可包括硬盘驱动器、软盘驱动器、光盘(CD)驱动器、CD可记录的(CD-R)驱动器、通用串行总线(USB)设备或其它合适的移动存储单元和/或固定存储单元。本文所公开的实施例所操作的诸如图像、图像帧或图像流等数据可存储在例如存储装置120和/或存储器116中。内容可被存储在存储装置120中，并且可将其从存储装置120加载到存储器116中，在存储器116，所述内容可由处理器112处理。例如，根据本发明的实施例，存储装置120可包括包含多个图像帧的图像流、与图像帧相关的数据和/或与异常发现或可疑行为相关的数据。

用户接口130可以是或可包括屏幕132(例如监视器、显示器、CRT等)、定位装置134和音频设备136。用户接口130可包括诸如键盘等其它输入设备或可与诸如键盘等其它输入设备相关联。定位装置134可以是鼠标、触摸屏或平板电脑或允许用户控制(例如，通过手或手指的动作)位于屏幕132上的定位指示部(例如，光标)的任何其它适合装置。屏幕132可以是适合于显示图像流的任何屏幕和控制接口。在一些实施例中，屏幕132和定位装置134可包括在单个装置例如触摸屏中。将认识到，任何适当数量的定位装置都可包括在用户接口130中。用户接口130可包括诸如一个或多个扬声器、耳机等音频设备136和/或任何其它合适的音频设备。将认识到，任何合适数量的输出设备可包括在用户接口130中。任何适用的输入/输出(I/O)设备都可被连接至处理单元110。例如，有线或无线网络接口卡(NIC)、调制解调器、打印机或传真机、通用串行总线(USB)设备或外部硬盘驱动器可包括在用户接口130中。

本发明的实施例可包括诸如计算机或处理器永久可读性介质或计算机或处理器永久性存储介质，如存储器、硬盘驱动器或USB闪速存储器等物件，上述物件编码、包括或存储指令，如计算机可执行的指令，当由处理器或控制器执行所述指令时，所述指令执行本文公开的方法。

存储介质可包括但不限于任何类型的盘，其包括软盘、光盘、光盘只读存储器(CD-ROM)、可擦写光盘(CD-RW)和磁光盘，半导体器件例如只读存储器(ROM)、诸如动态RAM(DRAM)等随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪速存储器、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡或包括可编程存储单元的适于存储电子指示的任何类型介质。

根据本发明的实施例的系统可包括但不限于组件，例如多个中央处理单元(CPU)或任何其它合适的多用途或专用处理器或控制器、多个输入单元、多个输出单元、多个存储器单元和多个存储单元。另外，系统可包括其它适合的硬件组件和/或软件组件。在一些实施例中，例如，系统可包括或者可以是个人计算机、台式计算机、移动计算机、膝上型计算机、笔记本计算机、终端、工作站、服务器计算机、平板计算机、网络设备、或任何其它合适的计算设备。除非明确说明，本文中所描述的方法实施例不限于特定的顺序或序列。另外，一些所描述的方法实施例或其元件可在同一时间点发生或进行。

参照图1B，其示出根据本发明的实施例的具有例如体内成像系统的成像系统的示意图。成像系统可包括诸如体内成像装置40等成像装置(例如胶囊)、外部接收设备和/或记录装置12例如数据接收器和工作站14。成像装置40可具有用于捕获图像帧或图像帧流的成像器46、用于照亮体内内腔的照明源42、用于为装置40供电的电源45，以及处理来自或到成像装置40的数据和命令的处理器44。体内成像装置40还可包括用于将图像和可能的其它数据发送至外部接收器12的带有天线47的发射器41。在本发明的一些实施例中，成像装置40可包括除了成像器46以外的一个或多个传感器30，例如温度传感器、pH传感器、压力传感器、血液传感器、跟踪传感器等。成像器46可以是CCD或CMOS成像器或可以是另一种固态成像装置或其它成像设备。照明源42可包括一个或多个LED或其它照明源。在本发明的一些实施例中，成像装置40可以是独立设备、胶囊或可吞咽胶囊。在本发明的其它实施例中，装置40可能并不是独立的，例如，装置40可以是内窥镜或其它体内成像装置。

成像装置40可将信息(例如图像或其它数据)发送至可能接近或戴在受试者身上的外部接收器12。接收器12可包括天线或天线阵列15和数据接收器存储单元16。天线阵列15可以获得由装置40或装置40的发射器41和天线47传输的信号。外部接收器12可包括用于处理图像数据或其它数据的一个或多个处理器17。接收器12(和/或装置40)可包括用于确定在一段时间内独立体内成像装置40的位置的定位单元(未示出)。例如，在一段时间内，定位单元可以在三维空间中跟踪装置40的定位或位置和/或可追踪距离，例如，在一段时间内装置40通过胃肠(GI)道或在一段时间内通过GI道中的特定器官的距离。

接收器12可以采用其它合适的构造，并且可不包括天线或天线阵列。在本发明的一个实施例中，例如，接收器12可包括用于显示图像数据或其它数据例如位置数据的LCD显示器。在其它实施例中，例如，接收器12可通过有线、蓝牙系统或无线连接电连接至显示单元例如显示单元18或工作站14以显示由体内装置40传输的和/或由处理单元17、44或工作站14处理的数据。

在本发明的一个实施例中，例如，接收器12可接收和存储来自成像装置40的数据，例如被处理器17捕获和/或处理的图像留意数据。数据可存储在系统100中包括的诸如存储单元120等存储单元中。随后存储的数据可被转移至诸如个人计算机、膝上型计算机或其它便携式计算装置或固定式计算装置等工作站14，其中可将数据进一步分析、存储和/或显示给用户例如健康专家。工作站14可包括系统100的一些或所有组件。系统100可包括在工作站14中。工作站14可通常包括处理器13(例如单元110和处理器112)、数据处理存储单元19(例如存储单元120)、硬盘驱动器(例如存储器116)、输入-输出装置(例如用户接口130)和显示单元18(例如屏幕132)。虽然备用配置是可能的，但是显示单元18可包括监视器。处理单元13可通常用作控制数据例如图像数据或其它数据显示的控制器，作为其功能的一部分。在一示例中，可采用处理器13和/或处理器17以控制图像流的显示。在一示例中，在筛查图像流期间可采用处理器13和/或处理器17以向用户产生警报。

显示单元18可通常是常规的视频显示器，但也可以是能够提供图像或其它数据的任何其它装置。执行本发明的实施例的方法的指令或软件可以作为工作站14的一部分，包括例如存储在存储器19中。

参照图2A-2C，其示出根据本发明的一些实施例，通过例如屏幕或监控器132提供给用户的接口屏幕或显示器的示例。图2A示出至少具有图像流显示区域202和速度控制区域204的接口显示器200的示例。在一些实施例中，屏幕200可进一步包括流行进部分(streamadvancementportion)206和水平控制区域208。图像流显示区域202可包括显示器，其包括图像流。处理器(例如处理器112)可向用户显示(或使屏幕或监控器显示)包括图像流显示区域202中的图像流在内的显示器。诸如处理器17或处理器13等其它处理器可以执行全部或部分本发明的实施例。例如，如图2A所示，处理器可以显示来自胃肠道的至少一个器官的被包括在成像胶囊中的程序装置所捕获的图像帧。在另一示例中，处理器可显示被银行的监控摄像机捕获的图象帧。

速度控制区域204可包括用于控制帧速率的帧速率控制标尺216和/或218，即将以所述帧速率在图像流显示区域中显示图像帧。可根据在速度控制区域204中的帧速率控制标尺216和/或218上的定位指示部214(例如，光标或图形标识(graphicmark)，例如由定位装置134(例如鼠标)控制的箭头或小手)的位置，选择显示图像帧流的期望帧速率。可将在此处使用的定位指示部可被定义为可移动符号或者用于识别或指向计算机屏幕上的特定位置的各种手段中的任何一个。用户可通过使用定位装置(例如，定位装置134)使定位指示部214在速度控制区域内移动来改变帧速率(例如，处理器每秒显示的图像帧的数量)，例如通过使定位指示部214在帧速率标尺216和/或218的区域内，例如向上或向下垂直移动以选择指示期望的帧速率的值(例如，所示的20帧/秒)。相较于水平移动，垂直移动是人手臂或手更自然的运动，并且用户比较容易操作而无需使他/她的注意力集中在速度控制区域204中的控制接口。在一个实施例中，定位指示部在速度控制区域内的移动(例如用户使用定位装置移动定位指示部)可包括期望的帧速率的变化并且可使系统报警帧速率。

另外地或可选地，速度控制区域204可包括设置图像帧的回放方向的前进/后退方向控制接口。例如，如图2A所示，速度控制区域可被划分成两个子部分210和212。使定位指示部214位于子部分210中的移动定位装置134可使图像流在向前的方向播放，将定位指示部214放置在子部分212中可使得图像流在向后的方向播放。在本文中提及“向前”方向是指影像按照成像装置捕获图像帧的时间顺序播放，例如从最早捕获的帧开始播放，随后实时播放顺序捕获的帧。在本文中提及的“向后”或反向方向是指影像按照帧的时间捕获顺序的相反顺序回放，例如从用户选择的特定帧开始，按照时间或捕获顺序递减连续播放帧。在一些实施例中，前进/后退方向的选择可包括将定位指示部214(例如，通过移动定位装置134)放置在一个或多个图形标识215，例如在如图2A所示的子部分210和212中示出的大三角形处。一个或多个图形标识227可包括在如图2B中速度控制区域224的上端中示出的单独部分中。

屏幕200还进一步包括方向变化报警标识219。通过定位装置134的故意或非故意移动，标识219每次在屏幕200(或屏幕220或230)上出现，图像的播放或流动方向改变使得定位指示部214被放置在标识215或227上方或在标识215或227上方移动。方向改变报警标识219可在屏幕200、220或230区域中的任何部分处出现使得用户观察标识219可将他/她的视线集中在显示于例如屏幕200的左上部分上的图像上，如图2A所示。在图2A所示的实施例中，子部分210可包括用于选择向前方向的帧速率的帧速率标尺216，子部分212可包括用于选择向后方向的帧速率的帧速率标尺218(向后与帧收集的顺序相反)。

图像流显示区域202和速度控制区域204可被定位在屏幕200上，使得用户可将他的视线或目光引导至屏幕的图像流显示区域202上，同时(通过移动定位装置134)将定位指示部214在速度控制区域204中移动。用户可通过仅使用他/她的余光查看速度控制区域204，从而允许用户从速度控制区域204得到一些可视信息，同时将其视线(通过将图像集中在视网膜中央凹上得到的细节)集中或聚焦在图像流显示器202上。图像流显示区域202相对于速度控制区域204的位置可以是：在基本上不需要将其视线从图像流显示区域202移开的情况下，用户可容易地将其视线引导到这两个区域上，或从这两个区域得到有用信息。因此，对图像流的显示的控制可由用户执行，同时将其集中的视线维持在显示的图像上。在一些实施例中，如图2A所示，图像流显示区域202可与速度控制区域204水平相邻(当按预期将屏幕显示在监视器上时)。在一些实施例中，速度控制区域204可以比阈值大；阈值可以基于图像流显示区域的面积计算。例如，图像流显示区域202的面积可例如是图像流显示区域的面积的约1/10-1/3范围内。

在图2A所示的实施例中，屏幕200可包括定位区域(或字部分212)，从而使得速度控制区域204用来选择显示图像帧流的向前方向，并且流前进部分206用来选择显示图像帧流的后退(例如时间或帧序列上的后退)方向。通过将定位指示部214从速度控制区域204移动到屏幕200的定位区域206，执行从向前方向移动到向后方向。

在一些实施例中，定位指示部(例如指示部214)位置的选择可在不点击定位装置(例如，定位装置134)或不提供另外指示的情况下执行。用户可通过将定位指示部放置(例如悬停，但不点击)在所选择的速率值(例如，15帧/秒)上，或将定位指示部214悬停在其上方简单地选择帧速率。用户可通过将定位指示部移动到区域202的不同位置(例如，标有22帧/秒)来提高所选择的速率。在一些实施例中，用户可通过将定位指示部214(例如，在不点击或不提供另外指示的情况下，移动定位装置134)从一个部分(例如，子部分210)移动到另外一个部分(例如，子部分212)和/或通过定位向前或向后标识，选择前进或后退播放图像流。

屏幕200可进一步包括流行进部分206。流行进部分206可包括向用户指示播放过的图像流从或相对于图像流上一次停止的位置的进度的进度条或标尺205。例如，如果向前或向后播放图像流，进度条或标尺205可向用户指示从图像流开始处图像流大约播放了多少(例如1/6)。

在一些实施例中，屏幕200可包括水平控制接口区域208。水平控制接口区域208可被定位在例如屏幕200的下部。水平控制接口区域可包括用于控制图像流显示的多个控制选项，例如，启动/停止选项、帧速率选项、向前/向后选项等。用户可通过例如在定位装置上点击(例如控制重叠在选项上的光标或其他屏幕上指示部)，或提供另外的指示选择在水平控制区域208中的控制选项。为了操作水平控制区域208中的控制选项，用户必须将其视线从正在图像流显示区域202中播放的图像上移开，并且通过在定位装置上定位或点击来选择控制选项。

参照图2B，其示出根据本发明的一些实施例的屏幕220的示例。屏幕220可至少包括图像流显示器222和速度控制区域224。图像流显示区域222可包括与上面描述的图像流显示器202相同的特征并且具有与上面描述的图像流显示器202相同的特性。速度控制区域224可包括帧速率控制接口225，其包括通过指向(例如，操纵诸如鼠标等定位装置134来控制屏幕上定位指示部214或触摸屏幕)速度控制区域224中的一个位置来选择帧速率(例如8帧/秒)的标尺。速度控制区域224可包括带有用于在向前和向后两个方向上播放图像流的多个帧速率值的单个标尺。为了从向前播放移动到向后播放,用户可移动定位装置137使得定位指示部214可定位在速度控制区域224的上端处的图形标识227，反之亦然。如图2A所示，图像流播放区域222和速度控制区域224可位于屏幕220上，使得用户可将其视线引导至屏幕中的图像流播放区域222上,同时如关于图2A所讨论的移动速度控制区域224区域的面积中的定位指示部。屏幕220可进一步包括流行进部分(未示出)和/或与流行进部分206相似的水平控制区域208和上面所讨论的水平控制区域208。

参照图2C，其示出根据本发明的一些实施例的屏幕230的示例。屏幕230可包括图像流显示区域232和速度控制区域234。在一些实施例中，屏幕230可包括附加水平控制区域238。图像流显示区域232可包括在单独回看时即将同时显示向用户的两个或多个图像流的显示器，例如图2C所示的右图像流显示器240和左图像流显示器242。可例如使用带有两个成像系统的成像胶囊同时捕获这两个图像流。例如，右侧显示器可包括由位于成像胶囊一侧的成像系统在胃肠道中至少一个器官中捕获的图像流，左侧显示器可包括由位于成像胶囊的第二不同侧的成像系统捕获的图像流。在另一示例中，由位于银行、军事基地、监狱、大使馆等中不同区域的多个监控摄像头捕获的图像流的一些显示器可同时显示在图像流显示区域232中。

速度控制区域234可包括用于控制帧速率的帧速率控制接口235，其中图像帧以该帧速率将在图像流显示区域中显示，和/或可包括图像流运动的向前/向后方向控制。例如，用户可通过将定位指示部214(例如，光标)移动或定位(例如，在无需在定位装置134上点击的情况下)至帧速率标尺上期望的帧速率的位置处来选择帧速率，和/或通过移动或定位(例如，无需点击)至速度控制区域234上端处的标识上来选择向前/向后显示方向。可通过，例如，移动定位装置134来移动定位指示部214。用户可一起控制图像流的所有显示或通过在期望的显示器上点击分别控制每个显示器(例如显示器242和240)或可同时控制来自多个显示器的显示器的任何部分。在一些实施例中，屏幕230可包括附加部分238，其包括与图2A中所描述的水平控制接口相似的在屏幕230下部的水平控制接口。

参照图3，其示出根据本发明的实施例的图像流显示的控制方法。实施例(正如本文所讨论的所有实施例)可以由包括在显示并且控制图像流显示的系统(例如系统100或工作站14)中的处理器(例如处理器112或处理器13)来执行。执行实施例(或本文中的其它实施例)的指令可存储在由处理器执行的非易失性存储器(例如存储器116)中。在操作310中，可向用户显示在屏幕的图像流显示区域中的图像流。图像流显示区域可包括活动图像流的单个显示器，例如，图2A和2B的图象流显示区域202和222中示出的显示器或可包括多个显示器例如在图2C的图像流显示区域232中示出的多个显示器。在图像流显示区域中显示的图像可通过一个或多个成像设备(例如，相机)事先捕获并且存储在处理器可接近的存储装置或存储器例如存储单元120中。

在操作320中，可以在屏幕的速度控制区域上创建、显示或产生帧速率控制接口。，图像流显示区域相对于速度控制区域的位置可以是：在基本不需要将其眼睛从图像流显示区域移开的情况下，用户可容易地将视线同时引导至两个部分上。因此，实现控制图像流的显示同时用户将其视线保持在显示的图像上。在一些实施例中，速度控制区域可与图像流显示区域水平相邻。在一些实施例中，速度控制区域可大于预定的或计算出的阈值；阈值可基于图像流显示的显示面积来计算。例如，速度控制区域的面积可以是图像流显示区域面积的约至少1/7或在1/10-1/3之间。

产生帧速率控制接口可包括产生一个或多个具有增大的或减小的帧速率的帧速率标尺，例如，图2B和图2C所示的速度控制区域224和234中说明的从0帧/秒-23帧/秒的标尺。在另一示例中，可在如图2A所示的两个速度控制区域202中创建、显示或生成两个帧速率标尺。向前播放的第一标尺216(例如，0-25帧/秒)和向后播放的第二标尺218(例如，0-25帧/秒)可显示在速度控制区域202中。

在操作330中，可例如从用户接收显示图像帧流的期望帧速率的指示。可根据定位指示部在速度控制区域中的位置(例如通过处理器)选择或确定帧速率使得用户可通过使用定位装置将定位指示部移动(例如，悬停)到速度控制区域中来改变帧速率。例如，处理器可通过至少包括屏幕和定位装置的用户接口从用户接收定位指示部(例如光标)的位置。例如，定位指示部的位置可在在期望的帧速率处的帧速率标尺上，用户可通过使用定位装置(例如，通过移动鼠标或通过在触摸屏上移动手指)将定位指示部沿着帧速率标尺移动来改变帧速率。在一些实施例中，用户可以在不点击(或双击/触摸)定位装置的情况下，仅通过移动(例如，悬停)定位指示部来选择期望的帧速率。

在操作340中，可以所希望的帧速率向用户显示图像流。在向用户显示活动图像流期间，可以有意识或无意识地进行定位指示部的移动。定位指示部的无意识运动可以是用户无意地移动定位装置的结果，例如，当用户无意中移动拿着鼠标的手去取一杯咖啡时。

参照图4，其说明根据本发明的实施例的图像流显示的控制方法。在操作410中，可向用户显示在屏幕的图像流显示区域中的图像流。如上所述，操作410与操作310基本类似。

在操作420中，可在包括回放、停止、向前/向后方向改变控制接口的屏幕上显示、创建或产生速度控制区域。可生成速度控制区域使得将其视线引导到屏幕的图像流显示区域的用户能够控制定位指示部例如定位指示部214在屏幕的速度控制区域的移动。图像流显示区域可与速度控制区域水平相邻，和/或速度控制区域可大于阈值；阈值可基于图像流显示的面积来计算。例如，速度控制区域的长度可占据显示区域(例如，速度控制区域704)的整个高度。速度控制区域的宽度可足够宽使得用户可以通过在速度控制区域内移动定位装置来移动定位指示部，以便提高或降低观看速度、改变回放方向等，同时保持他/她的视线集中于在图像流显示区域中显示的图像上，而基本上不需要将他/她的视线集中在速度控制区域上。生成向前/向后控制接口可包括在速度控制区域中产生图形标识(例如，标识227)和/或随意在屏幕的速度控制区域的两个子部分产生两个图形标识(例如，标识215)。例如，如图2A所示，一个标识或多个标识可具有箭头形状，每个位于不同的子部分，一个用于向前播放，一个用于向后播放。在另一示例中，如图2B所示，标识可包括两个相反的箭头。

在操作430中，可从用户接收期望的播放方向的指示。用户可通过使用向前或向后标识上的定位指示部在图形标识上定位来选择期望的播放方向。用户可通过将定位指示部从向前标识移动到向后标识或通过将定位指示部从向前子部分移动到向后子部分将向前播放切换至向退播放。在一些实施例中，在无需在定位装置上点击的情况下，执行期望的播放方向的选择。

在一些实施例中，当播放方向或流方向发生改变时，用户将收到警报。例如，在每次流方向或播放方向发生改变时，图形标识，例如方向改变报警标识就会出现在屏幕上。在一些实施例中，方向改变图形标识219可以显示为闪烁标识，而在其它实施例中方向改变图形标识219可以显示为固定标识。在其它实施例中，可使用方向改变图形标识219的其它显示方法。方向改变报警标识219可出现在屏幕的任何部分或区域中使得用户可保持他/她的视力集中在显示的图像上。警报可以允许用户验证在播放方向或流方向上的变化是否是期望的，并不是无意进行，例如，通过定位装置134的非故意移动。

在操作440中，图像流可以在所希望的播放方向上显示。

参照图5，其说明本发明实施例的图像流显示的控制方法。操作510和520可与操作310和320基本上类似，因而不再讨论。

在操作530中，可从用户接收开始或停止图像流回放的指令。例如，当定位指示部214位于屏幕的速度控制区域和/或屏幕的图像流显示器中的任意位置时，用户可以例如点击定位装置134或提供另外的指示来停止图像流的移动或使静止的图像流开始或重新开始(例如当屏幕的图像流播放区域显示单帧画面时)。停止图像流可以使单个静态帧得以显示。例如，当定位指示部被位于或定位于速度控制区域中，同时用户在定位装置上点击或者通过在定位装置上点击时，系统可从用户接收开始或停止图像帧流显示或行进的指令，所述指令被提供或显示给处理器。

在操作540中，从用户接收向前或向后滚动或移动帧(例如，每次一帧)的指令。当图像流的回放停止时，例如在用户点击定位装置或发送另一指示之后，用户可提供这些指令。在停止回放之后，用户可通过使用定位装置使图像向前或向后滚动或移动，例如一次一帧或多帧。例如，定位装置可以是鼠标，滚动帧的指令可以通过检测鼠标滚轮的滚动来接收。在另一示例中，可通过将定位装置在显示器上前后、上下、左右移动来检测定位指示部在速度控制区域中的移动来接收滚动帧的指令。

在操作550中，可从用户接收通过在速度控制区域上的标识上定位从而向前或向后显示或播放图像帧流的指令。操作550可包括与上面描述的、在图4中示出的方法的实施例的操作420和430的特征相似的特征。

在操作560中，从用户接收将图像帧临时加速(提高流的显示速度或进度)至(相对)高速的指令。用户例如通过点击(或提供另外指示)并且将定位装置在点击的位置处保持一段时间从而将图像帧流临时加速至最大帧速度或预定的高帧速率(并且由于此或者响应于此，系统可以接收加速的指令)，其中将定位装置在点击的位置处保持的这段时间就是图像帧流即将加速到预定高速的时间。在图像流的静态片段或基本无变化片段期间，可激活临时加速速率，一旦用户识别到所关注的片段或动态片段时即可使其失活(例如，用户停止按压定位装置的点击按钮)。例如，当需要临时加速图像流时，用户可点击并按住鼠标的左键或右键，或用手指触摸并按住触摸屏。例如，用户可以点击并按住鼠标的左键或右键达300毫秒，从而激活图像流的加速，其中只要用户继续按住鼠标超过最初时段，则加速即可发生。可使用点击后用于保持鼠标的按钮从而引起图像流加速的其它时间段，例如从100毫秒到3秒之间的任何时间段。在加速期间，处理器可以以快速帧速率(例如，100帧/秒)向用户显示图像流和/或仅向用户显示帧的一部分，例如，处理器可以显示连续两帧中的一帧、连续三帧中的两帧、十帧中的九帧等。在一些实施例中，一旦加速速率失活，图像流可以以先前使用的帧速率回放，而在另一实施例中，图像流可以自动地停止或暂停，直到用户选择新的回放帧速率。

在操作570中，可根据接收到的指令显示图像数据流。在一些实施例中，只可执行操作530-560中的部分操作。例如，只执行操作510-540和570。在一些实施例中，图3中示出的操作330可结合操作530-560中的一个或多个操作执行。本发明不限于在图3-5中的任意一个公开的操作的任意组合。

本发明的一些方面可涉及用于在图像流接近所关注的帧序列时向检查图像流的用户产生警报的系统和方法，例如，在显示的图像流的当前帧到达或显示所关注的帧序列之前，通过以预定时间或预定帧数量提供预定指示，可以向用户产生警报。产生警报的系统与图1A公开的系统100或图1B公开的装置14基本相似。根据本发明的实施例，所关注的帧序列可包括展示所关注的发现(例如，病理候选区)的图像帧，其中所关注的帧序列需要在较低的帧速率下检查图像帧流。

另外或可可选地，所关注的帧序列可包括当移动成像设备在比平均速度高或低的速度下移动时，由该成像设备捕获到的序列。用户可决定是在较低或较高的帧速率下检查所关注的帧序列，以便不遗漏在所关注的帧序列中捕获的重要信息或快速移动在低速下捕获的序列。例如，由位于成像胶囊中的成像装置捕获的图像，其中存在胶囊在比平均速度快的速度下移动(例如，在结肠的某些区域中)的指示。例如，可从包含在成像装置中的位置检测器和/或从图像数据中(例如通过基于图像配准算法计算胶囊的进度)得到与胶囊的速度相关的指示。在另一示例中，图像帧可被位于安全车上的摄像头捕获，所关注的帧序列可与在车辆加速时获得的帧序列有关。在另一示例中，可以审查监视摄像机的视频。当在图像流中识别出异常行为时，可向用户提供警报。

参照图6，其说明根据本发明的实施例的在图像流的检查过程中产生警报的方法。与处理器相关联的存储器或存储单元(例如，存储单元120)可存储包括例如胃肠道的至少一个器官的图像帧的图像流，其由在成像胶囊中包括的成像装置或任何其它便携式和移动成像装置捕获。在操作610中，可在屏幕上向用户显示图像流。屏幕或屏幕的一部分可包括活动图像流的单一显示窗口，例如，在图2A和图2B的图像流显示区域202和图222中示出的显示器或可包括多个显示窗口，例如，在图2C的图像流显示区域232中示出的显示窗口。

在操作620中，可在图像流中确定所关注的帧序列。帧序列可包括至少两个图像帧。所关注的帧序列可包括用户可考虑以较慢的速率，或者以较快的速率检测的任何图像序列。序列可包括异常行为或所关注的发现(例如，病理候补区)的图像，或者可包括当成像设备(或图像中所识别的对象)以较快的速度移动时所捕获的帧序列。下面给出一些用于确定所关注的帧序列的实施例的示例。

在操作630中，可以使用标识和/或声音向用户创建、产生或提供警报，警报在所显示的图像流的当前帧到达或变成所关注的帧序列之前的预定时间产生。例如，可在显示帧序列的第一帧之前的时间提供警报。例如，可以在所关注的帧序列显示前1秒、2秒、5秒或更长时间(或图像帧的阈值数量)点产生警报。基于为提供警报而限定的时间量，可使用用户使用的用于显示图像流的帧速率来估计在哪个或哪些帧中应显示警报。时间量可由用户配置，或预先确定并且存储在系统中。在另一示例例中，用户可配置在所识别的序列之前在其中出现警报的图像的数量。当显示的图像流达到所关注的帧序列时，警报或标识可以是可出现在屏幕上的可视指示部(例如，图形标志)。在一些实施例中，处理器可被配置成当图像流接近所关注的帧序列时修改可视指示部，例如，当图像流接近所关注的帧序列时，处理器可将可视指示部的颜色，例如，由黄色变成橘色，然后变成红色。在另一示例中，当图像流接近所关注的帧序列时，可视指示部的大小和/或亮度/暗度可增大。在一些实施例中，处理器可被配置成在所关注的帧序列的最后一帧处或者在所关注的帧序列的最后一帧之后移除可视指示部。处理器可立即删除可视指示部(指示器可以在帧内出现，并在下一帧消失)或可在多个帧内逐渐消失。在一些实施例中，可视指示部可以是动画物体(例如沙漏)。

另外或可选地，标识可以是声音。在一些实施例中，处理器可被配置成修改传送给用户的声音的音量或频率内容中的至少一个，例如，当图像流接近所关注的帧序列时，可以增加声音的音量和/或可以增加声音的频率的数量(例如，可播放曲调)。在一些实施例中，处理器可被配置成在所关注的帧序列结束时，减少或消除声音的音量和/或频率内容。

一些实施例可包括如上参照图3-5所讨论的用于控制图像流的显示的一个或多个操作。一些实施例可包括控制将显示图像流的帧速率和/或控制播放图像流的向前/向后方向。

在一些实施例中，从用户接收当图像流接近所关注的帧序列时自动降低图像流的显示速率的指令。用户可在播放图像流之前或在图像流播放的任意阶段选择自动降速模式。在接收指令之后，处理器可以所关注的任一帧序列的恒定帧速率降低速率直到另有指示。在所关注的帧序列结束时，处理器可将帧速率增大到降低显示速率之前的速率。在一些实施例中，用户在选择自动加速模式时可限定加速的帧速率。

在一些实施例中，屏幕可以显示当前使用的帧速率的指示。图像帧流可包括：“静态”图像流部分，在其中图像流的图像基本上保持不变和“动态”图像流部分，在其中图像流的图像变化，使得所述“静态”和“动态”图像流部分中的每个包括多个图像帧。在一些实施例中，“动态”图像流部分可以是所关注的帧序列。处理器(例如，处理器112)可被配置成识别“静态”图像帧和“动态”图像帧。处理器可被进一步配置成在屏幕(例如屏幕200、220或230)上向用户显示当前帧显示速率是“静态”帧或“动态”帧的的指示以及显示图像流的帧速率。在一些实施例中，仅针对“动态”部分或仅针对“静态”部分提供指示。当显示的帧为“动态”或“静态”时，处理器可被配置成自动适应帧速率。例如，处理器可基于“静态”图像流部分的多个图像之间的相似性增大“静态”图像流部分的帧速率。

在一些实施例中，处理器可以向用户显示图像流的“静态”部分或“动态”部分被显示或即将被显示的指示、当前使用的帧速率的指示、当前帧显示速率为“基本”或“加速”的指示、帧显示速率的相对加速(例如，“基本”速率的两倍、“基本”速率的三倍等)的指示等。在一些实施例中，处理器可在屏幕上呈现图像流是用“加速”或非“基本”帧显示速率显示的颜色指示或警报，例如，以提醒操作当前模式的用户。于2006年8月24日提交的公开号为2008/0051642、标题为“以可变速率显示体内图像的装置、系统和方法(DEVICE,SYSTEMANDMETHODOFDISPLAYINGIN-VIVOIMAGESATVARIABLERATE)”的美国专利公开根据图像帧的“静态”或“动态”特征自动控制帧速率的系统和方法，该专利已经转让给本专利申请的共同专利权人，并且以引用的形式将其全部内容并入本文。

图7A示出根据本发明的一些实施例的示出可视指示部710的屏幕700的示例。屏幕700可包括用于显示图像流的图像流显示区域702。图像流显示区域702可向用户显示一个或多个图像流或图像流窗口。另外，图像流700可包括其它部分。例如，根据本发明的一些实施例，屏幕700可包括速度控制区域704，其包括用于控制帧速率的帧速率控制接口和/或图像帧移动的前进/后退方向控制，即将以所述帧速率在图像流显示区域702中显示图像帧。

屏幕700可包括包含进度条或标尺的流行进部分706，所述进度条或标尺向用户显示播放的图像流相对于该图像流上一次停止或暂停时的帧的进程。流行进部分706可向用户显示在图像流部分显示的当前帧与图像流上一次停止或暂停之间的距离(例如，以帧或时间测量)。流行进部分706可例如通过在流行进部分706的中间线707上点击允许用户容易地返回到前一次停止的点或帧。在另一示例中，流行进部分706可例如通过点击在流行进部分706的左侧711上的定位装置214使影像从当前帧向后倒回预定量的帧(或重新定位回放的开始点)。同样地，通过在流行进部分706的右侧712上点击，图像流可以向前推进预定量的帧或预定时间。当在右侧712点击或定位时，可在系统中预先确定可从当前帧跳过的图像帧的数量，例如50帧和/或可由用户配置。同样地，当在左侧711点击或定位时，可预先确定图像流的当前帧返回的帧的数量，例如50帧和/或由用户设置。

当用户使用流行进部706滚动图像时，例如，在停止图像流的活动显示后，指示部714可指示用户在哪个方向上滚动，例如，相对于活动显示停止的图像。例如，指示部714的形状可以是箭头。当指示部714正在指向右侧时，它可指示用户滚动正在导致图像流向前行进，当指示部714正在指向左侧时，它可指示用户滚动正在导致图像流向后返回。可以使用其他方向和方向意义。流行进部706可使指示部向左或向右移动预定(或可设置的)量的帧。在预定量的图像后，如果用户进一步滚动，则会出现另一指示。例如，可使用不同颜色显示左侧711或右侧712。可使用其它指示。当用户改变滚动方向并且继续滚动越过上次停止的活动图像时，可显示提醒用户已经改变了滚动方向并且影像正在以与先前不同的方向显示的指示。根据所选择的显示方法可改变指示部714，例如，当用户选择仅显示有嫌疑的流血图像的显示模式时，指示部714可显示红色(或其它颜色)。同样地，如果用户选择根据一定选择标准仅显示捕获的图像的一部分的显示模式时，则指示部714可相应地指出所选择的显示方法。

在一些实施例中，一旦在图像流显示区域702中继续显示图像流，将会清除图像流的最后停留处或暂停处，然后可由用户激活图像流的新停留处或暂停处。

在“常规”或“正常”显示模式中，用户可使用例如每秒0-25帧的标尺，选择针对向前播放方向或向后播放方向的帧速率，例如，如在区域704当前出现。在“加速”显示模式中，例如，在点击并且按住定位装置时可由用户激活的“加速”显示模式中，帧速率标尺可改变以支持加速帧显示速率的选择，例如，用户可选择例如每秒25-100帧的帧速率，例如，在图7B的724区域中所示。在加速模式期间，在速度控制区域中的标尺可以从在704区域中每秒0-25帧改变到在区域724中的每秒25-100帧。一旦用户停止按住点击的按钮，显示器可返回至“正常”(未加速的)显示模式(例如，速度控制区域704)。

当选择不同窗口显示模式时，例如，同时显示图像流(或两个图像流)的两个图像的双窗口(例如图2C所示)，同时显示四个图像流窗口的四窗口等，在区域704中的帧速率选择标尺也可发生改变。在一些实施例中，当激活加速模式时，可将颜色指示应用到帧速率选择区域以提醒用户该特殊显示模式。可发出或显示其它警报以向用户指示特定的显示模式。

屏幕700可进一步包括回放控制部分708，其包括在屏幕700的下段处的水平控制接口。根据本发明的一些实施例，水平控制接口可包括用于控制图像流的显示的一些控制选项。

例如，可视指示部710可以是可向用户产生警报的任何图形标志。图8示出可用作可视指示部的图形标志的一些示例。在另一示例中，可视指示部可以是动画物体(例如，闪烁的闪光灯)，其在图像流接近所关注的帧序列和/或在检查(检查)所关注的帧序列期间可移动或可改变。

参照图9，其说明根据本发明的一些实施例的在图像流中确定所关注的帧序列的方法。在操作910中，可分析图像流以定位病理候选区。图像流可包括病理候选区例如溃疡、息肉、肿瘤、疑似出血或红色区域等的图像。病理候选区可通过病理检测器检测。处理器(例如处理器112)可分析在图像流中包括的图像以定位病理候选区。存在用于分析例如从胃肠道中的器官中捕获的图像的各种方法。例如，与图像中的病理候选区的显示相关的图像数据或图像性质(例如与病理候选区的形状、颜色、密度等相关的性质)可被存储在与处理器相关联存储器或存储单元中。处理器可将图像数据与位于包含在图像流的图像中的对象比较，并且选择一个或多个图像帧，每个图像帧示出具有与所存储的图像数据的相似性的对象。

(通过处理器)识别病理候选区的方法的示例可包括识别在存储的图像帧中的椭圆形的形状。方法可进一步包括提取与每个识别的椭圆形形状相关的数据例如颜色、大小、高宽比等。处理器可将提取的数据与存储在与处理器相关联的存储器或存储单元中的数据比较。例如，存储器或存储单元可包括查找表，其包含可与典型的病理候选区例如息肉相关的大小、颜色和高宽比的组合清单，并且可进一步将存储在查找表中的数据和提取的数据比较。方法可进一步包括基于比较确定帧中是否示出病理候选区。于2005年9月30日提交的、第8,423,123号、标题为“体内特征检测的系统和方法(SYSTEMANDMETHODFORIN-VIVOFEATUREDETECTION)”的美国专利公开一种用于检测和识别病理候选区的方法和系统，该专利已经转让给本专利申请的共同专利权人，并且将其全部内容通过引用并入本文。于2002年3月14日提交的、公开号为2002/0177779、标题为“用于在体内中检测比色异常的方法和系统(Methodandsystemfordetectingcolorimetricabnormalitiesinvivo)”的美国专利公开用于在体内中检测异常情况的方法的另一示例，该专利已经转让给本专利申请的共同专利权人，并且将其全部内容通过引用并入本文。可使用其它方法。在一些实施例中，可检测其它所关注的帧，例如在诸如十二指肠、幽门、盲肠、间线(Z-line)等体内腔内的解剖标志或过渡点。第7,684,599号、标题为“用于检测图像流中的过渡的系统和方法(Systemandmethodtodetectatransitioninanimagestream)”的美国专利公开用于检测图像流中的过渡点的方法的示例，该专利已经转让给本专利申请的共同专利权人，并且将其全部内容通过引用并入本文。

在操作920中，选择至少一组示出病理候补区的图像帧使得组限定所关注的帧序列。可将确定为示出相同的病理候选区的一个或多个连续帧图像选择为所关注的帧序列。

在一些实施例中，所关注的帧序列可包括当成像装置(例如包括在成像胶囊中的成像装置)以较高的速度移动时捕获的图像帧。在一些实施例中，有可能确定表示胶囊在胃肠道(例如在包含在胃肠道中的至少一个器官)中的移动速度的参数。例如，该参数可与连续帧之间大的变化基本上相关。两个连续帧之间的较大差异可指示胶囊从捕获第一张图像的位置快速移动至捕获第二张图像的位置(例如，在器官的不同部分)。处理器(例如处理器112)可被配置成分析图像帧并且识别两张连续图像之间的差异。可将计算得到的差异或相似性程度打分或分配表示胶囊运动的参数，例如，高分可被分配给与由体内装置捕获的前一张图像完全不同的图像，低分被分配给与图像流中前一张捕获的图像基本相同的图像。分数越高则表示胶囊的运动速度越快。可使用其它方法确定成像装置在何时以较快的速度运动，例如，可包括在成像装置中的诸如加速度计等定位单元可实时提供胶囊位置的指示，速度可以从位置/时间数据获得。

在另一示例中，在图像中识别的对象可移动，而成像装置基本保持不动，例如，监视摄像机。因此，所关注的帧序列可包括当所关注的对象以较快的速度移动时捕获的图像帧。可使用图像流连续图像之间的差异(或相似度)的测量结果来确定对象的速度或确定是否针对快速运动帧序列向用户产生警报。

参照图10，其说明根据本发明的一些实施例的确定图像帧中所关注的帧序列的方法。在操作1010中，连续帧可与表示由固定成像设备追踪的胃肠道中胶囊的运动速度或对象的速度的运动相关的参数关联。可基于两个连续图像帧之间的改变或基于包括在胶囊中的定位单元确定参数。连续图像帧之间的改变的示例可包括：图像帧中的对象的尺寸、对象的颜色或纹理或背景的颜色或纹理。

在操作1020中，如果运动相关的参数比预定值高，则可做出决定。例如，在图12中说明的粗线1200表示的值可被设定为阈值。图12描述曲线图，其中：y轴是运动相关参数，x轴是连续的帧识别数量，其被分配给每一张捕获的图像；参照图12，在下文中讨论该曲线图。在操作1030中，如果运动相关的参数低于阈值，则图像帧不被选择为所关注的帧序列，过程结束。在操作1040中，如果参数比阈值高，则选择至少一组与比阈值大的运动相关参数有关的连续帧。根据本发明的实施例，处理器可存储帧选择以便在图像流检查期间产生警报的方法中进一步使用。

参照图11，其说明根据本发明的一些实施例确定图像帧中所关注的帧序列的方法。在操作1110中，连续帧可与表示胃肠道中胶囊的运动速度的运动相关的参数(例如，分数)关联。可基于两个连续图像帧之间的变化确定图像运动相关的参数。变化可以是图像帧中对象的大小、对象的颜色或背景的颜色或纹理。

在操作1120中，可创建曲线图，其一个轴为与在图像数据中或在体内装置的位置数据中检测到的运动量相关的指示或分数，另一个轴与帧序列数量对应。图12示出曲线图的示例。曲线图包括竖轴，其是表示胶囊在胃肠道中的运动速度的运动相关参数和横轴，其与帧对应。阈值线1200将连续帧组分为两类。第一类具有与在阈值线上方的组中的帧有关的运动相关的参数，第二类具有与在阈值线下方的组中的帧有关的运动相关的参数。当成像胶囊以比低于阈值的运动相关参数有关的图像帧高的速度移动时，捕获到与高于阈值的运动相关参数有关的图像帧组。一些组包括比其它组更大数量的连续帧。

在操作1130中，可针对连续帧组例如针对具有与在阈值线上方的帧有关的运动相关参数的所有组计算曲线图曲线下方的面积。对于每个组，可使用已知方法计算曲线下方的面积。可确定与曲线下方的面积相关的第二阈值。所计算的高于阈值的面积可表明，所述连续图像帧组是在相对较长的时间段内在较高的速度下捕获的，而不是由于胶囊速度的瞬间提高捕获的。可在操作1140中，将每组的计算面积与第二阈值比较。在操作1150中，如果所计算的面积低于第二阈值，则可确定帧是在胶囊速度的瞬间提高期间捕获的，并且不会将其视为所关注的帧序列。

在操作1160中，如果所计算到的面积大于第二阈值，可选择一组图像帧被认为所关注的帧序列。如果检测两个区域彼此接近(例如，比预定阈值更接近)，可将这些区域组合到所关注的单帧序列中。这可改善用户的体验，因为在图像流检查期间接收相继在非常短的时间内出现的所关注区域的重复指示令人非常困惑。

已经阐述了各种实施例。当然，这些实施例中的每个可包括来自阐述的其它实施例的特征，所阐述的各种实施例可与本文公开的其它实施例组合，未具体描述的实施例可包括本文描述的各种特征。

虽然本文已经说明和描述了本发明的某些特征，但是本领域技术人员还可进行许多变型、替换、改变和等同替换。因此，将理解的是，所附权利要求旨在覆盖所有落在本发明的真正精神内的变型和改变。

Claims (20)

1.一种用于控制图像流显示的系统，其包括：

存储器，其存储所述图像流，所述图像流包括多个图像帧；和

处理器，其被配置成：

在屏幕的图像流显示区域中向用户显示所述活动图像流；

在所述屏幕的速度控制区域上产生帧速率控制接口使得所述图像流显示区域与所述速度控制区域水平相邻；以及

从所述用户接收用于显示所述图像帧的图像流的期望的帧速率的指示，根据定位指示部在所述速度控制区域中的位置选择所述帧速率，其中使用定位装置使所述定位指示部在所述速度控制区域中移动表示期望的所述帧速率改变。

2.根据权利要求1所述的系统，其中所述处理器被配置成显示流行进部分，其中所述速度控制区域用于选择显示所述图像帧流的向前方向，所述流行进部分用于选择显示所述图像帧流的向后速度。

3.根据权利要求1所述的系统，其中所述处理器被配置成：

当所述定位指示部定位在所述速度控制区域中，同时所述用户在所述定位装置上点击时，从所述用户处接收开始或停止所述图像帧流的指示，所述指示被显示给所述处理器。

4.根据权利要求1所述的系统，其中所述处理器被配置成：

当所述定位指示部在所述速度控制区域中时，同时所述用户点击所述定位装置，从所述用户接收停止所述图像帧流的指示使得在所述图像流显示区域中显示单帧；和

从所述用户处接收使用所述定位装置从所述单帧向前或向后滚动帧的指示。

5.根据权利要求4所述的系统，其中所述定位装置为鼠标，通过检测所述鼠标滚轮的滚动接收滚动帧的指示。

6.根据权利要求4所述的系统，其中通过检测所述定位指示部在所述速度控制区域中的移动来接收滚动帧的所述指示。

7.根据权利要求1所述的系统，其中所述屏幕包括显示指示播放的图像流从图像流上一次停止位置开始的进程的标尺。

8.根据权利要求1所述的系统，其中所述处理器被配置成：

从所述用户接收加速所述图像帧流的指示，当所述用户点击并且将所述定位装置在一段时间内保持在点击位置时，接收到所述指示，其中将定位装置保持在点击位置的时间就是所述图像帧流将被加速的时间。

9.一种控制图像流显示的方法，所述方法由处理器执行并且包括：

在屏幕的图像流显示区域中向用户显示所述图像流；

在所述屏幕的速度控制区域上产生帧速率控制接口，以使得所述图像流显示区域与速度控制区域水平相邻；

从用户接收用于显示所述图像流的期望的帧速率的指示，根据定位指示部在所述速度控制区域中的位置选择所述帧速率，以及

根据所述用户的指示改变所述帧速率。

10.根据权利要求9所述的方法，其中所述定位指示部由定位装置控制，所述指示选择不需要在所述定位装置上点击。

11.根据权利要求9所述的方法，其包括：

显示流前进部分，其中所述速度控制区域用于选择播放所述图像帧流的向前方向，所述流行进部分用于选择显示所述图像帧流的向后速度。

12.根据权利要求9所述的方法，包括：

当所述定位指示部定位在所述速度控制区域中时，同时所述用户在用于控制所述定位指示部的定位装置上点击，从所述用户接收开始或停止所述图像帧流的指示。

13.根据权利要求9所述的方法，包括：

当所述定位指示部定位在所述速度控制区域中时，所述用户在用于控制所述定位指示部的定位装置上点击，从所述用户接收停止所述图像帧流的指示使得在图像流显示区域中显示单帧图像；以及

从所述用户处接收使用所述定位装置从所述单帧图像向前或向后滚动帧的指示。

14.根据权利要求13所述的方法，其中所述定位装置是鼠标，通过检测所述鼠标滚轮的滚动接收所述滚动帧的指示。

15.根据权利要求13所述的方法，其中通过检测所述定位指示部在所述速度控制区域中的移动来接收所述滚动帧的指示。

16.根据权利要求9所述的方法，其中所述屏幕包括部分，其显示指示播放的图像流从图像流上一次停止位置开始的进程的标尺。

17.一种控制图像流显示的系统，其包括：

存储单元，其存储所述图像流，所述图像流包括由包含在成像胶囊中的成像装置在胃肠道中的至少一个器官中捕获的图像帧；和

处理器，其被配置成：

在屏幕上向用户显示活动图像流；

确定在所述图像流中的关注的帧序列，所述帧序列包括来自所述图像流的至少两个连续图像帧；以及

使用标识提供警报，在显示所述帧序列的第一帧的时间之前的预定时间向所述用户显示所述警报。

18.根据权利要求17所述的系统，其中所关注的帧序列包括描绘了病理候选区的候选区帧，其中所述处理器被配置成通过以下方式确定所述所关注的帧序列：

分析所述图像流以定位所述病理候选区；

选择至少一组显示所述病理候选区的图像帧使得所述组限定所关注的帧序列。

19.根据权利要求17所述的系统，其中所述处理器被配置成通过下述方式确定包含关注的帧序列的一组帧：

选择与大于阈值的参数相关的至少一组连续帧，其中所述参数表示所述胶囊在胃肠道中的速度或移动。

20.一种用于控制图像流显示的系统，其包括：

存储器，其存储所述图像流，所述图像流包括多帧图像；和

处理器，其被配置成：

在屏幕的图像流显示区域中向用户显示活动图像流；

在所述屏幕的速度控制区域上产生帧速率控制接口使得所述图像流显示区域与所述速度控制区域水平相邻；

从用户接收显示所述图像帧的图像流的期望的帧速率的指令，根据定位指示部在所述速度控制区域中的位置选择所述帧速率，其中所述用户通过使用定位装置在所述速度控制区域中移动所述定位指示部改变帧速率；

确定在所述图像流中的关注的帧序列，所述帧序列包含至少两个连续的图像帧；

在所述图像帧流到到所述所关注的帧序列之前的预定时间，通过提供预定指示向所述用户产生警报。